ScreamingFrog 是全球最知名的爬虫，堪称 SEO 爬虫的典范。没错，所有爬虫都围绕着 SEO 展开，但这并不意味着分析师无法利用它。
从版本 20 开始，Screaming Frog 加入了使用 JS 进行自定义元素抓取的功能。爬虫程序访问的每个页面都会注入您定义的 JavaScript 代码片段，用于与网站交互或检索数据。意大利电话号码数据 实际上，这与您在 GTM 中使用的函数类型非常相似。换句话说，如果您知道如何在 GTM 中创建自定义标签，您就知道如何利用此功能。
举个例子，我给你留了一份小礼物：3 个预先创建的脚本，专门用于抓取网站的数据层。
- 复制整个 dataLayer及其所有事件和参数。这是最全面但也是最复杂的方法，方便以后查看结果。
- 收集给定事件的所有累积参数（如 GTM 所做的那样）。
- 在特定事件中收集单个参数（例如，在页面加载（“gtm.js”）事件中收集“page_type”）。
仅使用这三个系统，您就能够收集拥有数千或数十万个 URL（甚至数百万个，但要准备好让您的计算机运行几天）的企业的所有数据层。
在此处下载：
使用此技术可以实现的更多想法如下：
- 使用 JS 操作来点击产品、购物车、滚动等。
- 执行测试表单提交并捕获其结果。
- 绘制您自己的 GA4 命中数据（或任何跟踪器）——这更为复杂。
- 对竞争对手的标签进行审核。
- 自动验证迁移并上传到生产环境。
- 与 IT 部门合作自行执行变更评估。
导致验证命中。
这项技术使我们能够拥有一个小型数据库，用于验证对业务至 我想告诉你们蒂娜是多么特别她和的 关重要的事件中的真实数据。我们基本上会将网站上发生事件的关键信息发送到我们的数据库（Sheets、BigQuery 等等）。
与真实数据库或 GA4 本身相比，此视图将使我们能够发现导致某些用户的数据无法保存或无法正确保存的真正问题。
专业地执行此操作只需在 GTM 中创建一个自定义变量和一个能够接收和存储此数据的端点（URL）。
创建此端点的最佳方法是使用云工具。举一个技术性强但简单的例子：使用 Google Cloud Functions 创建端点（它会直接提供 URL 并自动连接到 Google API），并将其存储在 Google BigQuery 中。
另一个更复杂但更快捷的解决方案是：创建一个 Google 表单，并使用表单的目标网址来存储所有传入的数据。由于 Google 表单可以连接到 Google 表格，而 Google 表格又可以连接到 BigQuery，因此无需处理代码，结果会非常相似。
您可以在我之前在 X 上发布的这个帖子中看到如何使用 Google 表单创建此类解决方案：
这些解决方案可以让你避免大量重复测试。只需实施它们，并亲自获取用户的需求即可。
JS 跟踪器和代理
与我们手动使用的嗅探器和代理非常相似，但现在应用于实际的网页浏览。为此，我们在应用中使用了 JS 拦截器或转发代理。GTM 和 GA 通常已实现，但通过这些系统，每次对 GA（或任何其他工具）的点击都会在发生之前被捕获。
换句话说，我们为所有想要审计的分析创建了一个间谍。利用这些数据、仪表板和 BigQuery，我们可以创建真正令人惊叹的自动化分析。
以下是我们在 IKAUE 运行的分析的屏幕截图。这是一个 Looker Studio 仪表板，其中显示了所有数据层、错误以及提交给 GA 的数据，并按提交时间排序。电话带领 通过它，我们可以查看命中的发生方式，以及是否有重复或延迟到达。这需要 GA QA 专家和大量的分析时间才能手动完成。
作为商业追踪器的一个例子，我们重点介绍一下Tracking Plan提供的出色选项。该工具不仅执行相同的流程，还能创建预测模型，自动识别实施过程中的不一致或漏洞（例如，它可以通知您“添加到购物车”功能已被移除，或者网站某个区域缺少某个参数）。
GA/Looker 和 BigQuery 报告
借助 GA 数据报告，我们可以在验证方面取得显著成效。最终，这才是最重要的洞察：如果我们没有得到预期的数据，这表明我们需要审查漏斗的其余部分。我们的建议是：只为 GA4 验证创建报告。
您可以先使用 此信息中心旨在审核数据，而不是查看趋势或转化情况。
GA4 与 BigQuery 的连接让我们能够更进一步。这是因为，无论我们喜欢与否，这种连接比我们在 GA4 中看到的信息更清晰、更简洁。BigQuery 几乎在匹配数据到达时就将其存储。它不会应用转换、归因模型，也不会使用 Google Signals 或非同意模式数据建模来建模用户 ID。这使得使用 BigQuery 创建报告变得颇具挑战性，但与此同时，它也将这个数据库转换为一个完美的匹配数据集合，用于验证实施情况。
从这个角度出发，我们提出了我们的方法，基于三种使用 BigQuery 来促进验证的不同方式：
- 简单验证。我们只想使用简单查询来查看松散的数据。
- 复杂的验证。我们需要创建带有转换的趋势查询来查找数据。
- 错误数据警报。我们会连接某种自动化软件，每天或定期验证 BigQuery 中是否存在意外数据。
对于后者，我们使用 N8N。您可以在我们的博客上了解更多关于这项技术的信息，因为此外，它也可以与 Make、Zapier，甚至 Notebooks 或直接代码一起使用。
简单验证
要进行简单的验证，我们唯一需要解决的问题就是扁平化 BigQuery 查询。GA4 表格有点复杂。有些字段隐藏了结构化数据集合，需要重新组织才能查看。这给我们的工作带来了一些麻烦。因此，第一步是将此表转换为普通表，以便使用简单的 SQL（SELECT * FROM…）进行查询。
为此，我们为您提供两个选择：
- 您拥有我们适用于 GA4 的 BigQuery 简化工具。
这款工具可以简化 BigQuery，使其更加简洁。https - 您可以使用众多现有的自定义 GPT 解决方案之一，向 ChatGPT 请求专业查询，并获取现成的查询结果。
在本例中，我们的选择是：
在这两种情况下，我们都会得到一个平面表，可以轻松检查维度值、URL、活动以及更多详细信息。
扁平化处理后，我们建议将它们应用到 Google 表格中。Google 表格长期以来一直允许您创建“关联表格”，即电子表格中的表格，实际上是与 BigQuery 表或查询的连接。通过将这些简化的查询连接到表格，我们将创建一个可以使用表格/Excel 函数执行验证的系统。