表函数:您知道它们的存在吗?

Rate this post

在SQL 中,我们习惯使用“标量”函数。这些函数作用于单个数据,并将其转换为另一个数据。例如,

这些函数用于 SELECT 查询子句(或其他地方),我们使用它们来修改数据:添加、划分、连接、生成匹配、使用CASE 手动聚类等。

BQML 添加了一个新的函数集合,其中我们发现了香港WhatsApp 号码数据大量标量函数,但它也使用“表”函数,这些函数在子句中使用 FROM 并自行生成查询所使用的表。

也就是说,在使用这些函数时,我们不是直接查询表,而是用函数生成一个表,在AI 或ML 模型对数据采取行动后,生成的表就是我们使用SELECT 查询的表。

您可能使用过(特别是如果您使用过BigQuery for GA4)并且不属于BQML 的表函数的一个简单示例是UNNEST():

此UNNEST()函数处理数据,对其进行分解,并返回一个3 行表,这正是我们使用SELECT 实际查询的内容。

BQML 表函数的使用方式类似。例如,要从提示表中生成Gemini 响应,我们将使用中的表函数 FROM。此函数会将AI 生成的响应添加到表中。

您可以看到我们实际上并没有在SELECT 中使用GENERATE_TEXT() 函数,但我们在FROM 中查询的表是应用此GENERATE_TEXT 函数的结果。

嗯,大多数BigQuery ML 模型都是这样启动的。记住这一点,不要尝试任何奇怪的操作,因为它们不会正常工作。

3.如何查找和查询BigQuery ML库中存在的所有函数?

这本不该是个挑战,但不幸的是……Google 的参考页面在哪里?它能告诉我所有现有的BigQuery ML 函数?嗯,根本就不存在。 Google 已经让我们习惯了部分文档,但这次,虽然每个函数都有文档,但却被拆分成多个功能,难以理解。

首先,您应该知道,除了CREATE MODEL 函数本身之外,所有其他BigQuery ML 函数都以“ML”开头。例如,我们之前看到过“ML.PREDICT()”和“ML.GENERATE_TEXT()”,它们总是以“ML.”开头。这很好,因为它可以帮助我们识别它们。

问题在于,在这个库中,我们会发现调用模型的表函数和评估或从这些模型中提取数据的标量函数,甚至是为通常与这些模型一起使用的常见操作创建的函数和别名(例如,著名的ML.DISTANCE() 可以帮助我们计算余弦距离等)。

在Google 整理好其文档(如果它能做到的话)之前,我们必须处理一些混乱的情况。

为了帮助您解决这个问题,我将为您提供三个参考:

1. Google BigQuery ML 入门文档本身。文档中未列出所有功能,但阅读并浏览文档可以了解其中最重要的功能。

>> Google 上的

2. 第一个文档(CREATE MODEL 文档)的链接,虽然它不是任何参考文献的索引(至少目前还没有这样的索引页),但它是参考文献的第一页。针对移动设备进行优化 进入该文档后,您会在左侧看到一个菜单,其中包含机器学习函数的不同部分,在每个部分中,您都可以找到大部分函数。

>> Google 上的

3. 我非常小心和认真地创建了Google Sheets 来记录此列表,但Google Doc 中没有完整的列表。

Sheets 无疑可以作为参考,但需要注意的是:它并非官方文档,我无法保证其中的细节可能缺失,或者某些功能不会随着时间的推移而发生变化。与其说是官方文档,不如将其视为IKAUE 的内部指南。

 

>> IKAUE 的

4. 权限和启用API

要使用BQML,您需要在Google Cloud 中拥有适当的权限。权限可以告知Google Cloud 用户或应用有权执行其要执行的操作。授予权限的方法有两种:

1.为自己创建一个角色(该角色会一次性授予您一组权限)。

在这种情况下,您必须至少拥有一个“BigQuery 数据编辑者”角色。

2.或者把单一权限一一给你。

如果您尚未授予这些权限,则在尝试创建BigQuery ML 模型时,系统会警告您无法或没有权限执行该操作。在这种情况下,您需要前往IAM(身份和访问管理)并为您的用户管理这些权限。

如上所述,IAM 是Google Cloud 的一项服务,允许您控制哪些用户有权访问哪些资源。您可以在BigQuery 工具的右侧菜单中找到它。商业带领转到该菜单,在表格中找到您的用户或用户组,并授予他们这些权限。如果您无法自行授予这些权限,则需要请求您的Google Cloud 管理员为您管理。

除了权限之外,您还必须确保在Google Cloud 项目中启用BQML 运行所需的API。 API是允许应用程序相互通信的接口,如果这些API 不存在且已启用,则系统之间无法通信。您需要启用的API 包括:

  • BigQuery API

要启用API,您必须访问上述链接或Google Cloud 控制台,并搜索“API 和服务”服务。您可以在那里搜索并启用所需的API。点击每个API 的启用按钮,即可开始工作。与以前一样,如果您无法自行启用,则需要请求管理员协助。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

返回頂端