使用BigQuery 时,您至少会学习两种类型的控件:
–反应式:
BIgQuery 计费控制:通过定期监控和创建警报,如果您所做的事情开始使您的计费超出您的预期,则会通知您。
–主动:
在每次查询中,在启动查询之前查看将要查询的GB(了解查询1 TB 大约需要6.5 美元)。
使用BigQuery ML 时,您需要添加另外2 个操作:
–反应式:
Vertex AI 计费控制。与之前相同,但控制Vertex 中的支出,而不仅仅是BigQuery。这将告诉我们每个模型的支出金额。
–主动:
始终使用较低的LIMIT(例如LIMIT 5)对查询进行微调,以验证我们的操作是否合理且成本极低。测试完成后,我们会移除LIMIT,并在整个数据集上运行查询或模型。
另外,在使用BigQuery 机器学习函数时,我们应该始终、始终、始终考虑使用“CREATE TABLE AS”。为什么?因为每次运行查询时,机器学习函数都会被应用并产生成本。印度WhatsApp 号码数据因此,为了只为数据建模或AI 付费一次,最好的做法是生成一个预处理表,然后我们无需再次建模数据。
创建或替换表`dataset_name.table_name` AS 选择...(您的查询)
当我们要使用最终数据启动它时,我们只需在SELECT 之前添加该行,然后表就会生成。
另一个有效但风险更大的选择是记住在BigQuery 中点击“将结果另存为表”。这是BigQuery 返回结果时出现的按钮。因此,您必须启动查询并在看到结果后立即点击该按钮。
实际上,这两个系统的结果都是相同的(只需为建模付费一次),但在一种情况下,您每次运行查询时都会更新表,而在另一种情况下,它更加机械,您可以忘记它。
最重要的是,请记住这一点:每次使用ML 运行查询时,模型都会运行,并且您将为模型处理的每一行付费。
6. 将BigQuery 与Vertex AI 连接以使用Vertex 模型
Vertex AI 提供了丰富的工具,用于创建、训练和部署AI 模型。如果您想使用BigQuery 中未原生集成的模型(相信我,您肯定会这么做),则需要与Vertex AI 建立连接。
如果您跳过此步骤,您将只能使用BigQuery 内置的模型。您无需撰写白皮书或举办网络研讨会 您可以使用Kmeans、预测和线性回归,但无法使用Gemini、嵌入、NPL 或在Vertex AI 中训练的模型。请根据您想要的操作进行选择。
连接Vertex AI 的步骤如下:
1.在BigQuery 中添加“连接”资源。
我们使用BigQuery 控制台侧边栏顶部的“添加”按钮来执行此操作。
2.在出现的侧面板中,选择Vertex AI 作为要连接的服务。
在出现的侧面板中,选择“连接到外部数据源”选项。
1.在连接类型设置中,选择“Vertex AI远程模型、远程功能等”。
2. 我们给我们的连接起一个名字(它将出现在BigQuery 中,所以给它一个描述性的名字)。
3. 最后,您需要确保连接位置与您拥有(或将拥有)要建模的数据的BigQuery 数据集相同。
在这方面,Google 始终建议使用“美国多区域”商业带领或“欧盟多区域”,并且您应该知道,模型(尤其是Vertex AI 的模型)并非存在于所有区域,因此如果出现问题,可能是由于所选区域造成的。换句话说,如果您选择“欧盟”或“多区域”,则可以确保所有模型都存在,并且数据位于合法位置,从而确保安全。