检查点
Create a Dataplex lake with two zones and two assets
/ 20
Create and apply a tag template to a zone
/ 20
Assign a Dataplex IAM role to another user
/ 20
Create and upload a data quality specification file
/ 20
Define and run a data quality job
/ 20
使用 Dataplex 构建数据网格:实验室挑战赛
GSP514
概览
在实验室挑战赛中,我们会为您提供一个场景和一系列任务。您将使用从课程的各个实验中学到的技能自行确定如何完成这些任务,而不是按照分步说明进行操作。自动评分系统(显示在本页面中)会提供有关您是否已正确完成任务的反馈。
在您参加实验室挑战赛期间,我们不会再教授新的 Google Cloud 概念知识。您需要拓展所学的技能,例如通过更改默认值和查看并研究错误消息来更正您自己所犯的错误。
要想获得满分,您必须在该时间段内成功完成所有任务!
设置
点击“开始实验”按钮前的注意事项
请阅读以下说明。实验是计时的,并且您无法暂停实验。计时器在您点击开始实验后即开始计时,显示 Google Cloud 资源可供您使用多长时间。
此实操实验可让您在真实的云环境中开展实验活动,免受模拟或演示环境的局限。我们会为您提供新的临时凭据,让您可以在实验规定的时间内用来登录和访问 Google Cloud。
为完成此实验,您需要:
- 能够使用标准的互联网浏览器(建议使用 Chrome 浏览器)。
- 完成实验的时间 - 请注意,实验开始后无法暂停。
挑战场景
您刚开始担任初级数据工程师。到目前为止,您一直在帮助团队创建和管理 Dataplex 资产。
您应该掌握了完成这些任务所需的技能和知识。
您的挑战
您需要帮助新组建的开发团队完成使用 Dataplex 构建新数据网格的任务。具体来说,您需要创建一个拥有多个区域和多项资产的 Dataplex 数据湖。您还需要在新的数据湖中标记资产,并对它们进行数据质量评估;您收到完成下列任务的相关请求:
- 创建一个拥有两个区域和两项资产的 Dataplex 数据湖。
- 创建并应用标记模板,将整个区域标记为受保护数据。
- 将 Dataplex IAM 角色分配给另一个用户。
- 创建数据质量规范文件并将其上传到 Cloud Storage。
- 在 Dataplex 中定义并运行数据质量作业。
您应当遵循如下标准:
- 确保已成功启用任何所需的 API,例如 Dataplex、Data Catalog 和 Dataproc。
- 除非另有指示,否则应在
区域中创建所有资源。
下文详细说明了您的每项任务,祝您好运!
任务 1. 创建一个拥有两个区域和两项资产的 Dataplex 数据湖
本实验中的第 2 步所需的 Cloud Storage 存储桶和 BigQuery 数据集已预先创建好。
- 创建拥有两个地区性区域的 Dataplex 数据湖 Sales Lake:
- 名为 Raw Customer Zone 的生区
- 名为 Curated Customer Zone 的策展区
- 将一项预先创建的资产附加到每个区域:
- 将 Cloud Storage 存储桶
-customer-online-sessions 作为新资产 Customer Engagements 附加到生区。 - 将 BigQuery 数据集
.customer_orders 作为新资产 Customer Orders 附加到策展区。
点击检查我的进度以验证是否完成了以下目标:
任务 2. 创建标记模板并将其应用于区域
- 创建包含两个枚举字段的公开标记模板 Protected Customer Data Template:
- 第一个字段名为 Raw Data Flag,可能的值为
Yes
和No
。 - 第二个字段名为 Protected Contact Information Flag,可能的值为
Yes
和No
。
- 使用此模板标记 Raw Customer Zone,并将两个标志的值均设为
Yes
。
点击检查我的进度以验证是否完成了以下目标:
任务 3. 将 Dataplex IAM 角色分配给另一个用户
- 按照最小权限原则,将适当的 Dataplex IAM 角色分配给用户 2 (
)。拥有此角色后,该用户可以将新的 Cloud Storage 文件上传到 Dataplex 资产 Customer Engagements。
点击检查我的进度以验证是否完成了以下目标:
任务 4. 创建数据质量规范文件并将其上传到 Cloud Storage
本实验中的第 2 步所需的 Cloud Storage 存储桶已预先创建好。
- 创建包含以下规范的数据质量规范文件 dq-customer-orders.yaml:
- 应用于 customer_orders.ordered_items 表 user_id 列的 NOT NULL 规则
- 应用于 customer_orders.ordered_items 表 order_id 列的 NOT NULL 规则
- 将该文件上传到 Cloud Storage 存储桶
-dq-config。
点击检查我的进度以验证是否完成了以下目标:
任务 5. 在 Dataplex 中定义并运行数据质量作业
本实验中的第 1 步所需的 BigQuery 数据集已预先创建好。
- 使用包含以下规范的文件 dq-customer-orders.yaml 定义数据质量作业:
属性 | 值 |
---|---|
数据质量作业名称 | Customer Orders Data Quality Job |
保存结果的 BigQuery 目标表 | |
用户服务账号 | Compute Engine 默认服务账号 |
- 立即运行数据质量作业。
点击检查我的进度以验证是否完成了以下目标:
恭喜!
赢得您的下一个技能徽章
本自学实验是使用 Dataplex 构建数据网格技能徽章挑战任务的组成部分。完成此技能徽章挑战任务可赢得上面的徽章,以表彰您取得的成就。您可以在简历和社交平台中分享您的徽章,并使用 #GoogleCloudBadge 来将您所取得的成就广而告之。
Google Cloud 培训和认证
…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践,可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训,并有点播、直播和虚拟三种方式选择,让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。
上次更新手册的时间:2023 年 7 月 4 日
上次测试实验的时间:2023 年 7 月 4 日
版权所有 2024 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。