检查点
Create a lake
/ 20
Add zone to your lake
/ 20
Attach an asset to a zone
/ 40
Delete assets, zones, and lakes
/ 20
Dataplex:Qwik Start - 控制台
GSP1143
概览
Dataplex 是一种智能数据结构脉络,使组织能够跨数据湖、数据仓库和数据集市集中发现、管理、监控和治理其数据,从而实现大规模分析。具体而言,您可以使用 Dataplex 构建数据网格架构。这是一种组织和技术方法,用于在网域数据所有者之间分散数据所有权。
借助 Dataplex,您可以在不移动或复制数据的情况下管理数据。当您添加新的数据资产时,Dataplex 会收集结构化和非结构化数据的元数据,并自动将所有元数据注册到安全而统一的 Metastore 中。然后,您就可以通过 Data Catalog 和 BigQuery 等 Google Cloud 服务来访问数据和元数据。
在本实验中,您将学习如何使用 Google Cloud 控制台在 Dataplex 中创建和移除数据湖、区域和资产,以着手构建您自己的数据网格。
您将执行的操作
- 启用 Dataplex API
- 创建数据湖
- 向数据湖添加区域
- 附加和分离资产
- 删除区域和数据湖
设置和要求
点击“开始实验”按钮前的注意事项
请阅读以下说明。实验是计时的,并且您无法暂停实验。计时器在您点击开始实验后即开始计时,显示 Google Cloud 资源可供您使用多长时间。
此实操实验可让您在真实的云环境中开展实验活动,免受模拟或演示环境的局限。我们会为您提供新的临时凭据,让您可以在实验规定的时间内用来登录和访问 Google Cloud。
为完成此实验,您需要:
- 能够使用标准的互联网浏览器(建议使用 Chrome 浏览器)。
- 完成实验的时间 - 请注意,实验开始后无法暂停。
如何开始实验并登录 Google Cloud 控制台
-
点击开始实验按钮。如果该实验需要付费,系统会打开一个弹出式窗口供您选择付款方式。左侧是实验详细信息面板,其中包含以下各项:
- 打开 Google Cloud 控制台按钮
- 剩余时间
- 进行该实验时必须使用的临时凭据
- 帮助您逐步完成本实验所需的其他信息(如果需要)
-
点击打开 Google Cloud 控制台(如果您使用的是 Chrome 浏览器,请右键点击并选择在无痕式窗口中打开链接)。
该实验会启动资源并打开另一个标签页,显示登录页面。
提示:请将这些标签页安排在不同的窗口中,并将它们并排显示。
注意:如果您看见选择账号对话框,请点击使用其他账号。 -
如有必要,请复制下方的用户名,然后将其粘贴到登录对话框中。
{{{user_0.username | "<用户名>"}}} 您也可以在实验详细信息面板中找到用户名。
-
点击下一步。
-
复制下面的密码,然后将其粘贴到欢迎对话框中。
{{{user_0.password | "<密码>"}}} 您也可以在实验详细信息面板中找到密码。
-
点击下一步。
重要提示:您必须使用实验提供的凭据。请勿使用您的 Google Cloud 账号凭据。 注意:在本次实验中使用您自己的 Google Cloud 账号可能会产生额外费用。 -
继续在后续页面中点击以完成相应操作:
- 接受条款及条件。
- 由于该账号为临时账号,请勿添加账号恢复选项或双重验证。
- 请勿注册免费试用。
片刻之后,系统会在此标签页中打开 Google Cloud 控制台。
启用 Cloud Dataplex API
-
在 Google Cloud 控制台顶部的搜索栏中,输入 Cloud Dataplex API。
-
点击 Marketplace 下面的 Cloud Dataplex API 搜索结果。
-
点击启用。
任务 1. 创建数据湖
在 Dataplex 中,数据湖是级别最高的组织网域,代表特定数据区域或业务单元。例如,您可以为组织中的每个部门或数据网域创建一个数据湖,以便为特定的用户群组整理和提供数据。
在此任务中,您将创建一个数据湖,以着手构建数据网格。
- 在 Google Cloud 控制台的导航菜单 () 中,依次点击分析 > Dataplex。
如果出现欢迎体验新版 Dataplex
的提示,请点击关闭。
-
在管理数据湖下,点击管理。
-
点击创建数据湖。
-
输入所需信息以新建数据湖:
属性 | 值 |
---|---|
显示名称 | sensors |
ID | 保留默认值。 |
资源区域 |
保留其他默认值。
- 点击创建。
数据湖创建过程最长可能需要 3 分钟。
点击检查我的进度以验证是否完成了以下目标:
任务 2. 向数据湖添加区域
数据湖创建完成后,就可以向其添加区域了。区域是数据湖的子网域,可用于对数据进一步分类。例如,您可以按阶段、使用或限制情况对数据进行分类。
区域有两种类型:
- 原始区域包含原始格式的数据(例如,Cloud Storage 存储桶中的文件),这类数据不需要进行严格的类型检查。
- 精选区域包含经过清理、格式化并准备好用于分析的数据,例如 BigQuery 表。
在此任务中,您将创建一个原始区域,用于存储 Cloud Storage 存储桶中的文件。
-
在管理标签页上,点击数据湖的名称。
-
点击添加区域。
-
输入所需信息以新建区域:
属性 | 值 |
---|---|
显示名称 | temperature raw data |
ID | 保留默认值。 |
类型 | 原始区域 |
数据位置 | 资源区域级 |
保留其他默认值。
例如,默认情况下,发现设置下的启用元数据发现选项处于选中状态,允许获得授权的用户发现区域中的数据。
- 点击创建。
区域创建过程最长可能需要 2 分钟。
点击检查我的进度以验证是否完成了以下目标:
任务 3. 将资产附加到区域
Cloud Storage 存储桶或 BigQuery 数据集中存储的数据可以作为资产附加到 Dataplex 数据湖的区域中。
在此任务中,您将附加一个在 Google Cloud 控制台中创建的 Cloud Storage 存储桶。
-
在区域标签页上,点击区域的名称。
-
在资产标签页上,点击添加资产。
-
点击添加资产。
-
输入所需信息以附加新资产:
属性 | 值 |
---|---|
类型 | 存储桶 |
显示名称 | measurements |
ID | 保留默认值。 |
保留其他默认值。
- 对于存储桶,点击浏览。
您无需离开 Dataplex 就可以附加现有 Cloud Storage 存储桶或新建存储桶。在接下来的步骤中,您将新建一个 Cloud Storage 存储桶并将其附加到区域中。
-
点击新建存储桶 ()。
-
将项目 ID 作为存储桶名称 (
),然后点击继续。 -
对于位置类型,选择资源区域,然后选择
。
保留其他默认值。
- 点击创建。
如果出现系统将禁止公开访问
的提示,点击确认。
-
点击选择即可选择您刚才创建的存储桶,然后点击继续。
-
对于发现设置,选择继承以继承区域级别的发现设置,然后点击继续。
-
点击提交。
点击检查我的进度以验证是否完成了以下目标:
任务 4. 删除资产、区域和数据湖
如要删除数据湖,必须先分离资产,然后再删除区域。
在此任务中,您将从区域中分离资产,然后删除区域,最后再删除数据湖。
分离资产
-
在左侧菜单中,点击管理标签页,然后点击数据湖的名称。
-
在区域标签页上,点击区域的名称。
-
在资产标签页上,选中资产名称左侧的复选框。
-
点击删除资产。
-
点击删除进行确认。
此操作将删除 Cloud Storage 存储桶中的基础数据。它只是让您无法再使用 Dataplex 中的数据湖来访问或发现 Cloud Storage 存储桶。
删除区域
-
在左侧菜单中,点击管理标签页,然后点击数据湖的名称。
-
在区域标签页上,选中区域名称左侧的复选框。
-
点击删除区域。
-
点击删除进行确认。
删除数据湖
-
在左侧菜单中,点击管理标签页,然后点击数据湖的名称。
-
点击页面顶部的删除。
-
在文本框中输入 delete 以确认删除。
-
点击删除数据湖以确认删除。
点击检查我的进度以验证是否完成了以下目标:
恭喜!
您已使用 Google Cloud 控制台在 Dataplex 中创建和删除了数据湖、区域和资产。
Google Cloud 培训和认证
…可帮助您充分利用 Google Cloud 技术。我们的课程会讲解各项技能与最佳实践,可帮助您迅速上手使用并继续学习更深入的知识。我们提供从基础到高级的全方位培训,并有点播、直播和虚拟三种方式选择,让您可以按照自己的日程安排学习时间。各项认证可以帮助您核实并证明您在 Google Cloud 技术方面的技能与专业知识。
上次更新手册的时间:2023 年 9 月 20 日
上次测试实验的时间:2023 年 9 月 20 日
版权所有 2024 Google LLC 保留所有权利。Google 和 Google 徽标是 Google LLC 的商标。其他所有公司名和产品名可能是其各自相关公司的商标。