arrow_back

使用 Dataplex 評估資料品質

登录 加入
欢迎加入我们的社区，一起测试和分享您的知识！
done
学习 700 多个动手实验和课程并获得相关技能徽章

使用 Dataplex 評估資料品質

实验 1 小时 30 分钟 universal_currency_alt 1 积分 show_chart 入门级
info 此实验可能会提供 AI 工具来支持您学习。
欢迎加入我们的社区，一起测试和分享您的知识！
done
学习 700 多个动手实验和课程并获得相关技能徽章

GSP1158

Google Cloud 自修研究室標誌

總覽

Dataplex 是智慧型資料架構，可讓機構集中探索、控管、監控及管理資料湖泊、資料倉儲和資料市集裡的資料，以大規模分析數據。

Dataplex 的一項重要功能，是可對 Dataplex 資產 (如 BigQuery 資料表和 Cloud Storage 檔案)，定義並執行資料品質檢查工作。只要使用 Dataplex 資料品質工作，就能驗證資料產生管道的資料、定期監控資料品質是否符合標準，並根據監管需求製作資料品質報表，將資料品質檢查作業融入日常工作流程。

在本研究室中，您會瞭解使用 Dataplex 評估資料品質的方法，包括如何建立自訂資料品質規格檔案，並用該檔案對 BigQuery 資料定義並執行資料品質工作。

學習內容

  • 建立 Dataplex 湖泊、可用區和資產
  • 查詢 BigQuery 資料表，檢查資料品質
  • 建立並上傳資料品質規格檔案
  • 定義並執行資料品質工作
  • 查看資料品質工作的結果

設定和需求

點選「Start Lab」按鈕前的須知事項

請詳閱以下操作說明。研究室活動會計時，而且中途無法暫停。點選「Start Lab」 後就會開始計時，讓您瞭解有多少時間可以使用 Google Cloud 資源。

您將在真正的雲端環境中完成實作研究室活動，而不是在模擬或示範環境。為達此目的，我們會提供新的暫時憑證，讓您用來在研究室活動期間登入及存取 Google Cloud。

如要完成這個研究室活動，請先確認：

  • 您可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。
注意：請使用無痕模式或私密瀏覽視窗執行此研究室。這可以防止個人帳戶和學生帳戶之間的衝突，避免個人帳戶產生額外費用。
  • 是時候完成研究室活動了！別忘了，活動一開始將無法暫停。
注意：如果您擁有個人 Google Cloud 帳戶或專案，請勿用於本研究室，以免產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

  1. 按一下「Start Lab」(開始研究室) 按鈕。如果研究室會產生費用，畫面中會出現選擇付款方式的彈出式視窗。左側的「Lab Details」窗格會顯示下列項目：

    • 「Open Google Cloud console」按鈕
    • 剩餘時間
    • 必須在這個研究室中使用的暫時憑證
    • 完成這個實驗室所需的其他資訊 (如有)

  2. 點選「Open Google Cloud console」；如果使用 Chrome 瀏覽器，也能按一下滑鼠右鍵，然後選取「在無痕式視窗中開啟連結」。

    接著，實驗室會啟動相關資源並開啟另一個分頁，當中顯示「登入」頁面。

    提示：您可以在不同的視窗中並排開啟分頁。

    注意：如果頁面中顯示「選擇帳戶」對話方塊，請點選「使用其他帳戶」。

  3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

    {{{user_0.username | "Username"}}}

    您也可以在「Lab Details」窗格找到 Username。

  4. 點選「下一步」。

  5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

    {{{user_0.password | "Password"}}}

    您也可以在「Lab Details」窗格找到 Password。

  6. 點選「下一步」。

    重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

  7. 按過後續的所有頁面：

    • 接受條款及細則。
    • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
    • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要查看列出 Google Cloud 產品和服務的選單，請點選左上角的「導覽選單」。「導覽選單」圖示

啟動 Cloud Shell

Cloud Shell 是搭載多項開發工具的虛擬機器，提供永久的 5 GB 主目錄，而且在 Google Cloud 中運作。Cloud Shell 提供指令列存取權，方便您使用 Google Cloud 資源。

  1. 點按 Google Cloud 控制台上方的「啟用 Cloud Shell」圖示 「啟動 Cloud Shell」圖示。

連線完成即代表已通過驗證，且專案已設為您的 PROJECT_ID。輸出內容中有一行宣告本工作階段 PROJECT_ID 的文字：

您在本工作階段中的 Cloud Platform 專案會設為「YOUR_PROJECT_ID」

gcloud 是 Google Cloud 的指令列工具，已預先安裝於 Cloud Shell，並支援 Tab 鍵自動完成功能。

  1. (選用) 您可以執行下列指令來列出使用中的帳戶：
gcloud auth list

  1. 點按「授權」。

  2. 輸出畫面應如下所示：

輸出內容：

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`
  1. (選用) 您可以使用下列指令來列出專案 ID：
gcloud config list project

輸出內容：

[core] project = <project_ID>

輸出內容範例：

[core] project = qwiklabs-gcp-44776a13dea667a6 附註：如需有關 gcloud 的完整說明，請前往 Google Cloud 並參閱「gcloud CLI overview guide」(gcloud CLI 總覽指南)。

啟用 Dataproc API

  1. 在 Google Cloud 控制台頂端的搜尋列中，輸入 Cloud Dataproc API。

  2. 點選「Marketplace」下方的 Cloud Dataproc API 搜尋結果。

  3. 點選「啟用」。

工作 1：在 Dataplex 中建立湖泊、可用區和資產

如要定義並執行資料品質工作，您需要先建立一些 Dataplex 資源。

在這項工作中，您會建立新的 Dataplex 湖泊來儲存電子商務客戶資訊，在湖泊中新增原始可用區，然後連結預先建立的 BigQuery 資料集，做為可用區中的新資產。

建立湖泊

  1. 在 Google Cloud 控制台的「導覽選單」(導覽選單) 中，依序前往「數據分析」>「Dataplex」。

如果出現「歡迎使用新版 Dataplex 服務」提示，請點選「關閉」。

  1. 在「管理湖泊」下方，點選「管理」。

  2. 點選「建立湖泊」。

  3. 輸入必要資訊來建立新湖泊：

屬性 值
顯示名稱 Ecommerce Lake
ID 保留預設值。
區域

保留其他預設值。

  1. 點選「建立」。

湖泊會在 3 分鐘內建立完成。

在湖泊中新增可用區

  1. 在「管理」分頁中，點選湖泊名稱。

  2. 點選「新增可用區」。

  3. 輸入必要資訊來建立新的可用區：

屬性 值
顯示名稱 Customer Contact Raw Zone
ID 保留預設值。
類型 原始可用區
資料位置 區域性

保留其他預設值。

舉例來說，「探索功能設定」下方的「啟用中繼資料探索功能」選項預設為啟用，可讓獲授權的使用者探索該可用區中的資料。

  1. 點選「建立」。

可用區會在 2 分鐘內建立完成。

可用區狀態變為「執行中」後，就能執行下一項工作。

將資產連結至可用區

  1. 在「可用區」分頁中，點選可用區名稱。

  2. 在「資產」分頁中，點選「新增資產」。

  3. 點選「Add an asset」。

  4. 輸入必要資訊來連結新資產：

屬性 值
類型 BigQuery 資料集
顯示名稱 Contact Info
ID 保留預設值。
資料集 .customers

保留其他預設值。

  1. 點選「完成」。

  2. 點選「繼續」。

  3. 在「探索功能設定」部分，選取「繼承」來繼承可用區層級的探索設定，然後點選「繼續」。

  4. 點選「提交」。

點選「Check my progress」，確認目標已達成。 在 Dataplex 中建立湖泊、可用區和資產

工作 2：查詢 BigQuery 資料表，檢查資料品質

在上一項工作中，您已根據本研究室預先建立的 customers BigQuery 資料集，建立了新的 Dataplex 資產。這個資料集有 contact_info 資料表，內含一間虛構電子商務公司客戶的原始聯絡資訊。

在這項工作中，您需要查詢這個資料表，開始找出一些潛在的資料品質問題，納入資料品質工作的檢查內容。此外，您也會指定另一個預先建立的資料集，用於在後續工作中儲存資料品質工作結果。

  1. 在 Google Cloud 控制台的「導覽選單」(導覽選單) 中，依序點選「BigQuery」>「SQL 工作區」。

  2. 在「Explorer」窗格中，展開專案 ID 旁邊的箭頭來列出內容：

除了 Dataplex 所建立，用於代管該可用區的資料集 customer_contact_raw_zone 以外，本研究室還預先建立了兩個 BigQuery 資料集：

  • customers
  • customers_dq_dataset

customers 資料集有 contact_info 資料表，內含客戶的聯絡資訊，如客戶 ID、名稱及電子郵件地址等。您會在參與本研究室期間探索這個資料表，並檢查是否有資料品質問題。

customers_dq_dataset 資料集裡沒有任何資料表。當您在後續工作中定義資料品質工作時，會使用該資料集做為目的地，儲存含有資料品質工作結果的新資料表。

BigQuery 資料集清單

  1. 在 SQL 編輯器中，點選「Compose a new query」。貼上下列查詢，點選「執行」：
SELECT * FROM `{{{project_0.project_id}}}.customers.contact_info` ORDER BY id LIMIT 50

這項查詢會從原始資料表中選取 50 筆記錄，並在結果中按照客戶 ID 排序記錄。

  1. 在「結果」窗格中，捲動畫面查看結果。

請注意，有些記錄缺少客戶 ID 或電子郵件地址有誤，可能導致難以管理客戶訂單。

contact_info 資料表中的資料不完整

點選「Check my progress」，確認目標已達成。 查詢 BigQuery 資料表，檢查資料品質

工作 3：建立並上傳資料品質規格檔案

Dataplex 資料品質檢查要求是使用 CloudDQ YAML 規格檔案來定義。YAML 規格檔案建立完成後，就會上傳到 Cloud Storage 值區，供資料品質工作使用。

YAML 檔案 有四個主要部分：

  • 要執行的規則清單 (預先定義或自訂規則)
  • 列篩選器，用於選取要驗證的部分資料
  • 規則繫結，用於將已定義的規則套用到資料表
  • 選用規則維度，用於指定 YAML 檔案可包含的規則類型

在這項工作中，您要為資料品質檢查工作定義新的 YAML 規格檔案，在指定的 BigQuery 資料表中，找出為空值的客戶 ID 和電子郵件地址。檔案定義完成後，請上傳到預先建立的 Cloud Storage 值區，以便在後續工作用於執行資料品質作業。

建立資料品質規格檔案

  1. 在 Cloud Shell 執行下列指令，為資料品質規格建立新的空白檔案：
nano dq-customer-raw-data.yaml
  1. 貼上下列程式碼：
metadata_registry_defaults: dataplex: projects: {{{project_0.project_id | Project ID}}} locations: {{{project_0.default_region | Region}}} lakes: ecommerce-lake zones: customer-contact-raw-zone row_filters: NONE: filter_sql_expr: |- True INTERNATIONAL_ITEMS: filter_sql_expr: |- REGEXP_CONTAINS(item_id, 'INTNL') rule_dimensions: - consistency - correctness - duplication - completeness - conformance - integrity - timeliness - accuracy rules: NOT_NULL: rule_type: NOT_NULL dimension: completeness VALID_EMAIL: rule_type: REGEX dimension: conformance params: pattern: |- ^[^@]+[@]{1}[^@]+$ rule_bindings: VALID_CUSTOMER: entity_uri: bigquery://projects/{{{project_0.project_id | Project ID}}}/datasets/customers/tables/contact_info column_id: id row_filter_id: NONE rule_ids: - NOT_NULL VALID_EMAIL_ID: entity_uri: bigquery://projects/{{{project_0.project_id | Project ID}}}/datasets/customers/tables/contact_info column_id: email row_filter_id: NONE rule_ids: - VALID_EMAIL
  1. 查看程式碼，找出這個檔案中定義的兩項主要資料品質規則。

dq-customer-raw-data.yaml 檔案的開頭是主要參數，用於識別 Dataplex 資源，包括專案 ID、區域，以及 Dataplex 湖泊和可用區的名稱。

接著指定了允許的規則維度和兩項主要規則：

  • NOT_NULL 值的規則是指完整性維度，例如空值。
  • VALID_EMAIL 值的規則是指合規性維度，例如無效值。

最後會使用規則繫結，將規則繫結至實體 (資料表) 和資料欄，以驗證資料品質：

  • 第一個規則繫結是 VALID_CUSTOMER，會將 NOT_NULL 規則繫結至 contact_info 資料表的 id 欄，以驗證 ID 欄是否含有空值。
  • 第二個規則繫結是 VALID_EMAIL_ID，會將 VALID_EMAIL 規則繫結至 contact_info 資料表的 email 欄，以驗證電子郵件地址是否有效。
  1. 依序按下 Ctrl+X 鍵、Y 鍵，儲存並關閉檔案。

將檔案上傳到 Cloud Storage

  • 在 Cloud Shell 中執行下列指令，將檔案上傳到為這個研究室建立的 Cloud Storage 值區：
gsutil cp dq-customer-raw-data.yaml gs://{{{project_0.project_id | Project ID}}}-bucket

點選「Check my progress」，確認目標已達成。 建立並上傳資料品質規格檔案

工作 4：在 Dataplex 中定義並執行資料品質工作

資料品質程序會使用資料品質規格 YAML 檔案，執行資料品質工作，並產生要寫入 BigQuery 資料集的資料品質指標。

在這項工作中，您會使用上一項工作中上傳到 Cloud Storage 的資料品質規格 YAML 檔案，定義並執行資料品質工作。定義這項工作時，還需要指定預先建立的 customer_dq_dataset BigQuery 資料集，用來儲存資料品質結果。

  1. 在 Google Cloud 控制台的「導覽選單」(導覽選單) 中，依序前往「數據分析」>「Dataplex」。

  2. 在「管理湖泊」下方，點選「處理」。

  3. 點選「建立工作」。

  4. 在「檢查資料品質」下方，點選「建立工作」。

  5. 輸入必要資訊來建立新的資料品質工作：

屬性 值
Dataplex 湖泊 ecommerce-lake
顯示名稱 Customer Data Quality Job
ID 保留預設值。
選取 GCS 檔案 -bucket/dq-customer-raw-data.yaml
選取 BigQuery 資料集 .customers_dq_dataset
BigQuery 資料表 dq_results
使用者服務帳戶 Compute Engine 預設服務帳戶

保留其他預設值。

請注意，Compute Engine 預設服務帳戶已預先設定，可提供本研究室所需的適當 IAM 角色和權限。詳情請參閱 Dataplex 說明文件的「Create a service account」一節。

  1. 點選「繼續」。

  2. 在「開始」部分選取「立即」。

  3. 點選「建立」。

工作會在幾分鐘內執行完畢。您可能需要重新整理網頁，才會看到工作已成功執行。

成功執行的工作狀態

點選「Check my progress」，確認目標已達成。 在 Dataplex 中定義並執行資料品質工作

工作 5：在 BigQuery 中查看資料品質結果

在這項工作中，您要檢查 customers_dq_dataset 中的資料表，找出缺少客戶 ID 值，或含有無效電子郵件地址值的記錄。

  1. 在 Google Cloud 控制台的「導覽選單」(導覽選單) 中，依序點選「BigQuery」>「SQL 工作區」。

  2. 在「Explorer」窗格中，展開專案 ID 旁邊的箭頭來列出內容：

  3. 展開 customer_dq_dataset 資料集旁邊的箭頭。

  4. 點選「dq_summary」資料表。

  5. 點選「預覽」分頁標籤來查看結果。

dq_summary 資料表提供了關於整體資料品質的實用資訊，包括不符合資料品質規格檔案內兩項規則的記錄數量。

  1. 捲動至最後一欄「failed_records_query」。

  2. 點選第一列的向下箭頭來展開文字內容，查看 VALID_EMAIL 規則的完整查詢結果。

請注意，該查詢很長，並以 ORDER BY _dq_validation_rule_id 結尾。

  1. 點選「Compose new query」。複製查詢並貼到 SQL 編輯器中，點選「執行」。

查詢結果會顯示 contact_info 資料表中無效的電子郵件地址值。

VALID_EMAIL 的資料品質結果

  1. 第二個儲存格含有 VALID_CUSTOMER 規則結果的查詢，請為該儲存格重複步驟 7 至 8。

查詢結果會找出 contact_info 資料表中缺少 ID 值的 10 筆記錄。

VALID_CUSTOMER 的資料品質結果

點選「Check my progress」，確認目標已達成。 在 BigQuery 資料表中查看資料品質結果

恭喜！

您已建立自訂資料品質規格檔案，並用該檔案對 BigQuery 資料表執行資料品質工作，成功使用 Dataplex 評估資料品質。

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2023 年 7 月 4 日

研究室上次測試日期：2023 年 7 月 4 日

Copyright 2025 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。

此内容目前不可用

一旦可用，我们会通过电子邮件告知您

太好了！

一旦可用，我们会通过电子邮件告知您