GSP814

概要

Dataplex は、データレイク、データ ウェアハウス、データマートに分散したデータの一元的な検出、管理、モニタリング、統制を実現し、大規模な分析を支援するインテリジェントなデータ ファブリックです。

Data Catalog は、Dataplex 内のスケーラブルなフルマネージド型メタデータ管理サービスです。データ検出のためのシンプルで使いやすい検索インターフェースと、テクニカル メタデータおよびビジネス メタデータの両方を取得できる柔軟で強力なカタログ化システムを提供しています。また、Cloud Data Loss Prevention（DLP）および Cloud Identity and Access Management（IAM）とのインテグレーションにより、セキュリティとコンプライアンスの強固な基盤を備えています。

Data Catalog の使用

Dataplex 内の Data Catalog を使用すると、アクセス可能なアセットを検索して、データアセットにタグを付けて検出とアクセス制御をサポートできます。タグによって特定のデータアセットにカスタム メタデータ フィールドを追加できるため（例: 保護対象データや機密データを含む特定のアセットにタグを付ける）、簡単にアセットを識別して取得できるようになります。また、再利用可能なタグ テンプレートを作成すると、同じタグを別のデータアセットに迅速に割り当てることができます。

目標

このラボでは、次の方法について学びます。

• Data Catalog API を有効にする
• SQL Server、PostgreSQL、MySQL 用の Dataplex コネクタを構成する
• Dataplex 内の Data Catalog で SQL Server、PostgreSQL、MySQL のエントリを検索する

前提条件

注: ラボを開始する前に個人または企業の Gmail アカウントからログアウトするか、このラボをシークレット モードで実行してください。これにより、ラボの受講中にログインによる混乱を避けることができます。

設定と要件

[ラボを開始] ボタンをクリックする前に

こちらの手順をお読みください。ラボの時間は記録されており、一時停止することはできません。[ラボを開始] をクリックするとスタートするタイマーは、Google Cloud のリソースを利用できる時間を示しています。

このハンズオンラボでは、シミュレーションやデモ環境ではなく、実際のクラウド環境を使ってご自身でラボのアクティビティを行うことができます。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。

このラボを完了するためには、下記が必要です。

• 標準的なインターネット ブラウザ（Chrome を推奨）

注: このラボの実行には、シークレット モードまたはシークレット ブラウジング ウィンドウを使用してください。これにより、個人アカウントと受講者アカウント間の競合を防ぎ、個人アカウントに追加料金が発生することを防ぎます。

• ラボを完了するために十分な時間を確保してください。ラボをいったん開始すると一時停止することはできません。

注: すでに個人の Google Cloud アカウントやプロジェクトをお持ちの場合でも、このラボでは使用しないでください。アカウントへの追加料金が発生する可能性があります。

ラボを開始して Google Cloud コンソールにログインする方法

1. [ラボを開始] ボタンをクリックします。ラボの料金をお支払いいただく必要がある場合は、表示されるポップアップでお支払い方法を選択してください。 左側の [ラボの詳細] パネルには、以下が表示されます。

   • [Google Cloud コンソールを開く] ボタン
   • 残り時間
   • このラボで使用する必要がある一時的な認証情報
   • このラボを行うために必要なその他の情報（ある場合）

2. [Google Cloud コンソールを開く] をクリックします（Chrome ブラウザを使用している場合は、右クリックして [シークレット ウィンドウでリンクを開く] を選択します）。

   ラボでリソースが起動し、別のタブで [ログイン] ページが表示されます。

   ヒント: タブをそれぞれ別のウィンドウで開き、並べて表示しておきましょう。

   注: [アカウントの選択] ダイアログが表示されたら、[別のアカウントを使用] をクリックします。

3. 必要に応じて、下のユーザー名をコピーして、[ログイン] ダイアログに貼り付けます。

   {{{user_0.username | "Username"}}}

   [ラボの詳細] パネルでも [ユーザー名] を確認できます。

4. [次へ] をクリックします。

5. 以下のパスワードをコピーして、[ようこそ] ダイアログに貼り付けます。

   {{{user_0.password | "Password"}}}

   [ラボの詳細] パネルでも [パスワード] を確認できます。

6. [次へ] をクリックします。

   重要: ラボで提供された認証情報を使用する必要があります。Google Cloud アカウントの認証情報は使用しないでください。 注: このラボでご自身の Google Cloud アカウントを使用すると、追加料金が発生する場合があります。

7. その後次のように進みます。

   • 利用規約に同意してください。
   • 一時的なアカウントなので、復元オプションや 2 要素認証プロセスは設定しないでください。
   • 無料トライアルには登録しないでください。

その後、このタブで Google Cloud コンソールが開きます。

注: Google Cloud のプロダクトやサービスのリストを含むメニューを表示するには、左上のナビゲーション メニューをクリックします。

Cloud Shell をアクティブにする

Cloud Shell は、開発ツールと一緒に読み込まれる仮想マシンです。5 GB の永続ホーム ディレクトリが用意されており、Google Cloud で稼働します。Cloud Shell を使用すると、コマンドラインで Google Cloud リソースにアクセスできます。

1. Google Cloud コンソールの上部にある「Cloud Shell をアクティブにする」アイコン をクリックします。

接続した時点で認証が完了しており、プロジェクトに各自の PROJECT_ID が設定されます。出力には、このセッションの PROJECT_ID を宣言する次の行が含まれています。

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud は Google Cloud のコマンドライン ツールです。このツールは、Cloud Shell にプリインストールされており、タブ補完がサポートされています。

2. （省略可）次のコマンドを使用すると、有効なアカウント名を一覧表示できます。

gcloud auth list

3. [承認] をクリックします。

4. 出力は次のようになります。

出力:

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. （省略可）次のコマンドを使用すると、プロジェクト ID を一覧表示できます。

gcloud config list project

出力:

[core] project = <project_ID>

出力例:

[core] project = qwiklabs-gcp-44776a13dea667a6 注: Google Cloud における gcloud ドキュメントの全文については、gcloud CLI の概要ガイドをご覧ください。

タスク 1. Data Catalog API を有効にする

1. ナビゲーション メニューを開き、[API とサービス] > [ライブラリ] を選択します。

2. 検索バーに「Data Catalog」と入力し、[Google Cloud Data Catalog API] を選択します。

3. 続いて [有効にする] をクリックします。

注: Data Catalog API の有効化を試した後に「操作の失敗」を示すエラーが発生した場合は、[閉じる] をクリックしてブラウザタブを更新してから、[有効にする] をもう一度クリックしてください。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 Data Catalog API を有効にする

タスク 2. SQL Server から Dataplex

まず、環境を設定します。

1. コンソールの右上にある Cloud Shell をアクティブにするアイコンをクリックして、新しい Cloud Shell セッションを開きます。

2. 次のコマンドを実行して、プロジェクト ID を環境変数として設定します。

export PROJECT_ID=$(gcloud config get-value project)

SQL Server データベースを作成する

1. Cloud Shell セッションで、次のコマンドを実行してスクリプトをダウンロードし、SQL Server インスタンスを作成してデータを追加します。

gsutil cp gs://spls/gsp814/cloudsql-sqlserver-tooling.zip . unzip cloudsql-sqlserver-tooling.zip

2. 現在の作業ディレクトリを、ダウンロードしたディレクトリに変更します。

cd cloudsql-sqlserver-tooling/infrastructure/terraform

3. 次のコマンドを実行して、リージョンを us-central1 から、実際に割り当てられているデフォルトのリージョンに変更します。

export REGION={{{project_0.default_region|REGION}}} sed -i "s/us-central1/$REGION/g" variables.tf

4. init-db.sh スクリプトを実行します。

cd ~/cloudsql-sqlserver-tooling bash init-db.sh

これで、SQL Server インスタンスが作成され、ランダムなスキーマが追加されます。

注: [Error: Failed to load "tfplan" as a plan file] が表示された場合は、init-db スクリプトを再実行してください。

完了するまでに 5～10 分ほどかかります。以下の出力が表示されたら次に進みます。

CREATE TABLE factory_warehouse15797.employees53b82dc5 ( school80581 REAL, reason91250 DATETIME, randomdata32431 BINARY, phone_number52754 REAL, person66471 REAL, credit_card75527 DATETIME ) COMPLETED

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 SQL Server データベースを作成する

サービス アカウントを設定する

1. 次のコマンドを実行して、サービス アカウントを作成します。

gcloud iam service-accounts create sqlserver2dc-credentials \ --display-name "Service Account for SQL Server to Data Catalog connector" \ --project $PROJECT_ID

2. サービス アカウント キーを作成し、ダウンロードします。

gcloud iam service-accounts keys create "sqlserver2dc-credentials.json" \ --iam-account "sqlserver2dc-credentials@$PROJECT_ID.iam.gserviceaccount.com"

3. サービス アカウントに Data Catalog の管理者ロールを追加します。

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member "serviceAccount:sqlserver2dc-credentials@$PROJECT_ID.iam.gserviceaccount.com" \ --quiet \ --project $PROJECT_ID \ --role "roles/datacatalog.admin"

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 SQL Server のサービス アカウントを設定する

SQL Server から Dataplex へのコネクタを実行する

こちらの GitHub リポジトリから、SQL Server コネクタを自分で構築できます。

簡単に行えるように、Docker イメージを使用します。

必要な変数は、Terraform 構成によって出力されました。

1. ディレクトリを Terraform スクリプトの場所に変更します。

cd infrastructure/terraform/

2. 環境変数を取得します。

public_ip_address=$(terraform output -raw public_ip_address) username=$(terraform output -raw username) password=$(terraform output -raw password) database=$(terraform output -raw db_name)

3. サンプルコードのルート ディレクトリに戻ります。

cd ~/cloudsql-sqlserver-tooling

4. 次のコマンドを実行して、コネクタを実行します。

docker run --rm --tty -v \ "$PWD":/data mesmacosta/sqlserver2datacatalog:stable \ --datacatalog-project-id=$PROJECT_ID \ --datacatalog-location-id=$REGION \ --sqlserver-host=$public_ip_address \ --sqlserver-user=$username \ --sqlserver-pass=$password \ --sqlserver-database=$database

すぐに次の出力が表示されます。

============End sqlserver-to-datacatalog============

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 SQL Server から Data Catalog へのコネクタを実行する

Dataplex で SQL Server エントリを検索する

1. スクリプトが終了したら、ナビゲーション メニューを開き、サービスのリストから [Dataplex] を選択します。

2. [Dataplex] ページで [タグ テンプレート] をクリックします。

sqlserver タグ テンプレートが一覧表示されます。

3. 次に、[エントリ グループ] を選択します。

[エントリ グループ] リストに sqlserver エントリ グループが表示されます。

4. sqlserver エントリ グループをクリックします。コンソールには次のように表示されます。

これはエントリ グループの実際の値です。sqlserver に含まれるすべてのエントリを UI で確認できます。

5. warehouse エントリの一つをクリックします。カスタム エントリの詳細とタグを確認します。

これはコネクタによって追加される実際の値です。これによって Dataplex 内でメタデータを検索できるようになります。

クリーンアップ

1. 作成されたリソースを削除するには、次のコマンドを実行して SQL Server のメタデータを削除します。

./cleanup-db.sh

2. クリーナー コンテナを実行します。

docker run --rm --tty -v \ "$PWD":/data mesmacosta/sqlserver-datacatalog-cleaner:stable \ --datacatalog-project-ids=$PROJECT_ID \ --rdbms-type=sqlserver \ --table-container-type=schema

3. 次のコマンドを実行して、SQL Server データベースを削除します。

./delete-db.sh

4. ナビゲーションメニューで [Dataplex] をクリックします。

5. 「sqlserver」を検索します。

SQL Server のタグ テンプレートが結果に表示されなくなります。

Cloud Shell に次の出力が表示されることを確認したら、次に進みます。

Cloud SQL Instance deleted COMPLETED

次に、同じ操作を PostgreSQL インスタンスで行う方法を学習します。

タスク 3. PostgreSQL から Dataplex

PostgreSQL データベースを作成する

1. Cloud Shell で次のコマンドを実行して、ホーム ディレクトリに戻ります。

cd

2. 次のコマンドを実行して、GitHub リポジトリのクローンを作成します。

gsutil cp gs://spls/gsp814/cloudsql-postgresql-tooling.zip . unzip cloudsql-postgresql-tooling.zip

3. 現在の作業ディレクトリを、クローン作成したリポジトリのディレクトリに変更します。

cd cloudsql-postgresql-tooling/infrastructure/terraform

4. 次のコマンドを実行して、リージョンを us-central1 から、実際に割り当てられているデフォルトのリージョンに変更します。

export REGION={{{project_0.default_region|REGION}}} sed -i "s/us-central1/$REGION/g" variables.tf

5. init-db.sh スクリプトを実行します。

cd ~/cloudsql-postgresql-tooling bash init-db.sh

これで、PostgreSQL インスタンスが作成され、ランダムなスキーマが追加されます。完了するまでに 10～15 分ほどかかります。

注: [Error: Failed to load "tfplan" as a plan file] が表示された場合は、init-db スクリプトを再実行してください。

すぐに次の出力が表示されます。

CREATE TABLE factory_warehouse69945.home17e97c57 ( house57588 DATE, paragraph64180 SMALLINT, ip_address61569 JSONB, date_time44962 REAL, food19478 JSONB, state8925 VARCHAR(25), cpf75444 REAL, date_time96090 SMALLINT, reason7955 CHAR(5), phone_number96292 INT, size97593 DATE, date_time609 CHAR(5), location70431 DATE ) COMPLETED

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 PostgreSQL データベースを作成する

サービス アカウントを設定する

1. サービス アカウントを作成します。

gcloud iam service-accounts create postgresql2dc-credentials \ --display-name "Service Account for PostgreSQL to Data Catalog connector" \ --project $PROJECT_ID

2. サービス アカウント キーを作成し、ダウンロードします。

gcloud iam service-accounts keys create "postgresql2dc-credentials.json" \ --iam-account "postgresql2dc-credentials@$PROJECT_ID.iam.gserviceaccount.com"

3. サービス アカウントに Data Catalog の管理者ロールを追加します。

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member "serviceAccount:postgresql2dc-credentials@$PROJECT_ID.iam.gserviceaccount.com" \ --quiet \ --project $PROJECT_ID \ --role "roles/datacatalog.admin"

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 PostgreSQL のサービス アカウントを作成する

PostgreSQL から Dataplex へのコネクタを実行する

こちらの GitHub リポジトリから、PostgreSQL コネクタを自分で構築できます。

簡単に行えるように、Docker イメージを使用します。

必要な変数は、Terraform 構成によって出力されました。

1. ディレクトリを Terraform スクリプトの場所に変更します。

cd infrastructure/terraform/

2. 環境変数を取得します。

public_ip_address=$(terraform output -raw public_ip_address) username=$(terraform output -raw username) password=$(terraform output -raw password) database=$(terraform output -raw db_name)

3. サンプルコードのルート ディレクトリに戻ります。

cd ~/cloudsql-postgresql-tooling

4. コネクタを実行します。

docker run --rm --tty -v \ "$PWD":/data mesmacosta/postgresql2datacatalog:stable \ --datacatalog-project-id=$PROJECT_ID \ --datacatalog-location-id=$REGION \ --postgresql-host=$public_ip_address \ --postgresql-user=$username \ --postgresql-pass=$password \ --postgresql-database=$database

すぐに次の出力が表示されます。

============End postgresql-to-datacatalog============

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 PostgreSQL から Data Catalog へのコネクタを実行する

スクリプトの結果を確認する

1. Dataplex のホームページが表示されていることを確認します。

2. [タグ テンプレート] をクリックします。

次の postgresql タグ テンプレートが表示されます。

3. [エントリ グループ] をクリックします。

次の postgresql エントリ グループが表示されます

4. postgresql エントリ グループをクリックします。コンソールには次のように表示されます。

これはエントリ グループの実際の値です。postgresql に含まれるすべてのエントリを UI で確認できます。

5. warehouse エントリの一つをクリックします。カスタム エントリの詳細とタグを確認します。

これはコネクタによって追加される実際の値です。これによって Dataplex 内でメタデータを検索できるようになります。

クリーンアップ

1. 作成されたリソースを削除するには、次のコマンドを実行して PostgreSQL のメタデータを削除します。

./cleanup-db.sh

2. クリーナー コンテナを実行します。

docker run --rm --tty -v \ "$PWD":/data mesmacosta/postgresql-datacatalog-cleaner:stable \ --datacatalog-project-ids=$PROJECT_ID \ --rdbms-type=postgresql \ --table-container-type=schema

3. 最後に、PostgreSQL データベースを削除します。

./delete-db.sh

4. ナビゲーション メニューで [Dataplex] をクリックします。

5. 「PostgreSQL」を検索します。PostgreSQL のタグ テンプレートが結果に表示されなくなります。

Cloud Shell に次の出力が表示されることを確認したら、次に進みます。

Cloud SQL Instance deleted COMPLETED

次に、同じ操作を MySQL インスタンスで行う方法を学習します。

タスク 4. MySQL から Dataplex

MySQL データベースを作成する

1. Cloud Shell で次のコマンドを実行して、ホーム ディレクトリに戻ります。

cd

2. 次のコマンドを実行してスクリプトをダウンロードし、MySQL Server インスタンスを作成してデータを追加します。

gsutil cp gs://spls/gsp814/cloudsql-mysql-tooling.zip . unzip cloudsql-mysql-tooling.zip

3. 現在の作業ディレクトリを、クローン作成したリポジトリのディレクトリに変更します。

cd cloudsql-mysql-tooling/infrastructure/terraform

4. 次のコマンドを実行して、リージョンを us-central1 から、実際に割り当てられているデフォルトのリージョンに変更します。

export REGION={{{project_0.default_region|REGION}}} sed -i "s/us-central1/$REGION/g" variables.tf

5. init-db.sh スクリプトを実行します。

cd ~/cloudsql-mysql-tooling bash init-db.sh

これで、MySQL インスタンスが作成され、ランダムなスキーマが追加されます。数分で次のような出力が表示されます。

CREATE TABLE factory_warehouse14342.persons88a5ebc4 ( address9634 TEXT, cpf12934 FLOAT, food88799 BOOL, food4761 LONGTEXT, credit_card44049 FLOAT, city8417 TINYINT, name76076 DATETIME, address19458 TIME, reason49953 DATETIME ) COMPLETED 注: [Error: Failed to load "tfplan" as a plan file] が表示された場合は、init-db スクリプトを再実行してください。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 MySQL データベースを作成する

サービス アカウントを設定する

1. 次のコマンドを実行して、サービス アカウントを作成します。

gcloud iam service-accounts create mysql2dc-credentials \ --display-name "Service Account for MySQL to Data Catalog connector" \ --project $PROJECT_ID

2. サービス アカウント キーを作成し、ダウンロードします。

gcloud iam service-accounts keys create "mysql2dc-credentials.json" \ --iam-account "mysql2dc-credentials@$PROJECT_ID.iam.gserviceaccount.com"

3. サービス アカウントに Data Catalog の管理者ロールを追加します。

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member "serviceAccount:mysql2dc-credentials@$PROJECT_ID.iam.gserviceaccount.com" \ --quiet \ --project $PROJECT_ID \ --role "roles/datacatalog.admin"

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 MySQL のサービス アカウントを作成する

MySQL から Dataplex へのコネクタを実行する

こちらの GitHub リポジトリから、MySQL コネクタを自分で構築できます。

簡単に行えるように、このラボでは Docker イメージを使用します。

必要な変数は、Terraform 構成によって出力されました。

1. ディレクトリを Terraform スクリプトの場所に変更します。

cd infrastructure/terraform/

2. 環境変数を取得します。

public_ip_address=$(terraform output -raw public_ip_address) username=$(terraform output -raw username) password=$(terraform output -raw password) database=$(terraform output -raw db_name)

3. サンプルコードのルート ディレクトリに戻ります。

cd ~/cloudsql-mysql-tooling

4. コネクタを実行します。

docker run --rm --tty -v \ "$PWD":/data mesmacosta/mysql2datacatalog:stable \ --datacatalog-project-id=$PROJECT_ID \ --datacatalog-location-id=$REGION \ --mysql-host=$public_ip_address \ --mysql-user=$username \ --mysql-pass=$password \ --mysql-database=$database

すぐに次の出力が表示されます。

============End mysql-to-datacatalog============

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 MySQL から Data Catalog へのコネクタを実行する

スクリプトの結果を確認する

1. Dataplex のホームページが表示されていることを確認します。

2. [タグ テンプレート] をクリックします。

次の mysql タグ テンプレートが表示されます。

3. [エントリ グループ] をクリックします。

次の mysql エントリ グループが表示されます

4. mysql エントリ グループをクリックします。コンソールには次のように表示されます。

これはエントリ グループの実際の値です。MySQL に含まれるすべてのエントリを UI で確認できます。

5. warehouse エントリの一つをクリックします。カスタム エントリの詳細とタグを確認します。

これはコネクタによって追加される実際の値です。これによって Dataplex 内でメタデータを検索できるようになります。

クリーンアップ

1. 作成されたリソースを削除するには、次のコマンドを実行して MySQL のメタデータを削除します。

./cleanup-db.sh

2. クリーナー コンテナを実行します。

docker run --rm --tty -v \ "$PWD":/data mesmacosta/mysql-datacatalog-cleaner:stable \ --datacatalog-project-ids=$PROJECT_ID \ --rdbms-type=mysql \ --table-container-type=database

3. 最後に、PostgreSQL データベースを削除します。

./delete-db.sh

4. ナビゲーションメニューで [Dataplex] をクリックします。

5. 「MySQL」を検索します。MySQL のタグ テンプレートが結果に表示されなくなります。

Cloud Shell に次の出力が表示されることを確認したら、次に進みます。

Cloud SQL Instance deleted COMPLETED

お疲れさまでした

これで完了です。このラボでは、MySQL、PostgreSQL、SQL Server から Dataplex へのコネクタを構築して実行する方法を学習しました。また、Dataplex 内の Data Catalog で SQL Server、PostgreSQL、MySQL のエントリを検索する方法も学習しました。これらの知識を活かして、独自のコネクタを構築しましょう。

コースを完了する

このセルフペース ラボは、「BigQuery for Data Warehousing」、「BigQuery for Marketing Analysts」、「Data Catalog Fundamentals」コースの一部です。受講可能なすべてのコースについては、Google Cloud Skills Boost カタログをご覧ください。

次のステップと詳細情報

• Data Catalog の概要を確認する
• Data Catalog での検索方法を確認する
• API およびクライアント ライブラリの概要を確認する

Google Cloud トレーニングと認定資格

Google Cloud トレーニングと認定資格を通して、Google Cloud 技術を最大限に活用できるようになります。必要な技術スキルとベスト プラクティスについて取り扱うクラスでは、学習を継続的に進めることができます。トレーニングは基礎レベルから上級レベルまであり、オンデマンド、ライブ、バーチャル参加など、多忙なスケジュールにも対応できるオプションが用意されています。認定資格を取得することで、Google Cloud テクノロジーに関するスキルと知識を証明できます。

マニュアルの最終更新日: 2023 年 10 月 17 日

ラボの最終テスト日: 2023 年 10 月 17 日

Copyright 2024 Google LLC All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。