概要

このラボでは、TensorFlow Data Validation（TFDV）を使用してデータセットを調査し、可視化する方法について説明します。具体的には、記述統計の見方、スキーマの推測、異常値の確認と修正、データセット内のドリフトとスキューのチェックなどを取り上げます。データセットに関しては、本番環境パイプラインにおける経時的変化も含め、その特性を理解することが重要です。また、データの異常値を検出し、トレーニング用、評価用、提供用のデータセットを比較して整合性を確認することも重要です。

学習目標

次の内容を学びます。

• TFDV のインストール
• 統計情報の集計と可視化
• スキーマの推測
• 評価データのエラーチェック
• 評価の異常値のチェックと修正
• ドリフトとスキューのチェック
• スキーマの凍結

ラボ環境を設定する

ラボを開始する

各ラボでは、新しい Google Cloud プロジェクトとリソースセットを一定時間無料で利用できます。

1. Qwiklabs にシークレット ウィンドウでログインします。

2. ラボのアクセス時間（例: 1:15:00）に注意し、時間内に完了できるようにしてください。
   一時停止機能はありません。必要な場合はやり直せますが、最初からになります。

3. 準備ができたら、[ラボを開始] をクリックします。

4. ラボの認証情報（ユーザー名とパスワード）をメモしておきます。この情報は、Google Cloud Console にログインする際に使用します。

5. [Google Console を開く] をクリックします。

6. [別のアカウントを使用] をクリックし、このラボの認証情報をコピーしてプロンプトに貼り付けます。
   他の認証情報を使用すると、エラーが発生したり、料金の請求が発生したりします。

7. 利用規約に同意し、再設定用のリソースページをスキップします。

タスク 1. Vertex AI Workbench のインスタンスを起動する

1. Google Cloud コンソールのナビゲーション メニュー（）で [Vertex AI] を選択します。

2. [すべての推奨 API を有効化] をクリックします。

3. ナビゲーション メニューで [ワークベンチ] をクリックします。

   [ワークベンチ] ページの上部で、[インスタンス] ビューになっていることを確認します。

4. [新規作成] をクリックします。

5. インスタンスの構成:

   • 名前: lab-workbench
   • リージョン: リージョンを に設定します
   • ゾーン: ゾーンを に設定します
   • 詳細オプション（任意）: 必要に応じて [詳細オプション] をクリックして、より詳細なカスタマイズを行います（マシンタイプ、ディスクサイズなど）。

6. [作成] をクリックします。

インスタンスが作成されるまで数分かかります。作成が終了するとインスタンスの名前の横に緑色のチェックマークが付きます。

7. インスタンスの名前の横に表示されている [JupyterLab を開く] をクリックして JupyterLab インターフェースを起動します。ブラウザで新しいタブが開きます。

8. [Python 3] アイコンをクリックして、新規の Python ノートブックを起動します。

9. メニューバーでファイル Untitled.ipynb を右クリックし、[ノートブック名を変更] を選択して、わかりやすい名前を付けます。

これで環境が設定されました。これで Vertex AI Workbench ノートブックを使い始める準備ができました。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 Vertex AI Workbench のインスタンスを起動する

タスク 2. JupyterLab インターフェース内でコース リポジトリのクローンを作成する

GitHub リポジトリには、コースのラボファイルとソリューション ファイルの両方が含まれています。

1. ノートブックの最初のセルに次のコードをコピーして実行し、training-data-analyst リポジトリのクローンを作成します。

!git clone https://github.com/GoogleCloudPlatform/training-data-analyst

2. リポジトリのクローンが作成されたことを確認します。training-data-analyst ディレクトリをダブルクリックし、リポジトリのコンテンツが表示されることを確認します。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 JupyterLab インターフェース内でコース リポジトリのクローンを作成する

タスク 3. TensorFlow Data Validation を使用して高度なビジュアリゼーションを作成する

1. ノートブック インターフェースで、[training-data-analyst] > [courses] > [machine_learning] > [deepdive2] > [production_ml] > [labs] に移動して [tfdv_advanced_taxi.ipynb] を開きます。

2. [Select Kernel] ダイアログで、使用可能なカーネルのリストから [Python 3] を選択します。

3. Notebooks インターフェースで、[編集] > [出力をすべて消去] をクリックします。

ノートブックの手順をよく読み、「#TODO」のマークが付いた行に必要な内容を入力してコードを完成させます。

現在のセルを実行するには、そのセルをクリックして、Shift+Enter キーを押します。その他のセルコマンドは Notebooks UI 内の [実行] の下にあります。

• タスクのヒントが提供されている場合もあります。テキストをハイライト表示すると、関連するヒントが白いテキストで表示されます。
• さらに情報が必要な場合は、[training-data-analyst] > [courses] > [machine_learning] > [deepdive2] > [production_ml] > [solutions] に移動して [tfdv_advanced_taxi.ipynb] を開き、ソリューション全体を見ることもできます。

ラボを終了する

ラボでの学習が完了したら、[ラボを終了] をクリックします。ラボで使用したリソースが Qwiklabs から削除され、アカウントの情報も消去されます。

ラボの評価を求めるダイアログが表示されたら、星の数を選択してコメントを入力し、[送信] をクリックします。

星の数は、それぞれ次の評価を表します。

• 星 1 つ = 非常に不満
• 星 2 つ = 不満
• 星 3 つ = どちらともいえない
• 星 4 つ = 満足
• 星 5 つ = 非常に満足

フィードバックを送信しない場合は、ダイアログ ボックスを閉じてください。

フィードバック、ご提案、修正が必要な箇所については、[サポート] タブからお知らせください。

Copyright 2020 Google LLC All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。