チェックポイント
Create a Dataproc cluster (region: us-central1)
/ 50
Submit a Spark Job
/ 25
Update a cluster for 5 worker nodes
/ 25
API Explorer: クラスタを作成して更新する
GSP288
概要
Google APIs Explorer は、さまざまな Google API をインタラクティブに試すことができるツールです。API Explorer を使用すると、以下のようなことができます。
- 利用可能な API とそのバージョンを簡単に確認する。
- 各 API で使用できるメソッド、メソッドでサポートされるパラメータ、インラインのドキュメントを確認する。
- メソッドのリクエストを実行して、リアルタイムでレスポンスを確認する。
- 認証および承認済みの API 呼び出しを行う
- すべてのサービス、メソッド、最新のリクエストの中から目的のものを迅速に見つける
API Explorer では、リクエストが行われるたびに独自の API キーが使用されます。API Explorer を使用してリクエストを行う際、{YOUR_API_KEY} というラベルのプレースホルダを含むリクエスト構文が表示されますが、このプレースホルダを独自の API キーに置き換えると、アプリケーションで同じリクエストを行うことができます。
このラボでは、インライン Google APIs Explorer テンプレートを使用して Cloud Dataproc API を呼び出し、クラスタを作成します。その後、クラスタ内でシンプルな Spark ジョブを実行します。また、API Explorer テンプレートを使用して Cloud Dataproc API を呼び出し、クラスタを更新する方法についても説明します。
設定と要件
[ラボを開始] ボタンをクリックする前に
こちらの手順をお読みください。ラボの時間は記録されており、一時停止することはできません。[ラボを開始] をクリックするとスタートするタイマーは、Google Cloud のリソースを利用できる時間を示しています。
このハンズオンラボでは、シミュレーションやデモ環境ではなく、実際のクラウド環境を使ってご自身でラボのアクティビティを行うことができます。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。
このラボを完了するためには、下記が必要です。
- 標準的なインターネット ブラウザ(Chrome を推奨)
- ラボを完了するために十分な時間を確保してください。ラボをいったん開始すると一時停止することはできません。
ラボを開始して Google Cloud コンソールにログインする方法
-
[ラボを開始] ボタンをクリックします。ラボの料金をお支払いいただく必要がある場合は、表示されるポップアップでお支払い方法を選択してください。 左側の [ラボの詳細] パネルには、以下が表示されます。
- [Google Cloud コンソールを開く] ボタン
- 残り時間
- このラボで使用する必要がある一時的な認証情報
- このラボを行うために必要なその他の情報(ある場合)
-
[Google Cloud コンソールを開く] をクリックします(Chrome ブラウザを使用している場合は、右クリックして [シークレット ウィンドウでリンクを開く] を選択します)。
ラボでリソースが起動し、別のタブで [ログイン] ページが表示されます。
ヒント: タブをそれぞれ別のウィンドウで開き、並べて表示しておきましょう。
注: [アカウントの選択] ダイアログが表示されたら、[別のアカウントを使用] をクリックします。 -
必要に応じて、下のユーザー名をコピーして、[ログイン] ダイアログに貼り付けます。
{{{user_0.username | "Username"}}} [ラボの詳細] パネルでも [ユーザー名] を確認できます。
-
[次へ] をクリックします。
-
以下のパスワードをコピーして、[ようこそ] ダイアログに貼り付けます。
{{{user_0.password | "Password"}}} [ラボの詳細] パネルでも [パスワード] を確認できます。
-
[次へ] をクリックします。
重要: ラボで提供された認証情報を使用する必要があります。Google Cloud アカウントの認証情報は使用しないでください。 注: このラボでご自身の Google Cloud アカウントを使用すると、追加料金が発生する場合があります。 -
その後次のように進みます。
- 利用規約に同意してください。
- 一時的なアカウントなので、復元オプションや 2 要素認証プロセスは設定しないでください。
- 無料トライアルには登録しないでください。
その後、このタブで Google Cloud コンソールが開きます。
Cloud Shell をアクティブにする
Cloud Shell は、開発ツールと一緒に読み込まれる仮想マシンです。5 GB の永続ホーム ディレクトリが用意されており、Google Cloud で稼働します。Cloud Shell を使用すると、コマンドラインで Google Cloud リソースにアクセスできます。
- Google Cloud コンソールの上部にある「Cloud Shell をアクティブにする」アイコン をクリックします。
接続した時点で認証が完了しており、プロジェクトに各自の PROJECT_ID が設定されます。出力には、このセッションの PROJECT_ID を宣言する次の行が含まれています。
gcloud
は Google Cloud のコマンドライン ツールです。このツールは、Cloud Shell にプリインストールされており、タブ補完がサポートされています。
- (省略可)次のコマンドを使用すると、有効なアカウント名を一覧表示できます。
-
[承認] をクリックします。
-
出力は次のようになります。
出力:
- (省略可)次のコマンドを使用すると、プロジェクト ID を一覧表示できます。
出力:
出力例:
gcloud
ドキュメントの全文については、gcloud CLI の概要ガイドをご覧ください。
タスク 1. API Explorer を開く
-
[ナビゲーション メニュー] > [API とサービス] の順に移動します。
-
[Cloud Dataproc API] が見つかるまで下にスクロールして、この API をクリックします。
-
API が有効になっていることを確認します。有効になっていない場合は、[有効にする] をクリックします。
-
API が有効になっていることを確認できたら、Rest API リファレンスを開きます。Cloud Dataproc API の REST API リファレンス ページが、新しいタブで表示されます。
タスク 2. クラスタを作成する
左側の [API とリファレンス] セクションで [REST リファレンス] > [v1] > [projects.regions.clusters] > [create] を選択して、projects.regions.clusters.create
メソッドを開きます。または、メソッド: projects.regions.clusters.create のリファレンスを参照してクラスタを作成します。
次のようにフォームに入力して、以下の API Explorer テンプレートを実行します。
- [projectId] フィールドに Qwiklabs プロジェクト ID を入力します。
- [region] フィールドを
に設定します。 - [Request body] で中かっこの内側をクリックし、
clusterName
プロパティを追加します。clusterName に任意のクラスタ名を入力します。clusterName の値に大文字とスペースを含めることはできません。 - [add a property] プルダウン メニューで、
config
を選択します。 - [add a property] プルダウンで、
gceClusterConfig
を選択します。 - この [add a Property] プルダウンで
zoneUri
フィールドを選択し、以下の URI を追加します。my-project-id
はこのラボのプロジェクト ID に置き換えてください。
-
config
の中かっこでsoftwareConfig
を選択します。 -
softwareConfig
の中かっこでimageVersion
を選択して、2.0-debian10
に設定します。 -
softwareConfig
の中かっこでoptionalComponents
を選択します。optionalComponents
で [ADD ITEM] をクリックして、プルダウンからJUPYTER
を選択します。
以上の操作が終了すると、[Request body] 項目は以下のように表示されます。
- [Credentials] の [Google OAuth 2.0] と [API key] のチェックボックスがオンになっていることを確認します。
-
各フィールドに余分なスペースが含まれていないことを確認し、
-
下にスクロールして [Execute] をクリックします。
-
このラボを開始するときに使用した受講者アカウントを選択します。
-
次の画面で [許可] をクリックすると、API Explorer にアクセスできます。
-
リクエストの下に Dataproc API の結果が次のように表示されます。
- ナビゲーション メニュー > [Dataproc] > [クラスタ] に移動して、作成したクラスタを確認できます。
完了したタスクをテストする
[進行状況を確認] をクリックして、実行したタスクを確認します。
タスク 3. Spark ジョブを実行する
次に、既存の Cloud Dataproc クラスタで、pi のおおよその値を計算するシンプルな Apache Spark ジョブを実行します。
- 左側の [API とリファレンス] セクションで [REST レファレンス] > [v1] > [projects.regions.jobs] > [submit] を選択して、
projects.regions.jobs.submit
メソッドを開きます。または、こちらのリンクを参照してクラスタにジョブを送信します。
次のようにフォームに入力して、以下の API Explorer テンプレートを実行します。
- [projectId] フィールドにプロジェクト ID を入力します。
- [region] フィールドを
に設定します。 - [Request body] で中かっこの内側をクリックし、
job
を選択します。 - その下にある中かっこをクリックし、
placement
を選択します。 - その下にある中かっこをクリックし、
clusterName
を選択してからクラスタの名前を入力します。 - ジョブの下にある中かっこで、
sparkJob
を選択します。 - 次の 3 つの項目を sparkJob の下に追加します。
- sparkJob の中かっこで
args
を選択します。args
で [ADD ITEM] をクリックして、「1000」と入力します。 - [add a property] プルダウンで
jarFileUris
を選択します。jarFileUris
で [ADD ITEM] をクリックして、「file:///usr/lib/spark/examples/jars/spark-examples.jar
」と入力します。 - [add a Property] プルダウンで、
mainClass
を選択して、「org.apache.spark.examples.SparkPi
」と入力します。
以上の操作が終了すると、[Request body] 項目は以下のように表示されます。
- [Credentials] の [Google OAuth 2.0] と [API key] のチェックボックスがオンになっていることを確認します。
- 各フィールドに余分なスペースが含まれていないことを確認し、[EXECUTE] をクリックします。
リクエストの下に Dataproc API の処理結果が次のように表示されます。
-
[Dataproc] > [クラスタ] の順に移動すると、結果を確認できます。クラスタの名前をクリックして、[ジョブ] タブをクリックします。
-
[ジョブ ID] をクリックして [行の折り返し] をオンにすると、右端を超える行を表示できます。
完了したタスクをテストする
[進行状況を確認] をクリックして、実行したタスクを確認します。Spark ジョブがクラスタに正常に送信されていれば、評価スコアが表示されます。
タスク 4. クラスタを更新する
- 左側の [API とリファレンス] セクションで [REST レファレンス] > [v1] > [projects.regions.clusters] > [patch] を選択して、
projects.regions.clusters.patch
メソッドを開きます。または、こちらのリンクを参照してクラスタを更新します。
次のようにフォームに入力して、以下の API Explorer テンプレートを実行します。
- projectID = プロジェクト ID
- region =
- clusterName = クラスタ名
- updateMask = config.worker_config.num_instances
- [Patch body] に以下を入力します。
- 最初の中かっこ =
config
- その下の中かっこで
workerConfig
を選択します。 - その下の中かっこで
numInstances
を選択し、「3」と入力します。
フォームが次のように表示されます。
- [Credentials] の [Google OAuth 2.0] と [API key] のチェックボックスがオンになっていることを確認します。
- 各フィールドに余分なスペースが含まれていないことを確認し、[EXECUTE] をクリックします。
リクエストの下に Dataproc API の処理結果が次のように表示されます。
- この更新を確認するには、[Dataproc クラスタ] ページに戻ります。合計 3 つのワーカーノードがあることを確認できます。
完了したタスクをテストする
[進行状況を確認] をクリックして、実行したタスクを確認します。ワーカー構成が 3 つのワーカーノードに正常に更新されていれば、評価スコアが表示されます。
タスク 5. 理解度を確認する
今回のラボで学習した内容の理解を深めていただくため、以下の選択式問題を用意しました。正解を目指して頑張ってください。
お疲れさまでした
API Explorer で Cloud Dataproc API を使用してクラスタを作成し、Spark ジョブの実行とクラスタの更新を行いました。
クエストを完了する
このセルフペース ラボは、「Exploring APIs」クエストの一部です。クエストとは学習プログラムを構成する一連のラボのことで、完了すると成果が認められてバッジが贈られます。バッジは公開して、オンライン レジュメやソーシャル メディア アカウントにリンクできます。このラボの修了後、こちらのクエストに登録すれば、すぐにクレジットを受け取ることができます。受講可能な全クエストについては、Google Cloud Skills Boost カタログをご覧ください。
次のステップと詳細情報
- API Explorer のよくある質問のページを確認する
- Cloud Dataproc API の詳細を確認する
Google Cloud トレーニングと認定資格
Google Cloud トレーニングと認定資格を通して、Google Cloud 技術を最大限に活用できるようになります。必要な技術スキルとベスト プラクティスについて取り扱うクラスでは、学習を継続的に進めることができます。トレーニングは基礎レベルから上級レベルまであり、オンデマンド、ライブ、バーチャル参加など、多忙なスケジュールにも対応できるオプションが用意されています。認定資格を取得することで、Google Cloud テクノロジーに関するスキルと知識を証明できます。
マニュアルの最終更新日: 2023 年 10 月 18 日
ラボの最終テスト日: 2023 年 10 月 20 日
Copyright 2024 Google LLC All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。