
Before you begin
- Labs create a Google Cloud project and resources for a fixed time
- Labs have a time limit and no pause feature. If you end the lab, you'll have to restart from the beginning.
- On the top left of your screen, click Start lab to begin
Create a Dataproc cluster (region: us-central1)
/ 50
Submit a Spark Job
/ 25
Update a cluster for 5 worker nodes
/ 25
Google APIs Explorer は、さまざまな Google API をインタラクティブに試すことができるツールです。API Explorer を使用すると、以下のようなことができます。
API Explorer では、リクエストが行われるたびに独自の API キーが使用されます。API Explorer を使用してリクエストを行う際、{YOUR_API_KEY} というラベルのプレースホルダを含むリクエスト構文が表示されますが、このプレースホルダを独自の API キーに置き換えると、アプリケーションで同じリクエストを行うことができます。
このラボでは、インライン Google APIs Explorer テンプレートを使用して Cloud Dataproc API を呼び出し、クラスタを作成します。その後、クラスタ内でシンプルな Spark ジョブを実行します。また、API Explorer テンプレートを使用して Cloud Dataproc API を呼び出し、クラスタを更新する方法についても説明します。
こちらの説明をお読みください。ラボには時間制限があり、一時停止することはできません。タイマーは、Google Cloud のリソースを利用できる時間を示しており、[ラボを開始] をクリックするとスタートします。
このハンズオンラボでは、シミュレーションやデモ環境ではなく実際のクラウド環境を使って、ラボのアクティビティを行います。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。
このラボを完了するためには、下記が必要です。
[ラボを開始] ボタンをクリックします。ラボの料金をお支払いいただく必要がある場合は、表示されるダイアログでお支払い方法を選択してください。 左側の [ラボの詳細] ペインには、以下が表示されます。
[Google Cloud コンソールを開く] をクリックします(Chrome ブラウザを使用している場合は、右クリックして [シークレット ウィンドウで開く] を選択します)。
ラボでリソースがスピンアップし、別のタブで [ログイン] ページが表示されます。
ヒント: タブをそれぞれ別のウィンドウで開き、並べて表示しておきましょう。
必要に応じて、下のユーザー名をコピーして、[ログイン] ダイアログに貼り付けます。
[ラボの詳細] ペインでもユーザー名を確認できます。
[次へ] をクリックします。
以下のパスワードをコピーして、[ようこそ] ダイアログに貼り付けます。
[ラボの詳細] ペインでもパスワードを確認できます。
[次へ] をクリックします。
その後次のように進みます。
その後、このタブで Google Cloud コンソールが開きます。
Cloud Shell は、開発ツールと一緒に読み込まれる仮想マシンです。5 GB の永続ホーム ディレクトリが用意されており、Google Cloud で稼働します。Cloud Shell を使用すると、コマンドラインで Google Cloud リソースにアクセスできます。
接続した時点で認証が完了しており、プロジェクトに各自の PROJECT_ID が設定されます。出力には、このセッションの PROJECT_ID を宣言する次の行が含まれています。
gcloud
は Google Cloud のコマンドライン ツールです。このツールは、Cloud Shell にプリインストールされており、タブ補完がサポートされています。
[承認] をクリックします。
出力は次のようになります。
出力:
出力:
出力例:
gcloud
ドキュメントの全文については、gcloud CLI の概要ガイドをご覧ください。
[ナビゲーション メニュー] > [API とサービス] の順に移動します。
[Cloud Dataproc API] が見つかるまで下にスクロールして、この API をクリックします。
API が有効になっていることを確認します。有効になっていない場合は、[有効にする] をクリックします。
API が有効になっていることを確認できたら、Rest API リファレンスを開きます。Cloud Dataproc API の REST API リファレンス ページが、新しいタブで表示されます。
左側の [API とリファレンス] セクションで [REST リファレンス] > [v1] > [projects.regions.clusters] > [create] を選択して、projects.regions.clusters.create
メソッドを開きます。または、メソッド: projects.regions.clusters.create のリファレンスを参照してクラスタを作成します。
次のようにフォームに入力して、以下の API Explorer テンプレートを実行します。
clusterName
プロパティを追加します。clusterName に任意のクラスタ名を入力します。clusterName の値に大文字とスペースを含めることはできません。config
を選択します。gceClusterConfig
を選択します。zoneUri
フィールドを選択し、以下の URI を追加します。my-project-id
はこのラボのプロジェクト ID に置き換えてください。config
の中かっこで softwareConfig
を選択します。softwareConfig
の中かっこで imageVersion
を選択して、2.0-debian10
に設定します。softwareConfig
の中かっこで optionalComponents
を選択します。optionalComponents
で [ADD ITEM] をクリックして、プルダウンから JUPYTER
を選択します。以上の操作が終了すると、[Request body] 項目は以下のように表示されます。
各フィールドに余分なスペースが含まれていないことを確認し、
下にスクロールして [Execute] をクリックします。
このラボを開始するときに使用した受講者アカウントを選択します。
次の画面で [許可] をクリックすると、API Explorer にアクセスできます。
リクエストの下に Dataproc API の結果が次のように表示されます。
[進行状況を確認] をクリックして、実行したタスクを確認します。
次に、既存の Cloud Dataproc クラスタで、pi のおおよその値を計算するシンプルな Apache Spark ジョブを実行します。
projects.regions.jobs.submit
メソッドを開きます。または、こちらのリンクを参照してクラスタにジョブを送信します。次のようにフォームに入力して、以下の API Explorer テンプレートを実行します。
job
を選択します。placement
を選択します。clusterName
を選択してからクラスタの名前を入力します。sparkJob
を選択します。args
を選択します。args
で [ADD ITEM] をクリックして、「1000」と入力します。jarFileUris
を選択します。jarFileUris
で [ADD ITEM] をクリックして、「file:///usr/lib/spark/examples/jars/spark-examples.jar
」と入力します。mainClass
を選択して、「org.apache.spark.examples.SparkPi
」と入力します。以上の操作が終了すると、[Request body] 項目は以下のように表示されます。
リクエストの下に Dataproc API の処理結果が次のように表示されます。
[Dataproc] > [クラスタ] の順に移動すると、結果を確認できます。クラスタの名前をクリックして、[ジョブ] タブをクリックします。
[ジョブ ID] をクリックして [行の折り返し] をオンにすると、右端を超える行を表示できます。
[進行状況を確認] をクリックして、実行したタスクを確認します。Spark ジョブがクラスタに正常に送信されていれば、評価スコアが表示されます。
projects.regions.clusters.patch
メソッドを開きます。または、こちらのリンクを参照してクラスタを更新します。次のようにフォームに入力して、以下の API Explorer テンプレートを実行します。
config
workerConfig
を選択します。numInstances
を選択し、「3」と入力します。フォームが次のように表示されます。
リクエストの下に Dataproc API の処理結果が次のように表示されます。
[進行状況を確認] をクリックして、実行したタスクを確認します。ワーカー構成が 3 つのワーカーノードに正常に更新されていれば、評価スコアが表示されます。
今回のラボで学習した内容の理解を深めていただくため、以下の選択式問題を用意しました。正解を目指して頑張ってください。
API Explorer で Cloud Dataproc API を使用してクラスタを作成し、Spark ジョブの実行とクラスタの更新を行いました。
このセルフペース ラボは、「Exploring APIs」クエストの一部です。クエストとは学習プログラムを構成する一連のラボのことで、完了すると成果が認められてバッジが贈られます。バッジは公開して、オンライン レジュメやソーシャル メディア アカウントにリンクできます。このラボの修了後、こちらのクエストに登録すれば、すぐにクレジットを受け取ることができます。受講可能な全クエストについては、Google Cloud Skills Boost カタログをご覧ください。
Google Cloud トレーニングと認定資格を通して、Google Cloud 技術を最大限に活用できるようになります。必要な技術スキルとベスト プラクティスについて取り扱うクラスでは、学習を継続的に進めることができます。トレーニングは基礎レベルから上級レベルまであり、オンデマンド、ライブ、バーチャル参加など、多忙なスケジュールにも対応できるオプションが用意されています。認定資格を取得することで、Google Cloud テクノロジーに関するスキルと知識を証明できます。
マニュアルの最終更新日: 2023 年 10 月 18 日
ラボの最終テスト日: 2023 年 10 月 20 日
Copyright 2025 Google LLC All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。
このコンテンツは現在ご利用いただけません
利用可能になりましたら、メールでお知らせいたします
ありがとうございます。
利用可能になりましたら、メールでご連絡いたします
One lab at a time
Confirm to end all existing labs and start this one