GSP104

總覽

Dataproc 是運作快速又簡單易用的全代管雲端服務，可讓您以更輕鬆且更具成本效益的方式，執行 Apache Spark 和 Apache Hadoop 叢集。過去需要數小時或數天處理的作業，現在只要幾秒或幾分鐘就能完成。您可以快速建立 Dataproc 叢集，並隨時視情況調整規模，無須擔心叢集無法容納資料 pipeline。

本研究室將說明如何透過指令列建立 Dataproc 叢集、在叢集中執行簡易的 Apache Spark 工作，然後修改叢集中的工作站數量。

學習內容

本研究室的內容包括：

• 透過指令列建立 Dataproc 叢集
• 執行簡易的 Apache Spark 工作
• 修改叢集中的工作站數量

設定和需求

點選「Start Lab」按鈕前的須知事項

請詳閱以下操作說明。研究室活動會計時，而且中途無法暫停。點選「Start Lab」 後就會開始計時，讓您瞭解有多少時間可以使用 Google Cloud 資源。

您將在真正的雲端環境中完成實作研究室活動，而不是在模擬或示範環境。為達此目的，我們會提供新的暫時憑證，讓您用來在研究室活動期間登入及存取 Google Cloud。

如要完成這個研究室活動，請先確認：

• 您可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。

注意：請使用無痕模式或私密瀏覽視窗執行此研究室。這可以防止個人帳戶和學生帳戶之間的衝突，避免個人帳戶產生額外費用。

• 是時候完成研究室活動了！別忘了，活動一開始將無法暫停。

注意：如果您擁有個人 Google Cloud 帳戶或專案，請勿用於本研究室，以免產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

1. 按一下「Start Lab」(開始研究室) 按鈕。如果研究室會產生費用，畫面中會出現選擇付款方式的彈出式視窗。左側的「Lab Details」窗格會顯示下列項目：

   • 「Open Google Cloud console」按鈕
   • 剩餘時間
   • 必須在這個研究室中使用的暫時憑證
   • 完成這個實驗室所需的其他資訊 (如有)

2. 點選「Open Google Cloud console」；如果使用 Chrome 瀏覽器，也能按一下滑鼠右鍵，然後選取「在無痕式視窗中開啟連結」。

   接著，實驗室會啟動相關資源並開啟另一個分頁，當中顯示「登入」頁面。

   提示：您可以在不同的視窗中並排開啟分頁。

   注意：如果頁面中顯示「選擇帳戶」對話方塊，請點選「使用其他帳戶」。

3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

   {{{user_0.username | "Username"}}}

   您也可以在「Lab Details」窗格找到 Username。

4. 點選「下一步」。

5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

   {{{user_0.password | "Password"}}}

   您也可以在「Lab Details」窗格找到 Password。

6. 點選「下一步」。

   重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

7. 按過後續的所有頁面：

   • 接受條款及細則。
   • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
   • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要查看列出 Google Cloud 產品和服務的選單，請點選左上角的「導覽選單」。

啟動 Cloud Shell

Cloud Shell 是搭載多項開發工具的虛擬機器，提供永久的 5 GB 主目錄，而且在 Google Cloud 中運作。Cloud Shell 提供指令列存取權，方便您使用 Google Cloud 資源。

1. 點按 Google Cloud 控制台上方的「啟用 Cloud Shell」圖示 。

連線完成即代表已通過驗證，且專案已設為您的 PROJECT_ID。輸出內容中有一行宣告本工作階段 PROJECT_ID 的文字：

您在本工作階段中的 Cloud Platform 專案會設為「YOUR_PROJECT_ID」

gcloud 是 Google Cloud 的指令列工具，已預先安裝於 Cloud Shell，並支援 Tab 鍵自動完成功能。

2. (選用) 您可以執行下列指令來列出使用中的帳戶：

gcloud auth list

3. 點按「授權」。

4. 輸出畫面應如下所示：

輸出內容：

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (選用) 您可以使用下列指令來列出專案 ID：

gcloud config list project

輸出內容：

[core] project = <project_ID>

輸出內容範例：

[core] project = qwiklabs-gcp-44776a13dea667a6 附註：如需有關 gcloud 的完整說明，請前往 Google Cloud 並參閱「gcloud CLI overview guide」(gcloud CLI 總覽指南)。

工作 1：建立叢集

1. 在 Cloud Shell 中執行下列指令來設定區域：

gcloud config set dataproc/region {{{project_0.default_region | Region}}}

2. Dataproc 會建立暫存值區和臨時值區，並由同一區域中的叢集共用。我們未指定帳戶，因此 Dataproc 會使用 Compute Engine 預設服務帳戶，不過這類帳戶預設不具備儲存空間 bucket 權限。現在就來新增權限吧！

• 首先，請執行下列指令來擷取 PROJECT_ID 和 PROJECT_NUMBER：

PROJECT_ID=$(gcloud config get-value project) && \ gcloud config set project $PROJECT_ID PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)')

• 接著執行下列指令，為 Compute Engine 預設服務帳戶授予「儲存空間管理員」角色。

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/storage.admin

3. 執行下列指令，在子網路啟用 Private Google Access：

gcloud compute networks subnets update default --region={{{project_0.default_region | REGION }}} --enable-private-ip-google-access

4. 執行下列指令建立 example-cluster 叢集，這個叢集採用 e2-standard-4 VM 和預設 Cloud Dataproc 設定：

gcloud dataproc clusters create example-cluster --worker-boot-disk-size 500 --worker-machine-type=e2-standard-4 --master-machine-type=e2-standard-4

5. 當系統要求您確認叢集的可用區時，請輸入 Y。

叢集會在幾分鐘內建立完成。

Waiting for cluster creation operation...done. Created [... example-cluster]

畫面上顯示「Created」訊息時，即可繼續後續工作。

測試已完成的工作

請點選「Check my progress」，確認工作已完成。如果成功建立 Dataproc 叢集，您就會看見評估分數。

建立 Dataproc 叢集

工作 2：提交工作

• 執行下列指令提交範例 Spark 工作，以計算圓周率的粗估值：

gcloud dataproc jobs submit spark --cluster example-cluster \ --class org.apache.spark.examples.SparkPi \ --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000

這個指令會指定下列項目：

• 您要在 example-cluster 叢集上執行 Spark 工作
• class，其中包含工作計算圓周率時採用的主要方法
• 含有工作程式碼的 jar 檔案所在位置
• 要傳遞至工作的參數；在本例中是指任務數量，也就是 1000

注意：傳遞至工作的參數前方必須加上雙破折號 (--)，詳情請參閱 gcloud 說明文件。

終端機視窗會顯示工作執行中和最終輸出的內容：

Waiting for job output... ... Pi is roughly 3.14118528 ... state: FINISHED

測試已完成的工作

請點選「Check my progress」，確認工作已完成。如果成功提交工作，您就會看見評估分數。

提交工作

工作 3：更新叢集

1. 如要將叢集中的工作站數量變更為四，請執行下列指令：

gcloud dataproc clusters update example-cluster --num-workers 4

指令輸出內容會顯示更新後的叢集詳細資料：

Waiting on operation [projects/qwiklabs-gcp-7f7aa0829e65200f/regions/global/operations/b86892cc-e71d-4e7b-aa5e-6030c945ea67]. Waiting for cluster update operation...done.

2. 您也能使用相同指令來減少工作站節點數量：

gcloud dataproc clusters update example-cluster --num-workers 2

您現在可以透過 Google Cloud 的 gcloud 指令列，建立 Dataproc 叢集並調整工作站數量。

工作 4：隨堂測驗

完成下列選擇題能加深您的印象，更清楚本實驗室介紹的概念，請盡您所能回答。

恭喜！

您已瞭解如何透過指令列建立及修改 Dataproc 叢集，並提交工作。

後續行動/瞭解詳情

這個實驗室屬於 Qwik Start 實驗室系列，此系列旨在帶您一窺 Google Cloud 的眾多功能。歡迎在實驗室目錄中搜尋「Qwik Start」，看看接下來要參加哪個實驗室！

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2024 年 8 月 29 日

實驗室上次測試日期：2024 年 8 月 29 日

Copyright 2024 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。