Dataproc:Qwik Start - 指令列
实验
30 分钟
universal_currency_alt
1 积分
show_chart
入门级
info
此实验可能会提供 AI 工具来支持您学习。
欢迎加入我们的社区,一起测试和分享您的知识!
done
学习 700 多个动手实验和课程并获得相关技能徽章
GSP104

總覽
Dataproc 是運作快速又簡單易用的全代管雲端服務,可讓您以更輕鬆且更具成本效益的方式,執行 Apache Spark 和 Apache Hadoop 叢集。過去需要數小時或數天處理的作業,現在只要幾秒或幾分鐘就能完成。您可以快速建立 Dataproc 叢集,並隨時視情況調整規模,無須擔心叢集無法容納資料 pipeline。
本研究室將說明如何透過指令列建立 Dataproc 叢集、在叢集中執行簡易的 Apache Spark 工作,然後修改叢集中的工作站數量。
學習內容
本研究室的內容包括:
- 透過指令列建立 Dataproc 叢集
- 執行簡易的 Apache Spark 工作
- 修改叢集中的工作站數量
設定和需求
點選「Start Lab」按鈕前的須知事項
請詳閱以下操作說明。研究室活動會計時,而且中途無法暫停。點選「Start Lab」 後就會開始計時,讓您瞭解有多少時間可以使用 Google Cloud 資源。
您將在真正的雲端環境中完成實作研究室活動,而不是在模擬或示範環境。為達此目的,我們會提供新的暫時憑證,讓您用來在研究室活動期間登入及存取 Google Cloud。
如要完成這個研究室活動,請先確認:
- 您可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。
注意:請使用無痕模式或私密瀏覽視窗執行此研究室。這可以防止個人帳戶和學生帳戶之間的衝突,避免個人帳戶產生額外費用。
- 是時候完成研究室活動了!別忘了,活動一開始將無法暫停。
注意:如果您擁有個人 Google Cloud 帳戶或專案,請勿用於本研究室,以免產生額外費用。
如何開始研究室及登入 Google Cloud 控制台
-
按一下「Start Lab」(開始研究室) 按鈕。如果研究室會產生費用,畫面中會出現選擇付款方式的彈出式視窗。左側的「Lab Details」窗格會顯示下列項目:
- 「Open Google Cloud console」按鈕
- 剩餘時間
- 必須在這個研究室中使用的暫時憑證
- 完成這個實驗室所需的其他資訊 (如有)
-
點選「Open Google Cloud console」;如果使用 Chrome 瀏覽器,也能按一下滑鼠右鍵,然後選取「在無痕式視窗中開啟連結」。
接著,實驗室會啟動相關資源並開啟另一個分頁,當中顯示「登入」頁面。
提示:您可以在不同的視窗中並排開啟分頁。
注意:如果頁面中顯示「選擇帳戶」對話方塊,請點選「使用其他帳戶」。
-
如有必要,請將下方的 Username 貼到「登入」對話方塊。
{{{user_0.username | "Username"}}}
您也可以在「Lab Details」窗格找到 Username。
-
點選「下一步」。
-
複製下方的 Password,並貼到「歡迎使用」對話方塊。
{{{user_0.password | "Password"}}}
您也可以在「Lab Details」窗格找到 Password。
-
點選「下一步」。
重要事項:請務必使用實驗室提供的憑證,而非自己的 Google Cloud 帳戶憑證。
注意:如果使用自己的 Google Cloud 帳戶來進行這個實驗室,可能會產生額外費用。
-
按過後續的所有頁面:
- 接受條款及細則。
- 由於這是臨時帳戶,請勿新增救援選項或雙重驗證機制。
- 請勿申請免費試用。
Google Cloud 控制台稍後會在這個分頁開啟。
注意:如要查看列出 Google Cloud 產品和服務的選單,請點選左上角的「導覽選單」。
啟動 Cloud Shell
Cloud Shell 是搭載多項開發工具的虛擬機器,提供永久的 5 GB 主目錄,而且在 Google Cloud 中運作。Cloud Shell 提供指令列存取權,方便您使用 Google Cloud 資源。
- 點按 Google Cloud 控制台上方的「啟用 Cloud Shell」圖示
。
連線完成即代表已通過驗證,且專案已設為您的 PROJECT_ID。輸出內容中有一行宣告本工作階段 PROJECT_ID 的文字:
您在本工作階段中的 Cloud Platform 專案會設為「YOUR_PROJECT_ID」
gcloud
是 Google Cloud 的指令列工具,已預先安裝於 Cloud Shell,並支援 Tab 鍵自動完成功能。
- (選用) 您可以執行下列指令來列出使用中的帳戶:
gcloud auth list
-
點按「授權」。
-
輸出畫面應如下所示:
輸出內容:
ACTIVE: *
ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net
To set the active account, run:
$ gcloud config set account `ACCOUNT`
- (選用) 您可以使用下列指令來列出專案 ID:
gcloud config list project
輸出內容:
[core]
project = <project_ID>
輸出內容範例:
[core]
project = qwiklabs-gcp-44776a13dea667a6
附註:如需有關 gcloud
的完整說明,請前往 Google Cloud 並參閱「gcloud CLI overview guide」(gcloud CLI 總覽指南)。
工作 1:建立叢集
- 在 Cloud Shell 中執行下列指令來設定區域:
gcloud config set dataproc/region {{{project_0.default_region | Region}}}
- Dataproc 會建立暫存值區和臨時值區,並由同一區域中的叢集共用。我們未指定帳戶,因此 Dataproc 會使用 Compute Engine 預設服務帳戶,不過這類帳戶預設不具備儲存空間 bucket 權限。現在就來新增權限吧!
- 首先,請執行下列指令來擷取 PROJECT_ID 和 PROJECT_NUMBER:
PROJECT_ID=$(gcloud config get-value project) && \
gcloud config set project $PROJECT_ID
PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)')
- 接著執行下列指令,為 Compute Engine 預設服務帳戶授予「儲存空間管理員」角色。
gcloud projects add-iam-policy-binding $PROJECT_ID \
--member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \
--role=roles/storage.admin
- 執行下列指令,在子網路啟用 Private Google Access:
gcloud compute networks subnets update default --region={{{project_0.default_region | REGION }}} --enable-private-ip-google-access
- 執行下列指令建立
example-cluster
叢集,這個叢集採用 e2-standard-4 VM 和預設 Cloud Dataproc 設定:
gcloud dataproc clusters create example-cluster --worker-boot-disk-size 500 --worker-machine-type=e2-standard-4 --master-machine-type=e2-standard-4
- 當系統要求您確認叢集的可用區時,請輸入 Y。
叢集會在幾分鐘內建立完成。
Waiting for cluster creation operation...done.
Created [... example-cluster]
畫面上顯示「Created」訊息時,即可繼續後續工作。
測試已完成的工作
請點選「Check my progress」,確認工作已完成。如果成功建立 Dataproc 叢集,您就會看見評估分數。
建立 Dataproc 叢集
工作 2:提交工作
- 執行下列指令提交範例 Spark 工作,以計算圓周率的粗估值:
gcloud dataproc jobs submit spark --cluster example-cluster \
--class org.apache.spark.examples.SparkPi \
--jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000
這個指令會指定下列項目:
- 您要在
example-cluster
叢集上執行 Spark 工作
-
class
,其中包含工作計算圓周率時採用的主要方法
- 含有工作程式碼的 jar 檔案所在位置
- 要傳遞至工作的參數;在本例中是指任務數量,也就是
1000
注意:傳遞至工作的參數前方必須加上雙破折號 (--),詳情請參閱 gcloud 說明文件。
終端機視窗會顯示工作執行中和最終輸出的內容:
Waiting for job output...
...
Pi is roughly 3.14118528
...
state: FINISHED
測試已完成的工作
請點選「Check my progress」,確認工作已完成。如果成功提交工作,您就會看見評估分數。
提交工作
工作 3:更新叢集
- 如要將叢集中的工作站數量變更為四,請執行下列指令:
gcloud dataproc clusters update example-cluster --num-workers 4
指令輸出內容會顯示更新後的叢集詳細資料:
Waiting on operation [projects/qwiklabs-gcp-7f7aa0829e65200f/regions/global/operations/b86892cc-e71d-4e7b-aa5e-6030c945ea67].
Waiting for cluster update operation...done.
- 您也能使用相同指令來減少工作站節點數量:
gcloud dataproc clusters update example-cluster --num-workers 2
您現在可以透過 Google Cloud 的 gcloud
指令列,建立 Dataproc 叢集並調整工作站數量。
工作 4:隨堂測驗
完成下列選擇題能加深您的印象,更清楚本實驗室介紹的概念,請盡您所能回答。
恭喜!
您已瞭解如何透過指令列建立及修改 Dataproc 叢集,並提交工作。
後續行動/瞭解詳情
這個實驗室屬於 Qwik Start 實驗室系列,此系列旨在帶您一窺 Google Cloud 的眾多功能。歡迎在實驗室目錄中搜尋「Qwik Start」,看看接下來要參加哪個實驗室!
Google Cloud 教育訓練與認證
協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法,讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程,並有隨選、線上和虛擬課程等選項,方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。
使用手冊上次更新日期:2024 年 8 月 29 日
實驗室上次測試日期:2024 年 8 月 29 日
Copyright 2025 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標,其他公司和產品名稱則有可能是其關聯公司的商標。