检查点
Run a simple Dataflow job
/ 25
Run a simple Dataproc job
/ 25
Use the Google Cloud Speech API
/ 25
Use the Cloud Natural Language API
/ 25
Prepare Data for ML APIs on Google Cloud:挑戰研究室
GSP323
總覽
在挑戰研究室中,您會在特定情境下完成一系列任務。挑戰研究室不會提供逐步說明,您將運用從課程研究室學到的技巧,自行找出方法完成任務!自動評分系統 (如本頁所示) 將根據您是否正確完成任務來提供意見回饋。
在您完成任務的期間,挑戰研究室不會介紹新的 Google Cloud 概念。您須靈活運用所學技巧,例如變更預設值或詳讀並研究錯誤訊息,解決遇到的問題。
若想滿分達標,就必須在時限內成功完成所有任務!
本研究室適合已參加 Prepare Data for ML APIs on Google Cloud 技能徽章課程的學員。準備好迎接挑戰了嗎?
測驗主題:
- 建立簡單的 Dataproc 工作
- 建立簡單的 Dataflow 工作
- 執行兩項採用 Google 機器學習技術的 API 工作
設定
點選「Start Lab」按鈕前的須知事項
請詳閱以下操作說明。研究室活動會計時,而且中途無法暫停。點選「Start Lab」 後就會開始計時,讓您瞭解有多少時間可以使用 Google Cloud 資源。
您將在真正的雲端環境中完成實作研究室活動,而不是在模擬或示範環境。為達此目的,我們會提供新的暫時憑證,讓您用來在研究室活動期間登入及存取 Google Cloud。
如要完成這個研究室活動,請先確認:
- 您可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。
- 是時候完成研究室活動了!別忘了,活動一開始將無法暫停。
如何開始研究室及登入 Google Cloud 控制台
-
按一下「Start Lab」(開始研究室) 按鈕。如果研究室會產生費用,畫面中會出現選擇付款方式的彈出式視窗。左側的「Lab Details」窗格會顯示下列項目:
- 「Open Google Cloud console」按鈕
- 剩餘時間
- 必須在這個研究室中使用的暫時憑證
- 完成這個實驗室所需的其他資訊 (如有)
-
點選「Open Google Cloud console」;如果使用 Chrome 瀏覽器,也能按一下滑鼠右鍵,然後選取「在無痕式視窗中開啟連結」。
接著,實驗室會啟動相關資源並開啟另一個分頁,當中顯示「登入」頁面。
提示:您可以在不同的視窗中並排開啟分頁。
注意:如果頁面中顯示「選擇帳戶」對話方塊,請點選「使用其他帳戶」。 -
如有必要,請將下方的 Username 貼到「登入」對話方塊。
{{{user_0.username | "Username"}}} 您也可以在「Lab Details」窗格找到 Username。
-
點選「下一步」。
-
複製下方的 Password,並貼到「歡迎使用」對話方塊。
{{{user_0.password | "Password"}}} 您也可以在「Lab Details」窗格找到 Password。
-
點選「下一步」。
重要事項:請務必使用實驗室提供的憑證,而非自己的 Google Cloud 帳戶憑證。 注意:如果使用自己的 Google Cloud 帳戶來進行這個實驗室,可能會產生額外費用。 -
按過後續的所有頁面:
- 接受條款及細則。
- 由於這是臨時帳戶,請勿新增救援選項或雙重驗證機制。
- 請勿申請免費試用。
Google Cloud 控制台稍後會在這個分頁開啟。
檢查專案權限
在開始使用 Google Cloud 前,您必須確保專案有正確的 Identity and Access Management (IAM) 權限。
-
前往 Google Cloud 控制台的「Navigation menu」(導覽選單),依序點選「IAM & Admin」(IAM 與管理) >「IAM」(身分與存取權管理)。
-
確認具有預設運算服務帳戶
{project-number}-compute@developer.gserviceaccount.com
,且已指派editor
和storage.admin
角色。帳戶前置字串為專案編號,如需查看,請前往「Navigation menu」(導覽選單) >「Cloud Overview」(Cloud 總覽) >「Dashboard」(資訊主頁)。
storage.admin
角色,請依照下列步驟指派必要角色。- 前往 Google Cloud 控制台的「Navigation menu」(導覽選單),依序點選「Cloud Overview」(Cloud 總覽) >「Dashboard」(資訊主頁)。
- 複製專案編號 (例如
729328892908
)。 - 前往「Navigation menu」(導覽選單),依序選取「IAM & Admin」(IAM 與管理) >「IAM」(身分與存取權管理)。
- 在角色表頂端的「View by Principals」(按照主體查看) ,點選「Grant Access」(授予存取權)。
- 在「New principals」(新增主體) 部分,輸入:
- 將
{project-number}
換成您的專案編號。 - 在「Role」(角色) 部分,選取「Storage Admin」(Storage 管理員)。
- 點選「Save」(儲存)。
挑戰情境
您是 Jooli Inc. 的資淺資料工程師,最近接受了 Google Cloud 和多項資料服務的訓練,現在需要展示剛剛學到的技能。團隊要求您完成下列工作。
公司預期您具備執行這些工作所需的技能與知識,因此不會提供逐步指南。
工作 1:執行簡單的 Dataflow 工作
使用「Process Data in Bulk (batch)」下的 Dataflow 批次範本「Text Files on Cloud Storage to BigQuery」,移轉 Cloud Storage 值區 (gs://cloud-training/gsp323/lab.csv
) 中的資料。下表列出正確設定 Dataflow 工作所需的值。
請完成下列操作:
- 建立名為「
」的 BigQuery 資料集,其中有個名為「 」的資料表。 - 建立名為「
」的 Cloud Storage 值區。
欄位 | 值 |
---|---|
Cloud Storage 輸入檔案 | gs://cloud-training/gsp323/lab.csv |
BigQuery 結構定義檔案的 Cloud Storage 位置 | gs://cloud-training/gsp323/lab.schema |
BigQuery 輸出資料表 |
|
BigQuery 載入程序的暫存目錄 |
|
臨時位置 |
|
「Optional Parameters」(選用參數) >「JavaScript UDF path in Cloud Storage」(Cloud Storage 中的 JavaScript UDF 路徑) | gs://cloud-training/gsp323/lab.js |
「Optional Parameters」(選用參數) >「JavaScript UDF name」 | transform |
「Optional Parameters」(選用參數) >「Machine Type」(機器類型) | e2-standard-2 |
請等工作完成後,再確認進度。
點選「Check my progress」,確認目標已達成。
工作 2:執行簡單的 Dataproc 工作
使用 Dataproc 執行簡單的 Spark 工作
執行工作前,請登入其中一個叢集節點,並使用 hdfs dfs -cp gs://cloud-training/gsp323/data.txt /data.txt
指令,將「/data.txt」檔案複製到 hdfs。
請執行採用下列值的 Dataproc 工作。
欄位 | 值 |
---|---|
區域 |
|
工作類型 | Spark |
主要類別或 jar 檔案 | org.apache.spark.examples.SparkPageRank |
Jar 檔案 | file:///usr/lib/spark/examples/jars/spark-examples.jar |
引數 | /data.txt |
每小時重新啟動次數上限 | 1 |
Dataproc 叢集 | Compute Engine |
區域 |
|
機器系列 | E2 |
管理工具節點 | 將「機器類型」設為「e2-standard-2」 |
工作站節點 | 將「機器類型」設為「e2-standard-2」 |
工作站節點數量上限 | 2 |
主要磁碟大小 | 100 GB |
僅限內部 IP | 取消選取「Configure all instances to have only internal IP addresses」(將所有執行個體設為僅具備內部 IP 位址) |
請等工作完成後,再確認進度。
點選「Check my progress」,確認目標已達成。
工作 3:使用 Google Cloud Speech-to-Text API
- 使用 Google Cloud Speech-to-Text API 分析音訊檔案
gs://cloud-training/gsp323/task3.flac
。分析完畢之後,請將產生的檔案上傳至:
點選「Check my progress」,確認目標已達成。
工作 4:使用 Cloud Natural Language API
- 使用 Cloud Natural Language API 分析關於奧丁的字句。您要分析的文字內容是「Old Norse texts portray Odin as one-eyed and long-bearded, frequently wielding a spear named Gungnir and wearing a cloak and a broad hat」。分析完畢之後,請將成果檔案上傳至:
點選「Check my progress」,確認目標已達成。
恭喜!
恭喜!您已在本研究室中展現自己的技能,執行簡單的 Dataflow 工作及 Dataproc 工作,並使用 Google Cloud Speech-to-Text API 和 Cloud Natural Language API。
這個自修研究室屬於 Prepare Data for ML APIs on Google Cloud 技能徽章課程的一部分。完成這個技能徽章課程即可獲得上方的徽章,表彰您的成就。您可以在履歷表和社群平台分享徽章,並使用 #GoogleCloudBadge 來公開您的成就。
這個技能徽章課程是 Google Cloud 資料分析師和資料工程師學習路徑的一部分。
Google Cloud 教育訓練與認證
協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法,讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程,並有隨選、線上和虛擬課程等選項,方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。
使用手冊上次更新日期:2024 年 3 月 25 日
研究室上次測試日期:2024 年 1 月 15 日
Copyright 2024 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標,其他公司和產品名稱則有可能是其關聯公司的商標。