检查点
Create a Dataset
/ 20
Create a sink
/ 20
Run example queries
/ 30
Viewing the logs in BigQuery
/ 30
使用 BigQuery 和 Cloud Logging 分析 BigQuery 用量
GSP617
總覽
Cloud Logging 可做為多項 Google Cloud 服務 (包括 BigQuery) 記錄檔的中央存放區,也很適合當做短期至中期的記錄檔儲存空間。許多產業都需要長期保留記錄檔。如要保留記錄檔,用於長期歷來資料分析或複雜的稽核作業,您可以設定接收器,將特定記錄檔匯出至 BigQuery。
在這個研究室中,您將透過 Cloud Logging 查看 BigQuery 記錄檔、設定接收器,將記錄檔匯出至 BigQuery,並運用 SQL 分析記錄檔。
設定和需求
點選「Start Lab」按鈕前的須知事項
請詳閱以下操作說明。研究室活動會計時,而且中途無法暫停。點選「Start Lab」 後就會開始計時,讓您瞭解有多少時間可以使用 Google Cloud 資源。
您將在真正的雲端環境中完成實作研究室活動,而不是在模擬或示範環境。為達此目的,我們會提供新的暫時憑證,讓您用來在研究室活動期間登入及存取 Google Cloud。
如要完成這個研究室活動,請先確認:
- 您可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。
- 是時候完成研究室活動了!別忘了,活動一開始將無法暫停。
如何開始研究室及登入 Google Cloud 控制台
-
按一下「Start Lab」(開始研究室) 按鈕。如果研究室會產生費用,畫面中會出現選擇付款方式的彈出式視窗。左側的「Lab Details」窗格會顯示下列項目:
- 「Open Google Cloud console」按鈕
- 剩餘時間
- 必須在這個研究室中使用的暫時憑證
- 完成這個實驗室所需的其他資訊 (如有)
-
點選「Open Google Cloud console」;如果使用 Chrome 瀏覽器,也能按一下滑鼠右鍵,然後選取「在無痕式視窗中開啟連結」。
接著,實驗室會啟動相關資源並開啟另一個分頁,當中顯示「登入」頁面。
提示:您可以在不同的視窗中並排開啟分頁。
注意:如果頁面中顯示「選擇帳戶」對話方塊,請點選「使用其他帳戶」。 -
如有必要,請將下方的 Username 貼到「登入」對話方塊。
{{{user_0.username | "Username"}}} 您也可以在「Lab Details」窗格找到 Username。
-
點選「下一步」。
-
複製下方的 Password,並貼到「歡迎使用」對話方塊。
{{{user_0.password | "Password"}}} 您也可以在「Lab Details」窗格找到 Password。
-
點選「下一步」。
重要事項:請務必使用實驗室提供的憑證,而非自己的 Google Cloud 帳戶憑證。 注意:如果使用自己的 Google Cloud 帳戶來進行這個實驗室,可能會產生額外費用。 -
按過後續的所有頁面:
- 接受條款及細則。
- 由於這是臨時帳戶,請勿新增救援選項或雙重驗證機制。
- 請勿申請免費試用。
Google Cloud 控制台稍後會在這個分頁開啟。
啟動 Cloud Shell
Cloud Shell 是搭載多項開發工具的虛擬機器,提供永久的 5 GB 主目錄,而且在 Google Cloud 中運作。Cloud Shell 提供指令列存取權,方便您使用 Google Cloud 資源。
- 點按 Google Cloud 控制台上方的「啟用 Cloud Shell」圖示
。
連線完成即代表已通過驗證,且專案已設為您的 PROJECT_ID。輸出內容中有一行宣告本工作階段 PROJECT_ID 的文字:
gcloud
是 Google Cloud 的指令列工具,已預先安裝於 Cloud Shell,並支援 Tab 鍵自動完成功能。
- (選用) 您可以執行下列指令來列出使用中的帳戶:
-
點按「授權」。
-
輸出畫面應如下所示:
輸出內容:
- (選用) 您可以使用下列指令來列出專案 ID:
輸出內容:
輸出內容範例:
gcloud
的完整說明,請前往 Google Cloud 並參閱「gcloud CLI overview guide」(gcloud CLI 總覽指南)。
工作 1:開啟 BigQuery
開啟 BigQuery 控制台
- 在 Google Cloud 控制台中,依序選取「導覽選單」>「BigQuery」。
接著,畫面中會顯示「歡迎使用 Cloud 控制台中的 BigQuery」訊息方塊,當中會列出快速入門導覽課程指南的連結和版本資訊。
- 點選「完成」。
BigQuery 控制台會隨即開啟。
工作 2:建立資料集
-
在「Explorer」專區中,找出名稱開頭為
qwiklabs-gcp-
的專案,點選旁邊的三點圖示。 -
點選「建立資料集」。
-
將「資料集 ID」設為 bq_logs。
-
點選「建立資料集」。
點選「Check my progress」,確認目標已達成。
工作 3:執行查詢
首先,請執行簡單的查詢來產生記錄檔。您稍後會設定這個記錄檔,並匯出至 BigQuery。
- 複製下列查詢,貼到 BigQuery 查詢編輯器:
- 點選「執行」。
工作 4:設定從 Cloud Logging 匯出的記錄檔
- 前往 Cloud 控制台,依序選取「導覽選單」圖示 >「查看所有產品」>「記錄」>「記錄檔探索工具」。
-
在「所有資源」中選取「BigQuery」,然後點選「套用」。
-
接著點選右上方的「執行查詢」按鈕。
畫面上應會顯示一些查詢產生的記錄項目。
尋找含有「jobcompleted」字樣的項目。
- 點選左側的箭頭,展開項目內容。
點選右側的「展開巢狀欄位」按鈕。
畫面上會顯示完整的 JSON 記錄項目。請向下捲動,查看不同欄位。
- 向上捲動,回到項目的標頭處,點選「類似項目」並選擇「顯示相符的項目」。
這項操作會使用正確的字詞設定查詢內容。如果沒有看到,請切換「顯示查詢」按鈕。
建立接收器
您現在已取得所需的記錄檔,接著要設定接收器。
- 在「更多動作」下拉式選單中,點選「建立接收器」。
- 按照下方指示填入欄位:
- 在「接收器名稱」中填入 JobComplete,然後點選「下一步」。
- 選取「BigQuery 資料集」做為接收器服務。
- 選取「bq_logs」(您先前設定的資料集) 做為 BigQuery 資料集 (目的地)。
- 其餘選項保留預設設定。
- 點選「建立接收器」。
BigQuery 之後產生的任何記錄項目,都會匯出至 bq_logs 資料集裡的資料表。
點選「Check my progress」,確認目標已達成。
工作 5:執行範例查詢
如要在新資料表中填入一些記錄檔,請執行一些範例查詢。
- 前往「Cloud Shell」,將下列 BigQuery 指令新增至 Cloud Shell:
畫面上應會顯示各查詢傳回的結果。
點選「Check my progress」,確認目標已達成。
工作 6:在 BigQuery 查看記錄檔
-
依序選取「導覽選單」>「BigQuery」,前往 BigQuery。
-
依序展開名稱開頭為 qwiklabs-gcp- 的來源 > bq_logs 資料集。
畫面上應會顯示「cloudaudit_googleapis_com_data_access」資料表 (實際名稱可能有出入)。
- 點選資料表名稱並檢查結構定義,您會看到大量欄位。
如果點選「預覽」,卻沒有看到近期查詢的記錄檔,這是因為記錄檔串流至資料表。也就是說,您可以查詢新資料,但相關記錄檔暫時不會顯示在「預覽」中。
為了讓資料表更易於使用,請建立「檢視表」。檢視表會顯示欄位的部分內容,並執行一些計算作業,得出查詢時間的指標。
- 點選「編寫新查詢」。在 BigQuery 查詢編輯器中,將 換成您的專案名稱,然後執行下列 SQL 指令。您可以在研究室頁面左側的「Lab Details」面板中,輕鬆複製專案 ID:
點選「Check my progress」,確認目標已達成。
- 現在要對檢視表執行查詢。請編寫新查詢,然後執行下列指令:
- 捲動至執行完成的查詢結果。
恭喜!
您已成功將 BigQuery 記錄檔從 Cloud Logging 匯出至 BigQuery 資料表,並透過 SQL 分析。
後續步驟/瞭解詳情
- 詳閱 Cloud Logging 說明文件。
- 詳閱 BigQuery 說明文件。
Google Cloud 教育訓練與認證
協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法,讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程,並有隨選、線上和虛擬課程等選項,方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。
使用手冊上次更新日期:2024 年 5 月 31 日
研究室上次測試日期:2024 年 5 月 31 日
Copyright 2024 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標,其他公司和產品名稱則有可能是其關聯公司的商標。