GSP617
![Google Cloud 自學實驗室標誌](https://cdn.qwiklabs.com/GMOHykaqmlTHiqEeQXTySaMXYPHeIvaqa2qHEzw6Occ%3D)
總覽
Cloud Logging 可做為多項 Google Cloud 服務 (包括 BigQuery) 記錄檔的中央存放區,也很適合當做短期至中期的記錄檔儲存空間。許多產業都需要長期保留記錄檔。如要保留記錄檔,以便進行長期歷來資料分析或複雜的稽核作業,您可以設定接收器,將特定記錄檔匯出至 BigQuery。
在這個實驗室中,您將透過 Cloud Logging 查看 BigQuery 記錄檔、設定接收器,將記錄檔匯出至 BigQuery,並運用 SQL 分析記錄檔。
設定和需求
點選「Start Lab」按鈕前的須知事項
請詳閱以下操作說明。研究室活動會計時,而且中途無法暫停。點選「Start Lab」 後就會開始計時,讓您瞭解有多少時間可以使用 Google Cloud 資源。
您將在真正的雲端環境中完成實作研究室活動,而不是在模擬或示範環境。為達此目的,我們會提供新的暫時憑證,讓您用來在研究室活動期間登入及存取 Google Cloud。
如要完成這個研究室活動,請先確認:
- 您可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。
注意:請使用無痕模式或私密瀏覽視窗執行此研究室。這可以防止個人帳戶和學生帳戶之間的衝突,避免個人帳戶產生額外費用。
- 是時候完成研究室活動了!別忘了,活動一開始將無法暫停。
注意:如果您擁有個人 Google Cloud 帳戶或專案,請勿用於本研究室,以免產生額外費用。
如何開始研究室及登入 Google Cloud 控制台
-
按一下「Start Lab」(開始研究室) 按鈕。如果研究室會產生費用,畫面中會出現選擇付款方式的彈出式視窗。左側的「Lab Details」窗格會顯示下列項目:
- 「Open Google Cloud console」按鈕
- 剩餘時間
- 必須在這個研究室中使用的暫時憑證
- 完成這個實驗室所需的其他資訊 (如有)
-
點選「Open Google Cloud console」;如果使用 Chrome 瀏覽器,也能按一下滑鼠右鍵,然後選取「在無痕式視窗中開啟連結」。
接著,實驗室會啟動相關資源並開啟另一個分頁,當中顯示「登入」頁面。
提示:您可以在不同的視窗中並排開啟分頁。
注意:如果頁面中顯示「選擇帳戶」對話方塊,請點選「使用其他帳戶」。
-
如有必要,請將下方的 Username 貼到「登入」對話方塊。
{{{user_0.username | "Username"}}}
您也可以在「Lab Details」窗格找到 Username。
-
點選「下一步」。
-
複製下方的 Password,並貼到「歡迎使用」對話方塊。
{{{user_0.password | "Password"}}}
您也可以在「Lab Details」窗格找到 Password。
-
點選「下一步」。
重要事項:請務必使用實驗室提供的憑證,而非自己的 Google Cloud 帳戶憑證。
注意:如果使用自己的 Google Cloud 帳戶來進行這個實驗室,可能會產生額外費用。
-
按過後續的所有頁面:
- 接受條款及細則。
- 由於這是臨時帳戶,請勿新增救援選項或雙重驗證機制。
- 請勿申請免費試用。
Google Cloud 控制台稍後會在這個分頁開啟。
注意:如要查看列出 Google Cloud 產品和服務的選單,請點選左上角的「導覽選單」。
啟動 Cloud Shell
Cloud Shell 是搭載多項開發工具的虛擬機器,提供永久的 5 GB 主目錄,而且在 Google Cloud 中運作。Cloud Shell 提供指令列存取權,方便您使用 Google Cloud 資源。
- 點按 Google Cloud 控制台上方的「啟用 Cloud Shell」圖示
。
連線完成即代表已通過驗證,且專案已設為您的 PROJECT_ID。輸出內容中有一行宣告本工作階段 PROJECT_ID 的文字:
您在本工作階段中的 Cloud Platform 專案會設為「YOUR_PROJECT_ID」
gcloud
是 Google Cloud 的指令列工具,已預先安裝於 Cloud Shell,並支援 Tab 鍵自動完成功能。
- (選用) 您可以執行下列指令來列出使用中的帳戶:
gcloud auth list
-
點按「授權」。
-
輸出畫面應如下所示:
輸出內容:
ACTIVE: *
ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net
To set the active account, run:
$ gcloud config set account `ACCOUNT`
- (選用) 您可以使用下列指令來列出專案 ID:
gcloud config list project
輸出內容:
[core]
project = <project_ID>
輸出內容範例:
[core]
project = qwiklabs-gcp-44776a13dea667a6
附註:如需有關 gcloud
的完整說明,請前往 Google Cloud 並參閱「gcloud CLI overview guide」(gcloud CLI 總覽指南)。
工作 1:開啟 BigQuery
開啟 BigQuery 控制台
- 在 Google Cloud 控制台中,依序選取「導覽選單」>「BigQuery」。
接著,畫面中會顯示「歡迎使用 Cloud 控制台中的 BigQuery」訊息方塊,當中會列出快速入門導覽課程指南的連結和版本資訊。
- 點選「完成」。
BigQuery 控制台會隨即開啟。
工作 2:建立資料集
-
在「Explorer」專區中,找出名稱開頭為 qwiklabs-gcp-
的專案,點選旁邊的三點圖示。
-
點選「建立資料集」。
-
將「資料集 ID」設為 bq_logs。
-
點選「建立資料集」。
點選「Check my progress」,確認目標已達成。
建立資料集
工作 3:執行查詢
首先,請執行簡單的查詢來產生記錄檔。您稍後會設定這個記錄檔,並匯出至 BigQuery。
- 複製下列查詢,貼到 BigQuery 查詢編輯器:
SELECT current_date
- 點選「執行」。
工作 4:設定從 Cloud Logging 匯出的記錄檔
- 前往 Cloud 控制台,依序選取「導覽選單」圖示 >「查看所有產品」>「記錄」>「記錄檔探索工具」。
注意:如果出現「尚未儲存工作」的提示訊息,請點選「離開」。
-
在「所有資源」中選取「BigQuery」,然後點選「套用」。
-
接著點選右上方的「執行查詢」按鈕。
畫面上應會顯示一些查詢產生的記錄項目。
尋找含有「jobcompleted」字樣的項目。
![BigQuery 記錄檔](https://cdn.qwiklabs.com/3P1wbCo0ts2Wgs424mzRFGjOc6Pj%2BayjSrJJmaxPgEg%3D)
- 點選左側的箭頭,展開項目內容。
![已展開的記錄檔,以及項目左側醒目顯示的箭頭](https://cdn.qwiklabs.com/8uDpeQAIbInlYnGV8BOISnTb8gF2dK8f1pE%2Bp2S8oaU%3D)
點選右側的「展開巢狀欄位」按鈕。
畫面上會顯示完整的 JSON 記錄項目。請向下捲動,查看不同欄位。
- 向上捲動,回到項目的標頭處,點選「類似項目」並選擇「顯示相符的項目」。
![jobcompleted 記錄檔](https://cdn.qwiklabs.com/0E2EdCxr0FlL9lZEth0mY7zjfVquiAqU%2Bl43R4fjbjM%3D)
這項操作會使用正確的字詞設定查詢內容。如果沒有看到,請切換「顯示查詢」按鈕。
![查詢建立工具](https://cdn.qwiklabs.com/E%2FYaW29E8iZZkpOXHNdwbzqnQJMwnWlq9VEM3f5Ob2A%3D)
建立接收器
您現在已取得所需的記錄檔,接著要設定接收器。
- 在「更多動作」下拉式選單中,點選「建立接收器」。
![醒目顯示的「建立接收器」選項](https://cdn.qwiklabs.com/b%2B0RFe5fogdfK90OLueNdLV%2BLOHlp3AtgWDGXvD2wsI%3D)
- 按照下方指示填入欄位:
- 在「接收器名稱」中填入 JobComplete,然後點選「下一步」。
- 選取「BigQuery 資料集」做為接收器服務。
- 選取「bq_logs」(您先前設定的資料集) 做為 BigQuery 資料集 (目的地)。
- 其餘選項保留預設設定。
- 點選「建立接收器」。
BigQuery 之後產生的任何記錄項目,都會匯出至 bq_logs 資料集裡的資料表。
點選「Check my progress」,確認目標已達成。
建立接收器
工作 5:執行範例查詢
如要在新資料表中填入一些記錄檔,請執行一些範例查詢。
- 前往「Cloud Shell」,將下列 BigQuery 指令新增至 Cloud Shell:
bq query --location=us --use_legacy_sql=false --use_cache=false \
'SELECT fullName, AVG(CL.numberOfYears) avgyears
FROM `qwiklabs-resources.qlbqsamples.persons_living`, UNNEST(citiesLived) as CL
GROUP BY fullname'
bq query --location=us --use_legacy_sql=false --use_cache=false \
'select month, avg(mean_temp) as avgtemp from `qwiklabs-resources.qlweather_geo.gsod`
where station_number = 947680
and year = 2010
group by month
order by month'
bq query --location=us --use_legacy_sql=false --use_cache=false \
'select CONCAT(departure_airport, "-", arrival_airport) as route, count(*) as numberflights
from `bigquery-samples.airline_ontime_data.airline_id_codes` ac,
`qwiklabs-resources.qlairline_ontime_data.flights` fl
where ac.code = fl.airline_code
and regexp_contains(ac.airline , r"Alaska")
group by 1
order by 2 desc
LIMIT 10'
畫面上應會顯示各查詢傳回的結果。
點選「Check my progress」,確認目標已達成。
執行範例查詢
工作 6:在 BigQuery 查看記錄檔
-
依序選取「導覽選單」>「BigQuery」,前往 BigQuery。
-
依序展開名稱開頭為 qwiklabs-gcp- 的來源 > bq_logs 資料集。
畫面上應會顯示「cloudaudit_googleapis_com_data_access」資料表 (實際名稱可能有出入)。
注意:如果未顯示資料表,您可能須重新執行範例查詢。
- 點選資料表名稱並檢查結構定義,您會看到大量欄位。
如果點選「預覽」,卻沒有看到近期查詢的記錄檔,這是因為記錄檔串流至資料表。也就是說,您可以查詢新資料,但相關記錄檔暫時不會顯示在「預覽」中。
為了讓資料表更易於使用,請建立「檢視表」。檢視表會顯示欄位的部分內容,並執行一些計算作業,得出查詢時間的指標。
- 點選「編寫新查詢」。在 BigQuery 查詢編輯器中,將 換成您的專案名稱,然後執行下列 SQL 指令。您可以在研究室頁面左側的「Lab Details」面板中,輕鬆複製專案 ID:
CREATE OR REPLACE VIEW
bq_logs.v_querylogs AS
SELECT
resource.labels.project_id,
protopayload_auditlog.authenticationInfo.principalEmail,
protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobConfiguration.query.query,
protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobConfiguration.query.statementType,
protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatus.error.message,
protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.startTime,
protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.endTime,
TIMESTAMP_DIFF(protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.endTime, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.startTime, MILLISECOND)/1000 AS run_seconds,
protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalProcessedBytes,
protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalSlotMs,
ARRAY(SELECT as STRUCT datasetid, tableId FROM UNNEST(protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.referencedTables)) as tables_ref,
protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalTablesProcessed,
protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.queryOutputRowCount,
severity
FROM
`<YOUR-PROJECT-ID>.bq_logs.cloudaudit_googleapis_com_data_access_*`
ORDER BY
startTime
點選「Check my progress」,確認目標已達成。
在 BigQuery 查看記錄檔
- 現在要對檢視表執行查詢。請編寫新查詢,然後執行下列指令:
SELECT * FROM bq_logs.v_querylogs
- 捲動至執行完成的查詢結果。
恭喜!
您已成功將 BigQuery 記錄檔從 Cloud Logging 匯出至 BigQuery 資料表,並透過 SQL 分析。
後續步驟/瞭解詳情
Google Cloud 教育訓練與認證
協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法,讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程,並有隨選、線上和虛擬課程等選項,方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。
使用手冊上次更新日期:2024 年 5 月 31 日
研究室上次測試日期:2024 年 5 月 31 日
Copyright 2025 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標,其他公司和產品名稱則有可能是其關聯公司的商標。