arrow_back

BigQuery:Qwik Start - 指令列

登录 加入
访问 700 多个实验和课程

BigQuery:Qwik Start - 指令列

实验 30 分钟 universal_currency_alt 免费 show_chart 入门级
info 此实验可能会提供 AI 工具来支持您学习。
访问 700 多个实验和课程

GSP071

總覽

如果沒有合適的硬體及基礎架構,儲存與查詢龐大的資料集,可能既耗時又昂貴。BigQuery 是具備高擴充性的無伺服器 cloud data warehouse,能夠利用 Google 基礎架構的強大處理能力,以超高效率執行 SQL 查詢,從而解決上述問題。只要將您的資料移至 BigQuery,我們就能為您處理繁雜的工作。您可以根據業務需求控管對專案與資料的存取權,例如授予他人檢視或查詢資料的權限。

您可以利用控制台網頁使用者介面指令列工具存取 BigQuery,也能透過 Java、.NET、Python 等多種用戶端程式庫使用。另外,您也可以透過各種供應商解決方案使用 BigQuery。

在本實作實驗室中,您將瞭解如何使用 BigQuery 專用的 Python 指令列工具 bq 查詢公開資料表,以及將樣本資料載入 BigQuery。

學習內容

  • 查詢公開資料集
  • 建立新的資料集
  • 將資料載入新資料表
  • 查詢自訂資料表

設定和需求

瞭解以下事項後,再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時,且中途無法暫停。點選「Start Lab」後就會開始計時,顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動,而不是模擬或示範環境。為此,我們會提供新的暫時憑證,供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室,請先確認:

  • 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。
注意事項:請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室,這可以防止個人帳戶和學員帳戶之間的衝突,避免個人帳戶產生額外費用。
  • 是時候完成實驗室活動了!別忘了,活動一旦開始將無法暫停。
注意事項:務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶,可能會產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

  1. 點選「Start Lab」按鈕。如果實驗室會產生費用,畫面上會出現選擇付款方式的對話方塊。左側的「Lab Details」窗格會顯示下列項目:

    • 「Open Google Cloud console」按鈕
    • 剩餘時間
    • 必須在這個研究室中使用的臨時憑證
    • 完成這個實驗室所需的其他資訊 (如有)
  2. 點選「Open Google Cloud console」;如果使用 Chrome 瀏覽器,也能按一下滑鼠右鍵,選取「在無痕視窗中開啟連結」

    接著,實驗室會啟動相關資源,並開啟另一個分頁,顯示「登入」頁面。

    提示:您可以在不同的視窗中並排開啟分頁。

    注意:如果頁面中顯示「選擇帳戶」對話方塊,請點選「使用其他帳戶」
  3. 如有必要,請將下方的 Username 貼到「登入」對話方塊。

    {{{user_0.username | "Username"}}}

    您也可以在「Lab Details」窗格找到 Username。

  4. 點選「下一步」

  5. 複製下方的 Password,並貼到「歡迎使用」對話方塊。

    {{{user_0.password | "Password"}}}

    您也可以在「Lab Details」窗格找到 Password。

  6. 點選「下一步」

    重要事項:請務必使用實驗室提供的憑證,而非自己的 Google Cloud 帳戶憑證。 注意:如果使用自己的 Google Cloud 帳戶來進行這個實驗室,可能會產生額外費用。
  7. 按過後續的所有頁面:

    • 接受條款及細則。
    • 由於這是臨時帳戶,請勿新增救援選項或雙重驗證機制。
    • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意:如要使用 Google Cloud 產品和服務,請點選「導覽選單」,或在「搜尋」欄位輸入服務或產品名稱。

啟動 Cloud Shell

Cloud Shell 是搭載多項開發工具的虛擬機器,提供永久的 5 GB 主目錄,而且在 Google Cloud 中運作。Cloud Shell 提供指令列存取權,方便您使用 Google Cloud 資源。

  1. 點按 Google Cloud 控制台頂端的「啟用 Cloud Shell」圖示

  2. 系統顯示視窗時,請按照下列步驟操作:

    • 繼續操作 Cloud Shell 視窗。
    • 授權 Cloud Shell 使用您的憑證發出 Google Cloud API 呼叫。

連線建立完成即代表已通過驗證,而且專案已設為您的 Project_ID。輸出內容中有一行文字,宣告本工作階段的 Project_ID

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud 是 Google Cloud 的指令列工具,已預先安裝於 Cloud Shell,並支援 Tab 鍵自動完成功能。

  1. (選用) 您可以執行下列指令來列出使用中的帳戶:
gcloud auth list
  1. 點按「授權」

輸出內容:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`
  1. (選用) 您可以使用下列指令來列出專案 ID:
gcloud config list project

輸出內容:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} 注意:如需 gcloud 的完整說明,請前往 Google Cloud 參閱 gcloud CLI 總覽指南

工作 1:檢查資料表

BigQuery 提供了一些範例資料表供您執行查詢。在本實驗室中,您將針對包含每部戲劇全文內容的 shakespeare 資料表執行查詢。

請執行下列指令,查看樣本資料集中 Shakespeare 資料表的結構定義:

bq show bigquery-public-data:samples.shakespeare

此指令的涵義說明如下:

  • bq 用於叫用 BigQuery 指令列工具
  • show 是要執行的操作
  • 後面則列出您希望在 BigQuery 顯示的 project:public dataset.table 名稱

輸出內容:

Last modified Schema Total Rows Total Bytes Expiration Time Partitioning Clustered Fields Labels ----------------- ------------------------------------ ------------ ------------- ------------ ------------------- ------------------ -------- 14 Mar 13:16:45 |- word: string (required) 164656 6432064 |- word_count: integer (required) |- corpus: string (required) |- corpus_date: integer (required)

工作 2:執行 help 指令

在 help 指令後方加入其他指令的名稱,即可獲得該特定指令的資訊。

  1. 例如,以下對 bq help 的呼叫可擷取關於 query 指令的資訊:
bq help query
  1. 如要查看 bq 所用指令的完整清單,只需執行 bq help 即可。

工作 3:執行查詢

現在請執行查詢,查看子字串「raisin」在莎士比亞的作品中出現幾次。

  1. 如要執行查詢,請執行 bq query "[SQL_STATEMENT]" 指令:
  • 以 \ 符號逸出任何位於 [SQL_STATEMENT] 內的引號,或

  • 使用其他的引號類型,而不要使用括起來的符號 (" 和 ')。

  1. 在 Cloud Shell 中執行以下標準 SQL 查詢,計算子字串「raisin」在莎士比亞的所有作品中出現幾次。
bq query --use_legacy_sql=false \ 'SELECT word, SUM(word_count) AS count FROM `bigquery-public-data`.samples.shakespeare WHERE word LIKE "%raisin%" GROUP BY word'

在這個指令中:

  • --use_legacy_sql=false 表示將標準 SQL 設為預設查詢語法。

輸出內容:

Waiting on job_e19 ... (0s) Current status: DONE +---------------+-------+ | word | count | +---------------+-------+ | praising | 8 | | Praising | 4 | | raising | 5 | | dispraising | 2 | | dispraisingly | 1 | | raisins | 1 |

從資料表可看出,雖然單單 raisin 這個字並未出現,但在莎士比亞的作品中,仍有許多單詞依序用到這幾個字母。

測試已完成的工作

點選「Check my progress」確認工作已完成。如果已成功對公開資料集執行查詢,您會看見評估分數。

執行查詢 (資料集:samples;資料表:shakespeare;子字串:raisin)

如果莎士比亞的作品沒有您搜尋的文字,就不會傳回任何結果。

  • 以下對「huzzah」的搜尋不會傳回任何相符結果:
bq query --use_legacy_sql=false \ 'SELECT word FROM `bigquery-public-data`.samples.shakespeare WHERE word = "huzzah"'

測試已完成的工作

點選「Check my progress」確認工作已完成。如果已成功對公開資料集執行查詢,您會看見評估分數。

執行查詢 (資料集:samples;資料表:shakespeare;子字串:huzzah)

工作 4:建立新的資料表

現在要建立您自己的資料表。每份資料表都儲存在資料集內。「資料集」是由一系列資料表和檢視表等資源組成的。

建立新的資料集

  1. 使用 bq ls 指令,列出專案中現有的所有資料集:
bq ls

系統會將您導回指令列,因為專案中還沒有任何資料集。

  1. 執行 bq lsbigquery-public-data 專案 ID,列出該特定專案中的資料集,並在後面加上英文冒號 (:):
bq ls bigquery-public-data:

輸出內容:

datasetId ----------------------------- austin_311 austin_bikeshare austin_crime austin_incidents austin_waste baseball bitcoin_blockchain bls census_bureau_construction census_bureau_international census_bureau_usa census_utility chicago_crime ...

現在來建立資料集。資料集名稱不得超過 1,024 個字元,可以包含 A-Z、a-z、0-9 和底線,但不能由數字或底線做為開頭,也不可以包含空格。

  1. 使用 bq mk 指令在專案中建立名稱為 babynames 的新資料集:
bq mk babynames

輸出內容範例:

Dataset 'qwiklabs-gcp-ba3466847fe3cec0:babynames' successfully created.

測試已完成的工作

點選「Check my progress」確認工作已完成。如果已成功建立名為 babynames 的 BigQuery 資料集,您會看見評估分數。

建立新資料集 (名稱:babynames)
  • 執行 bq ls,確認資料集現已顯示為專案的一部分:
bq ls

輸出內容範例:

datasetId ------------- babynames

上傳資料集

您需先在專案中新增資料集,才能建立資料表。您將使用的自訂資料檔約有 7 MB 資料,內容是美國社會安全局彙整的熱門新生兒名字。

  1. 執行下列指令,使用資料檔案的網址在專案新增新生兒名字 ZIP 檔案
wget http://www.ssa.gov/OACT/babynames/names.zip
  1. 列出檔案:
ls

您可以查看加到專案中檔案的名稱。

  1. 現在請解壓縮檔案:
unzip names.zip
  1. 這是一個蠻大的文字檔清單!請再列出檔案一次:
ls

使用 bq load 指令,只需一個步驟就能建立或更新資料表並載入資料。

您將使用 bq load 指令,在剛才建立的 babynames 資料集內將來源檔案載入至名為 names2010 的新資料表。根據預設,系統會同步執行這個作業,而且只需幾秒鐘的時間即可完成。

您將執行的 bq load 引數為:

datasetID: babynames tableID: names2010 source: yob2010.txt schema: name:string,gender:string,count:integer
  1. 建立資料表:
bq load babynames.names2010 yob2010.txt name:string,gender:string,count:integer

輸出內容範例:

Waiting on job_4f0c0878f6184119abfdae05f5194e65 ... (35s) Current status: DONE

測試已完成的工作

點選「Check my progress」確認工作已完成。如果已成功在資料表中載入資料,您會看見評估分數。

將資料載入新資料表
  1. 執行 bq lsbabynames,確認資料表現已顯示在資料集中:
bq ls babynames

輸出內容:

tableId Type ----------- ------- names2010 TABLE
  1. 執行 bq showdataset.table,查看結構定義:
bq show babynames.names2010

輸出內容:

Last modified Schema Total Rows Total Bytes Expiration Time Partitioning Clustered Fields Labels ----------------- ------------------- ------------ ------------- ----------------- ------------------- ------------------ -------- 13 Aug 14:37:34 |- name: string 34073 654482 12 Oct 14:37:34 |- gender: string |- count: integer 注意:根據預設,當您載入資料時,BigQuery 預期收到的是 UTF-8 編碼資料。如果您有資料採取 ISO-8859-1 (或 Latin-1) 編碼且載入後發生問題,可以透過 -E 標記明確要求 BigQuery 將您的資料視為 Latin-1。如要進一步瞭解字元編碼,請參閱資料載入簡介指南

工作 5:執行查詢

現在可以查詢資料,並傳回一些有趣結果了!

  1. 執行以下指令,傳回最受歡迎的 5 個女孩名:
bq query "SELECT name,count FROM babynames.names2010 WHERE gender = 'F' ORDER BY count DESC LIMIT 5"

輸出內容:

Waiting on job_58c0f5ca52764ef1902eba611b71c651 ... (0s) Current status: DONE +----------+-------+ | name | count | +----------+-------+ | Isabella | 22913 | | Sophia | 20643 | | Emma | 17345 | | Olivia | 17028 | | Ava | 15433 | +----------+-------+
  1. 執行以下指令,查看最不常用的 5 個男孩名:
bq query "SELECT name,count FROM babynames.names2010 WHERE gender = 'M' ORDER BY count ASC LIMIT 5" 注意:因為來源資料會略過出現少於 5 次的名字,所以次數至少會是 5。

輸出內容:

Waiting on job_556ba2e5aad340a7b2818c3e3280b7a3 ... (1s) Current status: DONE +----------+-------+ | name | count | +----------+-------+ | Aaqib | 5 | | Aaidan | 5 | | Aadhavan | 5 | | Aarian | 5 | | Aamarion | 5 | +----------+-------+

測試已完成的工作

點選「Check my progress」確認工作已完成。如果已成功對自訂資料集執行查詢,您會看見評估分數。

對資料集中的資料表執行查詢

工作 6:知識盤點

下列選擇題可以加深您對本實驗室概念的理解,請盡您所能回答。

工作 7:清除所用資源

  1. 執行 bq rm 指令移除帶有 -r 標記的 babynames 資料集,刪除該資料集中的所有資料表:
bq rm -r babynames
  1. 輸入 Y 確認刪除指令。

測試已完成的工作

點選「Check my progress」確認工作已完成。如果已成功移除 babynames 資料集,您會看見評估分數。

移除 babynames 資料集

恭喜!

現在,您可以使用指令列查詢公開資料表,將樣本資料載入 BigQuery 了!

後續步驟/瞭解詳情

這個實驗室屬於 Qwik Start 實驗室系列,此系列旨在帶您一窺 Google Cloud 的眾多功能。歡迎在實驗室目錄搜尋「Qwik Start」,看看接下來要參加哪個實驗室!

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法,讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程,並有隨選、線上和虛擬課程等選項,方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期:2025 年 5 月 2 日

實驗室上次測試日期:2025 年 5 月 2 日

Copyright 2025 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標,其他公司和產品名稱則有可能是其關聯公司的商標。

准备工作

  1. 实验会创建一个 Google Cloud 项目和一些资源,供您使用限定的一段时间
  2. 实验有时间限制,并且没有暂停功能。如果您中途结束实验,则必须重新开始。
  3. 在屏幕左上角,点击开始实验即可开始

此内容目前不可用

一旦可用,我们会通过电子邮件告知您

太好了!

一旦可用,我们会通过电子邮件告知您

一次一个实验

确认结束所有现有实验并开始此实验

使用无痕浏览模式运行实验

请使用无痕模式或无痕式浏览器窗口运行此实验。这可以避免您的个人账号与学生账号之间发生冲突,这种冲突可能导致您的个人账号产生额外费用。