arrow_back

BigQuery：Qwik Start - 指令列

登录 加入
Quick tip: Review the prerequisites before you run the lab
Use an Incognito or private browser window to run this lab. This prevents any conflicts between your personal account and the student account, which may cause extra charges incurred to your personal account.
欢迎加入我们的社区，一起测试和分享您的知识！
done
学习 700 多个动手实验和课程并获得相关技能徽章

BigQuery：Qwik Start - 指令列

实验 30 分钟 universal_currency_alt 免费 show_chart 入门级
info 此实验可能会提供 AI 工具来支持您学习。
欢迎加入我们的社区，一起测试和分享您的知识！
done
学习 700 多个动手实验和课程并获得相关技能徽章

GSP071

總覽

如果沒有合適的硬體或基礎架構，儲存與查詢大量的資料集可能既耗時又昂貴。BigQuery 是具備高擴充性的無伺服器雲端資料倉儲系統，能夠利用 Google 基礎架構的強大處理能力，以超高效率執行 SQL 查詢，從而解決上述問題。只要將您的資料移至 BigQuery，我們就能為您處理繁雜的工作。您可以根據業務需求控管對專案與資料的存取權，例如授予他人檢視或查詢資料的權限。

您可以透過控制台、網頁使用者介面或指令列工具存取 BigQuery，也能使用 Java、.NET、Python 等多種用戶端程式庫，進而存取這項產品。另外，您也可以透過各種解決方案供應商與 BigQuery 互動。

在本實作實驗室中，您將瞭解如何使用 BigQuery, 專用的 Python 指令列工具 bq 查詢公開資料表，以及將樣本資料載入 BigQuery。

學習內容

  • 查詢公開資料集
  • 建立新的資料集
  • 將資料載入新資料表
  • 查詢自訂資料表

設定和需求

瞭解以下事項後，再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時，且中途無法暫停。點選「Start Lab」後就會開始計時，顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動，而不是模擬或示範環境。為此，我們會提供新的暫時憑證，供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室，請先確認：

  • 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。
注意事項：請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室，這可以防止個人帳戶和學員帳戶之間的衝突，避免個人帳戶產生額外費用。
  • 是時候完成實驗室活動了！別忘了，活動一旦開始將無法暫停。
注意事項：務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶，可能會產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

  1. 點選「Start Lab」按鈕。如果實驗室會產生費用，畫面上會出現選擇付款方式的對話方塊。左側的「Lab Details」窗格會顯示下列項目：

    • 「Open Google Cloud console」按鈕
    • 剩餘時間
    • 必須在這個研究室中使用的臨時憑證
    • 完成這個實驗室所需的其他資訊 (如有)

  2. 點選「Open Google Cloud console」；如果使用 Chrome 瀏覽器，也能按一下滑鼠右鍵，選取「在無痕視窗中開啟連結」。

    接著，實驗室會啟動相關資源，並開啟另一個分頁，顯示「登入」頁面。

    提示：您可以在不同的視窗中並排開啟分頁。

    注意：如果頁面中顯示「選擇帳戶」對話方塊，請點選「使用其他帳戶」。

  3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

    {{{user_0.username | "Username"}}}

    您也可以在「Lab Details」窗格找到 Username。

  4. 點選「下一步」。

  5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

    {{{user_0.password | "Password"}}}

    您也可以在「Lab Details」窗格找到 Password。

  6. 點選「下一步」。

    重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

  7. 按過後續的所有頁面：

    • 接受條款及細則。
    • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
    • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要使用 Google Cloud 產品和服務，請點選「導覽選單」，或在「搜尋」欄位輸入服務或產品名稱。

啟動 Cloud Shell

Cloud Shell 是搭載多項開發工具的虛擬機器，提供永久的 5 GB 主目錄，而且在 Google Cloud 中運作。Cloud Shell 提供指令列存取權，方便您使用 Google Cloud 資源。

  1. 點按 Google Cloud 控制台上方的「啟用 Cloud Shell」圖示 。

連線完成即代表已通過驗證，且專案已設為您的 PROJECT_ID。輸出內容中有一行宣告本工作階段 PROJECT_ID 的文字：

您在本工作階段中的 Cloud Platform 專案會設為「YOUR_PROJECT_ID」

gcloud 是 Google Cloud 的指令列工具，已預先安裝於 Cloud Shell，並支援 Tab 鍵自動完成功能。

  1. (選用) 您可以執行下列指令來列出使用中的帳戶：
gcloud auth list

  1. 點按「授權」。

  2. 輸出畫面應如下所示：

輸出內容：

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`
  1. (選用) 您可以使用下列指令來列出專案 ID：
gcloud config list project

輸出內容：

[core] project = <project_ID>

輸出內容範例：

[core] project = qwiklabs-gcp-44776a13dea667a6 附註：如需有關 gcloud 的完整說明，請前往 Google Cloud 並參閱「gcloud CLI overview guide」(gcloud CLI 總覽指南)。

工作 1：檢查資料表

BigQuery 提供了一些範例資料表供您執行查詢。在本實驗室中，您將針對包含每部戲劇全文內容的 shakespeare 資料表執行查詢。

若要檢查樣本資料集中 Shakespeare 資料表的結構定義，請執行：

bq show bigquery-public-data:samples.shakespeare

此指令的涵義說明如下：

  • bq 用於叫用 BigQuery 指令列工具
  • show 是要執行的操作
  • 後面則列出您希望在 BigQuery 顯示的 project:public dataset.table 名稱

輸出內容：

Last modified Schema Total Rows Total Bytes Expiration Time Partitioning Clustered Fields Labels ----------------- ------------------------------------ ------------ ------------- ------------ ------------------- ------------------ -------- 14 Mar 13:16:45 |- word: string (required) 164656 6432064 |- word_count: integer (required) |- corpus: string (required) |- corpus_date: integer (required)

工作 2：執行 help 指令

在 help 指令後方加入其他指令的名稱，即可獲得該特定指令的資訊。

  1. 例如，以下對 bq help 的呼叫可擷取關於 query 指令的資訊：
bq help query
  1. 如要查看 bq 所用指令的完整清單，只需執行 bq help 即可。

工作 3：執行查詢

現在請執行查詢，查看子字串「raisin」在莎士比亞的作品中出現幾次。

  1. 如要執行查詢，請執行 bq query "[SQL_STATEMENT]" 指令：

  • 以 \ 符號逸出任何位於 [SQL_STATEMENT] 內的引號，或

  • 使用其他的引號類型，而不要使用括起來的符號 (" 和 ')。

  1. 在 Cloud Shell 中執行以下標準 SQL 查詢，計算子字串「raisin」在莎士比亞的所有作品中出現幾次。
bq query --use_legacy_sql=false \ 'SELECT word, SUM(word_count) AS count FROM `bigquery-public-data`.samples.shakespeare WHERE word LIKE "%raisin%" GROUP BY word'

在這個指令中：

  • --use_legacy_sql=false 表示將標準 SQL 設為預設查詢語法。

輸出內容：

Waiting on job_e19 ... (0s) Current status: DONE +---------------+-------+ | word | count | +---------------+-------+ | praising | 8 | | Praising | 4 | | raising | 5 | | dispraising | 2 | | dispraisingly | 1 | | raisins | 1 |

從資料表可看出，雖然單單 raisin 這個字並未出現，但在莎士比亞的作品中，仍有許多單詞依序用到這幾個字母。

測試已完成的工作

點選「Check my progress」確認工作已完成。如果已成功對公開資料集執行查詢，您會看見評估分數。

執行查詢 (資料集：samples；資料表：shakespeare；子字串：raisin)

如果莎士比亞的作品沒有您搜尋的文字，就不會傳回任何結果。

  • 以下對「huzzah」的搜尋不會傳回任何相符結果：
bq query --use_legacy_sql=false \ 'SELECT word FROM `bigquery-public-data`.samples.shakespeare WHERE word = "huzzah"'

測試已完成的工作

點選「Check my progress」確認工作已完成。如果已成功對公開資料集執行查詢，您會看見評估分數。

執行查詢 (資料集：samples；資料表：shakespeare；子字串：huzzah)

工作 4：建立新的資料表

現在要建立您自己的資料表。每份資料表都儲存在資料集內。「資料集」是由一系列資料表和檢視表等資源組成的。

建立新的資料集

  1. 使用 bq ls 指令，列出專案中現有的所有資料集：
bq ls

系統會將您導回指令列，因為專案中還沒有任何資料集。

  1. 執行 bq ls 和 bigquery-public-data 專案 ID，列出該特定專案中的資料集，並在後面加上英文冒號 (:)：
bq ls bigquery-public-data:

輸出內容：

datasetId ----------------------------- austin_311 austin_bikeshare austin_crime austin_incidents austin_waste baseball bitcoin_blockchain bls census_bureau_construction census_bureau_international census_bureau_usa census_utility chicago_crime ...

現在來建立資料集。資料集名稱不得超過 1,024 個字元，可以包含 A-Z、a-z、0-9 和底線，但不能由數字或底線做為開頭，也不可以包含空格。

  1. 使用 bq mk 指令在專案中建立名稱為 babynames 的新資料集：
bq mk babynames

輸出內容範例：

Dataset 'qwiklabs-gcp-ba3466847fe3cec0:babynames' successfully created.

測試已完成的工作

點選「Check my progress」確認工作已完成。如果已成功建立名為 babynames 的 BigQuery 資料集，您會看見評估分數。

建立新資料集 (名稱：babynames)
  • 執行 bq ls，確認資料集現已顯示為專案的一部分：
bq ls

輸出內容範例：

datasetId ------------- babynames

上傳資料集

您需先在專案中新增資料集，才能建立資料表。您將使用的自訂資料檔約有 7 MB 資料，內容是美國社會安全局彙整的熱門新生兒名字。

  1. 執行以下指令，在專案中新增新生兒名字的 ZIP 檔案，並使用資料檔案的網址：
curl -LO http://www.ssa.gov/OACT/babynames/names.zip
  1. 列出檔案：
ls

您可以查看加到專案中檔案的名稱。

  1. 現在請解壓縮檔案：
unzip names.zip
  1. 這是一個蠻大的文字檔清單！請再列出檔案一次：
ls

使用 bq load 指令，只需一個步驟就能建立或更新資料表並載入資料。

您將使用 bq load 指令，在剛才建立的 babynames 資料集內將來源檔案載入至名為 names2010 的新資料表。根據預設，系統會同步執行這個作業，而且只需幾秒鐘的時間即可完成。

您將執行的 bq load 引數為：

datasetID: babynames tableID: names2010 source: yob2010.txt schema: name:string,gender:string,count:integer
  1. 建立資料表：
bq load babynames.names2010 yob2010.txt name:string,gender:string,count:integer

輸出內容範例：

Waiting on job_4f0c0878f6184119abfdae05f5194e65 ... (35s) Current status: DONE

測試已完成的工作

點選「Check my progress」確認工作已完成。如果已成功在資料表中載入資料，您會看見評估分數。

將資料載入新資料表
  1. 執行 bq ls 和 babynames，確認資料表現已顯示在資料集中：
bq ls babynames

輸出內容：

tableId Type ----------- ------- names2010 TABLE
  1. 執行 bq show 和 dataset.table，查看結構定義：
bq show babynames.names2010

輸出內容：

Last modified Schema Total Rows Total Bytes Expiration Time Partitioning Clustered Fields Labels ----------------- ------------------- ------------ ------------- ----------------- ------------------- ------------------ -------- 13 Aug 14:37:34 |- name: string 34073 654482 12 Oct 14:37:34 |- gender: string |- count: integer 注意：根據預設，當您載入資料時，BigQuery 預期收到的是 UTF-8 編碼資料。如果您有資料採取 ISO-8859-1 (或 Latin-1) 編碼且載入後發生問題，可以透過 -E 標記明確要求 BigQuery 將您的資料視為 Latin-1。如要進一步瞭解字元編碼，請參閱資料載入簡介指南。

工作 5：執行查詢

現在可以查詢資料，並傳回一些有趣結果了！

  1. 執行以下指令，傳回最受歡迎的 5 個女孩名：
bq query "SELECT name,count FROM babynames.names2010 WHERE gender = 'F' ORDER BY count DESC LIMIT 5"

輸出內容：

Waiting on job_58c0f5ca52764ef1902eba611b71c651 ... (0s) Current status: DONE +----------+-------+ | name | count | +----------+-------+ | Isabella | 22913 | | Sophia | 20643 | | Emma | 17345 | | Olivia | 17028 | | Ava | 15433 | +----------+-------+
  1. 執行以下指令，查看最不常用的 5 個男孩名：
bq query "SELECT name,count FROM babynames.names2010 WHERE gender = 'M' ORDER BY count ASC LIMIT 5" 注意：因為來源資料會略過出現少於 5 次的名字，所以次數至少會是 5。

輸出內容：

Waiting on job_556ba2e5aad340a7b2818c3e3280b7a3 ... (1s) Current status: DONE +----------+-------+ | name | count | +----------+-------+ | Aaqib | 5 | | Aaidan | 5 | | Aadhavan | 5 | | Aarian | 5 | | Aamarion | 5 | +----------+-------+

測試已完成的工作

點選「Check my progress」確認工作已完成。如果已成功對自訂資料集執行查詢，您會看見評估分數。

對資料集中的資料表執行查詢

工作 6：知識盤點

下列選擇題可以加深您對本實驗室概念的理解，請盡您所能回答。

工作 7：清除所用資源

  1. 執行 bq rm 指令移除帶有 -r 標記的 babynames 資料集，刪除該資料集中的所有資料表：
bq rm -r babynames
  1. 輸入 Y 確認刪除指令。

測試已完成的工作

點選「Check my progress」確認工作已完成。如果已成功移除 babynames 資料集，您會看見評估分數。

移除 babynames 資料集

恭喜！

現在，您可以使用指令列查詢公開資料表，將樣本資料載入 BigQuery 了！

後續步驟/瞭解詳情

這個實驗室屬於 Qwik Start 實驗室系列，此系列旨在帶您一窺 Google Cloud 的眾多功能。歡迎在實驗室目錄中搜尋「Qwik Start」，選擇下個想參加的實驗室！

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2024 年 1 月 26 日

實驗室上次測試日期：2023 年 8 月 24 日

Copyright 2025 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。

Before you begin

  1. Labs create a Google Cloud project and resources for a fixed time
  2. Labs have a time limit and no pause feature. If you end the lab, you'll have to restart from the beginning.
  3. On the top left of your screen, click Start lab to begin

此内容目前不可用

一旦可用，我们会通过电子邮件告知您

太好了！

一旦可用，我们会通过电子邮件告知您

One lab at a time

Confirm to end all existing labs and start this one

Use private browsing to run the lab

Use an Incognito or private browser window to run this lab. This prevents any conflicts between your personal account and the Student account, which may cause extra charges incurred to your personal account.