
Before you begin
- Labs create a Google Cloud project and resources for a fixed time
- Labs have a time limit and no pause feature. If you end the lab, you'll have to restart from the beginning.
- On the top left of your screen, click Start lab to begin
Create a new dataset and table to store the data
/ 20
Execute the query to see how many unique products were viewed
/ 15
Execute the query to use the UNNEST() on array field
/ 15
Create a dataset and a table to ingest JSON data
/ 20
Execute the query to COUNT how many racers were there in total
/ 10
Execute the query that will list the total race time for racers whose names begin with R
/ 10
Execute the query to see which runner ran fastest lap time
/ 10
BigQuery は、Google が低価格で提供する NoOps、フルマネージドの分析データベースです。BigQuery では、インフラストラクチャを所有して管理したりデータベース管理者を置いたりすることなく、テラバイト単位の大規模なデータでクエリを実行できます。また、SQL が採用されており、従量課金制というメリットもあります。このような特長を活かし、ユーザーは有用な情報を得るためのデータ分析に専念できます。
このラボでは、BigQuery での半構造化データの操作(JSON の取り込み、配列データ型)について詳しく学習します。スキーマを非正規化し、ネストされた繰り返しのフィールドを持つ単一のテーブルにすることで、パフォーマンスが改善する場合があります。ただし、配列データを操作する SQL 構文は複雑になることがあります。ここでは、さまざまな半構造化データセットに対する読み込み、クエリ実行、トラブルシューティング、ネスト解除を実際に行います。
このラボでは、次の方法について学びます。
こちらの説明をお読みください。ラボには時間制限があり、一時停止することはできません。タイマーは、Google Cloud のリソースを利用できる時間を示しており、[ラボを開始] をクリックするとスタートします。
このハンズオンラボでは、シミュレーションやデモ環境ではなく実際のクラウド環境を使って、ラボのアクティビティを行います。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。
このラボを完了するためには、下記が必要です。
[ラボを開始] ボタンをクリックします。ラボの料金をお支払いいただく必要がある場合は、表示されるダイアログでお支払い方法を選択してください。 左側の [ラボの詳細] ペインには、以下が表示されます。
[Google Cloud コンソールを開く] をクリックします(Chrome ブラウザを使用している場合は、右クリックして [シークレット ウィンドウで開く] を選択します)。
ラボでリソースがスピンアップし、別のタブで [ログイン] ページが表示されます。
ヒント: タブをそれぞれ別のウィンドウで開き、並べて表示しておきましょう。
必要に応じて、下のユーザー名をコピーして、[ログイン] ダイアログに貼り付けます。
[ラボの詳細] ペインでもユーザー名を確認できます。
[次へ] をクリックします。
以下のパスワードをコピーして、[ようこそ] ダイアログに貼り付けます。
[ラボの詳細] ペインでもパスワードを確認できます。
[次へ] をクリックします。
その後次のように進みます。
その後、このタブで Google Cloud コンソールが開きます。
[Cloud コンソールの BigQuery へようこそ] メッセージ ボックスが開きます。このメッセージ ボックスには、クイックスタート ガイドとリリースノートへのリンクが表示されます。
BigQuery コンソールが開きます。
新しいデータセットに「fruit_store
」という名前を付けます。その他のオプション([データのロケーション]、[デフォルトのテーブルの有効期限])はデフォルト値のままにします。
[データセットを作成] をクリックします。
通常、SQL では、以下の果物リストのように各行に値が 1 つ含まれます。
行 |
果物 |
1 |
raspberry |
2 |
blackberry |
3 |
strawberry |
4 |
cherry |
果物リストに店舗の担当者名が必要な場合はどうすればよいでしょうか。次のようになります。
行 |
果物 |
担当者 |
1 |
raspberry |
sally |
2 |
blackberry |
sally |
3 |
strawberry |
sally |
4 |
cherry |
sally |
5 |
orange |
frederick |
6 |
apple |
frederick |
従来のリレーショナル データベースの SQL では、同じ名前が複数回出現する場合、上記のテーブルを果物と担当者の 2 つの別個のテーブルに分割することを考えます。これは正規化(1 つのテーブルを多数のテーブルに分割)と呼ばれ、mySQL のようなトランザクション データベースでよく行われます。
データ ウェアハウジングでよく行われるのはその逆の操作(非正規化)で、多数のテーブルを 1 つの大きなレポート テーブルにまとめます。
ここでは、繰り返しフィールドを使用して、粒度の異なるデータをすべて 1 つのテーブルに格納する方法を学びます。
行 |
果物(配列) |
担当者 |
1 |
raspberry |
sally |
blackberry | ||
strawberry | ||
cherry | ||
2 |
orange |
frederick |
apple |
上のテーブルの不自然な点はどこでしょうか。
ここからわかるのは、array
データ型が使用されているということです。
以下のように記述すると、果物の配列について理解しやすくなります。
行 |
果物(配列) |
担当者 |
1 |
[raspberry, blackberry, strawberry, cherry] |
sally |
2 |
[orange, apple] |
frederick |
これら両方のテーブルは同じ内容を表します。主な学習のポイントは 2 つあります。
実際に試す
[実行] をクリックします。
次のクエリを実行します。
次のようなエラーが表示されます。
Error: Array elements of types {INT64, STRING} do not have a common supertype at [3:1]
配列内では同じデータ型を使用する必要があります(すべて文字列、すべて数値など)。
[実行] をクリックします。
結果が表示されたら [JSON] タブをクリックして、ネストされた結果の構造を確認します。
BigQuery に JSON ファイルを取り込む必要がある場合はどうすればよいでしょうか。
データセット内に fruit_details
という新しいテーブルを作成します。
fruit_store
データセットをクリックします。これで、[テーブルを作成] オプションが表示されます。
cloud-training/data-insights-course/labs/optimizing-for-performance/shopping_cart.json
新しいテーブルの名前を「fruit_details
」にします。
[スキーマ] セクションで [自動検出] チェックボックスをオンにします。
[テーブルを作成] をクリックします。
スキーマで fruit_array
が「REPEATED」に設定されているため、このフィールドが配列であることがわかります。
内容のまとめ
[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。
今度は配列を自分のテーブル内に作成しましょう。
次に、ARRAY_AGG()
関数を使用して、これらの文字列値を 1 つの配列にまとめます。
ARRAY_LENGTH()
関数を使用して、閲覧されたページと商品の数を調べます。ARRAY_AGG()
に DISTINCT
を追加します。[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。
内容のまとめ
次のように、配列に関連する便利な関数があります。
ARRAY_LENGTH(<array>)
で要素の数を調べるARRAY_AGG(DISTINCT <field>)
で要素の重複を除去するARRAY_AGG(<field> ORDER BY <field>)
で要素を並べ替えるARRAY_AGG(<field> LIMIT 5)
で要素の数を制限するGoogle アナリティクス向けの BigQuery 一般公開データセット bigquery-public-data.google_analytics_sample
には、このコースのデータセット data-to-insights.ecommerce.all_sessions
より多くのフィールドと行が含まれています。さらに重要な点として、商品、ページ、トランザクションなどのフィールド値が、配列としてネイティブに格納されています。
[実行] をクリックしてクエリを実行します。
結果を右にスクロールして、hits.product.v2ProductName
フィールドを探します(複数フィールドのエイリアスについては、追って説明します)。
Google アナリティクス スキーマに含まれているフィールドは、ここで分析するには多すぎます。
「Error: Cannot access field page on a value with type ARRAY<STRUCT<hitNumber INT64, time INT64, hour INT64, ...>> at [3:8]
」というエラーが表示されます。
繰り返しフィールド(配列)を通常どおりにクエリするには、まず配列を分割して複数の行に戻す必要があります。
たとえば、hits.page.pageTitle
の配列は、次のように 1 つの行として格納されています。
これを次のようにする必要があります。
これを SQL で行うにはどうすればよいでしょうか。
解答: 配列フィールドで UNNEST() 関数を使用します。
UNNEST() については後ほど詳しく説明します。ここでは差し当たり、次のことを覚えておいてください。
[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。
フィールド エイリアスである hit.page.pageTitle
について、3 つのフィールドをドットで区切って 1 つにまとめたように見えるのが気になった方もいらっしゃるでしょう。配列値を使用すると、フィールドの粒度をより細かく「掘り下げる」ことができますが、これと同様に、関連するフィールドをグループ化してスキーマを「広げる」ことができるデータ型があります。それが、SQL データ型の STRUCT(構造体)です。
概念的には、構造体はメインテーブルに事前に結合された別テーブルのようなものと考えるとわかりやすくなります。
構造体には次のような特徴があります。
このように、構造体はテーブルによく似ています。
bigquery-public-data データセットを開くために [追加] をクリックして [名前を指定してプロジェクトにスターを付ける] を選択し、「bigquery-public-data
」と入力します。
[スターを付ける] をクリックします。
bigquery-public-data
プロジェクトが [エクスプローラ] セクションに表示されます。
bigquery-public-data を開きます。
google_analytics_sample データセットを探して開きます。
ga_sessions(366)_ テーブルをクリックします。
スキーマをスクロールし、ブラウザの検索機能を使って次の質問に答えてください。
ご想像のとおり、昨今の e コマースサイトで格納されているウェブサイトのセッション データは膨大な量になります。
1 つのテーブルで 32 個もの構造体を使用する最大のメリットは、結合を一切行わずに次のようなクエリを実行できることです。
.*
という構文を使用すると、その構造体のすべてのフィールドが BigQuery から返されます(totals.*
で別のテーブルを結合した場合によく似ています)。大きなレポート テーブルを構造体(事前に結合された「テーブル」)や配列(粒度が細かい)として格納すると、次のようなメリットがあります。
次のデータセットは、トラックを走るランナーのラップタイムです。各ラップは「スプリット」と呼ばれます。
行 |
runner.name |
runner.split |
1 |
Rudisha |
23.4 |
フィールドのエイリアスについて、どのようなことがわかりますか。構造体内にネストされているフィールドがあるため(name と split が runner のサブセット)、ドットを使用して区切りが示されています。
1 つのレースでのランナーのスプリット タイムが複数ある場合はどうなるでしょうか(ラップごとのタイムなど)。
その場合は配列を使用します。
行 |
runner.name |
runner.splits |
1 |
Rudisha |
23.4 |
26.3 | ||
26.4 | ||
26.1 |
まとめると次のようになります。
「racing
」という名前の新しいデータセットを作成します。
racing
データセットをクリックし、[テーブルを作成] をクリックします。
cloud-training/data-insights-course/labs/optimizing-for-performance/race_results.json
新しいテーブルの名前を「race_results
」にします。
[テーブルを作成] をクリックします。
読み込みジョブが完了したら、新しく作成されたテーブルのスキーマをプレビューします。
構造体のフィールドはどれでしょうか。それを知る手掛かりは何ですか。
participants フィールドは RECORD 型なので構造体です。
配列のフィールドはどれでしょうか。
participants.splits
フィールドは、親である participants
構造体内の FLOAT の配列です。モードが REPEATED であるため、配列であることがわかります。この配列の値は、単一のフィールドに複数の値が含まれるため「ネストされた値」と呼ばれます。
[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。
何件の行が返されましたか。
解答: 1
各ランナーの名前とレースの種類を一覧表示するにはどうすればよいでしょうか。
Error: Cannot access field name on a value with type ARRAY<STRUCT<name STRING, splits ARRAY<FLOAT64>>>> at [2:27]
集計関数を使う際に GROUP BY を忘れた状態に似ています。ここでは、粒度の異なる 2 つの項目があります。レースが 1 行、参加者名が 3 行です。これをどのように変更すればよいでしょうか。
行 |
race |
participants.name |
1 |
800M |
Rudisha |
2 |
??? |
Makhloufi |
3 |
??? |
Murphy |
これを次のようにします。
行 |
race |
participants.name |
1 |
800M |
Rudisha |
2 |
800M |
Makhloufi |
3 |
800M |
Murphy |
従来のリレーショナル SQL では、レースのテーブルと参加者のテーブルがある場合、両方のテーブルから情報を取得するにはテーブルを結合する必要があります。ここでは、参加者の STRUCT(概念的にはテーブルによく似ています)は、すでにレースのテーブルには含まれていますが、STRUCT ではない「race」フィールドとはまだ適切に関連付けられていません。
最初のテーブルで 800M レースを各ランナーと関連付けるために使用する SQL コマンドは何ですか。
解答: CROSS JOIN
では、先に進みましょう。
Table name "participants" missing dataset while no default dataset is set in the request
.
participants という構造体はテーブルに似ていますが、厳密に言えば racing.race_results
テーブル内のフィールドの一つです。
この結果として、各レースのランナーがすべて一覧表示されました。
行 |
race |
name |
1 |
800M |
Rudisha |
2 |
800M |
Makhloufi |
3 |
800M |
Murphy |
4 |
800M |
Bosse |
5 |
800M |
Rotich |
6 |
800M |
Lewandowski |
7 |
800M |
Kipketer |
8 |
800M |
Berian |
これで同じクエリ結果が得られます。
レースの種類が複数ある場合(800M、100M、200M)、クロス結合では、デカルト積のように各ランナーの名前がすべてのレースと関連付けられることはないのでしょうか。
解答: そのようにはなりません。これは相関クロス結合であり、個々の行に関連付けられた要素のみが展開されます。詳しくは、ARRAY と STRUCT の操作をご参照ください。
STRUCT(構造体)のまとめ:
STRUCT(``"Rudisha" as name, [23.4, 26.3, 26.4, 26.1] as splits``)`` AS runner
」を思い出してください。先ほど作成した racing.race_results
テーブルを使用して以下の質問に解答してください。
タスク: 参加したランナーの合計数を取得するクエリを作成してください。
FROM
の後に追加のデータソースとして、構造体名でクロス結合する必要があります。解答例:
行 |
racer_count |
1 |
8 |
解答: レースに参加したランナーは 8 人です。
[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。
名前が「R」で始まるランナーの合計レース時間を一覧表示するクエリを作成します。合計時間が短いランナーが先に表示されるように並べ替えます。UNNEST() 演算子を使って、部分的に作成済みの次のクエリで作業を開始します。
解答例:
行 |
name |
total_race_time |
1 |
Rudisha |
102.19999999999999 |
2 |
Rotich |
103.6 |
[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。
800M のレースで最も速いラップタイムは、23.2 秒でした。ただし、それがどのランナーの記録であるかは確認できていません。そこで、その結果を返すクエリを作成します。
解答例:
行 |
name |
split_time |
1 |
Kipketer |
23.2 |
[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。
JSON データセットを取り込み、配列と構造体を作成し、半構造化データをネスト解除して分析情報を得ることができました。
Google Cloud トレーニングと認定資格を通して、Google Cloud 技術を最大限に活用できるようになります。必要な技術スキルとベスト プラクティスについて取り扱うクラスでは、学習を継続的に進めることができます。トレーニングは基礎レベルから上級レベルまであり、オンデマンド、ライブ、バーチャル参加など、多忙なスケジュールにも対応できるオプションが用意されています。認定資格を取得することで、Google Cloud テクノロジーに関するスキルと知識を証明できます。
マニュアルの最終更新日: 2024 年 2 月 3 日
ラボの最終テスト日: 2023 年 8 月 25 日
Copyright 2025 Google LLC All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。
このコンテンツは現在ご利用いただけません
利用可能になりましたら、メールでお知らせいたします
ありがとうございます。
利用可能になりましたら、メールでご連絡いたします
One lab at a time
Confirm to end all existing labs and start this one