Before you begin
- Labs create a Google Cloud project and resources for a fixed time
- Labs have a time limit and no pause feature. If you end the lab, you'll have to restart from the beginning.
- On the top left of your screen, click Start lab to begin
04
Inspect Rich Documents with Gemini Multimodality and Multimodal RAG
チェックポイント
Install Gen AI SDK for Python and import libraries
/ 25
Use Gemini model to describe a room
/ 25
Use Gemini model to recommend a piece of furniture
/ 25
Use Gemini model to recommend an item from a selection
/ 25
Get access to 700+ labs and courses
マルチモーダルの小売業向けレコメンデーションでの Gemini の使用
ラボの手順とタスク
Get access to 700+ labs and courses
GSP1230
概要
Gemini は、Google DeepMind が開発した生成 AI モデルのファミリーであり、マルチモーダル ユースケース用に設計されています。
小売企業でレコメンデーション システムを活用すると、カスタマー エクスペリエンスの向上、ひいては売上の増加につなげられます。このラボでは、Gemini モデルを使用して、マルチモーダルのレコメンデーション システムを迅速に作成する方法を学びます。Gemini モデルは、マルチモーダル モデルを使用して、レコメンデーションと説明の両方を提供できます。
このラボでは、リビングルームなどのシーンを起点に、Gemini モデルを使用して視覚的な理解を実行します。また、Gemini モデルを使用して、入力として提供した家具リストの中から椅子などの商品を 1 点選んでおすすめする方法についても見ていきます。
Gemini
Gemini は、Google DeepMind が開発した強力な生成 AI モデルのファミリーであり、テキスト、コード、画像、音声、動画などのさまざまな形式のコンテンツを理解し、生成することができます。
Vertex AI の Gemini API
Vertex AI の Gemini API は、Gemini モデルを操作するための統合インターフェースを提供します。これにより、開発者は強力な AI 機能をアプリケーションに簡単に組み込むことができます。最新バージョンの詳細情報と具体的な機能については、Gemini の公式ドキュメントをご覧ください。
Gemini モデル
-
Gemini Pro: 複雑な推論向けに設計されており、次のようなことができます。
- 膨大な量の情報の分析と要約。
- 高度なクロスモーダル推論（テキスト、コード、画像など）。
- 複雑なコードベースでの効果的な問題解決。
-
Gemini Flash: 速度と効率が向上するように最適化されており、以下を提供します。
- 1 秒未満の応答時間と高スループット。
- 高品質かつ低コストでの幅広いタスクの実行。
- 空間理解の向上、新しい出力形式（テキスト、音声、画像）、ネイティブでのツール使用（Google 検索、コード実行、サードパーティ機能）など、強化されたマルチモーダル機能。
前提条件
このラボを開始する前に、以下について理解しておく必要があります。
- 基本的な Python プログラミング。
- 一般的な API のコンセプト。
- Vertex AI Workbench の Jupyter ノートブックでの Python コードの実行。
目標
このラボでは、次の方法について学びます。
- Gemini モデル（
gemini-2.0-flash）を使用して、視覚的な理解を実行する - マルチモダリティを考慮して Gemini モデルのプロンプトを作成する
- Gemini モデルを使用して、小売業向けレコメンデーション アプリケーションを作成する
設定と要件
[ラボを開始] ボタンをクリックする前に
こちらの説明をお読みください。ラボには時間制限があり、一時停止することはできません。タイマーは、Google Cloud のリソースを利用できる時間を示しており、[ラボを開始] をクリックするとスタートします。
このハンズオンラボでは、シミュレーションやデモ環境ではなく実際のクラウド環境を使って、ラボのアクティビティを行います。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。
このラボを完了するためには、下記が必要です。
- 標準的なインターネット ブラウザ（Chrome を推奨）
- ラボを完了するための時間（開始後は一時停止できません）
ラボを開始して Google Cloud コンソールにログインする方法
-
[ラボを開始] ボタンをクリックします。ラボの料金をお支払いいただく必要がある場合は、表示されるダイアログでお支払い方法を選択してください。 左側の [ラボの詳細] ペインには、以下が表示されます。
- [Google Cloud コンソールを開く] ボタン
- 残り時間
- このラボで使用する必要がある一時的な認証情報
- このラボを行うために必要なその他の情報（ある場合）
-
[Google Cloud コンソールを開く] をクリックします（Chrome ブラウザを使用している場合は、右クリックして [シークレット ウィンドウで開く] を選択します）。
ラボでリソースがスピンアップし、別のタブで [ログイン] ページが表示されます。
ヒント: タブをそれぞれ別のウィンドウで開き、並べて表示しておきましょう。
注: [アカウントの選択] ダイアログが表示されたら、[別のアカウントを使用] をクリックします。 -
必要に応じて、下のユーザー名をコピーして、[ログイン] ダイアログに貼り付けます。
{{{user_0.username | "Username"}}} [ラボの詳細] ペインでもユーザー名を確認できます。
-
[次へ] をクリックします。
-
以下のパスワードをコピーして、[ようこそ] ダイアログに貼り付けます。
{{{user_0.password | "Password"}}} [ラボの詳細] ペインでもパスワードを確認できます。
-
[次へ] をクリックします。
重要: ラボで提供された認証情報を使用する必要があります。Google Cloud アカウントの認証情報は使用しないでください。 注: このラボでご自身の Google Cloud アカウントを使用すると、追加料金が発生する場合があります。 -
その後次のように進みます。
- 利用規約に同意してください。
- 一時的なアカウントなので、復元オプションや 2 要素認証プロセスは設定しないでください。
- 無料トライアルには登録しないでください。
その後、このタブで Google Cloud コンソールが開きます。
タスク 1. Vertex AI Workbench でノートブックを開く
-
Google Cloud コンソールのナビゲーション メニュー（）で、[Vertex AI] > [ワークベンチ] の順にクリックします。
-
インスタンスを見つけて、[JupyterLab を開く] ボタンをクリックします。
Workbench インスタンスの JupyterLab インターフェースが新しいブラウザタブで開きます。
タスク 2. ノートブックを設定する
-
ファイルを開きます。 -
[Select Kernel] ダイアログで、使用可能なカーネルのリストから [Python 3] を選択します。
-
ノートブックの「Getting Started」（スタートガイド）セクションと「Import libraries」（ライブラリのインポート）セクションをすべて実行します。
- [Project ID] に
を使用し、[Location] に を使用します。
- [Project ID] に
[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。
以降のセクションでは、ノートブック セルの実行を通して、Gemini モデルのマルチモーダル機能を使用する方法を見ていきます。
タスク 3. Gemini モデルを使用する
Gemini モデル（gemini-2.0-flash）は、テキスト レスポンスを取得するための、テキスト プロンプトまたはチャット プロンプトへの画像や動画の追加に対応したマルチモーダル モデルです。
- このタスクでは、ノートブック セルの実行を通して、Gemini モデルを使用して画像を基に部屋を詳しく説明し、1 つのプロンプトの中にテキストと画像を組み合わせる方法を見ていきます。
[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。
タスク 4. 組み込みの知識を基に自由なレコメンデーションを生成する
同じ画像を使用して、部屋の説明とともに部屋に合った家具を 1 点おすすめするようにモデルに指示します。なお、このケースでは、モデルは組み込みの知識のみを基にあらゆる家具を選択しておすすめできます。
- 同じ画像を使用して、ノートブック セルの実行を通して、Gemini モデルを使用して部屋の説明とともに部屋に合った家具を 1 点おすすめする方法を見ていきます。
[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。
タスク 5. 提供した画像を基にレコメンデーションを生成する
レコメンデーションに制約を設けないようにする代わりに、モデルに商品のリストを提供して、その中から選択させることもできます。このセクションでは、椅子の画像を数点ダウンロードして、その画像を Gemini モデルがおすすめする際の選択肢として設定します。これは、シーンとして使用する部屋の種類や、店舗で販売している商品を基にユーザーにおすすめすることを検討している小売企業にとって特に有用です。
- このタスクでは、ノートブック セルの実行を通して、Gemini モデルを使用して商品リストから家具を 1 点選んでおすすめする方法を見ていきます。
[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。
お疲れさまでした
お疲れさまでした。このラボでは、Gemini を使用して家具向けのマルチモーダルのレコメンデーション システムを構築する方法を取り上げました。Gemini モデルを使用して視覚的な理解を実行する方法と、マルチモダリティを考慮して Gemini モデルのプロンプトを作成する方法も学習しました。今回は、Gemini を使用して家具をおすすめするマルチモーダルのレコメンデーション システムを簡単に構築できることをご説明しましたが、以下の用途でも同じアプローチを利用できます。
- 場面、もしくは会場の画像に基づいて衣服をおすすめする
- 部屋やセットに基づいて壁紙をおすすめする
次のステップと詳細情報
以下のリソースで Gemini に関する理解を深めましょう。
- Gemini の概要
- Vertex AI の生成 AI に関するドキュメント
- 生成 AI に関する YouTube チャンネル
- Vertex AI クックブック。生成 AI に関するノートブックを集めた、検索可能なギャラリーです。
- Google Cloud 生成 AI レポジトリ。他のノートブックやサンプルを確認できます。
Google Cloud トレーニングと認定資格
Google Cloud トレーニングと認定資格を通して、Google Cloud 技術を最大限に活用できるようになります。必要な技術スキルとベスト プラクティスについて取り扱うクラスでは、学習を継続的に進めることができます。トレーニングは基礎レベルから上級レベルまであり、オンデマンド、ライブ、バーチャル参加など、多忙なスケジュールにも対応できるオプションが用意されています。認定資格を取得することで、Google Cloud テクノロジーに関するスキルと知識を証明できます。
マニュアルの最終更新日: 2025 年 4 月 17 日
ラボの最終テスト日: 2025 年 4 月 17 日
Copyright 2025 Google LLC. All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。
