GSP1230

概要

Gemini は、Google の DeepMind が開発した、生成 AI モデルのファミリーであり、マルチモーダル ユースケース用に設計されています。Gemini API を使用すると、Gemini Pro Vision と Gemini Pro のモデルにアクセスできます。

小売企業でレコメンデーション システムを活用すると、カスタマー エクスペリエンスの向上、ひいては売上の増加につなげられます。このラボでは、Gemini Pro Vision モデルを使用して、マルチモーダルのレコメンデーション システムを迅速に作成する方法を学びます。Gemini Pro Vision モデルは、マルチモーダル モデルを使用して、レコメンデーションと説明の両方を提供できます。

このラボでは、リビングルームなどのシーンを起点に、Gemini Pro Vision モデルを使用して視覚的な理解を実行します。また、Gemini Pro Vision モデルを使用して、入力として提供した家具リストの中から椅子などの商品を 1 点選んでおすすめする方法についても見ていきます。

Vertex AI Gemini API

Vertex AI Gemini API は、Gemini モデルを操作するための統合インターフェースを提供します。現在、Gemini API では次の 2 つのモデルが利用可能です。

1. Gemini Pro モデル（gemini-pro）: 自然言語タスク、マルチターン テキストとコードチャット、コード生成を処理するように設計されています。
2. Gemini Pro Vision モデル（gemini-pro-vision）: マルチモーダル プロンプトをサポートします。プロンプト リクエストにテキスト、画像、動画を含めて、テキストまたはコードのレスポンスを取得できます。

Gemini API を操作するには、次の方法を使用します。

• Vertex AI Studio を使用して迅速なテストとコマンド生成を行う
• cURL コマンドを使用する
• Vertex AI SDK を使用する

このラボでは、Gemini Pro Vision モデルのマルチモーダル機能を取り上げます。

詳細については、Vertex AI の生成 AI に関するドキュメントをご覧ください。

目標

このラボでは、次の方法について学びます。

• Gemini Pro Vision モデル（gemini-pro-vision）を使用して、視覚的な理解を実行する
• マルチモダリティを考慮して Gemini Pro Vision モデルのプロンプトを作成する
• Gemini Pro Vision モデルを使用して、小売業向けレコメンデーション アプリケーションを作成する

設定と要件

[ラボを開始] ボタンをクリックする前に

こちらの手順をお読みください。ラボの時間は記録されており、一時停止することはできません。[ラボを開始] をクリックするとスタートするタイマーは、Google Cloud のリソースを利用できる時間を示しています。

このハンズオンラボでは、シミュレーションやデモ環境ではなく、実際のクラウド環境を使ってご自身でラボのアクティビティを行うことができます。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。

このラボを完了するためには、下記が必要です。

• 標準的なインターネット ブラウザ（Chrome を推奨）

注: このラボの実行には、シークレット モードまたはシークレット ブラウジング ウィンドウを使用してください。これにより、個人アカウントと受講者アカウント間の競合を防ぎ、個人アカウントに追加料金が発生することを防ぎます。

• ラボを完了するために十分な時間を確保してください。ラボをいったん開始すると一時停止することはできません。

注: すでに個人の Google Cloud アカウントやプロジェクトをお持ちの場合でも、このラボでは使用しないでください。アカウントへの追加料金が発生する可能性があります。

ラボを開始して Google Cloud コンソールにログインする方法

1. [ラボを開始] ボタンをクリックします。ラボの料金をお支払いいただく必要がある場合は、表示されるポップアップでお支払い方法を選択してください。 左側の [ラボの詳細] パネルには、以下が表示されます。

   • [Google Cloud コンソールを開く] ボタン
   • 残り時間
   • このラボで使用する必要がある一時的な認証情報
   • このラボを行うために必要なその他の情報（ある場合）

2. [Google Cloud コンソールを開く] をクリックします（Chrome ブラウザを使用している場合は、右クリックして [シークレット ウィンドウでリンクを開く] を選択します）。

   ラボでリソースが起動し、別のタブで [ログイン] ページが表示されます。

   ヒント: タブをそれぞれ別のウィンドウで開き、並べて表示しておきましょう。

   注: [アカウントの選択] ダイアログが表示されたら、[別のアカウントを使用] をクリックします。

3. 必要に応じて、下のユーザー名をコピーして、[ログイン] ダイアログに貼り付けます。

   {{{user_0.username | "Username"}}}

   [ラボの詳細] パネルでも [ユーザー名] を確認できます。

4. [次へ] をクリックします。

5. 以下のパスワードをコピーして、[ようこそ] ダイアログに貼り付けます。

   {{{user_0.password | "Password"}}}

   [ラボの詳細] パネルでも [パスワード] を確認できます。

6. [次へ] をクリックします。

   重要: ラボで提供された認証情報を使用する必要があります。Google Cloud アカウントの認証情報は使用しないでください。 注: このラボでご自身の Google Cloud アカウントを使用すると、追加料金が発生する場合があります。

7. その後次のように進みます。

   • 利用規約に同意してください。
   • 一時的なアカウントなので、復元オプションや 2 要素認証プロセスは設定しないでください。
   • 無料トライアルには登録しないでください。

その後、このタブで Google Cloud コンソールが開きます。

注: Google Cloud のプロダクトやサービスのリストを含むメニューを表示するには、左上のナビゲーション メニューをクリックします。

タスク 1. Vertex AI Workbench でノートブックを開く

1. Google Cloud コンソールのナビゲーション メニューで、[Vertex AI] > [ワークベンチ] をクリックします。

2. [ユーザー管理のノートブック] ページで、generative-ai-jupyterlab ノートブックを見つけて、[JupyterLab を開く] ボタンをクリックします。

新しいブラウザタブで JupyterLab インターフェースが開きます。

タスク 2. generative-ai フォルダを開く

1. ノートブックの左側にある generative-ai フォルダに移動します。

2. /gemini/use-cases/retail フォルダに移動します。

3. multimodal_retail_recommendations.ipynb ファイルを開きます。

4. ノートブックの「Getting Started」（スタートガイド）セクションと「Import libraries」（ライブラリのインポート）セクションをすべて実行します。

   • [Project ID]（プロジェクト ID）に を使用し、[Location]（場所）に を使用します。

注: 「Colab only」（Colab のみ）と記載されているノートブック セルは省略できます。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

Vertex AI SDK for Python をインストールしてライブラリをインポートする。

以降のセクションでは、ノートブック セルの実行を通して、Gemini Pro Vision モデルのマルチモーダル機能を使用する方法を見ていきます。

タスク 3. Gemini Pro Vision モデルを使用する

Gemini Pro Vision モデル（gemini-pro-vision）は、テキスト レスポンスを取得するための、テキスト プロンプトまたはチャット プロンプトへの画像や動画の追加に対応したマルチモーダル モデルです。

1. このタスクでは、ノートブック セルの実行を通して、Gemini Pro Vision モデルを使用して画像を基に部屋を詳しく説明し、1 つのプロンプトの中にテキストと画像を組み合わせる方法を見ていきます。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

Gemini Pro Vision モデルを使用して、部屋を説明する。

タスク 4. 組み込みの知識を基に制約のないレコメンデーションを生成する

同じ画像を使用して、部屋の説明とともに部屋に合った家具を 1 点おすすめするようにモデルに指示します。なお、このケースでは、モデルは組み込みの知識のみを基にあらゆる家具を選択しておすすめできます。

1. 同じ画像を使用して、ノートブック セルの実行を通して、Gemini Pro Vision モデルを使用して部屋の説明とともに部屋に合った家具を 1 点おすすめする方法を見ていきます。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

Gemini Pro Vision モデルを使用して、家具をおすすめする。

タスク 5. 提供した画像を基にレコメンデーションを生成する

レコメンデーションに制約を設けないようにする代わりに、モデルに商品のリストを提供して、その中から選択させることもできます。このセクションでは、椅子の画像を数点ダウンロードして、その画像を Gemini モデルがおすすめする際の選択肢として設定します。これは、シーンとして使用する部屋の種類や、店舗で販売している商品を基にユーザーにおすすめすることを検討している小売企業にとって特に有用です。

1. このタスクでは、ノートブック セルの実行を通して、Gemini Pro Vision モデルを使用して商品リストから家具を 1 点選んでおすすめする方法を見ていきます。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

Gemini Pro Vision モデルを使用して、リストから商品を 1 点おすすめする。

お疲れさまでした

お疲れさまでした。このラボでは、Gemini を使用して家具向けのマルチモーダルのレコメンデーション システムを構築する方法を取り上げました。Gemini Pro Vision モデルを使用して視覚的な理解を実行する方法と、マルチモダリティを考慮して Gemini Pro Vision モデルのプロンプトを作成する方法も学習しました。今回は、Gemini を使用して家具をおすすめするマルチモーダルのレコメンデーション システムを簡単に構築できることをご説明しましたが、以下の用途でも同じアプローチを利用できます。

• 場面、もしくは会場の画像に基づいて衣服をおすすめする
• 部屋やセットに基づいて壁紙をおすすめする

次のステップと詳細情報

• Vertex AI のドキュメントで生成 AI について確認する。
• Google Cloud Tech YouTube チャンネルで、生成 AI の詳細を確認する。
• Google Cloud 生成 AI の公式リポジトリ
• Gemini のノートブックの例

Google Cloud トレーニングと認定資格

Google Cloud トレーニングと認定資格を通して、Google Cloud 技術を最大限に活用できるようになります。必要な技術スキルとベスト プラクティスについて取り扱うクラスでは、学習を継続的に進めることができます。トレーニングは基礎レベルから上級レベルまであり、オンデマンド、ライブ、バーチャル参加など、多忙なスケジュールにも対応できるオプションが用意されています。認定資格を取得することで、Google Cloud テクノロジーに関するスキルと知識を証明できます。

マニュアルの最終更新日: 2024 年 8 月 21 日

ラボの最終テスト日: 2024 年 8 月 21 日

Copyright 2024 Google LLC All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。