GSP1154

概要

Vertex AI は、予測 AI と生成 AI の両方の機能を備えた包括的な ML 開発プラットフォームです。予測を目的とする予測 ML モデルをトレーニング、評価、デプロイできます。また、このプラットフォームを使用して、生成 AI モデルの検出、チューニング、サービングを行ってコンテンツを生成することもできます。

Vertex AI Studio を使用すると、生成 AI モデルを迅速にテストおよびカスタマイズし、モデルの機能をアプリケーションで利用できます。UI（ユーザー インターフェース）とコーディング例の両方を含むさまざまなツールとリソースが用意されているため、ML の経験がなくても生成 AI を簡単に使い始めることができます。

このハンズオンラボでは、Vertex AI Studio を使用して最先端の生成 AI モデルの可能性を引き出す方法を紹介します。Gemini Freeform について学習し、これを使って画像の分析、プロンプトの設計、会話の生成を Google Cloud コンソールで直接行います。API や Python SDK は不要です。直感的なユーザー インターフェースですべての操作を行うことができます。

目標

このラボでは、次のタスクを行います。

• Gemini Freeform を使用して画像を分析する。
• 自由形式機能を試す。
• 自由形式モードと構造化モードでプロンプトを設計する。
• 会話を生成する。

設定と要件

[ラボを開始] ボタンをクリックする前に

こちらの手順をお読みください。ラボの時間は記録されており、一時停止することはできません。[ラボを開始] をクリックするとスタートするタイマーは、Google Cloud のリソースを利用できる時間を示しています。

このハンズオンラボでは、シミュレーションやデモ環境ではなく、実際のクラウド環境を使ってご自身でラボのアクティビティを行うことができます。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。

このラボを完了するためには、下記が必要です。

• 標準的なインターネット ブラウザ（Chrome を推奨）

注: このラボの実行には、シークレット モードまたはシークレット ブラウジング ウィンドウを使用してください。これにより、個人アカウントと受講者アカウント間の競合を防ぎ、個人アカウントに追加料金が発生することを防ぎます。

• ラボを完了するために十分な時間を確保してください。ラボをいったん開始すると一時停止することはできません。

注: すでに個人の Google Cloud アカウントやプロジェクトをお持ちの場合でも、このラボでは使用しないでください。アカウントへの追加料金が発生する可能性があります。

ラボを開始して Google Cloud コンソールにログインする方法

1. [ラボを開始] ボタンをクリックします。ラボの料金をお支払いいただく必要がある場合は、表示されるポップアップでお支払い方法を選択してください。 左側の [ラボの詳細] パネルには、以下が表示されます。

   • [Google Cloud コンソールを開く] ボタン
   • 残り時間
   • このラボで使用する必要がある一時的な認証情報
   • このラボを行うために必要なその他の情報（ある場合）

2. [Google Cloud コンソールを開く] をクリックします（Chrome ブラウザを使用している場合は、右クリックして [シークレット ウィンドウでリンクを開く] を選択します）。

   ラボでリソースが起動し、別のタブで [ログイン] ページが表示されます。

   ヒント: タブをそれぞれ別のウィンドウで開き、並べて表示しておきましょう。

   注: [アカウントの選択] ダイアログが表示されたら、[別のアカウントを使用] をクリックします。

3. 必要に応じて、下のユーザー名をコピーして、[ログイン] ダイアログに貼り付けます。

   {{{user_0.username | "Username"}}}

   [ラボの詳細] パネルでも [ユーザー名] を確認できます。

4. [次へ] をクリックします。

5. 以下のパスワードをコピーして、[ようこそ] ダイアログに貼り付けます。

   {{{user_0.password | "Password"}}}

   [ラボの詳細] パネルでも [パスワード] を確認できます。

6. [次へ] をクリックします。

   重要: ラボで提供された認証情報を使用する必要があります。Google Cloud アカウントの認証情報は使用しないでください。 注: このラボでご自身の Google Cloud アカウントを使用すると、追加料金が発生する場合があります。

7. その後次のように進みます。

   • 利用規約に同意してください。
   • 一時的なアカウントなので、復元オプションや 2 要素認証プロセスは設定しないでください。
   • 無料トライアルには登録しないでください。

その後、このタブで Google Cloud コンソールが開きます。

注: Google Cloud のプロダクトやサービスのリストを含むメニューを表示するには、左上のナビゲーション メニューをクリックします。

Vertex AI API を有効にする

1. Google Cloud コンソールで、上部の検索バーに「Vertex AI API」と入力します。

2. [MARKETPLACE] の下で検索結果の「Vertex AI API」をクリックします。

3. [有効にする] をクリックします。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

Vertex AI API を有効にする

タスク 1. Gemini Freeform を使用して画像を分析する

1. Google Cloud コンソールで、ナビゲーション メニュー（）> [AI] > [Vertex AI] > [Vertex AI Studio] > [概要] に移動します。

注: ナビゲーション メニューに [Vertex AI] が表示されない場合は [その他のプロダクト] プルダウンをクリックします。

自由形式、チャット、Vision、音声の 4 つの機能があります。このラボでは、最初の 2 つに焦点を当てます。

2. [Gemini で生成する] で [自由形式を開く] をクリックします。

注: UI には次の 3 つのメイン セクションがあります。

プロンプト（上部）: 自由形式機能を利用するタスクを作成できます。

構成（右側）: このセクションでは、モデルの選択、パラメータの構成、対応するコードの取得を行うことができます。

レスポンス（下部）: このセクションには、タスクの結果が表示されます。

3. プロンプトに「Image analysis」という名前を付けます。

4. サンプル画像をダウンロードします。時刻表の画像を右クリックして、パソコンに保存します。

   

5. 画像のタイトルを生成します。右上にある [メディアを挿入] > [アップロード] をクリックし、時刻表の画像をアップロードします。メディアには、画像または動画を使用できます。

6. [リージョン] で を選択します。

7. 次のテキストをコピーして貼り付け、[送信] をクリックします。

Title the image.

または、次のように具体的に指定します。

Title the image in 3 words.

タイトルは期待どおりでしたか？プロンプトを変更して、異なる結果が出力されるかどうかを確認してください。

8. 画像の説明を生成します。前のプロンプトを以下の内容に置き換えて、[送信] をクリックします。

Describe the image in detail.

9. パラメータをチューニングします。[Temperature] を左（0）から右（1）にスクロールして調整します。プロンプトを再送信し、前と比較して結果に変化があるかどうかを確認します。

注: [Temperature] は、トークン選択のランダム性の度合いを制御します。低い Temperature は、正しいレスポンスや適切なレスポンスが求められるプロンプトに適しています。一方、Temperature が高いと、多様な結果や想定外の結果が生じる可能性があります。Temperature が 0 の場合、確率が最も高いトークンが常に選択されます。

10. 画像からテキストを抽出します。前のプロンプトを以下の内容に置き換えます。

Read the text in the image.

さらに、出力をリスト形式にする場合は、前のプロンプトを以下の内容に置き換えます。

Parse the time and city in this image into a list with two columns: time and city.

さまざまなプロンプトを試してみましょう。前のプロンプトと比べて結果はどのように異なりますか？

11. 画像にある情報を分析します。前のプロンプトを以下の内容に置き換えます。

Calculate the percentage of the flights to different continents.

結果は期待どおりですか？各種タスクにさまざまなプロンプトを試してみることを強くおすすめします。また、Temperature 設定を変更して結果の変化を確認してみましょう。

12. プロンプトを保存します。プロンプトの設計が完了したら、[保存] をクリックしてプロンプトを保存します。リージョンの選択を求めるメッセージが表示されたら、プルダウンから を選択し、[保存] をクリックして確定します。保存したプロンプトを確認するには、[保存済みのプロンプト] に移動します。

注: [保存] の選択後、プロンプトが正しく保存されるまで少し時間をおいてから、ラボを進めてください。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

画像のコンテンツを抽出する

タスク 2. 自由形式機能を試す

Gemini Freeform では、画像やテキストだけでなく、動画を入力として受け入れて、テキストを出力として生成できます。

1. [Cloud Storage] > [バケット] に移動し、Cloud Storage バケットの名前をコピーして保存して、次のステップで使用します。

2. [Cloud Shell をアクティブにする] をクリックし、以下のコマンドを実行して、サンプル動画 gs://spls/gsp154/video/train.mp4（プレビュー）を Cloud Storage バケットにコピーします。

gcloud storage cp gs://spls/gsp154/video/train.mp4 gs://<Cloud Storage バケット> 注: <Cloud Storage バケット> を、先ほどコピーしたバケット名に置き換えてください。

3. 再び [Vertex AI] > [Vertex AI Studio] > [概要] に移動します。
4. [Gemini で生成する] で [自由形式を開く] をクリックします。
5. [メディアを挿入] > [Cloud Storage からインポート] をクリックします。
6. バケット名をクリックし、次にサンプル動画（train.mp4）をクリックして、[選択] をクリックします。
7. 動画の任意の情報を生成するには、独自のプロンプトを入力します。

たとえば、動画のタイトルを取得する場合は、次の内容をコピーして貼り付け、[送信] をクリックします。

Title the video.

Gemini を活用した自由形式には、画像からストーリーを作成する機能、動画を分析する機能、マルチメディア広告を生成する機能など、さまざまな機能があります。[プロンプト ギャラリー] をクリックすると、自由形式のその他のユースケースを確認できます。詳しくは、マルチモーダル プロンプトを設計するをご覧ください。

タスク 3. 自由形式モードと構造化モードでプロンプトを設計する

1. [Vertex AI Studio] > [自由形式] ページに戻ります。

プロンプトを作成する

プロンプトを作成することで、コードの生成を含む、ビジネス ユースケースに関連するタスクのためのプロンプトを設計できます。

下の画像に示すように、[自由形式を開く] ボタンをクリックします。UI はこのスクリーンショットと若干異なる場合があります。

ページの右側にある [?] ボタンにカーソルを合わせるかクリックすると、それぞれのフィールドや、[Temperature]、[トークンの上限] などのパラメータの詳細を参照できます。

プロンプト設計

質問などの任意の入力テキストをモデルにフィードできます。これにより、モデルは、プロンプトの構造に基づいてレスポンスを提供できます。モデルから最も望ましいレスポンスを得るための最良の入力テキスト（プロンプト）を解明して設計するプロセスはプロンプト設計と呼ばれます。

プロンプトを設計する最良の方法はまだありません。モデルのレスポンスを形成するために使用できる方法は 3 つあります。

• ゼロショット プロンプト - この方法では、タスクを説明するプロンプトのみを LLM に与え、追加データは与えません。たとえば、LLM に質問に回答させたい場合は、単に「プロンプト設計とは何ですか」のようにプロンプトに入力します。

• ワンショット プロンプト - この方法では、行ってほしい特定のタスクの 1 つの例を LLM に与えます。たとえば、LLM に詩を書かせたい場合は、詩の例を 1 つ与えます。

• 少数ショット プロンプト - この方法では、行ってほしい特定のタスクの少数の例を LLM に与えます。たとえば、LLM にニュース記事を書かせたい場合は、数件のニュース記事を入力として与えます。

• 自由形式 - このモードでは柔軟かつ簡単にプロンプトを設計できます。例を追加しない、小規模で試験的なプロンプトに適しています。つまり、ゼロショット プロンプトを試すのに適したモードといえます。また、テンプレート ベースのアプローチを使用してコンテキストや複数の例を含めることもできます。これは後ほど試すワンショット プロンプトや少数ショット プロンプトといった手法に特に有用です。

---

自由形式モード

自由形式モードで、ゼロショット プロンプトを試します。

1. 次の内容をプロンプトの入力フィールドにコピーします。現在のデフォルトのモデル設定（Gemini 1.5 Pro）はそのままにします。注: モデル名は、新しいモデルのリリースに伴って変更される場合があります。

What is a prompt gallery?

2. ページの右側の [送信] ボタンをクリックします。

モデルは用語「prompt gallery」の一般的な定義を回答します。

いくつかの操作を試して動作を確認してください。

• [出力トークンの上限] パラメータを 1 にして [送信] ボタンをクリック
• [出力トークンの上限] パラメータを 1024 にして [送信] ボタンをクリック
• [Temperature] パラメータを 0.5 にして [送信] ボタンをクリック
• [Temperature] パラメータを 1.0 にして [送信] ボタンをクリック

パラメータを変更することでレスポンスがどのように変わるかを確認してください。

---

プロンプトを設計して管理する

より組織化された方法でプロンプトを設計できます。ここでは、[Context] と [Examples] の入力フィールドにそれぞれ対応する内容を入力できます。ここでワンショット プロンプトと少数ショット プロンプトについて確認しておきましょう。

このセクションでは、モデルに文を完成させるように求めます。

1. テキスト プロンプトのウィンドウに戻ります。

2. ページ上部にある [例を追加] をクリックします。

3. 次の内容を [入力] フィールドに追加します。

the color of the grass is

3. 次の内容を [出力] フィールドに追加します。

the color of the grass is green

4. ページの右側の [例を追加] ボタンをクリックします。

モデルは文を補完するのではなく、全文をレスポンスとして返しました。これは求めている結果ではありません。モデルのレスポンスに影響を与えるために、ワンショット プロンプトを試してみます。今回はモデルの出力のベースとなる 1 つの例を追加します。

5. [Test] フィールドの [入力を記述します] フィールドに次の内容をコピーします。

the color of the sky is 注: お住まいの国で使用されるスペルに応じて、「color」を「colour」に変更してください。

6. ページの右側の [送信] ボタンをクリックします。

モデルがレスポンスを生成する方法に影響を与えることに成功しました。

---

次の演習ではモデルを使用して文の感情分析を行い、映画のレビューが好意的かどうかを判断させてみます。

1. テキスト プロンプトのウィンドウに戻ります。
2. [例を追加] をクリックし、先ほど [Examples] フィールドの [入力] と [出力] に入力した green grass に関するテキストを削除します。

情報が不足しているため、感情分析が求められていることがモデルに伝わりませんでした。この状況は、求める結果の例をいくつかモデルに与えることで改善できます。

下の画像に示されている例を追加してみましょう。

入力	出力
A well-made and entertaining film	positive
I fell asleep after 10 minutes	negative
The movie was ok	neutral

次に、ページの右側の [例を追加] ボタンをクリックします。

3. [Test] フィールドの [入力を記述します] フィールドに次のプロンプトをコピーします。

It was a time well spent!

4. ページの右側の [送信] ボタンをクリックします。

モデルによって文の感情が示されるようになりました。「It was a time well spent!」という文について、感情は「positive」とラベル付けされています。

新しく設計したプロンプトを保存することもできます。プロンプトを保存するには、「sentiment analysis test」などの任意の名前を付けて [保存] ボタンをクリックし、ラボのリージョン を選択します。[保存] をクリックします。

（保存中にエラーが発生した場合は [再試行] をクリックしてください）

保存されたプロンプトは [Vertex AI Studio] > [保存済みのプロンプト] に移動すると表示されます。

---

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

テキストを使用してプロンプトを作成する

タスク 4. 会話を生成する

チャットのプロンプトを作成することで、モデルと自由形式でチャットできます。モデルはこれまでの会話内容を追跡し、コンテキストに応じて回答します。

1. 左側のメニューで [チャット] に移動し、新しいチャット プロンプトを作成します。

2. [モデル] で [gemini-1.5-flash-001] を選択します。

このセクションでは、チャットにコンテキストを追加して、提供されたコンテキストに基づいてモデルが回答できるようにします。

3. 次に、[編集] ボタンをクリックして、[システム指示] フィールドに以下のコンテキストを追加します。

Your name is Roy. You are a support technician of an IT department. You only respond with "Have you tried turning it off and on again?" to any queries.

4. 次のテキストを [レスポンス] の下のチャットボックスに追加します。

My computer is so slow

5. Enter キーを押すか、「メッセージを送信」ボタン（右矢印）をクリックします。

モデルは入力された追加コンテキストを考慮して制約の範囲内で質問に答えます。

6. プロンプトに任意の名前を付けて [保存] ボタンをクリックし、ラボのリージョン を選択します。[保存] をクリックします。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

チャット プロンプトを使用して会話を作成する

お疲れさまでした

このラボでは、自由形式を使用して画像を分析する方法、自由形式機能を試す方法、プロンプトを作成してテストする方法、会話の生成方法を学習しました。これで、Vertex AI Studio と Gemini Freeform の使用についての初歩を学びました。

Google Cloud トレーニングと認定資格

Google Cloud トレーニングと認定資格を通して、Google Cloud 技術を最大限に活用できるようになります。必要な技術スキルとベスト プラクティスについて取り扱うクラスでは、学習を継続的に進めることができます。トレーニングは基礎レベルから上級レベルまであり、オンデマンド、ライブ、バーチャル参加など、多忙なスケジュールにも対応できるオプションが用意されています。認定資格を取得することで、Google Cloud テクノロジーに関するスキルと知識を証明できます。

マニュアルの最終更新日: 2024 年 9 月 5 日

ラボの最終テスト日: 2024 年 9 月 5 日

Copyright 2024 Google LLC All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。