arrow_back

Vertex AI Studio を使ってみる

ログイン 参加
知識をテストして、コミュニティで共有しましょう
done
700 を超えるハンズオンラボ、スキルバッジ、コースへのアクセス

Vertex AI Studio を使ってみる

ラボ 1時間 universal_currency_alt クレジット: 1 show_chart 入門
info This lab may incorporate AI tools to support your learning.
知識をテストして、コミュニティで共有しましょう
done
700 を超えるハンズオンラボ、スキルバッジ、コースへのアクセス

GSP1154

Google Cloud セルフペース ラボ

概要

Vertex AI は、予測 AI と生成 AI の両方の機能を備えた包括的な ML 開発プラットフォームです。予測を目的とする予測 ML モデルをトレーニング、評価、デプロイできます。また、このプラットフォームを使用して、生成 AI モデルの検出、チューニング、サービングを行ってコンテンツを生成することもできます。

Vertex AI Studio を使用すると、生成 AI モデルを迅速にテストおよびカスタマイズし、モデルの機能をアプリケーションで利用できます。UI（ユーザー インターフェース）とコーディング例の両方を含むさまざまなツールとリソースが用意されているため、ML の経験がなくても生成 AI を簡単に使い始めることができます。

このハンズオンラボでは、Vertex AI Studio を使用して最先端の生成 AI モデルの可能性を引き出す方法を紹介します。Gemini マルチモーダルについて学習し、これを使って画像の分析、プロンプトの設計、会話の生成を Google Cloud コンソールで直接行います。API や Python SDK は不要です。直感的なユーザー インターフェースですべての操作を実行できます。

目標

このラボでは、次のタスクを行います。

  • Gemini マルチモーダルを使用して画像を分析する。
  • マルチモーダル機能を試す。
  • 自由形式モードと構造化モードでプロンプトを設計する。
  • 会話を生成する。

設定と要件

[ラボを開始] ボタンをクリックする前に

こちらの手順をお読みください。ラボの時間は記録されており、一時停止することはできません。[ラボを開始] をクリックするとスタートするタイマーは、Google Cloud のリソースを利用できる時間を示しています。

このハンズオンラボでは、シミュレーションやデモ環境ではなく、実際のクラウド環境を使ってご自身でラボのアクティビティを行うことができます。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。

このラボを完了するためには、下記が必要です。

  • 標準的なインターネット ブラウザ（Chrome を推奨）
注: このラボの実行には、シークレット モードまたはシークレット ブラウジング ウィンドウを使用してください。これにより、個人アカウントと受講者アカウント間の競合を防ぎ、個人アカウントに追加料金が発生することを防ぎます。
  • ラボを完了するために十分な時間を確保してください。ラボをいったん開始すると一時停止することはできません。
注: すでに個人の Google Cloud アカウントやプロジェクトをお持ちの場合でも、このラボでは使用しないでください。アカウントへの追加料金が発生する可能性があります。

ラボを開始して Google Cloud コンソールにログインする方法

  1. [ラボを開始] ボタンをクリックします。ラボの料金をお支払いいただく必要がある場合は、表示されるポップアップでお支払い方法を選択してください。 左側の [ラボの詳細] パネルには、以下が表示されます。

    • [Google Cloud コンソールを開く] ボタン
    • 残り時間
    • このラボで使用する必要がある一時的な認証情報
    • このラボを行うために必要なその他の情報（ある場合）

  2. [Google Cloud コンソールを開く] をクリックします（Chrome ブラウザを使用している場合は、右クリックして [シークレット ウィンドウでリンクを開く] を選択します）。

    ラボでリソースが起動し、別のタブで [ログイン] ページが表示されます。

    ヒント: タブをそれぞれ別のウィンドウで開き、並べて表示しておきましょう。

    注: [アカウントの選択] ダイアログが表示されたら、[別のアカウントを使用] をクリックします。

  3. 必要に応じて、下のユーザー名をコピーして、[ログイン] ダイアログに貼り付けます。

    {{{user_0.username | "Username"}}}

    [ラボの詳細] パネルでも [ユーザー名] を確認できます。

  4. [次へ] をクリックします。

  5. 以下のパスワードをコピーして、[ようこそ] ダイアログに貼り付けます。

    {{{user_0.password | "Password"}}}

    [ラボの詳細] パネルでも [パスワード] を確認できます。

  6. [次へ] をクリックします。

    重要: ラボで提供された認証情報を使用する必要があります。Google Cloud アカウントの認証情報は使用しないでください。 注: このラボでご自身の Google Cloud アカウントを使用すると、追加料金が発生する場合があります。

  7. その後次のように進みます。

    • 利用規約に同意してください。
    • 一時的なアカウントなので、復元オプションや 2 要素認証プロセスは設定しないでください。
    • 無料トライアルには登録しないでください。

その後、このタブで Google Cloud コンソールが開きます。

注: Google Cloud のプロダクトやサービスのリストを含むメニューを表示するには、左上のナビゲーション メニューをクリックします。ナビゲーション メニュー アイコン

Vertex AI API を有効にする

  1. Google Cloud コンソールで、上部の検索バーに「Vertex AI API」と入力します。

  2. [MARKETPLACE] の下で検索結果の「Vertex AI API」をクリックします。

  3. [有効にする] をクリックします。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

Vertex AI API を有効にする

タスク 1. Gemini マルチモーダルを使用して画像を分析する

  1. Google Cloud コンソールで、ナビゲーション メニュー（ナビゲーション メニュー）> [AI] > [Vertex AI] > [Vertex AI Studio] > [概要] に移動します。
注: ナビゲーション メニューに [Vertex AI] が表示されない場合は [その他のプロダクト] プルダウンをクリックします。

マルチモーダル、言語、ビジョン、音声の 4 つの機能があります。このラボでは、最初の 2 つに焦点を当てます。

  1. [マルチモーダル Powered by Gemini] で [GEMINI を試す] をクリックします。
注: UI には次の 3 つのメイン セクションがあります。
  • Prompt（上部）: マルチモーダル機能を利用するタスクを作成できます。
  • 構成（右側）: このセクションでは、モデルの選択、パラメータの構成、対応するコードの取得を行うことができます。
  • レスポンス（下部）: このセクションには、タスクの結果が表示されます。
    •

    1. プロンプトに「Image analysis」という名前を付けます。NameYourPrompt

    2. サンプル画像をダウンロードします。時刻表の画像を右クリックして、パソコンに保存します。

      時刻表

    3. 画像のタイトルを生成します。右上にある [メディアを挿入] > [パソコンからアップロード] をクリックし、時刻表の画像をアップロードします。メディアには、画像または動画を使用できます。

    4. [リージョン] で を選択します。

    5. 次のテキストをコピーして貼り付け、[送信] をクリックします。

    Title the image.

    または、次のように具体的に指定します。

    Title the image in 3 words.

    タイトルは期待どおりでしたか？プロンプトを変更して、異なる結果が出力されるかどうかを確認してください。

    timetableinfo

    1. 画像の説明を生成します。前のプロンプトを以下の内容に置き換えて、[送信] をクリックします。
    Describe the image in detail.
    1. パラメータをチューニングします。[Temperature] を左（0）から右（1）にスクロールして調整します。プロンプトを再送信し、前と比較して結果に変化があるかどうかを確認します。
    注: [Temperature] は、トークン選択のランダム性の度合いを制御します。低い Temperature は、正しいレスポンスや適切なレスポンスが求められるプロンプトに適しています。一方、Temperature が高いと、多様な結果や想定外の結果が生じる可能性があります。Temperature が 0 の場合、確率が最も高いトークンが常に選択されます。
    1. 画像からテキストを抽出します。前のプロンプトを以下の内容に置き換えます。
    Read the text in the image.

    さらに、出力をリスト形式にする場合は、前のプロンプトを以下の内容に置き換えます。

    Parse the time and city in this image into a list with two columns: time and city.

    さまざまなプロンプトを試してみましょう。前のプロンプトと比べて結果はどのように異なりますか？

    1. 画像にある情報を分析します。前のプロンプトを以下の内容に置き換えます。
    Calculate the percentage of the flights to different continents.

    結果は期待どおりですか？各種タスクにさまざまなプロンプトを試してみることを強くおすすめします。また、Temperature 設定を変更して結果の変化を確認してみましょう。

    1. プロンプトを保存します。プロンプトの設計が完了したら、[保存] をクリックしてプロンプトを保存します。リージョンの選択を求めるメッセージが表示されたら、プルダウンから を選択し、[保存] をクリックして確定します。保存したプロンプトを確認するには、[マルチモーダル] > [マイプロンプト] に移動します。
    注: [保存] の選択後、プロンプトが正しく保存されるまで少し時間をおいてから、ラボを進めてください。

    [進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

    画像のコンテンツを抽出する

    タスク 2. マルチモーダル機能を試す

    Gemini マルチモーダルでは、画像やテキストだけでなく、動画を入力として受け入れて、テキストを出力として生成できます。

    1. [Cloud Storage] > [バケット] に移動し、Cloud Storage バケットの名前をコピーして保存して、次のステップで使用します。

    2. [Cloud Shell をアクティブにする] をクリックし、以下のコマンドを実行して、サンプル動画 gs://spls/gsp154/video/train.mp4（プレビュー）を Cloud Storage バケットにコピーします。

    gcloud storage cp gs://spls/gsp154/video/train.mp4 gs://<Cloud Storage バケット> 注: <Cloud Storage バケット> を、先ほどコピーしたバケット名に置き換えてください。
    1. 再び [Vertex AI] > [Vertex AI Studio] > [概要] に移動します。
    2. [マルチモーダル Powered by Gemini] で [GEMINI を試す] をクリックします。
    3. [メディアを挿入] > [Cloud Storage からインポート] の順にクリックします。
    4. バケット名をクリックし、次にサンプル動画（train.mp4）をクリックして、[選択] をクリックします。
    5. 動画の任意の情報を生成するには、独自のプロンプトを入力します。

    たとえば、動画のタイトルを取得する場合は、次の内容をコピーして貼り付け、[送信] をクリックします。

    Title the video.

    Gemini を活用したマルチモーダルには、画像からストーリーを作成する機能、動画を分析する機能、マルチメディア広告を生成する機能など、さまざまな機能があります。[マルチモーダル] > [サンプル プロンプト] をクリックすると、マルチモーダルのその他のユースケースを確認できます。詳しくは、マルチモーダル プロンプトを設計するをご覧ください。

    タスク 3. 自由形式モードと構造化モードでプロンプトを設計する

    1. [Vertex AI Studio] > [概要] ページに戻ります。[言語 Powered by Gemini] で [開く] をクリックします。

    プロンプトを作成する

    プロンプトを作成することで、コードの生成を含む、ビジネス ユースケースに関連するタスクのためのプロンプトを設計できます。

    下の画像に示す [テキスト プロンプト] ボタンをクリックします。UI はこのスクリーンショットと若干異なる場合があります。

    click-text-prompt

    ページの右側にある [?] ボタンにカーソルを合わせるかクリックすると、それぞれのフィールドや、[Temperature]、[トークンの上限] などのパラメータの詳細を参照できます。

    プロンプト設計

    質問などの任意の入力テキストをモデルにフィードできます。これにより、モデルは、プロンプトの構造に基づいてレスポンスを提供できます。モデルから最も望ましいレスポンスを得るための最良の入力テキスト（プロンプト）を解明して設計するプロセスはプロンプト設計と呼ばれます。

    プロンプトを設計する最良の方法はまだありません。モデルのレスポンスを形成するために使用できる方法は 3 つあります。

    • ゼロショット プロンプト - この方法では、タスクを説明するプロンプトのみを LLM に与え、追加データは与えません。たとえば、LLM に質問に回答させたい場合は、単に「プロンプト設計とは何ですか」のようにプロンプトに入力します。
    • ワンショット プロンプト - この方法では、行ってほしい特定のタスクの 1 つの例を LLM に与えます。たとえば、LLM に詩を書かせたい場合は、詩の例を 1 つ与えます。
    • 少数ショット プロンプト - この方法では、行ってほしい特定のタスクの少数の例を LLM に与えます。たとえば、LLM にニュース記事を書かせたい場合は、数件のニュース記事を入力として与えます。

    [自由形式] タブと [構造化] タブもあります。プロンプトはこれらの 2 つのモードを使って設計できます。

    • 自由形式 - このモードでは自由かつ簡単にプロンプトを設計できます。例を追加しない、小規模で試験的なプロンプトに適しています。今回、ゼロショット プロンプトについて確認するときにこれを使います。
    • 構造化 - このモードでは使いやすいテンプレート方式でプロンプトを設計できます。また、プロンプトにコンテキストと複数の例を追加できます。これはワンショット プロンプトと少数ショット プロンプトの方法で特に便利です。こちらも後で確認していきます。

    自由形式モード

    自由形式モードで、ゼロショット プロンプトを試します。

    1. 次の内容をプロンプトの入力フィールドにコピーします。現在のデフォルトのモデル設定（Gemini Pro）はそのままにします。注: モデル名は、新しいモデルのリリースに伴って変更される場合があります。
    What is a prompt gallery?
    1. ページの右側の [送信] ボタンをクリックします。

    モデルは用語「prompt gallery」の一般的な定義を回答します。

    いくつかの操作を試して動作を確認してください。

    • [出力トークンの上限] パラメータを 1 にして [送信] ボタンをクリック
    • [出力トークンの上限] パラメータを 1024 にして [送信] ボタンをクリック
    • [Temperature] パラメータを 0.5 にして [送信] ボタンをクリック
    • [Temperature] パラメータを 1.0 にして [送信] ボタンをクリック

    パラメータを変更することでレスポンスがどのように変わるかを確認してください。

    構造化モード

    構造化モードでは、より組織化された方法でプロンプトを設計できます。ここでは、[Context] と [Examples] の入力フィールドにそれぞれ対応する内容を入力できます。ここでワンショット プロンプトと少数ショット プロンプトについて確認しておきましょう。

    このセクションでは、モデルに文を完成させるように求めます。

    1. テキスト プロンプトのウィンドウに戻ります。
    2. ページ上部の [構造化] タブをクリックし、[リージョン] で を選択します。
    3. [Context] からテキストを削除します。
    4. [Test] フィールドの [入力を記述します] フィールドに次の内容をコピーします。
    the color of the sky is 注: お住まいの国で使用されるスペルに応じて、「color」を「colour」に変更してください。
    1. ページの右側の [送信] ボタンをクリックします。

    モデルは文を補完するのではなく、全文をレスポンスとして返しました。これは求めている結果ではありません。モデルのレスポンスに影響を与えるために、ワンショット プロンプトを試してみます。今回はモデルの出力のベースとなる 1 つの例を追加します。

    [Examples] フィールドで次の操作を行います。

    1. 次の内容を [入力] フィールドに追加します。
    the color of the grass is
    1. 次の内容を [出力] フィールドに追加します。
    the color of the grass is green
    1. ページの右側の [送信] ボタンをクリックします。

    モデルがレスポンスを生成する方法に影響を与えることに成功しました。

    次の演習ではモデルを使用して文の感情分析を行い、映画のレビューが好意的かどうかを判断させてみます。

    1. テキスト プロンプトのウィンドウに戻ります。
    2. [Examples] フィールドの [入力] と [出力] で、先ほど入力した green grass に関するテキストを削除します。
    3. [Test] フィールドの [入力を記述します] フィールドに次のプロンプトをコピーします。
    It was a time well spent!
    1. ページの右側の [送信] ボタンをクリックします。

    情報が不足しているため、感情分析が求められていることがモデルに伝わりませんでした。この状況は、求める結果の例をいくつかモデルに与えることで改善できます。

    下の画像に示されている例を追加してみましょう。

    入力 出力
    A well-made and entertaining film positive
    I fell asleep after 10 minutes negative
    The movie was ok neutral

    ページの右側の [送信] ボタンをクリックします。

    モデルによって文の感情が示されるようになりました。「It was a time well spent!」という文について、感情は「positive」とラベル付けされています。

    structured

    新しく設計したプロンプトを保存することもできます。プロンプトを保存するには、「sentiment analysis test」などの任意の名前を付けて [保存] ボタンをクリックし、ラボのリージョン を選択します。[保存] をクリックします。

    （保存中にエラーが発生した場合は [再試行] をクリックしてください）

    保存されたプロンプトは [マイプロンプト] タブに表示されます。

    languageprompts

    [進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

    テキストを使用してプロンプトを作成する

    タスク 4. 会話を生成する

    チャットのプロンプトを作成することで、モデルと自由形式でチャットできます。モデルはこれまでの会話内容を追跡し、コンテキストに応じて回答します。

    1. [言語] ページに戻ります。
    2. 新しいチャット プロンプトを作成するために、[テキスト チャット] ボタンをクリックします。

    create-chat-prompt

    1. [モデル] で [chat-bison (latest)] を選択し、[リージョン] で を選択します。新しいチャット プロンプトのページが表示されます。

    このセクションでは、チャットにコンテキストを追加して、提供されたコンテキストに基づいてモデルが回答できるようにします。

    1. 次に、以下のコンテキストを [コンテキスト] フィールドに追加します。
    Your name is Roy. You are a support technician of an IT department. You only respond with "Have you tried turning it off and on again?" to any queries.
    1. 次のテキストを [レスポンス] の下のチャットボックスに追加します。
    My computer is so slow
    1. Enter キーを押すか、「メッセージを送信」ボタン（右矢印）をクリックします。

    モデルは入力された追加コンテキストを考慮して制約の範囲内で質問に答えます。

    1. プロンプトに任意の名前を付けて [保存] ボタンをクリックし、ラボのリージョン を選択します。[保存] をクリックします。

    [進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

    チャット プロンプトを使用して会話を作成する

    お疲れさまでした

    このラボでは、マルチモーダルを使用して画像を分析する方法、マルチモーダル機能を試す方法、プロンプトを作成してテストする方法、会話の生成方法を学習しました。これで、Vertex AI Studio と Gemini マルチモーダルの使用についての初歩を学びました。

    Google Cloud トレーニングと認定資格

    Google Cloud トレーニングと認定資格を通して、Google Cloud 技術を最大限に活用できるようになります。必要な技術スキルとベスト プラクティスについて取り扱うクラスでは、学習を継続的に進めることができます。トレーニングは基礎レベルから上級レベルまであり、オンデマンド、ライブ、バーチャル参加など、多忙なスケジュールにも対応できるオプションが用意されています。認定資格を取得することで、Google Cloud テクノロジーに関するスキルと知識を証明できます。

    マニュアルの最終更新日: 2024 年 7 月 15 日

    ラボの最終テスト日: 2024 年 5 月 22 日

    Copyright 2024 Google LLC All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。

    This content is not currently available

    We will notify you via email, when it becomes available

    Great!

    We will contact you via email, if it becomes available