Checkpoints
Enable the Vertex AI API
/ 25
Extract the content of the image
/ 25
Create prompts with text
/ 25
Create conversations with chat prompt
/ 25
Começar a usar o Vertex AI Studio
GSP1154
Visão geral
A Vertex AI é uma plataforma abrangente de desenvolvimento de machine learning que oferece recursos de IA generativa e de previsão. Com ela, é possível treinar, avaliar e implantar modelos preditivos de machine learning para fins de previsão. Além disso, é possível utilizar a plataforma para descobrir, ajustar e disponibilizar modelos de IA generativa para produzir conteúdo.
O Vertex AI Studio serve para fazer testes rápidos e personalizar modelos de IA generativa para incorporar esses recursos aos seus aplicativos. Ele fornece uma variedade de ferramentas e recursos, incluindo IU (interface do usuário) e exemplos de programação que facilitam o uso da IA generativa, mesmo que você não tenha experiência em machine learning.
Neste laboratório prático, você vai conhecer o Vertex AI Studio e descobrir todo o potencial dos modelos de IA generativa modernos. Você vai conhecer o Gemini multimodal e usá-lo para analisar imagens, elaborar comandos e gerar conversas diretamente no console do Google Cloud. Não é necessário ter SDKs de API ou Python. Tudo pode ser acessado por meio da interface do usuário intuitiva.
Objetivos
Neste laboratório, você vai executar as seguintes tarefas:
- Analisar imagens com o Gemini multimodal.
- Explorar recursos multimodais.
- Elaborar comandos nos modos formato livre e estruturado.
- Gerar conversas.
Configuração e requisitos
Antes de clicar no botão Start Lab
Leia estas instruções. Os laboratórios são cronometrados e não podem ser pausados. O timer é iniciado quando você clica em Começar o laboratório e mostra por quanto tempo os recursos do Google Cloud vão ficar disponíveis.
Este laboratório prático permite que você realize as atividades em um ambiente real de nuvem, não em uma simulação ou demonstração. Você vai receber novas credenciais temporárias para fazer login e acessar o Google Cloud durante o laboratório.
Confira os requisitos para concluir o laboratório:
- Acesso a um navegador de Internet padrão (recomendamos o Chrome).
- Tempo para concluir o laboratório---não se esqueça: depois de começar, não será possível pausar o laboratório.
Como iniciar seu laboratório e fazer login no console do Google Cloud
-
Clique no botão Começar o laboratório. Se for preciso pagar, você verá um pop-up para selecionar a forma de pagamento. No painel Detalhes do laboratório à esquerda, você vai encontrar o seguinte:
- O botão Abrir console do Google Cloud
- O tempo restante
- As credenciais temporárias que você vai usar neste laboratório
- Outras informações, se forem necessárias
-
Se você estiver usando o navegador Chrome, clique em Abrir console do Google Cloud ou clique com o botão direito do mouse e selecione Abrir link em uma janela anônima.
O laboratório ativa os recursos e depois abre a página Fazer login em outra guia.
Dica: coloque as guias em janelas separadas lado a lado.
Observação: se aparecer a caixa de diálogo Escolher uma conta, clique em Usar outra conta. -
Se necessário, copie o Nome de usuário abaixo e cole na caixa de diálogo Fazer login.
{{{user_0.username | "Nome de usuário"}}} Você também encontra o Nome de usuário no painel Detalhes do laboratório.
-
Clique em Seguinte.
-
Copie a Senha abaixo e cole na caixa de diálogo de boas-vindas.
{{{user_0.password | "Senha"}}} Você também encontra a Senha no painel Detalhes do laboratório.
-
Clique em Seguinte.
Importante: você precisa usar as credenciais fornecidas no laboratório, e não as da sua conta do Google Cloud. Observação: se você usar sua própria conta do Google Cloud neste laboratório, é possível que receba cobranças adicionais. -
Acesse as próximas páginas:
- Aceite os Termos e Condições.
- Não adicione opções de recuperação nem autenticação de dois fatores (porque essa é uma conta temporária).
- Não se inscreva em testes gratuitos.
Depois de alguns instantes, o console do Google Cloud será aberto nesta guia.
Ativar a API Vertex AI
-
No console do Google Cloud, digite API Vertex AI na barra de pesquisa da parte de cima.
-
Clique no resultado para API Vertex AI em "Marketplace e APIs".
-
Selecione Ativar.
Clique em Verificar meu progresso para conferir os objetivos.
Tarefa 1: analisar imagens com o Gemini multimodal
- No console do Google Cloud, acesse Menu de navegação (
)>Inteligência artificial > Vertex AI> Vertex AI Studio> Informações gerais
Quatro recursos estão disponíveis: Multimodal, Idioma, Visão e Fala. Neste laboratório, você vai se concentrar nos dois primeiros.
- Em Multimodal com a tecnologia do Gemini, clique em Testar o Gemini.
-
Dê ao comando o nome Análise de imagem.
-
Baixe a imagem de amostra. Clique com o botão direito do mouse na imagem do horário e salve no computador.
-
Gerar um título para a imagem. Clique em Inserir mídia > Fazer upload do computador no canto superior direito e faça upload da imagem do horário. A mídia pode estar em imagens ou vídeos.
-
Para Região, selecione
. -
Copie o texto abaixo e clique em Enviar.
Ou seja mais específico:
O título atende às suas expectativas? Tente modificar o comando para ver se recebe resultados diferentes.
- Descreva a imagem. Substitua o comando anterior pelas informações abaixo e clique em Enviar.
- Ajustar o parâmetro. Ajuste a temperatura deslizando da esquerda (0) para a direita (1). Reenvie o comando para observar qualquer mudança no resultado em comparação com o anterior.
- Extrair o texto da imagem. Substitua o comando anterior pelo seguinte:
Além disso, se você quiser formatar a saída como uma lista, substitua o comando anterior pelo seguinte:
Agora é sua vez de testar alguns comandos diferentes! Qual é a diferença entre esses resultados e os anteriores?
- Analisar as informações na imagem. Substitua o comando anterior pelo seguinte:
O resultado atende às suas expectativas? É altamente recomendável que você experimente diferentes comandos para várias tarefas. Recomendamos também que você teste diferentes configurações de temperatura para observar as mudanças no resultado.
- Salve o comando. Depois de elaborar o comando, clique em Salvar. Se precisar indicar a região, selecione
no menu suspenso e confirme com Salvar. Para encontrar seus comandos salvos, acesse Multimodal>Meus comandos.
Clique em Verificar meu progresso para conferir os objetivos.
Tarefa 2: analisar recursos multimodais
Além de imagens e texto, o Gemini multimodal aceita vídeos como entradas e gera texto como saída.
-
Navegue até Cloud Storage > Bucket e copie o nome do seu bucket do Cloud Storage para usá-lo depois.
-
Clique em "Ativar o Cloud Shell" e execute o comando abaixo para copiar o vídeo de amostra
gs://spls/gsp154/video/train.mp4
(prévia) para seu bucket do Cloud Storage.
- Acesse de novo Vertex AI> Vertex AI Studio> Visão geral.
- Em Multimodal com a tecnologia do Gemini, clique em Testar o Gemini.
- Clique em Inserir mídia > Importar do Cloud Storage.
- Clique no nome do bucket, no vídeo de amostra
train.mp4
, e em Selecionar. - Gere informações sobre o arquivo inserindo seu próprio comando.
Por exemplo, para gerar um título para o vídeo, copie as informações a seguir e clique em Enviar.
A tecnologia multimodal desenvolvida pelo Gemini oferece muitos recursos, como escrever histórias a partir de imagens, analisar vídeos e gerar anúncios multimídia. Conheça mais casos de uso multimodais clicando em Multimodal> Comandos de amostra. Saiba mais sobre como elaborar comandos multimodais.
Tarefa 3: elaborar comandos nos modos formato livre e estruturado
- Volte para Vertex AI Studio > Informações gerais. Em Linguagem com tecnologia do Gemini, clique em "Abrir".
Criar comando
É possível criar comandos para tarefas relevantes ao caso de uso da sua empresa, incluindo a geração de códigos.
Clique no botão Comando de texto, como mostra a imagem abaixo. A IU pode ser um pouco diferente dessa captura de tela.
Passe o cursor ou clique nos botões ? do lado direito da página para saber mais sobre cada campo e parâmetro, como "Temperatura" e "Limite de tokens".
Design de comandos
É possível enviar o texto de entrada (uma pergunta, por exemplo) ao modelo, que vai apresentar uma resposta com base na estrutura do comando. O processo de descobrir e criar o melhor texto de entrada (comando) para conseguir a resposta desejada do modelo é chamado de design de comandos.
Ainda não existe uma forma ideal de criar comandos. Há três métodos que podem ser usados para moldar a resposta do modelo:
- Comandos zero-shot: nesse método, o LLM recebe apenas um comando que descreve a tarefa, sem dados adicionais. Por exemplo, se você quiser que o LLM responda a uma pergunta, envie apenas o comando "o que é design de comandos?".
- Comandos one-shot: nesse método, o LLM recebe um exemplo da tarefa que ele deve realizar. Por exemplo, para que o LLM escreva uma poesia, você poderia dar um poema a ele como exemplo.
- Comandos few-shot: nesse método, o LLM recebe alguns exemplos da tarefa que ele deve realizar. Por exemplo, para que o LLM crie matérias jornalísticas, você daria algumas matérias para ele ler.
Também existem as guias FORMATO LIVRE e ESTRUTURADO. Esses são os dois modos usados para criar comandos.
- FORMATO LIVRE: esse modo é uma maneira livre e fácil de criar comandos. Ele é adequado para comandos pequenos e experimentais sem exemplos. Você vai usar esse modo para aprender sobre os comandos zero-shot.
- ESTRUTURADO: esse modo oferece modelos fáceis de usar para o design de comandos. Com ele, é possível adicionar o contexto e vários exemplos ao comando. O modo é útil especialmente para os comandos one-shot e few-shot, que você vai conhecer mais tarde.
Modo FORMATO LIVRE
Teste os comandos zero-shot no modo FORMATO LIVRE.
- Copie o texto abaixo no campo de entrada de comandos. Mantenha a configuração de modelo padrão atual, que é Gemini Pro.
Observação: o nome pode mudar com o lançamento de novos modelos.
- Clique no botão ENVIAR, no lado direito da página.
O modelo vai responder com uma definição completa do termo "prompt gallery" (galeria de comandos).
Faça os exercícios abaixo para descobrir mais.
- Mude o parâmetro
Output token limit
para1
e clique no botão ENVIAR - Mude o parâmetro
Token limit
para1024
e clique no botão ENVIAR. - Mude o parâmetro
Temperature
para0.5
e clique no botão ENVIAR. - Mude o parâmetro
Temperature
para1.0
e clique no botão ENVIAR.
Analise como as respostas mudam de acordo com as alterações nos parâmetros.
Modo ESTRUTURADO
Com o modo ESTRUTURADO, você cria comandos de maneiras mais organizadas. Você pode informar o Contexto e dar Exemplos nos respectivos campos de entrada. Esta é uma boa oportunidade de aprender sobre os comandos one-shot e few-shot.
Nesta seção, você vai pedir ao modelo para completar uma frase.
- Volte à janela Comando de texto.
- Na parte de cima da página, clique na guia ESTRUTURADO e selecione
para Região. - Remova o texto de Contexto
- Em Teste, copie o texto a seguir no campo Escrever uma entrada.
- Clique no botão ENVIAR, no lado direito da página.
Em vez de completar a frase, o modelo respondeu com uma frase completa, o que não era o que você queria. Tente influenciar a resposta do modelo com os comandos one-shot. Desta vez, adicione um exemplo que vai servir de base para a saída do modelo.
No campo Exemplos, faça o seguinte:
- Adicione o texto abaixo no campo ENTRADA:
- Adicione o texto abaixo ao campo SAÍDA:
- Clique no botão ENVIAR, no lado direito da página.
Você conseguiu influenciar a resposta do modelo.
No próximo exercício, você vai usar o modelo para realizar análise de sentimento em uma frase, por exemplo, para identificar se a avaliação de um filme é positiva ou negativa.
- Volte à janela Comando de texto.
- No campo Exemplos, exclua o texto anterior em ENTRADA e SAÍDA para "green grass".
- Em Teste, copie o comando a seguir no campo Escrever uma entrada.
- Clique no botão ENVIAR, no lado direito da página.
O modelo não tinha informações suficientes para saber que você pediu uma análise de sentimento. Para melhorar isso, mostre ao modelo alguns exemplos do que você quer.
Adicione os exemplos da imagem abaixo:
ENTRADA | SAÍDA |
---|---|
A well-made and entertaining film | positive |
I fell asleep after 10 minutes | negative |
The movie was ok | neutral |
Clique no botão ENVIAR, no lado direito da página.
Agora o modelo mostra o sentimento do texto de entrada. No caso do texto It was a time well spent!, o rótulo de sentimento indica positive.
Também é possível salvar o comando que você criou. Para salvar o comando, dê a ele o nome que quiser, como sentiment-analysis-test, clique no botão Salvar e selecione a região
Se você encontrar um erro durante esse processo, selecione Tentar de novo.
O comando salvo vai aparecer na guia MEUS COMANDOS.
Clique em Verificar meu progresso para conferir os objetivos.
Tarefa 4: gerar conversas
É possível criar comandos de chat para conversar livremente com o modelo, que se lembra do que foi dito antes e responde com base no contexto.
- Volte à página Idioma.
- Clique no botão CHAT DE TEXTO para criar um comando de chat.
- Em Modelo, selecione chat-bison (mais recente) e
para Região. A página de novo comando de chat será aberta.
Nesta seção, você vai adicionar um contexto ao chat, que vai servir de base para a resposta do modelo.
- Depois, no campo Contexto, adicione o seguinte:
- Adicione o texto abaixo na caixa de chat, em "Respostas".
- Pressione a tecla Enter ou clique em Enviar mensagem (botão com a seta para a direita).
O modelo vai considerar o contexto informado e responder às perguntas dentro das limitações.
- Atribua um nome ao comando, clique no botão Salvar e selecione a região
do laboratório. Clique em SALVAR
Clique em Verificar meu progresso para conferir os objetivos.
Parabéns!
Você aprendeu a analisar uma imagem com multimodal, explorar recursos multimodais, criar e testar um comando e gerar uma conversa. Esse foi o início da sua jornada no uso do Vertex AI Studio e do Gemini multimodal.
Treinamento e certificação do Google Cloud
Esses treinamentos ajudam você a aproveitar as tecnologias do Google Cloud ao máximo. Nossas aulas incluem habilidades técnicas e práticas recomendadas para ajudar você a alcançar rapidamente o nível esperado e continuar sua jornada de aprendizado. Oferecemos treinamentos que vão do nível básico ao avançado, com opções de aulas virtuais, sob demanda e por meio de transmissões ao vivo para que você possa encaixá-las na correria do seu dia a dia. As certificações validam sua experiência e comprovam suas habilidades com as tecnologias do Google Cloud.
Manual atualizado em 15 de julho de 2024
Laboratório testado em 22 de maio de 2024
Copyright 2024 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.