GSP1165

Informações gerais

O design de comandos é o processo de criação de comandos que são eficazes na geração da saída esperada a partir de um modelo de linguagem grande (LLM, na sigla em inglês) como o PaLM. Os comandos podem ser usados para gerar texto, traduzir idiomas, escrever diferentes tipos de conteúdo criativo e responder perguntas de forma informativa.

Para obter bons resultados com o comando, o usuário precisa ser específico, usar palavras-chave relevantes para a saída que quer gerar e fornecer ao PaLM os exemplos de saída esperados para ajudá-lo a entender melhor o que o usuário está procurando.

Neste laboratório, você fará o papel de analista de mercado de uma imobiliária. Você precisa criar comandos que possam extrair resumos de descrições residenciais longas no site da empresa para ajudar os clientes a encontrar casas que atendam às necessidades específicas deles.

Conteúdo

Neste laboratório, você vai analisar a Vertex AI como uma plataforma de IA/ML e saber como:

• Desenvolver comandos de boa qualidade.
• Interagir com o PaLM para obter as respostas pretendidas.
• Estar ciente das alucinações nas respostas.

Caso de uso

Sua empresa está interessada em usar modelos de linguagem grandes (LLMs) para retornar breves descrições de texto de casas aos compradores depois que eles especificarem as características das casas que estão procurando.

Sua tarefa é criar comandos que resumirão o texto de descrições residenciais longas no seu site imobiliário. As descrições das casas são armazenadas em um arquivo em um bucket do Google Cloud Storage.

Comece usando o Model Garden e explore modelos prontos para economizar tempo e implementar uma solução o mais rápido possível.

Recursos da Vertex AI usados neste laboratório

Modelos de IA generativa

Os modelos de IA generativa disponíveis na Vertex AI, também conhecidos como modelos de fundação, são categorizados pelo tipo de conteúdo a ser gerado. Este conteúdo inclui texto e chat, imagem, código e embeddings de texto. Cada modelo é exposto por meio de um endpoint do editor específico para seu projeto do Google Cloud. Por isso, não é necessário implantar o modelo de fundação, a menos que você precise ajustá-lo para um caso de uso específico.

Pathways e Pathways Language Model (PaLM)

O programa de treinamentos é um modelo único que pode ser generalizado entre domínios e tarefas, ao mesmo tempo que é altamente eficiente. O modelo de linguagem de programas de treinamentos (PaLM) – um modelo de Transformer denso, apenas de decodificação, treinado com o sistema de programa de treinamento – permitiu ao Google treinar com eficiência um único modelo em vários pods TPU v4. O PaLM é avaliado em centenas de tarefas de compreensão e geração de linguagem. Ele possui fortes capacidades em tarefas multilíngues e geração de código-fonte.

O PaLM 2 é o modelo que faz a API PaLM funcionar. O PaLM 2 é um modelo de linguagem de última geração com recursos multilíngues, de raciocínio e de programação aprimorados. Para saber mais sobre o PaLM 2, confira Introdução ao PaLM 2. Este notebook mostra como desenvolver comandos para criar diferentes tipos de resumos.

Vertex AI Studio

O Vertex AI Studio é uma ferramenta do console do Google Cloud para a prototipagem e testagem rápidas de modelos de IA generativa. É possível testar amostras de comandos, criar seus próprios comandos e personalizar modelos de fundação para lidar com tarefas que atendam às necessidades do seu aplicativo. Você pode fazer o seguinte:

• Testar modelos usando amostras de comandos.
• Criar e salvar seus próprios comandos.
• Ajustar um modelo de fundação
• Converter voz e texto.

Saiba mais sobre o AI Studio na documentação oficial.

Vertex AI Workbench

O Vertex AI Workbench é uma infraestrutura de computação empresarial, escalonável e totalmente gerenciada. Ela oferece um ambiente único para que os cientistas de dados concluam seus trabalhos de ML, desde a experimentação até a implantação, o gerenciamento e o monitoramento de modelos. É um ambiente baseado em Jupyter que inclui uma ampla variedade de ferramentas e serviços, como notebooks Jupyter ou recursos de computação gerenciados.

Configuração e requisitos

Antes de clicar no botão Start Lab

Leia estas instruções. Os laboratórios são cronometrados e não podem ser pausados. O timer é iniciado quando você clica em Começar o laboratório e mostra por quanto tempo os recursos do Google Cloud vão ficar disponíveis.

Este laboratório prático permite que você realize as atividades em um ambiente real de nuvem, não em uma simulação ou demonstração. Você vai receber novas credenciais temporárias para fazer login e acessar o Google Cloud durante o laboratório.

Confira os requisitos para concluir o laboratório:

• Acesso a um navegador de Internet padrão (recomendamos o Chrome).

Observação: para executar este laboratório, use o modo de navegação anônima ou uma janela anônima do navegador. Isso evita conflitos entre sua conta pessoal e a conta de estudante, o que poderia causar cobranças extras na sua conta pessoal.

• Tempo para concluir o laboratório---não se esqueça: depois de começar, não será possível pausar o laboratório.

Observação: não use seu projeto ou conta do Google Cloud neste laboratório para evitar cobranças extras na sua conta.

Como iniciar seu laboratório e fazer login no console do Google Cloud

1. Clique no botão Começar o laboratório. Se for preciso pagar, você verá um pop-up para selecionar a forma de pagamento. No painel Detalhes do laboratório à esquerda, você vai encontrar o seguinte:

   • O botão Abrir console do Google Cloud
   • O tempo restante
   • As credenciais temporárias que você vai usar neste laboratório
   • Outras informações, se forem necessárias

2. Se você estiver usando o navegador Chrome, clique em Abrir console do Google Cloud ou clique com o botão direito do mouse e selecione Abrir link em uma janela anônima.

   O laboratório ativa os recursos e depois abre a página Fazer login em outra guia.

   Dica: coloque as guias em janelas separadas lado a lado.

   Observação: se aparecer a caixa de diálogo Escolher uma conta, clique em Usar outra conta.

3. Se necessário, copie o Nome de usuário abaixo e cole na caixa de diálogo Fazer login.

   {{{user_0.username | "Nome de usuário"}}}

   Você também encontra o Nome de usuário no painel Detalhes do laboratório.

4. Clique em Seguinte.

5. Copie a Senha abaixo e cole na caixa de diálogo de boas-vindas.

   {{{user_0.password | "Senha"}}}

   Você também encontra a Senha no painel Detalhes do laboratório.

6. Clique em Seguinte.

   Importante: você precisa usar as credenciais fornecidas no laboratório, e não as da sua conta do Google Cloud. Observação: se você usar sua própria conta do Google Cloud neste laboratório, é possível que receba cobranças adicionais.

7. Acesse as próximas páginas:

   • Aceite os Termos e Condições.
   • Não adicione opções de recuperação nem autenticação de dois fatores (porque essa é uma conta temporária).
   • Não se inscreva em testes gratuitos.

Depois de alguns instantes, o console do Google Cloud será aberto nesta guia.

Observação: clique em Menu de navegação no canto superior esquerdo para acessar uma lista de produtos e serviços do Google Cloud.

Ativar APIs

1. No console do Google Cloud, abra o Menu de navegação (), clique em Mais produtos e, na seção Inteligência artificial, selecione Vertex AI .
2. No painel da Vertex AI, clique em Ativar todas as APIs recomendadas.

Abra o Vertex AI Workbench

1. Ainda no painel da Vertex AI, clique em Workbench no painel esquerdo.

   Observação: pode ser necessário aumentar a largura da janela do navegador para conferir o painel esquerdo.

2. Clique na guia Notebooks gerenciados pelo usuário.

Tarefa 1: Como responder a perguntas com modelos generativos na Vertex AI

Foi pedido para que você crie uma interface para permitir que clientes em potencial filtrem os anúncios imobiliários com base nas respostas deles.

1. Na guia Notebooks gerenciados pelo usuário, clique em Abrir o JupyterLab ao lado do nome do seu notebook.

O Vertex AI Workbench é aberto. Observe os arquivos no painel esquerdo.

2. Navegue até lá e clique duas vezes para abrir training-data-analyst/self-paced-labs/genai/housing_question_answering.ipynb.

housing_question_answering.ipynb será aberto e estará visível no painel direito.

3. Clique em Editar > Limpar todas as saídas.

4. Leia atentamente as instruções do notebook e execute o código em cada célula.

Para executar a célula atual, clique nela e pressione SHIFT + ENTER. Confira outros comandos de células na interface do notebook em Executar.

Deixe seu ambiente de notebook Jupyter aberto e continue lendo esta tarefa. Você retorna ao ambiente de notebook na Tarefa 3.

Selecione Verificar meu progresso para conferir o objetivo.

Execute as células no arquivo housing_question_answering.ipynb.

Valores de parâmetros

Cada chamada que você envia a um modelo inclui valores de parâmetros que controlam como o modelo gera uma resposta. O modelo gera resultados diferentes para valores de parâmetros diferentes. Para esta tarefa, experimente diferentes valores de parâmetros para obter os melhores resultados para a tarefa.

Os parâmetros disponíveis para diferentes modelos podem variar, mas os mais comuns são:

• Temperatura
• Limite de tokens
• Top-K
• Top-P

Temperatura

A temperatura controla o grau de aleatoriedade na seleção do token, quando Top-K e Top-P são aplicados. Temperaturas mais baixas são boas para comandos que exigem uma resposta mais determinista e menos aberta ou criativa, enquanto temperaturas maiores podem levar a resultados mais diversos ou criativos. Uma temperatura 0 é determinista, o que significa que a resposta de maior probabilidade é sempre selecionada.

Na maioria dos casos de uso, é melhor começar com a temperatura 0,2. Se o modelo retornar uma resposta muito genérica, muito curta ou se o modelo fornecer uma resposta alternativa, tente aumentar a temperatura.

Limite de tokens

O limite de tokens determina a quantidade máxima de saída de texto de um comando. Um token tem cerca de quatro caracteres. O valor padrão é 256.

Especifique um valor mais baixo para respostas mais curtas e um valor mais alto para respostas mais longas.

Top-K

O Top-K muda a forma como o modelo seleciona tokens para saída. O valor "1" de Top-K indica que o token selecionado é o mais provável entre todos no vocabulário do modelo (também chamado de decodificação gananciosa), enquanto o valor "3" de Top-K significa que o próximo token é selecionado entre os três mais prováveis usando a temperatura.

Para cada etapa da seleção de tokens, são amostrados os tokens Top-K com as maiores probabilidades. Em seguida, os tokens são filtrados com base no valor de Top-P com o token final selecionado por meio da amostragem de temperatura.

Especifique um valor mais baixo para respostas menos aleatórias e um valor mais alto para respostas mais aleatórias. O Top-K padrão é 40.

Top-P

O Top-P muda a forma como o modelo seleciona tokens para saída. Os tokens são selecionados do mais provável (confira o Top-K) para o menos provável até que a soma das probabilidades seja igual ao valor do Top-P. Por exemplo, se os tokens A, B e C tiverem uma probabilidade de 0,3, 0,2 e 0,1 e o valor de Top-P for 0,5, o modelo selecionará A ou B como token seguinte usando temperatura e excluirá C como candidato.

Especifique um valor mais baixo para respostas menos aleatórias e um valor mais alto para respostas mais aleatórias. O Top-P padrão é 0,80.

Tarefa 2: Valores de parâmetros diferentes

Agora é hora de experimentar diferentes valores de parâmetros.

1. No console do Google Cloud, no Menu de navegação (), selecione Vertex AI na seção Inteligência artificial.

2. No painel Ferramentas, à esquerda, clique em Idioma na seção Vertex AI Studio. Em seguida, clique em Comando de texto na página Vamos começar.

3. Digite o seguinte comando:

Resuma o início de Harry Potter para mim.

4. Na caixa da seção "Parâmetros", defina model como gemini-1.0-pro-001 e mude a temperatura de 0,9 para 1. Defina a região como us-central1. Clique em Submit. Dê um nome ao comando e clique em Save. Leia a resposta para conferir como diferentes valores de temperatura podem afetá-la.

5. Na seção "Parâmetros", altere o "Limite de tokens" de 2048 para 1024. Clique em Enviar e Salvar. Leia a resposta para conferir como os diferentes limites de tokens podem impactá-la.

6. Na seção "Parâmetros", clique no botão Avançado das opções de ativar/desativar para mudar o valor "Top-K" para 1. Clique em Enviar e Salvar. Leia a resposta para conferir como os diferentes valores Top-K podem impactá-la.

7. Na seção "Parâmetros", mude o valor "Top-P" para 1, clique em Enviar e selecione Salvar. Leia a resposta para conferir como os diferentes valores Top-P podem impactá-la.

Selecione Verificar meu progresso para conferir o objetivo.

Altere os parâmetros e salve sua resposta

Tarefa 3: Resumo de texto com modelos generativos na Vertex AI

Extraia resumos de casas das informações mais importantes para agilizar o processo de pesquisa.

1. No notebook do JupyterLab, clique duas vezes para abrir housing_text_summarization.ipynb no painel esquerdo.

2. Clique em Editar > Limpar todas as saídas.

3. Leia atentamente as instruções do notebook e execute o código em cada célula.

Execute as células no arquivo housing_text_summarization.ipynb.

Parabéns!

Você usou a API PaLM e o AI Studio para criar e testar comandos em vários casos de uso da IA generativa. Você também conheceu a interface do AI Studio e criou comandos de texto e código com parâmetros diferentes.

Próximas etapas / Saiba mais

• Para saber mais sobre o design de comandos, consulte a documentação oficial.

• Confira os notebooks usados neste laboratório.

Treinamento e certificação do Google Cloud

Esses treinamentos ajudam você a aproveitar as tecnologias do Google Cloud ao máximo. Nossas aulas incluem habilidades técnicas e práticas recomendadas para ajudar você a alcançar rapidamente o nível esperado e continuar sua jornada de aprendizado. Oferecemos treinamentos que vão do nível básico ao avançado, com opções de aulas virtuais, sob demanda e por meio de transmissões ao vivo para que você possa encaixá-las na correria do seu dia a dia. As certificações validam sua experiência e comprovam suas habilidades com as tecnologias do Google Cloud.

Manual atualizado em 5 de março de 2024

Laboratório testado em 5 de março de 2024

Copyright 2024 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.