Visão geral

Uma das melhores ferramentas para melhorar a qualidade das respostas de modelos de linguagem grandes (LLMs) é a geração aumentada de recuperação (RAG). RAG é o padrão de recuperação de alguns dados não públicos e uso desses dados para enriquecer o comando enviado ao LLM. A RAG permite que o LLM gere respostas mais precisas com base nos dados incluídos no comando.

Você vai usar o AlloyDB, o banco de dados escalonável e de alto desempenho do Google Cloud compatível com PostgreSQL, para armazenar e pesquisar por um tipo especial de dados de vetores chamados de embeddings de vetores. Embeddings de vetores podem ser recuperados usando uma pesquisa semântica, o que permite a recuperação dos dados disponíveis que melhor correspondem à consulta de linguagem natural de um usuário. Os dados recuperados são então passados para o LLM no comando.

Você também vai usar a Vertex AI, a plataforma de desenvolvimento de IA unificada e totalmente gerenciada do Google Cloud para criar e usar a IA generativa. Seu aplicativo usa o Gemini Pro, um modelo de fundação multimodal que aceita a adição de imagens, áudios, vídeos e arquivos PDF em comandos de texto ou chat e oferece suporte à compreensão de contexto longo.

O que você vai aprender

Neste laboratório, você vai aprender:

• Como a RAG aprimora as capacidades do LLM, recuperando informações relevantes de uma base de conhecimento.
• Como o AlloyDB pode ser usado para encontrar informações relevantes usando a pesquisa semântica.
• Como usar a Vertex AI e os modelos de fundação do Google para oferecer capacidade de IA generativa avançada aos aplicativos.

Configuração e requisitos

Antes de clicar no botão "Começar o laboratório"

Importante: leia estas instruções.

Os laboratórios são cronometrados e não podem ser pausados. O timer é iniciado quando você clica em Começar o laboratório e mostra por quanto tempo os recursos do Google Cloud vão ficar disponíveis.

Este laboratório prático do Qwiklabs permite que você realize as atividades em um ambiente real de nuvem, não em uma simulação ou demonstração. Você receberá novas credenciais temporárias para fazer login e acessar o Google Cloud durante o laboratório.

O que é necessário

Veja os requisitos para concluir o laboratório:

• Acesso a um navegador de Internet padrão (recomendamos o Chrome)
• Tempo disponível para concluir as atividades

Observação: não use seu projeto ou conta pessoal do Google Cloud neste laboratório. Observação: se você estiver usando um Pixelbook, faça o laboratório em uma janela anônima.

Como começar o laboratório e fazer login no console

1. Clique no botão Começar o laboratório. Se for preciso pagar pelo laboratório, você verá um pop-up para selecionar a forma de pagamento. Um painel aparece à esquerda contendo as credenciais temporárias que você precisa usar no laboratório.

   

2. Copie o nome de usuário e clique em Abrir console do Google. O laboratório ativa os recursos e depois abre a página Escolha uma conta em outra guia.

   Observação: abra as guias em janelas separadas, lado a lado.

3. Na página "Escolha uma conta", clique em Usar outra conta. A página de login abre.

   

4. Cole o nome de usuário que foi copiado do painel "Detalhes da conexão". Em seguida, copie e cole a senha.

Observação: é necessário usar as credenciais do painel "Detalhes da conexão". Não use suas credenciais do Google Cloud Ensina. Não use sua conta pessoal do Google Cloud, caso tenha uma neste laboratório (isso evita cobranças).

5. Acesse as próximas páginas:

• Aceite os Termos e Condições.
• Não adicione opções de recuperação nem autenticação de dois fatores (porque essa é uma conta temporária).
• Não se inscreva em testes gratuitos.

Depois de alguns instantes, o console do Cloud abre nesta guia.

Observação: para acessar a lista dos produtos e serviços do Google Cloud, clique no Menu de navegação no canto superior esquerdo.

Ative o Google Cloud Shell

O Google Cloud Shell é uma máquina virtual com ferramentas de desenvolvimento. Ele tem um diretório principal permanente de 5 GB e é executado no Google Cloud.

O Cloud Shell oferece acesso de linha de comando aos recursos do Google Cloud.

1. No console do Cloud, clique no botão "Abrir o Cloud Shell" na barra de ferramentas superior direita.

   

2. Clique em Continuar.

O provisionamento e a conexão do ambiente podem demorar um pouco. Quando você estiver conectado, já estará autenticado, e o projeto estará definido com seu PROJECT_ID. Exemplo:

A gcloud é a ferramenta de linha de comando do Google Cloud. Ela vem pré-instalada no Cloud Shell e aceita preenchimento com tabulação.

• Para listar o nome da conta ativa, use este comando:

gcloud auth list

Saída:

Credentialed accounts: - @.com (active)

Exemplo de saída:

Credentialed accounts: - google1623327_student@qwiklabs.net

• Para listar o ID do projeto, use este comando:

gcloud config list project

Saída:

[core] project =

Exemplo de saída:

[core] project = qwiklabs-gcp-44776a13dea667a6 Observação: a documentação completa da gcloud está disponível no guia com informações gerais sobre a gcloud CLI .

Tarefa 1: Inicializar o ambiente do banco de dados

Nesta tarefa, você vai instalar um cliente PostgreSQL e conectá-lo à instância do AlloyDB.

Instale um cliente do PostgreSQL

Uma máquina virtual (VM) foi criada. Esta VM hospeda o aplicativo. Você também vai criar o cliente PostgreSQL nessa VM.

1. Para se conectar à VM, execute este comando:

   gcloud compute ssh app-vm --zone={{{project_0.default_zone | ZONE }}}

   Se for necessário autorizar, clique em Autorizar.

2. Para cada pergunta feita pelo comando gcloud compute ssh, clique em Enter ou Return para especificar a entrada padrão.

   Depois de uma breve espera, você vai estar logado na VM.

3. Para instalar o cliente do PostgreSQL, execute os seguintes comandos na sessão da VM:

   sudo apt-get update sudo apt-get install --yes postgresql-client Observação: o cliente pode já estar instalado.

Conecte-se à instância do AlloyDB

Uma instância do AlloyDB já foi criada.

1. Para criar as variáveis de shell necessárias, execute o seguinte comando:

   export PGUSER={{{project_0.startup_script.gcp_alloydb_user | PG_USER}}} export PGPASSWORD={{{project_0.startup_script.gcp_alloydb_password | PG_PASSWORD}}} export PROJECT_ID=$(gcloud config get-value project) export REGION={{{project_0.default_region | REGION }}} export ADBCLUSTER={{{project_0.startup_script.gcp_alloydb_cluster_name | CLUSTER}}} export INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)")

2. Para se conectar à instância do AlloyDB usando o psql, execute o seguinte comando:

   psql "host=$INSTANCE_IP user=$PGUSER sslmode=require"

   O psql se conecta ao banco de dados do AlloyDB e exibe um comando postgres=>. Agora você está conectado ao banco de dados.

3. Para sair da sessão psql, execute o seguinte comando:

   exit Observação : não feche a sessão SSH.

Tarefa 2: Criar o banco de dados de vetores

Nesta tarefa, você vai usar o cliente do PostgreSQL para criar o banco de dados AlloyDB e ativar as embeddings de vetores.

Crie o banco de dados

1. Para criar um novo banco de dados, execute o seguinte comando na sessão da VM:

   export PGPASSWORD={{{project_0.startup_script.gcp_alloydb_password | PG_PASSWORD}}} psql "host=$INSTANCE_IP user=$PGUSER" -c "CREATE DATABASE assistantdemo"

   O psql responde com CREATE DATABASE.

   Para que o banco de dados ofereça suporte a pesquisas semânticas, as entidades precisam ser representadas por embeddings de vetores.

2. Para ativar as embeddings de vetores nesse banco de dados, execute o seguinte comando:

   psql "host=$INSTANCE_IP user=$PGUSER dbname=assistantdemo" -c "CREATE EXTENSION vector"

   O psql responde com CREATE EXTENSION.

Clique em Verificar meu progresso para conferir o objetivo.

Crie o banco de dados do AlloyDB e ative a extensão pgVector.

Tarefa 3: Instalar o Python

Nesta tarefa, você vai instalar o Python na VM. O Python é usado para preencher o banco de dados.

1. Para instalar o Python e o Git, na VM, execute os seguintes comandos:

   sudo apt install -y python3.11-venv git python3 -m venv .venv source ~/.venv/bin/activate pip install --upgrade pip

   Quando a instalação for concluída, você vai ficar no ambiente virtual do Python, com um comando (.venv).

   Se a sessão SSH da VM expirar ou a guia for fechada, você poderá usar o SSH na VM de novo e o comando source ~/.venv/bin/activate para reiniciar o ambiente virtual do Python.

2. Para confirmar a versão do Python, execute o seguinte comando:

   python -V

   Sua resposta deve ser parecida com esta:

   (.venv) student@app-vm:~$ python -V Python 3.11.2 (.venv) student@app-vm:~$

Tarefa 4. Preencher o banco de dados de exemplo

Nesta tarefa, você vai preencher o banco de dados de vetores no AlloyDB com dados de amostra. Esses dados são usados no aplicativo de chat de exemplo.

O aplicativo e os dados de exemplo são armazenados em um repositório do GitHub chamado genai-databases-retrieval-app.

1. Para clonar o repositório, execute o seguinte comando na VM:

   git clone https://github.com/GoogleCloudPlatform/genai-databases-retrieval-app.git

2. Para conferir o modelo de dados, execute o seguinte comando:

   cd ~/genai-databases-retrieval-app cat retrieval_service/models/models.py

   Os modelos de dados em Python são mostrados aqui. O modelo inclui aeroportos, voos, comodidades nos terminais, políticas e passagens.

3. Para conferir um exemplo dos dados do aeroporto, execute os seguintes comandos:

   head -1 data/airport_dataset.csv; grep SFO data/airport_dataset.csv

   Esses comandos mostram o cabeçalho CSV que especifica os nomes de colunas para o conjunto de dados de aeroportos seguido pela linha do Aeroporto Internacional de São Francisco (SFO). Os dados do modelo de aeroporto podem ser recuperados com base no código da Associação Internacional de Transportes Aéreos (IATA) ou por país, cidade e nome do aeroporto. É possível usar a pesquisa por palavra-chave para encontrar linhas nessa tabela, portanto, não há embeddings de vetor para esses dados.

4. Para conferir um exemplo dos dados de voo, execute os seguintes comandos:

   head -1 data/flights_dataset.csv; grep -m10 "SFO" data/flights_dataset.csv

   Esses comandos mostram o cabeçalho CSV que especifica os nomes das colunas para o conjunto de dados de voos, seguido pelas 10 primeiras linhas de voos de ou para SFO. Os dados no modelo de voos podem ser recuperados com base na companhia aérea e no número do voo ou nos códigos dos aeroportos de partida e de chegada.

5. Para conferir um exemplo dos dados de comodidades, execute o seguinte comando:

   head -2 data/amenity_dataset.csv

   Esse comando mostra o cabeçalho CSV que especifica os nomes de colunas para o conjunto de dados de comodidades, seguido pela primeira comodidade.

   A primeira comodidade tem vários valores simples, incluindo nome, descrição, localização, terminal, categoria e horário de funcionamento. O próximo valor é content, que incorpora o nome, a descrição e o local. O último valor é embedding, a embedding de vetor da linha.

   A embedding é uma matriz de 768 números que é usada ao realizar uma pesquisa semântica. Essas embeddings são calculadas usando um modelo de IA fornecido pela Vertex AI. Quando um usuário faz uma consulta, é possível criar uma embedding de vetor a partir dela e recuperar dados com embeddings de vetor próximas à embedding da pesquisa.

   Os dados de política também usam embeddings de vetor de maneira semelhante.

   Observação : o cálculo de embeddings leva um tempo, então as embeddings já foram fornecidas. O script run_generate_embeddings.py pode ser examinado para conferir como as embeddings são geradas.

6. Para criar um arquivo de configuração de banco de dados, execute os comandos a seguir:

   export PGUSER={{{project_0.startup_script.gcp_alloydb_user | PG_USER}}} export PGPASSWORD={{{project_0.startup_script.gcp_alloydb_password | PG_PASSWORD}}} export PROJECT_ID=$(gcloud config get-value project) export REGION={{{project_0.default_region | REGION }}} export ADBCLUSTER={{{project_0.startup_script.gcp_alloydb_cluster_name | CLUSTER}}} export INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)") cd ~/genai-databases-retrieval-app/retrieval_service cp example-config.yml config.yml sed -i s/127.0.0.1/$INSTANCE_IP/g config.yml sed -i s/my-user/$PGUSER/g config.yml sed -i s/my-password/$PGPASSWORD/g config.yml sed -i s/my_database/assistantdemo/g config.yml cat config.yml

   O arquivo de configuração config.yml é criado com o endereço IP da instância, o nome de usuário, a senha e o banco de dados atualizados. Seu arquivo de configuração vai ficar assim:

   host: 0.0.0.0 # port: 8080 datastore: # Example for AlloyDB kind: "postgres" host: 10.65.0.2 # port: 5432 database: "assistantdemo" user: "postgres" password: "samplepassword"

7. Para preencher o banco de dados com o conjunto de dados de amostra, execute os seguintes comandos:

   pip install -r requirements.txt python run_database_init.py

   O primeiro comando adiciona todos os pacotes necessários ao ambiente virtual do Python, e o segundo preenche o banco de dados com os dados.

Preencha o banco de dados com o conjunto de amostra de dados.

Tarefa 5: Criar uma conta de serviço para o serviço de recuperação

Nesta tarefa, você vai criar uma conta de serviço para o serviço de recuperação.

O serviço de recuperação é responsável por extrair informações relevantes do banco de dados. Ele extrai as informações necessárias do banco de dados com base na solicitação de um aplicativo de IA. Essa conta de serviço é usada como a identidade do serviço do Cloud Run.

Criar conta de serviço

O usuário SSH não tem permissão para que a instância do projeto conceda o papel correto à conta de serviço. Você cria a conta de serviço usando uma nova guia do Cloud Shell.

1. No Cloud Shell, para abrir uma nova guia, clique em Abrir uma nova guia (+).

2. Para criar uma conta de serviço e conceder os privilégios necessários, na nova guia, execute os seguintes comandos:

   export PROJECT_ID=$(gcloud config get-value project) gcloud iam service-accounts create retrieval-identity gcloud projects add-iam-policy-binding $PROJECT_ID \ --member="serviceAccount:retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com" \ --role="roles/aiplatform.user"

   Essa conta de serviço recebe o papel roles/aiplatform.user, que permite que o serviço chame a Vertex AI.

3. Para fechar a nova guia, execute o seguinte comando:

   exit

Crie a identidade de recuperação da conta de serviço.

Tarefa 6: Implantar o serviço no Cloud Run:

Nesta tarefa, você vai implantar o serviço de recuperação no Cloud Run.

1. Para implantar o serviço de recuperação, na guia SSH da VM do Cloud Shell, execute os seguintes comandos:

   export REGION={{{project_0.default_region | REGION }}} cd ~/genai-databases-retrieval-app gcloud alpha run deploy retrieval-service \ --source=./retrieval_service/\ --no-allow-unauthenticated \ --service-account retrieval-identity \ --region $REGION \ --network=default \ --quiet

   Aguarde alguns minutos até a conclusão da implantação.

2. Para verificar a política, execute o seguinte comando:

   curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" $(gcloud run services list --filter="(retrieval-service)" --format="value(URL)")

   Se a mensagem "Hello World" aparecer, o serviço estará funcionando e atendendo às solicitações.

Implante o serviço de recuperação.

Tarefa 7. Registrar a tela de permissão OAuth

Nesta tarefa, você vai registrar a tela de permissão OAuth que é apresentada aos usuários que estão fazendo login.

Quando você usa o OAuth 2.0 para autorização, o Google exibe uma tela de permissão para capturar o consentimento do usuário para compartilhar dados com o aplicativo.

1. No console do Google Cloud, selecione o Menu de navegação () e depois APIs e serviços > Tela de permissão OAuth.

2. Clique em Primeiros passos.

3. Em Nome do app, digite Cymbal Air.

4. Clique em E-mail de suporte ao usuário, depois no e-mail do estudante e, em seguida, em Próxima.

5. Em Público-alvo, selecione Interno e clique em Próxima.

   Os usuários com acesso ao projeto devem conseguir fazer login no app.

6. No painel esquerdo das instruções do laboratório, copie o Nome de usuário.

   

7. Em Dados de contato, cole o nome de usuário copiado.

8. Clique em Próxima.

9. Clique em Caixa de seleção para aceitar a Política de Dados do Usuário, depois em Continue e em Criar.

   A tela de permissão foi configurada.

Tarefa 8: Criar um ID do cliente para o aplicativo

Nesta tarefa, você vai criar um ID do cliente para o aplicativo.

O aplicativo precisa de um ID do cliente para usar o serviço OAuth do Google. Você configura as origens permitidas que podem fazer essa solicitação e um URI de redirecionamento para onde o app da Web é redirecionado depois que o usuário consente em fazer login.

1. No console do Google Cloud, selecione o Menu de navegação () e depois APIs e serviços > Credenciais.

2. Clique em Criar credenciais e em ID do cliente OAuth.

   Um ID do cliente é usado para identificar um único aplicativo nos servidores OAuth do Google.

3. Em Tipo de aplicativo, selecione Aplicativo da Web.

4. Em Nome, insira Cymbal Air.

   É possível gerar a origem do JavaScript e redirecionar o URI usando o Cloud Shell.

5. No Cloud Shell, para abrir uma nova guia, clique em Abrir uma nova guia (+).

6. Para conseguir o URI de origem e de redirecionamento, na nova guia, execute os seguintes comandos:

   echo "origin:"; echo "https://8080-$WEB_HOST"; echo "redirect:"; echo "https://8080-$WEB_HOST/login/google"

7. Em Origens JavaScript autorizadas, clique em + Adicionar URI.

   Observação: selecione o botão Adicionar URI em Origens JavaScript autorizadas, não em URIs de redirecionamento autorizados.

8. Copie o URI de origem criado pelo comando "echo" e cole os URIs 1 em URI.

9. Para URIs de redirecionamento autorizados, clique em Adicionar URI.

   Observação: este é o segundo botão Adicionar URI, em URIs de redirecionamento autorizados.

10. Copie o URI de redirecionamento criado pelo comando "echo" e cole os URIs 1 em URI.

11. Clique em Criar.

    O ID e a chave secreta do cliente são criados. Para este aplicativo de teste, use apenas o ID do cliente.

12. Para criar a variável de ambiente, na guia SSH do Cloud Shell da VM, cole o seguinte comando sem clicar em Enter:

    export CLIENT_ID=

13. Clique em Copiar ID do cliente ().

    O ID do cliente é copiado para a área de transferência.

    Observação: o ID do cliente também pode ser copiado da página Credenciais.

14. Na guia SSH do Cloud Shell da VM, cole o ID do cliente e clique em Enter.

    A exportação vai ficar parecida com esta:

    export CLIENT_ID=937631684809-q7hs2r191jbks7f7dopih2uafuknb92h.apps.googleusercontent.com

Crie um ID do cliente para o aplicativo.

Tarefa 9: Implantar o aplicativo de amostra

Nesta tarefa, você executa um aplicativo de chat de exemplo que usa o serviço de recuperação.

Execute o aplicativo

1. Para instalar os requisitos do Python para o aplicativo de chat, na guia SSH da VM do Cloud Shell, execute os seguintes comandos:

   cd ~/genai-databases-retrieval-app/llm_demo pip install -r requirements.txt

   Antes de iniciar o aplicativo, é preciso configurar algumas variáveis de ambiente. A funcionalidade básica do aplicativo, incluindo a consulta de voos e a devolução de comodidades do aeroporto, exige que uma variável de ambiente chamada BASE_URL contenha o URL de base do serviço de recuperação.

2. Para especificar o URL de base do serviço de recuperação, execute os seguintes comandos:

   export BASE_URL=$(gcloud run services list --filter="(retrieval-service)" --format="value(URL)") echo $BASE_URL

   O URL de base é usado pelo aplicativo local para acessar o serviço de recuperação.

3. Para executar o aplicativo, execute o seguinte comando:

   python run_app.py

   Sua resposta deve ser parecida com esta:

   (.venv) student-03-b2f40c6c89d6@app-vm:~/genai-databases-retrieval-app/llm_demo$ python run_app.py INFO: Processo do servidor iniciado [32894] INFO: Aguardando a inicialização do aplicativo. Carregando o aplicativo... INFO: A inicialização do aplicativo foi concluída. INFO: Uvicorn em execução em http://0.0.0.0:8081 (Pressione CTRL+C para sair)

   Agora o aplicativo está em execução.

Conecte-se à VM

Há várias maneiras de se conectar ao aplicativo em execução na VM. Por exemplo, é possível abrir a porta 8081 na VM pelas regras de firewall na VPC ou criar um balanceador de carga com IP público. Aqui você usa um túnel SSH para a VM, convertendo a porta do Cloud Shell 8080 para a porta da VM 8081.

1. No Cloud Shell, para abrir uma nova guia, clique em Abrir uma nova guia (+).

2. Para criar um túnel SSH para a porta da VM, execute o seguinte comando na nova guia:

   gcloud compute ssh app-vm --zone={{{project_0.default_zone | ZONE }}} -- -L 8080:localhost:8081

   O comando gcloud conecta a porta 8080 no Cloud Shell com a porta 8081 na VM. Ignore a mensagem de erro "Não é possível atribuir o endereço solicitado".

3. Para executar o aplicativo no navegador da Web, clique em Visualização da Web e selecione Visualizar na porta 8080.

   

   Uma nova guia é aberta no navegador e o aplicativo é executado. O aplicativo Cymbal Air mostra a mensagem "Bem-vindo ao Cymbal Air! Como posso ajudar?"

4. Digite a seguinte consulta:

   Quando é o próximo voo para Dallas?

   O aplicativo responde com o próximo voo de SFO para Dallas/Fort Worth.

5. Digite a seguinte consulta:

   Quais restaurantes estão perto do portão de embarque?

   O aplicativo entende o contexto e responde com restaurantes perto do portão de embarque em SFO.

Tarefa 10: Fazer login no aplicativo (opcional)

Nesta tarefa, você vai fazer o login no aplicativo para reservar o voo.

1. Clique em Fazer login.

   Uma janela pop-up será aberta.

2. Na janela pop-up, selecione o estudante.

   A conta do estudante será logada.

3. Se for solicitado que você confirme que quer fazer login como o estudante, clique em Confirmar.

4. Digite a seguinte consulta:

   Reserve esse voo.

   O aplicativo apresenta o voo em questão.

5. Clique em Tudo certo. Reservar.

   O voo foi reservado.

6. Digite a seguinte consulta:

   Quais voos eu reservei?

   O voo que você acabou de reservar é mostrado.

   O app de chat pode ajudar a responder perguntas dos usuários, como:

   • Quando é o próximo voo para Miami?
   • Tem alguma loja de luxo perto do portão D50?
   • Onde posso tomar um café perto do portão A6?

   O aplicativo usa os modelos de fundação mais recentes do Google para gerar respostas e adicionar informações sobre voos e comodidades do banco de dados operacional do AlloyDB. Saiba mais sobre este aplicativo de demonstração na página do GitHub do projeto.

Parabéns!

Você criou um aplicativo de chat que usa modelos de linguagem grandes (LLMs) e geração aumentada de recuperação (RAG) para criar conversas interessantes e informativas.

Próximas etapas / Saiba mais

• Leia mais informações sobre o Serviço de Recuperação de IA generativa e o aplicativo de amostra.

Finalize o laboratório

Clique em Terminar o laboratório após a conclusão. O Google Cloud Ensina remove os recursos usados e limpa a conta por você.

Você vai poder avaliar sua experiência no laboratório. Basta selecionar o número de estrelas, digitar um comentário e clicar em Enviar.

O número de estrelas indica o seguinte:

• 1 estrela = muito insatisfeito
• 2 estrelas = insatisfeito
• 3 estrelas = neutro
• 4 estrelas = satisfeito
• 5 estrelas = muito satisfeito

Feche a caixa de diálogo se não quiser enviar feedback.

Para enviar seu feedback, fazer sugestões ou correções, use a guia Suporte.

Copyright 2024 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de empresas e produtos podem ser marcas registradas das empresas a que estão associados.