GSP1231

Visão geral

Gemini (em inglês) é uma família de modelos de IA generativa desenvolvida pelo Google DeepMind, criada para casos de uso multimodais. A API Gemini dá acesso aos modelos Gemini Pro Vision e Gemini Pro.

A geração aumentada de recuperação (RAG, na sigla em inglês) se tornou um dos paradigmas mais usados para permitir que os LLMs acessem dados externos. Ela também é um mecanismo de embasamento para reduzir alucinações artificiais. Os modelos de RAG são treinados para recuperar documentos relevantes de um grande corpus e gerar uma resposta baseada neles. Neste laboratório, você vai aprender a realizar a RAG multimodal para fazer perguntas e respostas sobre um documento do setor financeiro que contém textos e imagens.

Comparação entre RAG multimodal e RAG baseada em texto

A RAG multimodal oferece diversas vantagens em relação à RAG baseada em texto:

1. Acesso à base de conhecimento aprimorada: a RAG multimodal pode acessar e processar informações textuais e visuais, oferecendo uma base de conhecimento mais completa e abrangente para o LLM.
2. Melhores recursos de raciocínio: ao incorporar dicas visuais, a RAG multimodal pode fazer inferências mais embasadas em diferentes tipos de modalidades de dados.

Neste laboratório, mostramos como usar a RAG com a API Gemini da Vertex AI, embeddings de texto e embeddings multimodais para criar um mecanismo de pesquisa de documentos.

Objetivos

Neste laboratório, você vai aprender a:

• Extrair e armazenar metadados de documentos com textos e imagens e gerar embeddings dos documentos.
• Pesquisar os metadados com consultas de texto para encontrar textos ou imagens semelhantes.
• Pesquisar os metadados com consultas de imagens para encontrar imagens semelhantes.
• Usar uma consulta de texto como entrada, pesquisar respostas contextuais usando textos e imagens.

Configuração e requisitos

Antes de clicar no botão Começar o Laboratório

Leia estas instruções. Os laboratórios são cronometrados e não podem ser pausados. O timer é ativado quando você clica em Iniciar laboratório e mostra por quanto tempo os recursos do Google Cloud vão ficar disponíveis.

Este laboratório prático permite que você realize as atividades em um ambiente real de nuvem, e não em uma simulação ou demonstração. Você vai receber novas credenciais temporárias para fazer login e acessar o Google Cloud durante o laboratório.

Confira os requisitos para concluir o laboratório:

• Acesso a um navegador de Internet padrão (recomendamos o Chrome).

Observação: para executar este laboratório, use o modo de navegação anônima (recomendado) ou uma janela anônima do navegador. Isso evita conflitos entre sua conta pessoal e de estudante, o que poderia causar cobranças extras na sua conta pessoal.

• Tempo para concluir o laboratório: não se esqueça que, depois de começar, não será possível pausar o laboratório.

Observação: use apenas a conta de estudante neste laboratório. Se usar outra conta do Google Cloud, você poderá receber cobranças nela.

Como iniciar seu laboratório e fazer login no console do Google Cloud

1. Clique no botão Começar o laboratório. Se for preciso pagar por ele, uma caixa de diálogo vai aparecer para você selecionar a forma de pagamento. No painel Detalhes do Laboratório, à esquerda, você vai encontrar o seguinte:

   • O botão Abrir Console do Google Cloud
   • O tempo restante
   • As credenciais temporárias que você vai usar neste laboratório
   • Outras informações, se forem necessárias

2. Se você estiver usando o navegador Chrome, clique em Abrir console do Google Cloud ou clique com o botão direito do mouse e selecione Abrir link em uma janela anônima.

   O laboratório ativa os recursos e depois abre a página Fazer Login em outra guia.

   Dica: coloque as guias em janelas separadas lado a lado.

   Observação: se aparecer a caixa de diálogo Escolher uma conta, clique em Usar outra conta.

3. Se necessário, copie o Nome de usuário abaixo e cole na caixa de diálogo Fazer login.

   {{{user_0.username | "Username"}}}

   Você também encontra o nome de usuário no painel Detalhes do Laboratório.

4. Clique em Próxima.

5. Copie a Senha abaixo e cole na caixa de diálogo de Olá.

   {{{user_0.password | "Password"}}}

   Você também encontra a senha no painel Detalhes do Laboratório.

6. Clique em Próxima.

   Importante: você precisa usar as credenciais fornecidas no laboratório, e não as da sua conta do Google Cloud. Observação: se você usar sua própria conta do Google Cloud neste laboratório, é possível que receba cobranças adicionais.

7. Acesse as próximas páginas:

   • Aceite os Termos e Condições.
   • Não adicione opções de recuperação nem autenticação de dois fatores (porque essa é uma conta temporária).
   • Não se inscreva em testes gratuitos.

Depois de alguns instantes, o console do Google Cloud será aberto nesta guia.

Observação: para acessar os produtos e serviços do Google Cloud, clique no Menu de navegação ou digite o nome do serviço ou produto no campo Pesquisar.

Tarefa 1: abrir o notebook no Vertex AI Workbench

1. No menu de navegação () do console do Google Cloud, clique em Vertex AI > Workbench.

2. Ache a instância e clique no botão Abrir o JupyterLab.

A interface do JupyterLab para sua instância do Workbench é aberta em uma nova guia do navegador.

Tarefa 2: configurar o notebook

1. Clique no arquivo intro_multimodal_rag.ipynb.

2. Execute as seções Vamos começar e Importar bibliotecas do notebook.

   • Para Project ID, use , e em Location, use .

Observação: você pode pular qualquer célula do notebook que tenha a indicação somente Colab.

Clique em Verificar meu progresso para conferir o objetivo. Instalar o SDK da Vertex AI para Python e importar bibliotecas.

Nas seções a seguir, você vai analisar as células do notebook para saber como usar a API Gemini para criar um sistema RAG multimodal.

Tarefa 3: usar o modelo Gemini Pro

O modelo Gemini Pro (gemini-pro) foi desenvolvido para processar tarefas de linguagem natural, chat de código e texto com várias interações, além de geração de código. Nesta seção, você vai fazer o download de algumas funções auxiliares necessárias para este notebook para facilitar a leitura. Você também pode ver o código (intro_multimodal_rag_utils.py) diretamente no GitHub.

1. Nesta tarefa, você vai analisar as células do notebook para carregar o modelo e fazer o download das funções auxiliares e acessar os documentos e as imagens no Cloud Storage.

Clique em Verificar meu progresso para conferir o objetivo. Fazer o download de imagens e documentos no Cloud Storage.

Tarefa 4: criar metadados de documentos contendo textos e imagens

Os dados de origem usados neste laboratório são uma versão modificada do Google-10K, que oferece uma visão geral ampla do desempenho financeiro, das operações comerciais, do gerenciamento e dos fatores de risco da empresa. Como o documento original é bem grande, você vai usar uma versão modificada com apenas 14 páginas. Mesmo sendo um resumo, o documento de amostra ainda apresenta texto com imagens, como tabelas e gráficos.

1. Nesta tarefa, você vai analisar as células do notebook para extrair e armazenar metadados de textos e imagens de um documento.

Observação: a célula pode levar alguns minutos para terminar de extrair e armazenar os metadados de textos e imagens de um documento.

Clique em Verificar meu progresso para conferir o objetivo. Extrair e armazenar metadados de textos e imagens de um documento.

Tarefa 5: pesquisa de texto

Vamos começar com uma pergunta simples para verificar se ela pode ser respondida com uma pesquisa de texto simples usando embeddings de texto. A resposta esperada é mostrar o valor do lucro líquido básico e diluído por ação do Google para diferentes tipos de ações.

1. Nesta etapa, você vai analisar as células do notebook para pesquisar textos e imagens semelhantes com uma consulta de texto.

Tarefa 6: pesquisa por imagens

Imagine que você está pesquisando imagens, mas, em vez de digitar palavras, você usa uma imagem real como dica. Você tem uma tabela com números sobre o custo da receita por dois anos e quer encontrar outras imagens parecidas no mesmo documento ou em vários documentos.

A capacidade de identificar textos e imagens semelhantes com base na entrada do usuário, com a tecnologia do Gemini e embeddings, cria uma base essencial para o desenvolvimento de sistemas RAG multimodal, que será discutido em mais detalhes na próxima tarefa.

1. Nesta tarefa, você vai analisar as células do notebook para pesquisar imagens semelhantes com uma consulta de imagens.

Observação: talvez seja necessário esperar alguns minutos para receber a pontuação da tarefa.

Clique em Verificar meu progresso para conferir o objetivo. Pesquisar imagens semelhantes com a consulta de imagens.

Raciocínio comparativo

Suponha que temos um gráfico mostrando uma comparação entre as ações classe A do Google e o índice S&P 500 ou outras empresas de tecnologia. Você quer comparar as ações classe C com o gráfico. Em vez de encontrar outra imagem semelhante, peça para o Gemini comparar as imagens e informar em quais ações ele recomendaria um investimento. O Gemini então daria uma resposta com uma explicação.

1. Nesta tarefa, você vai analisar as células do notebook para comparar duas imagens e encontrar a mais parecida.

Tarefa 7: geração aumentada de recuperação (RAG) multimodal

Agora vamos juntar todo o conteúdo deste laboratório para implementar a RAG multimodal. Use todos os elementos que você analisou nas seções anteriores para implantar a RAG multimodal. Confira as etapas:

• Etapa 1: o usuário fornece uma consulta em formato de texto com as informações esperadas disponíveis no documento e incorporadas nas imagens e no texto.
• Etapa 2: encontrar todos os blocos de texto nas páginas dos documentos usando um método parecido com o analisado na pesquisa de texto.
• Etapa 3: encontrar todas as imagens parecidas nas páginas com base na consulta do usuário correspondente a image_description usando um método idêntico ao analisado na pesquisa por imagens.
• Etapa 4: combinar todos os textos e imagens semelhantes encontrados nas etapas 2 e 3 como context_text e context_images.
• Etapa 5: com a ajuda do Gemini, podemos transmitir a consulta do usuário com o contexto de texto e imagem encontrado nas etapas 2 e 3. Você também pode adicionar uma instrução específica que o modelo deve seguir ao responder à consulta do usuário.
• Etapa 6: o Gemini vai gerar a resposta e você pode imprimir as citações para verificar todos os textos e imagens usados para resolver a consulta.

1. Nesta tarefa, você vai analisar as células do notebook para realizar a RAG multimodal.

Observação: talvez seja necessário esperar alguns minutos para receber a pontuação da tarefa.

Clique em Verificar meu progresso para conferir o objetivo. Imprimir as citações para verificar todos os textos e imagens relevantes.

Parabéns!

Neste laboratório, você aprendeu a criar um mecanismo avançado de pesquisa de documentos usando a geração aumentada de recuperação (RAG) multimodal. Você aprendeu a extrair e armazenar metadados de documentos contendo texto e imagens e gerar embeddings para os documentos. Além disso, agora você sabe como pesquisar os metadados com consultas de textos e imagens para encontrar conteúdo semelhante. Por fim, você aprendeu a usar uma consulta de texto como entrada para pesquisar respostas contextuais usando textos e imagens.

Próximas etapas / Saiba mais

• Consulte a documentação da IA generativa na Vertex AI.
• Saiba mais sobre a IA generativa no canal de tecnologia do Google Cloud no YouTube.
• Repositório oficial da IA generativa do Google Cloud (em inglês)
• Exemplos de blocos do Gemini (em inglês)

Treinamento e certificação do Google Cloud

Esses treinamentos ajudam você a aproveitar as tecnologias do Google Cloud ao máximo. Nossas aulas incluem habilidades técnicas e práticas recomendadas para ajudar você a alcançar rapidamente o nível esperado e continuar sua jornada de aprendizado. Oferecemos treinamentos que vão do nível básico ao avançado, com opções de aulas virtuais, sob demanda e por meio de transmissões ao vivo para que você possa encaixá-las na correria do seu dia a dia. As certificações validam sua experiência e comprovam suas habilidades com as tecnologias do Google Cloud.

Manual atualizado em 13 de junho de 2024

Laboratório testado em 13 de junho de 2024

Copyright 2025 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.