GSP1247

Visão geral

Neste laboratório, você vai aprender a usar o BigQuery Machine Learning para inferência com modelos remotos (modelos de IA do Gemini) para analisar imagens de pôsteres de filmes e gerar resumos deles como parte de um projeto de prova de conceito.

O BigQuery é uma plataforma de análise de dados totalmente gerenciada e pronta para IA que ajuda a impulsionar o valor dos dados, funcionando com vários mecanismos, formatos e nuvens. Um dos principais recursos dele é o BigQuery Machine Learning para inferência, que permite criar e executar modelos de machine learning (ML) usando consultas do GoogleSQL.

Gemini (em inglês) é uma família de modelos de IA generativa desenvolvida pelo Google DeepMind, criada para casos de uso multimodais. A API Gemini dá acesso aos modelos Gemini Pro Vision e Gemini Pro.

Como executar modelos de ML usando consultas do GoogleSQL

Em geral, para executar ML ou inteligência artificial (IA) em grandes conjuntos de dados, é preciso utilizar programação detalhada e ter conhecimento de frameworks de ML. Isso restringe o desenvolvimento de soluções a um grupo muito pequeno de pessoas na empresa. Além disso, exclui analistas de dados que compreendem os dados, mas têm conhecimento limitado de ML e de programação. No entanto, com o BigQuery Machine Learning para inferência, os profissionais de SQL podem usar as habilidades e ferramentas de SQL atuais para criar modelos e gerar resultados com LLMs e APIs de IA do Cloud.

Objetivos

Neste laboratório, você vai aprender a:

• Configurar seu ambiente e sua conta para usar APIs.
• Criar uma conexão de recursos do Cloud no BigQuery.
• Criar um conjunto de dados e uma tabela de objetos no BigQuery para imagens de pôsteres de filmes.
• Criar os modelos remotos do Gemini no BigQuery.
• Solicitar que o Gemini forneça resumos de filmes para cada pôster.
• Gerar embeddings de texto para o filme representado em cada pôster.
• Usar a função VECTOR_SEARCH do BigQuery para combinar imagens de pôsteres de filmes com filmes muito semelhantes no conjunto de dados.

Configuração e requisitos

Antes de clicar no botão Começar o Laboratório

Leia estas instruções. Os laboratórios são cronometrados e não podem ser pausados. O timer é ativado quando você clica em Iniciar laboratório e mostra por quanto tempo os recursos do Google Cloud vão ficar disponíveis.

Este laboratório prático permite que você realize as atividades em um ambiente real de nuvem, e não em uma simulação ou demonstração. Você vai receber novas credenciais temporárias para fazer login e acessar o Google Cloud durante o laboratório.

Confira os requisitos para concluir o laboratório:

• Acesso a um navegador de Internet padrão (recomendamos o Chrome).

Observação: para executar este laboratório, use o modo de navegação anônima (recomendado) ou uma janela anônima do navegador. Isso evita conflitos entre sua conta pessoal e de estudante, o que poderia causar cobranças extras na sua conta pessoal.

• Tempo para concluir o laboratório: não se esqueça que, depois de começar, não será possível pausar o laboratório.

Observação: use apenas a conta de estudante neste laboratório. Se usar outra conta do Google Cloud, você poderá receber cobranças nela.

Como iniciar seu laboratório e fazer login no console do Google Cloud

1. Clique no botão Começar o laboratório. Se for preciso pagar por ele, uma caixa de diálogo vai aparecer para você selecionar a forma de pagamento. No painel Detalhes do Laboratório, à esquerda, você vai encontrar o seguinte:

   • O botão Abrir Console do Google Cloud
   • O tempo restante
   • As credenciais temporárias que você vai usar neste laboratório
   • Outras informações, se forem necessárias

2. Se você estiver usando o navegador Chrome, clique em Abrir console do Google Cloud ou clique com o botão direito do mouse e selecione Abrir link em uma janela anônima.

   O laboratório ativa os recursos e depois abre a página Fazer Login em outra guia.

   Dica: coloque as guias em janelas separadas lado a lado.

   Observação: se aparecer a caixa de diálogo Escolher uma conta, clique em Usar outra conta.

3. Se necessário, copie o Nome de usuário abaixo e cole na caixa de diálogo Fazer login.

   {{{user_0.username | "Username"}}}

   Você também encontra o nome de usuário no painel Detalhes do Laboratório.

4. Clique em Próxima.

5. Copie a Senha abaixo e cole na caixa de diálogo de Olá.

   {{{user_0.password | "Password"}}}

   Você também encontra a senha no painel Detalhes do Laboratório.

6. Clique em Próxima.

   Importante: você precisa usar as credenciais fornecidas no laboratório, e não as da sua conta do Google Cloud. Observação: se você usar sua própria conta do Google Cloud neste laboratório, é possível que receba cobranças adicionais.

7. Acesse as próximas páginas:

   • Aceite os Termos e Condições.
   • Não adicione opções de recuperação nem autenticação de dois fatores (porque essa é uma conta temporária).
   • Não se inscreva em testes gratuitos.

Depois de alguns instantes, o console do Google Cloud será aberto nesta guia.

Observação: para acessar os produtos e serviços do Google Cloud, clique no Menu de navegação ou digite o nome do serviço ou produto no campo Pesquisar.

Tarefa 1: configurar seu ambiente e o projeto para usar APIs

Nesta tarefa, você vai configurar o ambiente do laboratório para usar a API Cloud AI Companion para Gemini e a API Vertex AI Platform com o projeto.

Observação: se você não souber usar o Cloud Shell, consulte Usar o Cloud Shell.

1. Faça login no console do Google Cloud com as credenciais do laboratório e abra a janela do terminal do Cloud Shell.

2. Para definir as variáveis de ambiente com o ID do projeto e a região, execute estes comandos no Cloud Shell:

   PROJECT_ID=$(gcloud config get-value project) REGION={{{project_0.default_region|set at lab start}}} echo "PROJECT_ID=${PROJECT_ID}" echo "REGION=${REGION}"

3. Para armazenar a conta de usuário do Google conectada em uma variável de ambiente, execute o seguinte comando:

   USER=$(gcloud config get-value account 2> /dev/null) echo "USER=${USER}"

4. Ative a API Cloud AI Companion para Gemini e a API Vertex AI:

   gcloud services enable cloudaicompanion.googleapis.com --project ${PROJECT_ID} gcloud services enable aiplatform.googleapis.com --project ${PROJECT_ID}

5. Para usar o Gemini, conceda os papéis necessários do IAM à conta de usuário do Qwiklabs do Google Cloud:

   gcloud projects add-iam-policy-binding ${PROJECT_ID} --member user:${USER} --role=roles/cloudaicompanion.user gcloud projects add-iam-policy-binding ${PROJECT_ID} --member user:${USER} --role=roles/serviceusage.serviceUsageViewer

   Ao adicionar esses papéis, o usuário pode contar com o suporte do Gemini.

Para verificar o objetivo, clique em Verificar meu progresso. Ative as APIs necessárias e configure os papéis do IAM.

Tarefa 2: criar uma conexão de recursos do Cloud

Nesta tarefa, você vai criar uma conexão de recursos do Cloud no BigQuery para trabalhar com os modelos Gemini Pro e Gemini Pro Vision.

1. No console do Google Cloud, acesse o menu de navegação e clique em BigQuery.

2. Clique em CONCLUÍDO no pop-up de boas-vindas.

3. Para criar uma conexão, clique em + ADICIONAR e selecione Conexões com fontes de dados externas.

4. Na lista Tipo de conexão, selecione Modelos remotos, funções remotas e BigLake (recurso do Cloud) da Vertex AI.

5. No campo ID da conexão, digite gemini_conn.

6. Em Tipo de local, selecione Multirregional e, no menu suspenso, selecione a opção multirregional EUA.

7. Mantenha os valores padrão nas outras configurações.

8. Clique em Criar conexão.

9. Clique em ACESSAR CONEXÃO.

10. No painel "Informações da conexão", copie o ID da conta de serviço para um arquivo de texto a fim de usá-lo na próxima tarefa. Observe também que a conexão foi adicionada à seção Conexões externas do projeto no BigQuery Explorer.

Clique em Verificar meu progresso para conferir o objetivo. Criar uma conexão de recursos do Cloud

Tarefa 3: conceder permissões do IAM à conta de serviço da conexão

Nesta tarefa, você vai conceder permissões do IAM à conta de serviço da conexão de recursos do Cloud por meio de um papel para permitir que ela acesse os serviços da Vertex AI.

1. No console do Google Cloud, no menu de navegação, clique em IAM e administrador.

2. Clique em Permitir acesso.

3. No campo Novos principais, digite o ID da conta de serviço que você copiou anteriormente.

4. No campo Selecionar um papel, digite Vertex AI e selecione o papel Usuário da Vertex AI.

5. Clique em Salvar.

   Agora, o ID da conta de serviço tem o papel de usuário da Vertex AI.

Clique em Verificar meu progresso para conferir o objetivo. Conceder permissões do IAM à conta de serviço da conexão

Tarefa 4: criar o conjunto de dados e a tabela de objetos no BigQuery para imagens de pôsteres de filmes

Nesta tarefa, você vai criar um conjunto de dados para o projeto e uma tabela de objetos nele para armazenar as imagens de pôsteres.

Criar um conjunto de dados

1. No console do Google Cloud, selecione o menu de navegação () e, em seguida, BigQuery.

2. No painel Explorador, para , selecione Ver ações () e selecione Criar conjunto de dados.

   Ao criar um conjunto de dados, você armazena objetos do banco de dados, incluindo tabelas e modelos.

3. No painel Criar conjunto de dados, digite as seguintes informações:

   Campo	Valor
   ID do conjunto de dados	gemini_demo
   Tipo de local	Selecione Multirregional.
   Multirregional	Selecione EUA.

   Deixe os demais campos com os valores padrão.

4. Clique em Criar conjunto de dados.

   Como resultado, o conjunto de dados gemini_demo é criado e listado no projeto no BigQuery Explorer.

Criar a tabela de objetos

Para criar a tabela de objetos, você vai usar uma consulta SQL.

1. Clique em + para Criar uma consulta SQL.

2. No editor de consultas, cole a consulta abaixo.

   CREATE OR REPLACE EXTERNAL TABLE `gemini_demo.movie_posters` WITH CONNECTION `us.gemini_conn` OPTIONS ( object_metadata = 'SIMPLE', uris = ['gs://cloud-samples-data/vertex-ai/dataset-management/datasets/classic-movie-posters/*'] );

3. Execute a consulta.

   Como resultado, a tabela de objetos movie_posters é adicionada ao conjunto de dados gemini_demo e carregada com o URI (o local no Cloud Storage) de cada imagem de pôster de filme.

4. No Explorer, clique em movie_posters e analise o esquema e os detalhes. Você pode consultar a tabela para analisar registros específicos.

Clique em Verificar meu progresso para conferir o objetivo. Criar o conjunto de dados e a tabela de objetos no BigQuery para imagens de pôsteres de filmes

Tarefa 5: criar os modelos remotos do Gemini no BigQuery

Agora que a tabela de objetos foi criada, você pode começar a trabalhar com ela. Nesta tarefa, você vai criar modelos remotos para os modelos Gemini Pro e Gemini Pro Vision no BigQuery.

Criar o modelo Gemini Pro

1. Clique em "+" para criar uma consulta SQL.

2. No editor de consultas, cole a consulta abaixo e a execute.

   CREATE OR REPLACE MODEL `gemini_demo.gemini_pro` REMOTE WITH CONNECTION `us.gemini_conn` OPTIONS (endpoint = 'gemini-pro')

   Como resultado, o modelo gemini_pro é criado e adicionado ao conjunto de dados gemini_demo na seção de modelos.

3. No Explorer, clique no modelo gemini_pro e analise os detalhes e o esquema.

Criar o modelo Gemini Pro Vision

1. Clique em "+" para criar uma consulta SQL.

2. No editor de consultas, cole a consulta abaixo e a execute.

   CREATE OR REPLACE MODEL `gemini_demo.gemini_pro_vision` REMOTE WITH CONNECTION `us.gemini_conn` OPTIONS (endpoint = 'gemini-pro-vision')

   Como resultado, o modelo gemini_pro_vision é criado e adicionado ao conjunto de dados gemini_demo na seção de modelos.

3. No Explorer, clique no modelo gemini_pro_vision e analise os detalhes e o esquema.

Clique em Verificar meu progresso para conferir o objetivo. Criar os modelos remotos do Gemini no BigQuery

Tarefa 6: solicitar que o Gemini forneça resumos de filmes para cada pôster

Nesta tarefa, você vai usar o Gemini (os modelos Gemini Pro e Vision criados) para analisar as imagens dos postêres de filmes e gerar resumos para cada um deles.

Analisar imagens com o modelo Gemini Pro Vision

1. Clique em "+" para criar uma consulta SQL.

2. No editor de consultas, cole a consulta abaixo e a execute.

   CREATE OR REPLACE TABLE `gemini_demo.movie_posters_results` AS ( SELECT uri, ml_generate_text_llm_result FROM ML.GENERATE_TEXT( MODEL `gemini_demo.gemini_pro_vision`, TABLE `gemini_demo.movie_posters`, STRUCT( 0.2 AS temperature, 'Qual é o título e o ano de lançamento do filme representado por este pôster? Responda em formato JSON, com duas chaves: title, year. O valor de title deve ser string, e o year deve ser integer.' AS PROMPT, TRUE AS FLATTEN_JSON_OUTPUT)));

   Como resultado, a tabela movie_posters_results é criada.

3. No Explorer, clique na tabela movie_posters_results e analise o esquema e os detalhes.

4. Clique em "+" para criar uma consulta SQL.

5. No editor de consultas, cole a consulta abaixo e a execute.

   SELECT * FROM `gemini_demo.movie_posters_results`

   Como resultado, são exibidas linhas para cada pôster de filme com o URI (o local do Cloud Storage da imagem do pôster) e um resultado JSON com o título do filme e o ano de lançamento dele fornecidos pelo modelo Gemini Pro Vision.

   Você pode usar a próxima consulta para recuperar esses resultados de uma forma mais legível por humanos.

6. Clique em "+" para criar uma consulta SQL.

7. No editor de consultas, cole a consulta abaixo e a execute.

   CREATE OR REPLACE TABLE `gemini_demo.movie_posters_results_formatted` AS ( SELECT uri, JSON_QUERY(RTRIM(LTRIM(results.ml_generate_text_llm_result, " ```json"), "```"), "$.title") AS title, JSON_QUERY(RTRIM(LTRIM(results.ml_generate_text_llm_result, " ```json"), "```"), "$.year") AS year FROM `gemini_demo.movie_posters_results` results )

   Como resultado, a tabela movie_posters_result_formatted é criada.

8. Você pode usar a consulta abaixo para a tabela a fim de conferir as linhas criadas.

   SELECT * FROM `gemini_demo.movie_posters_results_formatted`

   Observe como os resultados da coluna URI permanecem os mesmos, mas o JSON agora foi convertido nas colunas title e year para cada linha.

Solicitar que o Gemini Pro forneça resumos de filmes

1. É possível executar a consulta abaixo para usar o Gemini Pro e fornecer resumos de filmes para cada pôster.

   SELECT uri, title, year, prompt, ml_generate_text_llm_result FROM ML.GENERATE_TEXT( MODEL `gemini_demo.gemini_pro`, ( SELECT CONCAT('Forneça um curto resumo do filme ',title, ', lançado em ',year,'.') AS prompt, uri, title, year FROM `gemini_demo.movie_posters_results_formatted` LIMIT 20 ), STRUCT(0.2 AS temperature, TRUE AS FLATTEN_JSON_OUTPUT));

   Observe que o resultado é semelhante à consulta anterior, mas agora o comando usado com o Gemini é exibido na coluna prompt e o resultado dessa ação é incluído no campo ml_generate_text_llm_result, que inclui um breve resumo do filme.

Clique em Verificar meu progresso para conferir o objetivo. Solicitar que o Gemini forneça resumos de filmes para cada pôster

Tarefa 7: gerar embeddings de texto usando um modelo remoto

Nesta tarefa, você vai gerar embeddings de texto usando um modelo remoto para realizar mais análises.

Criar o modelo remoto

Para gerar os embeddings de texto, use o modelo remoto text-multilingual-embedding-002 hospedado no endpoint e depois gere os embeddings.

1. Clique em "+" para criar uma consulta SQL.

2. No editor de consultas, cole a consulta abaixo e a execute.

   CREATE OR REPLACE MODEL `gemini_demo.text_embedding` REMOTE WITH CONNECTION `us.gemini_conn` OPTIONS (endpoint = 'text-multilingual-embedding-002')

   Como resultado, o modelo text_embedding é criado e exibido no Explorer abaixo do conjunto de dados gemini_demo.

Gerar embeddings de texto para o título e o ano associados aos pôsteres

Você vai precisar criar uma tabela para armazenar os resultados.

1. Clique em "+" para criar uma consulta SQL.

2. No editor de consultas, cole a consulta abaixo e a execute.

   CREATE OR REPLACE TABLE `gemini_demo.movie_posters_results_embeddings` AS ( SELECT * FROM ML.GENERATE_EMBEDDING( MODEL `gemini_demo.text_embedding`, ( SELECT CONCAT('O filme chamado ', title, ', de ', year,'.') AS content, title, year, uri FROM `gemini_demo.movie_posters_results_formatted` ), STRUCT(TRUE AS flatten_json_output)));

   Como resultado, a tabela movie_poster_results_embeddings é criada com os resultados da criação de embeddings para o conteúdo de texto (URI, título do filme e ano de lançamento) da tabela gemini_demo.movie_posters_results_formatted.

   Observação: a função ML.GENERATE_EMBEDDING é usada para gerar os embeddings. Essa função usa três argumentos:
   • O primeiro argumento é o nome do modelo a ser usado para gerar os embeddings. Nesse caso, o nome do modelo é gemini_demo.text_embedding.
   • O segundo argumento é uma subconsulta que seleciona o conteúdo de texto a ser incorporado. Nesse caso, a subconsulta seleciona o título e o ano de cada filme e os concatena em uma única string.
   • O terceiro argumento é um struct que especifica o formato de saída dos embeddings. Nesse caso, o campo flatten_json_output está definido como TRUE, o que significa que os embeddings serão separados em um único objeto JSON.
   .

3. É possível conferir os resultados da consulta usando a nova consulta abaixo:

   SELECT * FROM `gemini_demo.movie_posters_results_embeddings`

   É possível encontrar os embeddings (vetores representados por números) de cada filme gerado pelo modelo.

Gerar embeddings de texto para um subconjunto do conjunto de dados IMDB

Você vai criar uma visualização que contém apenas os filmes no conjunto de dados que foram lançados antes de 1935.

1. Crie e execute uma nova consulta com a instrução SQL abaixo.

   CREATE OR REPLACE VIEW `gemini_demo.imdb_movies` AS ( WITH reviews AS ( SELECT reviews.movie_id AS movie_id, title.primary_title AS title, title.start_year AS year, reviews.review AS review FROM `bigquery-public-data.imdb.reviews` reviews LEFT JOIN `bigquery-public-data.imdb.title_basics` title ON reviews.movie_id = title.tconst) SELECT DISTINCT(movie_id), title, year FROM reviews WHERE year < 1935)

   Como resultado, é criada uma nova visualização com uma lista de IDs, títulos e anos de lançamento de filmes distintos baseada na tabela bigquery-public-data.imdb.reviews para todos os filmes no conjunto de dados lançados antes de 1935.

2. Crie e execute uma nova consulta com a instrução SQL abaixo.

   CREATE OR REPLACE TABLE `gemini_demo.imdb_movies_embeddings` AS ( SELECT * FROM ML.GENERATE_EMBEDDING( MODEL `gemini_demo.text_embedding`, ( SELECT CONCAT('O filme chamado ', title, ', de ', year,'.') AS content, title, year, movie_id FROM `gemini_demo.imdb_movies` ), STRUCT(TRUE AS flatten_json_output) ) WHERE ml_generate_embedding_status = '' );

   Como resultado da consulta, é criada uma tabela que contém os embeddings do conteúdo de texto da tabela gemini_demo.imdb_movies.

Fazer a correspondência entre as imagens dos pôsteres de filmes e o movie_id do IMDB usando a função VECTOR_SEARCH do BigQuery

1. Crie e execute uma nova consulta com a instrução SQL abaixo.

   SELECT query.uri AS poster_uri, query.title AS poster_title, query.year AS poster_year, base.title AS imdb_title, base.year AS imdb_year, base.movie_id AS imdb_movie_id, distance FROM VECTOR_SEARCH( TABLE `gemini_demo.imdb_movies_embeddings`, 'ml_generate_embedding_result', TABLE `gemini_demo.movie_posters_results_embeddings`, 'ml_generate_embedding_result', top_k => 1, distance_type => 'COSINE');

   A consulta usa a função VECTOR_SEARCH para encontrar o vizinho mais próximo na tabela gemini_demo.imdb_movies_embeddings para cada linha na tabela gemini_demo.movie_posters_results_embeddings. O vizinho mais próximo é encontrado usando a métrica de distância de cosseno, que determina o quão semelhantes são dois embeddings.

   Essa consulta pode ser usada para encontrar no conjunto de dados IMDB o filme mais semelhante a cada um dos filmes identificados pelo Gemini Pro Vision nos pôsteres de filmes. Por exemplo, é possível usar essa consulta para encontrar a correspondência mais próxima do filme "Au Secours!" (identificado pelo Gemini Pro Vision em um dos pôsteres de filmes) no conjunto de dados público IMDB, que faz referência ao filme pelo título em inglês, "Help!".

2. Crie e execute uma nova consulta para mesclar algumas informações adicionais sobre as classificações de filmes fornecidas no conjunto de dados público IMDB.

   SELECT query.uri AS poster_uri, query.title AS poster_title, query.year AS poster_year, base.title AS imdb_title, base.year AS imdb_year, base.movie_id AS imdb_movie_id, distance, imdb.average_rating, imdb.num_votes FROM VECTOR_SEARCH( TABLE `gemini_demo.imdb_movies_embeddings`, 'ml_generate_embedding_result', TABLE `gemini_demo.movie_posters_results_embeddings`, 'ml_generate_embedding_result', top_k => 1, distance_type => 'COSINE') DATA LEFT JOIN `bigquery-public-data.imdb.title_ratings` imdb ON base.movie_id = imdb.tconst ORDER BY imdb.average_rating DESC

   Essa consulta é semelhante à anterior. Ela ainda usa representações numéricas especiais chamadas de embeddings de vetor para encontrar filmes semelhantes a um determinado pôster de filme. No entanto, ela também mescla a classificação média e o número de votos de cada filme que é o vizinho mais próximo com base em uma tabela separada do conjunto de dados público IMDB.

Clique em Verificar meu progresso para conferir o objetivo. Gerar embeddings de texto para um subconjunto do conjunto de dados IMDB

Parabéns!

Você criou uma tabela de objetos para as imagens de pôsteres no BigQuery, criou modelos remotos do Gemini, usou esses modelos para solicitar que o Gemini analisasse imagens e fornecesse resumos de filmes, gerou embeddings de texto para títulos de filmes e usou esses embeddings para associar imagens de pôsteres de filmes ao título relacionado no conjunto de dados IMDB.

Próximas etapas / Saiba mais

• Introdução ao BigQuery ML
• Escalonamento do machine learning com o mecanismo de inferência do BigQuery ML – Blog

Treinamento e certificação do Google Cloud

Esses treinamentos ajudam você a aproveitar as tecnologias do Google Cloud ao máximo. Nossas aulas incluem habilidades técnicas e práticas recomendadas para ajudar você a alcançar rapidamente o nível esperado e continuar sua jornada de aprendizado. Oferecemos treinamentos que vão do nível básico ao avançado, com opções de aulas virtuais, sob demanda e por meio de transmissões ao vivo para que você possa encaixá-las na correria do seu dia a dia. As certificações validam sua experiência e comprovam suas habilidades com as tecnologias do Google Cloud.

Manual atualizado em 4 de outubro de 2024

Laboratório testado em 23 de maio de 2024

Copyright 2025 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.