GSP1231

Descripción general

Gemini es una familia de modelos de IA generativa que desarrolló Google DeepMind y que están diseñados para casos de uso multimodales. La API de Gemini te da acceso a los modelos de Gemini Pro Vision y Gemini Pro.

La generación mejorada por recuperación (RAG) se convirtió en un paradigma popular para permitir que los LLM accedan a datos externos y, también, como un mecanismo para mitigar las alucinaciones. Los modelos de RAG se entrenan para recuperar documentos relevantes desde un gran corpus y, luego, generar una respuesta basada en los documentos recuperados. En este lab, aprenderás a realizar una RAG multimodal en la que harás una sesión de preguntas y respuestas sobre un documento financiero lleno de imágenes y texto.

Compara la RAG multimodal y basada en texto

La RAG multimodal ofrece varias ventajas en comparación con la RAG basada en texto:

1. Mejor acceso a los conocimientos: La RAG multimodal puede acceder a información textual y visual y procesarla, lo que proporciona una base de conocimiento más completa para el LLM.
2. Mejores capacidades de razonamiento: Con la incorporación de indicadores visuales, la RAG multimodal puede hacer inferencias mejor fundamentadas sobre los diferentes tipos de modalidades de datos.

En este lab, se muestra cómo usar la RAG con la API de Gemini de Vertex AI, las incorporaciones de texto y las incorporaciones multimodales para crear un motor de búsqueda de documentos.

Objetivos

En este lab, aprenderás a hacer lo siguiente:

• Extraer y almacenar metadatos de documentos que contienen imágenes y texto, y generar incorporaciones de los documentos
• Usar consultas de texto para encontrar texto o imágenes similares en los metadatos
• Usar consultas de imágenes para encontrar imágenes similares en los metadatos
• Usar una consulta de texto como entrada y buscar respuestas contextuales con imágenes y texto

Configuración y requisitos

Antes de hacer clic en el botón Comenzar lab

Lee estas instrucciones. Los labs son cronometrados y no se pueden pausar. El cronómetro, que comienza a funcionar cuando haces clic en Comenzar lab, indica por cuánto tiempo tendrás a tu disposición los recursos de Google Cloud.

Este lab práctico te permitirá realizar las actividades correspondientes en un entorno de nube real, no en uno de simulación o demostración. Para ello, se te proporcionan credenciales temporales nuevas que utilizarás para acceder a Google Cloud durante todo el lab.

Para completar este lab, necesitarás lo siguiente:

• Acceso a un navegador de Internet estándar (se recomienda el navegador Chrome)

Nota: Usa una ventana de navegador privada o de Incógnito para ejecutar este lab. Así evitarás cualquier conflicto entre tu cuenta personal y la cuenta de estudiante, lo que podría generar cargos adicionales en tu cuenta personal.

• Tiempo para completar el lab: Recuerda que, una vez que comienzas un lab, no puedes pausarlo.

Nota: Si ya tienes un proyecto o una cuenta personal de Google Cloud, no los uses en este lab para evitar cargos adicionales en tu cuenta.

Cómo iniciar tu lab y acceder a la consola de Google Cloud

1. Haga clic en el botón Comenzar lab. Si debe pagar por el lab, se abrirá una ventana emergente para que seleccione su forma de pago. A la izquierda, se encuentra el panel Detalles del lab, que tiene estos elementos:

   • El botón Abrir la consola de Google Cloud
   • El tiempo restante
   • Las credenciales temporales que debe usar para el lab
   • Otra información para completar el lab, si es necesaria

2. Haz clic en Abrir la consola de Google Cloud (o haz clic con el botón derecho y selecciona Abrir el vínculo en una ventana de incógnito si ejecutas el navegador Chrome).

   El lab inicia recursos y abre otra pestaña en la que se muestra la página de acceso.

   Sugerencia: Ordene las pestañas en ventanas separadas, una junto a la otra.

   Nota: Si ves el diálogo Elegir una cuenta, haz clic en Usar otra cuenta.

3. De ser necesario, copia el nombre de usuario a continuación y pégalo en el diálogo Acceder.

   {{{user_0.username | "Username"}}}

   También puedes encontrar el nombre de usuario en el panel Detalles del lab.

4. Haz clic en Siguiente.

5. Copia la contraseña que aparece a continuación y pégala en el diálogo Te damos la bienvenida.

   {{{user_0.password | "Password"}}}

   También puedes encontrar la contraseña en el panel Detalles del lab.

6. Haz clic en Siguiente.

   Importante: Debes usar las credenciales que te proporciona el lab. No uses las credenciales de tu cuenta de Google Cloud. Nota: Usar tu propia Cuenta de Google podría generar cargos adicionales.

7. Haga clic para avanzar por las páginas siguientes:

   • Acepta los Términos y Condiciones.
   • No agregues opciones de recuperación o autenticación de dos factores (esta es una cuenta temporal).
   • No te registres para obtener pruebas gratuitas.

Después de un momento, se abrirá la consola de Google Cloud en esta pestaña.

Nota: Para ver un menú con una lista de productos y servicios de Google Cloud, haz clic en el menú de navegación que se encuentra en la parte superior izquierda.

Tarea 1. Abre el notebook en Vertex AI Workbench

1. En el menú de navegación de la consola de Google Cloud, haz clic en Vertex AI > Workbench.

2. Busca el notebook generative-ai-jupyterlab y haz clic en el botón Abrir JupyterLab.

La interfaz de JupyterLab para tu instancia de Workbench se abrirá en una pestaña nueva del navegador.

Tarea 2. Configura el notebook

1. Haz clic en el archivo intro_multimodal_rag.ipynb.

2. Ejecuta las secciones Getting Started y, también, Import libraries del notebook.

   • Para Project ID, usa y para Location, usa .

Nota: Puedes omitir las celdas del notebook que tienen la indicación Colab only.

Haz clic en Revisar mi progreso para verificar el objetivo. Instalar el SDK de Vertex AI para Python e importar bibliotecas

En las siguientes secciones, ejecutarás las celdas del notebook para ver cómo usar la API de Gemini para crear un sistema de RAG multimodal.

Tarea 3. Usa el modelo de Gemini Pro

El modelo de Gemini Pro (gemini-pro) se diseñó para realizar tareas de lenguaje natural, chat de código y texto de varios turnos, y de generación de código. En esta sección, descargarás algunas funciones auxiliares necesarias para este notebook, cuyo propósito es mejorar la legibilidad. También puedes ver el código (intro_multimodal_rag_utils.py) directamente en GitHub.

1. En esta tarea, ejecutarás las celdas del notebook para cargar el modelo y descargar las funciones auxiliares para obtener los documentos y las imágenes de Cloud Storage.

Haz clic en Revisar mi progreso para verificar el objetivo. Descargar imágenes y documentos de Cloud Storage

Tarea 4. Crea metadatos de documentos que contienen imágenes y texto

Los datos de origen que usarás en este lab son una versión modificada de Google-10K que proporciona una descripción general completa del rendimiento financiero, las operaciones comerciales, la administración y los factores de riesgo de la empresa. Ya que el documento original es bastante grande, usarás una versión modificada de solo 14 páginas en su lugar. Aunque está truncado, el documento de muestra contiene texto e imágenes, como tablas, gráficos y grafos.

1. En esta tarea, ejecutarás las celdas del notebook para extraer y almacenar metadatos de imágenes y texto de un documento.

Nota: Es posible que la celda para extraer y almacenar metadatos de imágenes y texto de un documento tarde algunos minutos en completarse.

Haz clic en Revisar mi progreso para verificar el objetivo. Extraer y almacenar metadatos de imágenes y texto de un documento

Tarea 5. Búsqueda de texto

Comencemos la búsqueda con una pregunta simple y veamos si una búsqueda de texto sencilla con incorporaciones de texto puede responderla. La respuesta esperada es mostrar el valor de los ingresos netos básicos y diluidos por acción de Google para diferentes tipos de acciones.

1. En esta tarea, ejecutarás las celdas del notebook para buscar imágenes y texto similares con una consulta de texto.

Tarea 6. Búsqueda de imágenes

Imagina que estás buscando imágenes, pero en lugar de escribir palabras, usas una imagen como pista. Tienes una tabla con cifras del costo de los ingresos de dos años y quieres encontrar otras imágenes que se parezcan, desde el mismo documento o en múltiples documentos.

La capacidad de identificar imágenes y texto similares basándose en entradas del usuario, con la tecnología de Gemini y las incorporaciones, genera una base fundamental para el desarrollo de sistemas de RAG multimodal, que explorarás en la próxima tarea.

1. En esta tarea, ejecutarás las celdas del notebook para buscar imágenes similares con una consulta de imagen.

Nota: Es posible que debas esperar un par de minutos para obtener la puntuación de esta tarea.

Haz clic en Revisar mi progreso para verificar el objetivo. Buscar imágenes similares con consultas de imagen

Razonamiento comparativo

Imagina que tenemos un gráfico en el que se muestra el desempeño de las acciones de clase A de Google en comparación con elementos como el S&P 500 o con otras empresas de tecnología. Quieres conocer el desempeño de las acciones de clase C en comparación con ese gráfico. En lugar de solo encontrar otra imagen similar, puedes pedirle a Gemini que compare las imágenes relevantes y te indique en cuál acción sería más conveniente invertir. Luego, Gemini te explicará el motivo de su respuesta.

1. En esta tarea, ejecutarás las celdas del notebook para comparar dos imágenes y encontrar la más similar.

Tarea 7. Generación mejorada por recuperación (RAG) multimodal

Apliquemos todo lo que aprendiste para implementar la RAG multimodal. Usarás todos los elementos que conociste en las secciones anteriores para implementar la RAG multimodal. Sigue estos pasos:

• Paso 1: El usuario realiza una consulta en formato de texto para la que está disponible la información esperada en el documento y cuenta con incorporaciones de imágenes y texto.
• Paso 2: Encuentra todos los fragmentos de texto de las páginas en los documentos con un método similar al que exploraste en la búsqueda de texto.
• Paso 3: Encuentra todas las imágenes similares de las páginas en función de la consulta del usuario que coincidan con image_description usando un método idéntico al que exploraste en la búsqueda de imágenes.
• Paso 4: Combina todas las imágenes y el texto similares encontrados en los pasos 2 y 3 como context_text y context_images.
• Paso 5: Con la ayuda de Gemini, podemos pasar la consulta del usuario con contexto de imágenes y texto encontrado en los pasos 2 y 3. También puedes agregar una instrucción específica que el modelo debe recordar mientras responde la consulta del usuario.
• Paso 6: Gemini produce la respuesta, y puedes imprimir las citas para revisar todas las imágenes y el texto relevantes que se usaron para resolver la consulta.

1. En esta tarea, ejecutarás las celdas del notebook para realizar una RAG multimodal.

Nota: Es posible que debas esperar un par de minutos para obtener la puntuación de esta tarea.

Haz clic en Revisar mi progreso para verificar el objetivo. Imprimir las citas para revisar todas las imágenes y el texto relevantes

¡Felicitaciones!

En este lab, aprendiste a crear un motor de búsqueda de documentos sólido con la generación mejorada por recuperación (RAG) multimodal. Aprendiste a extraer y almacenar metadatos de documentos que contienen imágenes y texto, y a generar incorporaciones para los documentos. También aprendiste a buscar en los metadatos con consultas de imagen y texto para encontrar elementos similares. Por último, aprendiste a usar una consulta de texto como entrada para buscar respuestas contextuales con imágenes y texto.

Próximos pasos y más información

• Consulta la documentación de la IA generativa en Vertex AI.
• Obtén más información sobre la IA generativa en el canal de YouTube Google Cloud Tech.
• Repo oficial de la IA generativa de Google Cloud
• Notebooks de Gemini de ejemplo

Capacitación y certificación de Google Cloud

Recibe la formación que necesitas para aprovechar al máximo las tecnologías de Google Cloud. Nuestras clases incluyen habilidades técnicas y recomendaciones para ayudarte a avanzar rápidamente y a seguir aprendiendo. Para que puedas realizar nuestros cursos cuando más te convenga, ofrecemos distintos tipos de capacitación de nivel básico a avanzado: a pedido, presenciales y virtuales. Las certificaciones te ayudan a validar y demostrar tus habilidades y tu conocimiento técnico respecto a las tecnologías de Google Cloud.

Última actualización del manual: 13 de junio de 2024

Prueba más reciente del lab: 13 de junio de 2024

Copyright 2024 Google LLC. All rights reserved. Google y el logotipo de Google son marcas de Google LLC. Los demás nombres de productos y empresas pueden ser marcas de las respectivas empresas a las que estén asociados.