GSP1230

Descripción general

Gemini es una familia de modelos de IA generativa que desarrolló Google DeepMind y que están diseñados para casos de uso multimodales. La API de Gemini te da acceso a los modelos de Gemini Pro Vision y Gemini Pro.

En las empresas de venta minorista, los sistemas de recomendación mejoran la experiencia de los clientes, lo que puede aumentar las ventas. En este lab, aprenderás a usar el modelo de Gemini Pro Vision para crear rápidamente un sistema de recomendación multimodal. El modelo Gemini Pro Vision puede ofrecer recomendaciones y explicaciones a través de un modelo multimodal.

En este lab, comenzarás con una escena (p. ej., una sala de estar) y usarás el modelo Gemini Pro Vision para ejecutar una comprensión visual. También investigarás cómo se puede usar el modelo Gemini Pro Vision para recomendar un artículo (p. ej., una silla) a partir de una lista de muebles.

API de Gemini de Vertex AI

La API de Gemini de Vertex AI ofrece una interfaz unificada para interactuar con modelos de Gemini. Actualmente, hay dos modelos disponibles en la API de Gemini:

1. Modelo de Gemini Pro (gemini-pro): Se diseñó para encargarse de tareas de lenguaje natural, el chat de código y el texto de varios turnos, así como de la generación de código.
2. Modelo de Gemini Pro Vision (gemini-pro-vision): Admite las instrucciones multimodales. Puedes incluir texto, imágenes y video en las solicitudes de instrucciones y obtener respuestas de texto o código.

Puedes interactuar con la API de Gemini a través de los siguientes métodos:

• Usar Vertex AI Studio para realizar pruebas y generar comandos con rapidez
• Usar comandos cURL
• Usar el SDK de Vertex AI

Este lab se enfoca en las capacidades multimodales del modelo Gemini Pro Vision.

Para obtener más información, consulta la documentación de IA generativa en Vertex AI.

Objetivos

En este lab, aprenderás a hacer lo siguiente:

• Usar el modelo Gemini Pro Vision (gemini-pro-vision) para ejecutar la comprensión visual
• Considerar la multimodalidad al momento de crear instrucciones para el modelo Gemini Pro Vision
• Crear una aplicación de recomendaciones para venta minorista con el modelo Gemini Pro Vision

Configuración y requisitos

Antes de hacer clic en el botón Comenzar lab

Lee estas instrucciones. Los labs son cronometrados y no se pueden pausar. El cronómetro, que comienza a funcionar cuando haces clic en Comenzar lab, indica por cuánto tiempo tendrás a tu disposición los recursos de Google Cloud.

Este lab práctico te permitirá realizar las actividades correspondientes en un entorno de nube real, no en uno de simulación o demostración. Para ello, se te proporcionan credenciales temporales nuevas que utilizarás para acceder a Google Cloud durante todo el lab.

Para completar este lab, necesitarás lo siguiente:

• Acceso a un navegador de Internet estándar (se recomienda el navegador Chrome)

Nota: Usa una ventana de navegador privada o de Incógnito para ejecutar este lab. Así evitarás cualquier conflicto entre tu cuenta personal y la cuenta de estudiante, lo que podría generar cargos adicionales en tu cuenta personal.

• Tiempo para completar el lab: Recuerda que, una vez que comienzas un lab, no puedes pausarlo.

Nota: Si ya tienes un proyecto o una cuenta personal de Google Cloud, no los uses en este lab para evitar cargos adicionales en tu cuenta.

Cómo iniciar tu lab y acceder a la consola de Google Cloud

1. Haga clic en el botón Comenzar lab. Si debe pagar por el lab, se abrirá una ventana emergente para que seleccione su forma de pago. A la izquierda, se encuentra el panel Detalles del lab, que tiene estos elementos:

   • El botón Abrir la consola de Google Cloud
   • El tiempo restante
   • Las credenciales temporales que debe usar para el lab
   • Otra información para completar el lab, si es necesaria

2. Haz clic en Abrir la consola de Google Cloud (o haz clic con el botón derecho y selecciona Abrir el vínculo en una ventana de incógnito si ejecutas el navegador Chrome).

   El lab inicia recursos y abre otra pestaña en la que se muestra la página de acceso.

   Sugerencia: Ordene las pestañas en ventanas separadas, una junto a la otra.

   Nota: Si ves el diálogo Elegir una cuenta, haz clic en Usar otra cuenta.

3. De ser necesario, copia el nombre de usuario a continuación y pégalo en el diálogo Acceder.

   {{{user_0.username | "Username"}}}

   También puedes encontrar el nombre de usuario en el panel Detalles del lab.

4. Haz clic en Siguiente.

5. Copia la contraseña que aparece a continuación y pégala en el diálogo Te damos la bienvenida.

   {{{user_0.password | "Password"}}}

   También puedes encontrar la contraseña en el panel Detalles del lab.

6. Haz clic en Siguiente.

   Importante: Debes usar las credenciales que te proporciona el lab. No uses las credenciales de tu cuenta de Google Cloud. Nota: Usar tu propia Cuenta de Google podría generar cargos adicionales.

7. Haga clic para avanzar por las páginas siguientes:

   • Acepta los Términos y Condiciones.
   • No agregues opciones de recuperación o autenticación de dos factores (esta es una cuenta temporal).
   • No te registres para obtener pruebas gratuitas.

Después de un momento, se abrirá la consola de Google Cloud en esta pestaña.

Nota: Para ver un menú con una lista de productos y servicios de Google Cloud, haz clic en el menú de navegación que se encuentra en la parte superior izquierda.

Tarea 1. Abre el notebook en Vertex AI Workbench

1. En el menú de navegación de la consola de Google Cloud, haz clic en Vertex AI > Workbench.

2. En la página Notebooks administrados por el usuario, busca el notebook generative-ai-jupyterlab y haz clic en el botón Abrir JupyterLab.

La interfaz de JupyterLab se abre en una pestaña nueva del navegador.

Tarea 2. Abre la carpeta generative-ai

1. Navega a la carpeta generative-ai en la parte izquierda del notebook.

2. Navega a la carpeta /gemini/use-cases/retail.

3. Abre el archivo multimodal_retail_recommendations.ipynb.

4. Ejecuta las secciones Getting Started e Import libraries del notebook.

   • Para Project ID, usa y para Location, usa .

Nota: Puedes omitir las celdas del notebook que tienen la indicación Colab only.

Haz clic en Revisar mi progreso para verificar el objetivo.

Instalar el SDK de Vertex AI para Python e importar bibliotecas

En las siguientes secciones, ejecutarás las celdas del notebook para ver cómo usar las capacidades multimodales del modelo Gemini Pro Vision.

Tarea 3: Usa el modelo Gemini Pro Vision

El modelo Gemini Pro Vision (gemini-pro-vision) es un modelo multimodal que permite incorporar imágenes y videos a las instrucciones de texto o chat para recibir una respuesta de texto.

1. En esta tarea, ejecutarás las celdas del notebook para ver cómo usar el modelo Gemini Pro Vision para describir una habitación en detalle a partir de su imagen, combinando imagen y texto en una sola instrucción.

Haz clic en Revisar mi progreso para verificar el objetivo.

Usar el modelo Gemini Pro Vision para describir una habitación

Tarea 4: Genera recomendaciones abiertas basadas en conocimientos integrados

Con la misma imagen, puedes pedirle al modelo que recomiende un mueble que se adapte a la descripción de la habitación. Ten en cuenta que el modelo puede elegir cualquier mueble para recomendar en este caso, y puede hacerlo solo con sus conocimientos integrados.

1. Usando la misma imagen, ejecuta la celdas del notebook para ver cómo usar el modelo Gemini Pro Vision para recomendar un mueble que se adapte a la habitación, junto con una descripción de ella.

Haz clic en Revisar mi progreso para verificar el objetivo.

Usar el modelo de Gemini Pro Vision para recomendar un mueble

Tarea 5: Genera recomendaciones basadas en las imágenes que se proporcionan

En lugar de mantener la recomendación abierta, también puedes proporcionar una lista de elementos para que el modelo elija. En esta sección, descargarás algunas imágenes de sillas y las establecerás como opciones que pueda recomendar el modelo de Gemini. Esta función es muy útil para las empresas de venta minorista que desean entregar recomendaciones a los usuarios basadas en el tipo de habitación que tienen y los artículos disponibles en la tienda.

1. En esta tarea, ejecutarás las celdas del notebook para ver cómo usar el modelo Gemini Pro Vision para recomendar un mueble desde una lista de artículos.

Haz clic en Revisar mi progreso para verificar el objetivo.

Usar el modelo de Gemini Pro Vision para recomendar un artículo desde una selección

¡Felicitaciones!

¡Felicitaciones! En este lab, exploraste correctamente cómo crear un sistema de recomendación multimodal de muebles con Gemini. Aprendiste a usar el modelo de Gemini Pro Vision para hacer una comprensión visual y a considerar la multimodalidad para crear instrucciones para el modelo de Gemini Pro Vision. En este lab, se demostró que puedes crear fácilmente un sistema de recomendación multimodal de muebles con Gemini, pero también puedes usar un enfoque similar para las siguientes tareas:

• Recomendar indumentaria según una ocasión o la imagen de un recinto
• Recomendar un papel tapiz según la habitación y su distribución

Próximos pasos y más información

• Consulta la documentación de la IA generativa en Vertex AI.
• Obtén más información sobre la IA generativa en el canal de YouTube Google Cloud Tech.
• Repo oficial de la IA generativa de Google Cloud
• Notebooks de Gemini de ejemplo

Capacitación y certificación de Google Cloud

Recibe la formación que necesitas para aprovechar al máximo las tecnologías de Google Cloud. Nuestras clases incluyen habilidades técnicas y recomendaciones para ayudarte a avanzar rápidamente y a seguir aprendiendo. Para que puedas realizar nuestros cursos cuando más te convenga, ofrecemos distintos tipos de capacitación de nivel básico a avanzado: a pedido, presenciales y virtuales. Las certificaciones te ayudan a validar y demostrar tus habilidades y tu conocimiento técnico respecto a las tecnologías de Google Cloud.

Última actualización del manual: 21 de agosto de 2024

Prueba más reciente del lab: 21 de agosto de 2024

Copyright 2024 Google LLC. All rights reserved. Google y el logotipo de Google son marcas de Google LLC. Los demás nombres de productos y empresas pueden ser marcas de las respectivas empresas a las que estén asociados.