GSP691

Panoramica

Come tanti altri ambiti di ricerca del machine learning, il reinforcement learning (RL) si sta evolvendo molto rapidamente. I ricercatori stanno ricorrendo al deep learning per raggiungere risultati all'avanguardia, proprio come hanno fatto in altri ambiti di ricerca.

In questo lab apprenderai le nozioni fondamentali del reinforcement learning, creando un gioco semplice modellato sulla base di un campione fornito da OpenAI Gym.

Obiettivi didattici

In questo lab imparerai a:

• Comprendere i concetti fondamentali del reinforcement learning.
• Creare un blocco note per AI Platform con TensorFlow 2.1.
• Clonare il repository di esempio dal repository "training data analyst" disponibile su GitHub.
• Leggere, comprendere ed eseguire i passaggi indicati nel blocco note.

Configurazione e requisiti

Prima di fare clic sul pulsante Avvia lab

Leggi le seguenti istruzioni. I lab sono a tempo e non possono essere messi in pausa. Il timer si avvia quando fai clic su Avvia lab e ti mostra per quanto tempo avrai a disposizione le risorse Google Cloud.

Con questo lab pratico avrai la possibilità di completare le attività in prima persona, in un ambiente cloud reale e non di simulazione o demo. Riceverai delle nuove credenziali temporanee che potrai utilizzare per accedere a Google Cloud per la durata del lab.

Per completare il lab, avrai bisogno di:

• Accesso a un browser internet standard (Chrome è il browser consigliato).

Nota: utilizza una finestra del browser in incognito o privata per eseguire questo lab. Ciò evita eventuali conflitti tra il tuo account personale e l'account Studente, che potrebbero causare addebiti aggiuntivi sul tuo account personale.

• È ora di completare il lab: ricorda che, una volta iniziato, non puoi metterlo in pausa.

Nota: se hai già un account o un progetto Google Cloud personale, non utilizzarlo per questo lab per evitare addebiti aggiuntivi al tuo account.

Come avviare il lab e accedere alla console Google Cloud

1. Fai clic sul pulsante Avvia lab. Se devi effettuare il pagamento per il lab, si apre una finestra popup per permetterti di selezionare il metodo di pagamento. A sinistra, trovi il riquadro Dettagli lab con le seguenti informazioni:

   • Il pulsante Apri console Google Cloud
   • Tempo rimanente
   • Credenziali temporanee da utilizzare per il lab
   • Altre informazioni per seguire questo lab, se necessario

2. Fai clic su Apri console Google Cloud (o fai clic con il tasto destro del mouse e seleziona Apri link in finestra di navigazione in incognito se utilizzi il browser Chrome).

   Il lab avvia le risorse e apre un'altra scheda con la pagina di accesso.

   Suggerimento: disponi le schede in finestre separate posizionate fianco a fianco.

   Nota: se visualizzi la finestra di dialogo Scegli un account, fai clic su Usa un altro account.

3. Se necessario, copia il Nome utente di seguito e incollalo nella finestra di dialogo di accesso.

   {{{user_0.username | "Username"}}}

   Puoi trovare il Nome utente anche nel riquadro Dettagli lab.

4. Fai clic su Avanti.

5. Copia la Password di seguito e incollala nella finestra di dialogo di benvenuto.

   {{{user_0.password | "Password"}}}

   Puoi trovare la Password anche nel riquadro Dettagli lab.

6. Fai clic su Avanti.

   Importante: devi utilizzare le credenziali fornite dal lab. Non utilizzare le credenziali del tuo account Google Cloud. Nota: utilizzare il tuo account Google Cloud per questo lab potrebbe comportare addebiti aggiuntivi.

7. Fai clic nelle pagine successive:

   • Accetta i termini e le condizioni.
   • Non inserire opzioni di recupero o l'autenticazione a due fattori, perché si tratta di un account temporaneo.
   • Non registrarti per le prove gratuite.

Dopo qualche istante, la console Google Cloud si apre in questa scheda.

Nota: per visualizzare un menu con un elenco di prodotti e servizi Google Cloud, fai clic sul menu di navigazione in alto a sinistra.

Attività 1: nozioni di base sul reinforcement learning

Il reinforcement learning (RL) è una forma di machine learning in cui un agente esegue delle azioni in un ambiente per ottimizzare un obiettivo specifico (una ricompensa) seguendo una determinata sequenza di passaggi. A differenza delle tecniche di supervised learning più tradizionali, ogni punto dati non è etichettato e l'agente ha accesso soltanto a ricompense "sparse".

Anche se la storia del reinforcement learning può essere fatta risalire agli anni '50 ed esistono molti algoritmi RL, due algoritmi di deep reinforcement learning semplici da implementare ma efficaci hanno suscitato notevole interesse di recente: Deep Q-network (DQN) e Deep Deterministic Policy Gradient (DDPG). In questa sezione presentiamo brevemente gli algoritmi e le loro varianti.

Un diagramma del processo concettuale del problema di reinforcement learning

Il Deep Q-network (DQN) è stato presentato dal gruppo Google DeepMind in questo articolo di Nature nel 2015. Incoraggiati dal successo del deep learning nel campo del riconoscimento delle immagini, gli autori hanno integrato le reti neurali profonde nel Q-Learning e hanno testato l'algoritmo nel simulatore del motore di gioco di Atari, in cui le dimensioni dello spazio di osservazione sono molto ampie.

La rete neurale profonda funge da approssimatore delle funzioni, prevedendo i valori Q di output o la desiderabilità dell'esecuzione di un'azione per un determinato stato di input. Di conseguenza, il DQN è un metodo basato sul valore: nell'algoritmo di formazione il DQN aggiorna i valori Q in base all'equazione di Bellman e, per evitare la difficoltà di adattarsi a un bersaglio in movimento, impiega una seconda rete neurale profonda che funge da stima dei valori target.

Da un punto di vista più pratico, il modello seguente mette in evidenza i file sorgente, il comando della shell e l'endpoint per eseguire un job di reinforcement learning su Google Cloud.

Attività 2: configura l'ambiente

1. Nella console Google Cloud, nel Menu di navigazione (), fai clic su Vertex AI > Dashboard.

2. Fai clic su Abilita tutte le API consigliate.

Attività 3: avvia i blocchi note di Vertex AI

Per creare e avviare un blocco note Vertex AI Workbench:

1. Nel menu di navigazione , fai clic su Vertex AI > Workbench.

2. Nella pagina Workbench, fai clic su Abilita API Notebooks (se non è già abilitata).

3. Fai clic sulla scheda Blocchi note gestiti dall'utente e poi su Crea nuovo.

4. Assegna un nome al blocco note.

5. Imposta Regione su e Zona su .

6. Nel menu Nuova istanza, scegli l'ultima versione di TensorFlow Enterprise 2.11 in Ambiente.

7. Fai clic su Opzioni avanzate per modificare le proprietà dell'istanza.

8. Fai clic su Tipo di macchina e seleziona e2-standard-2 come tipo di macchina.

9. Lascia invariati i valori predefiniti degli altri campi e fai clic su Crea.

Dopo alcuni minuti, la pagina Workbench elenca la tua istanza, seguita da Apri JupyterLab.

10. Fai clic su Apri JupyterLab per aprire JupyterLab in una nuova scheda. Se ricevi un messaggio che dice che è necessario includere beatrix jupyterlab nella build, ignoralo.

Fai clic su Controlla i miei progressi per verificare l'obiettivo. Crea un blocco note di Vertex AI Platform

Attività 4: clona il codice campione

Per clonare il repository training-data-analyst nella tua istanza di JupyterLab:

1. In JupyterLab, fai clic sull'icona Terminale per aprire un nuovo terminale.

2. Al prompt della riga di comando, digita il comando seguente e premi INVIO.

git clone --depth=1 https://github.com/GoogleCloudPlatform/training-data-analyst

3. Per confermare di aver clonato il repository, nel pannello di sinistra, fai doppio clic sulla cartella training-data-analyst per vederne il contenuto.

4. Dal menu a sinistra, seleziona training-data-analyst> quests> rl > early_rl > early_rl.ipynb. Si aprirà una nuova scheda.

Fai clic su Controlla i miei progressi per verificare l'obiettivo. Clonare il codice campione

Attività 5: esamina il blocco note

La tua nuova scheda dovrebbe essere simile alla seguente:

1. Leggi il blocco note seguente ed esegui tutti i blocchi di codice con Maiusc + Invio.

2. Torna qui dopo aver completato le istruzioni nel blocco note.

Complimenti!

In questo lab hai appreso i principi di base del reinforcement learning (RL). Dopo aver creato un'istanza di Jupyterlab, hai clonato un repository di esempio e hai esaminato un blocco note in cui hai ricevuto indicazioni pratiche relative alle nozioni di base del reinforcement learning. Ora puoi completare altri lab di questa serie.

Completa la Quest

Questo self-paced lab fa parte della Quest di Qwiklabs Baseline: Data, ML, AI. Una Quest è una serie di lab collegati tra loro che formano un percorso di apprendimento. Iscriviti a questa Quest e ottieni subito un riconoscimento per aver completato questo lab.

Formazione e certificazione Google Cloud

… per utilizzare al meglio le tecnologie Google Cloud. I nostri corsi ti consentono di sviluppare competenze tecniche e best practice per aiutarti a metterti subito al passo e avanzare nel tuo percorso di apprendimento. Offriamo vari livelli di formazione, dal livello base a quello avanzato, con opzioni di corsi on demand, dal vivo e virtuali, in modo da poter scegliere il più adatto in base ai tuoi impegni. Le certificazioni ti permettono di confermare e dimostrare le tue abilità e competenze relative alle tecnologie Google Cloud.

Ultimo aggiornamento del manuale: 27 settembre 2023

Ultimo test del lab: 27 settembre 2023

Copyright 2024 Google LLC Tutti i diritti riservati. Google e il logo Google sono marchi di Google LLC. Tutti gli altri nomi di società e prodotti sono marchi delle rispettive società a cui sono associati.