GSP691

Genel bakış

Makine öğrenimi araştırmalarının diğer pek çok alanında olduğu gibi pekiştirmeli öğrenme (RL) de baş döndürücü bir hızla gelişiyor. Diğer araştırma alanlarına benzer şekilde, araştırmacılar teknoloji harikası sonuçlar elde etmek için derin öğrenmeden yararlanıyor.

Bu laboratuvarda, OpenAI Gym'in sağladığı örnekten modellenen basit bir oyun geliştirerek pekiştirmeli öğrenmenin temel kavramlarını öğreneceksiniz.

Neler öğreneceksiniz?

Bu laboratuvardaki hedefleriniz:

• Pekiştirmeli öğrenmenin temel kavramlarını öğrenme
• AI Platform Tensorflow 2.1 Notebook oluşturma
• GitHub'daki "training-data-analyst" deposunda bulunan örnek depoyu klonlama
• Not defterindeki adımları okuma, anlama ve çalıştırma

Kurulum ve şartlar

Laboratuvarı Başlat düğmesini tıklamadan önce

Buradaki talimatları okuyun. Laboratuvarlar süreli olduğundan duraklatılamaz. Laboratuvarı Başlat'ı tıkladığınızda başlayan zamanlayıcı, Google Cloud kaynaklarının ne süreyle kullanımınıza açık durumda kalacağını gösterir.

Bu uygulamalı laboratuvarı kullanarak, laboratuvar etkinliklerini gerçek bir bulut ortamında (Simülasyon veya demo ortamında değil.) gerçekleştirebilirsiniz. Bu olanağın sunulabilmesi için size yeni, geçici kimlik bilgileri verilir. Bu kimlik bilgilerini laboratuvar süresince Google Cloud'da oturum açmak ve Google Cloud'a erişmek için kullanırsınız.

Bu laboratuvarı tamamlamak için şunlar gerekir:

• Standart bir internet tarayıcısına erişim (Chrome Tarayıcı önerilir).

Not: Bu laboratuvarı çalıştırmak için tarayıcıyı gizli pencerede açın. Aksi takdirde, kişisel hesabınızla öğrenci hesabınız arasında oluşabilecek çakışmalar nedeniyle kişisel hesabınızdan ek ücret alınabilir.

• Laboratuvarı tamamlamak için yeterli süre. (Laboratuvarlar, başlatıldıktan sonra duraklatılamaz)

Not: Kişisel bir Google Cloud hesabınız veya projeniz varsa bu laboratuvarda kullanmayın. Aksi takdirde hesabınızdan ek ücret alınabilir.

Laboratuvarınızı başlatma ve Google Cloud Console'da oturum açma

1. Laboratuvarı Başlat düğmesini tıklayın. Laboratuvar için ödeme yapmanız gerekiyorsa ödeme yöntemini seçebileceğiniz bir pop-up açılır. Soldaki Laboratuvar Ayrıntıları panelinde şunlar yer alır:

   • Google Cloud Console'u aç düğmesi
   • Kalan süre
   • Bu laboratuvarda kullanmanız gereken geçici kimlik bilgileri
   • Bu laboratuvarda ilerlemek için gerekebilecek diğer bilgiler

2. Google Cloud Console'u aç'ı tıklayın (veya Chrome Tarayıcı'yı kullanıyorsanız sağ tıklayıp Bağlantıyı gizli pencerede aç'ı seçin).

   Laboratuvar, kaynakları çalıştırır ve sonra Oturum açın sayfasını gösteren başka bir sekme açar.

   İpucu: Sekmeleri ayrı pencerelerde, yan yana açın.

   Not: Hesap seçin iletişim kutusunu görürseniz Başka bir hesap kullan'ı tıklayın.

3. Gerekirse aşağıdaki kullanıcı adını kopyalayıp Oturum açın iletişim kutusuna yapıştırın.

   {{{user_0.username | "Username"}}}

   Kullanıcı adını Laboratuvar ayrıntıları panelinde de bulabilirsiniz.

4. İleri'yi tıklayın.

5. Aşağıdaki şifreyi kopyalayıp Hoş geldiniz iletişim kutusuna yapıştırın.

   {{{user_0.password | "Password"}}}

   Şifreyi Laboratuvar ayrıntıları panelinde de bulabilirsiniz.

6. İleri'yi tıklayın.

   Önemli: Laboratuvarın sizinle paylaştığı giriş bilgilerini kullanmanız gerekir. Google Cloud hesabınızın kimlik bilgilerini kullanmayın. Not: Bu laboratuvarda kendi Google Cloud hesabınızı kullanabilmek için ek ücret ödemeniz gerekebilir.

7. Sonraki sayfalarda ilgili düğmeleri tıklayarak ilerleyin:

   • Şartları ve koşulları kabul edin.
   • Geçici bir hesap kullandığınızdan kurtarma seçenekleri veya iki faktörlü kimlik doğrulama eklemeyin.
   • Ücretsiz denemelere kaydolmayın.

Birkaç saniye sonra Google Cloud Console bu sekmede açılır.

Not: Google Cloud ürün ve hizmetlerinin listelendiği menüyü görmek için sol üstteki Gezinme menüsü'nü tıklayın.

1. görev: Pekiştirmeli öğrenmeye giriş

Pekiştirmeli öğrenme (RL) bir makine öğrenimi yöntemidir. Bu yöntemde bir aracı, belirtilen bir hedefi en yüksek düzeye çıkarmak (ödül) amacıyla belirli bir adım sırasını takip ederek çeşitli işlemler gerçekleştirir. Daha geleneksel, gözetimli öğrenim tekniklerinin aksine, her veri noktası etiketlenmez ve aracının yalnızca "seyrek" ödüllere erişimi vardır.

RL'nin geçmişi 1950'lere kadar uzanıyor ve şu an kullanılabilecek çok sayıda RL algoritması mevcut. Bununla birlikte, kolayca uygulamaya alınabilen ancak güçten de ödün vermeyen iki derin RL algoritması özellikle dikkat çekiyor: Deep Q-network (DQN) ve Deep Deterministic Policy Gradient (DDPG). Bu bölümde, bu algoritmaları ve bunları temel alan diğer algoritma çeşitlerini kısaca tanıtacağız.

Pekiştirmeli öğrenme problemiyle ilişkili kavramsal süreç şeması

Deep Q-network (DQN), 2015'te Google Deepmind grubu tarafından bu Nature raporuyla tanıtıldı. Derin öğrenmenin görüntü tanıma alanında gösterdiği başarıdan cesaret alan yazarlar, derin sinir ağlarını Q-Learning'e dahil edip algoritmalarını çok büyük bir gözlem alanı sunan Atari Game Engine Simulator'da test etti.

Derin sinir ağı, belli bir giriş durumunda, çıkış Q değerlerini veya belli bir işlemin arzu edilebilirliğini tahmin eden bir işlev kestirim aracı olarak çalışır. Buna uygun şekilde DQN, değer tabanlı bir yöntemdir: Eğitim algoritmasında DQN, Q değerlerini Bellman denklemine göre günceller ve hareketli bir hedefi tutturmanın güçlüğünden kaçınmak adına, hedef değerlerin bir tahmini olarak işlev gören ikinci bir derin sinir ağını sürece dahil eder.

Biraz daha pratik bir bakış açısıyla aşağıdaki model; kaynak dosyalarını, kabuk komutunu ve Google Cloud'da RL işinin çalıştırılacağı uç noktayı vurgular:

2. görev: Ortamınızı ayarlama

1. Google Cloud konsolunun gezinme menüsünde () Vertex AI > Dashboard'u (Vertex AI > Kontrol paneli) tıklayın.

2. Enable All Recommended APIs'ı (Önerilen Tüm API'leri Etkinleştir) tıklayın.

3. görev: Vertex AI Notebook'u kullanıma sunma

Vertex AI Workbench not defteri oluşturup başlatmak için:

1. Gezinme menüsünde Vertex AI > Workbench'i tıklayın.

2. Workbench sayfasında (henüz etkinleştirilmemişse), Notebooks API'yi etkinleştir'i tıklayın.

3. Kullanıcı tarafından yönetilen not defterleri sekmesini, ardından Yeni oluştur'u tıklayın.

4. Not defterine bir ad verin.

5. Bölge'yi ve Alt bölge'yi olarak ayarlayın.

6. Yeni örnek menüsünde, Ortam'ın altında en son sürüm olan TensorFlow Enterprise 2.11'i seçin.

7. Örnek özelliklerini düzenlemek için Gelişmiş seçenekler'i tıklayın.

8. Makine türü'nü tıklayın ve Makine türü olarak e2-standard-2'yi seçin.

9. Geri kalan alanları varsayılan değerlerde bırakıp Oluştur'u tıklayın.

Birkaç dakika sonra Workbench sayfasında örneğiniz ve JupyterLab'i aç seçeneği görünür.

10. JupyterLab'i yeni sekmede açmak için JupyterLab'i aç'ı tıklayın. Beatrix jupyterlab'in derlemeye dahil edilmesi gerektiğine dair bir mesaj alırsanız mesajı görmezden gelin.

Hedefi doğrulamak için İlerleme durumumu kontrol et'i tıklayın. Vertex AI Platform Notebook'u oluşturma

4. görev: Örnek kodu klonlama

JupyterLab örneğinizdeki training-data-analyst deposunu klonlamak için:

1. JupyterLab'de terminal simgesini tıklayarak yeni bir terminal açın.

2. Komut satırı isteminde şu komutu yazıp ENTER'a basın:

git clone --depth=1 https://github.com/GoogleCloudPlatform/training-data-analyst

3. Depoyu klonladığınızı onaylamak için soldaki panelde training-data-analyst klasörünü çift tıklayarak içeriklerini görüntüleyin.

4. Soldaki menüden training-data-analyst> quests > rl > early_rl > early_rl.ipynb'yi seçin. Bunu yaptığınızda yeni bir sekme açılır.

Hedefi doğrulamak için İlerleme durumumu kontrol et'i tıklayın. Örnek kodu klonlama

5. görev: Not defterindeki kodu çalıştırma

Yeni sekmeniz aşağıdakine benzer bir görünümde olacaktır:

1. Aşağıdaki not defterini baştan sona okuyun ve tüm kod bloklarını üst karakter + Enter tuşlarına basarak çalıştırın.

2. Not defterindeki talimatları tamamladıktan sonra buraya dönün.

Tebrikler!

Bu laboratuvarda, pekiştirmeli öğrenmenin (RL) temel ilkelerini öğrendiniz. Bir Jupyterlab örneği oluşturup örnek bir depoyu klonladınız ve bir not defterindeki kodu çalıştırarak pekiştirmeli öğrenmenin temel kavramlarıyla ilgili uygulamalı alıştırmalar yaptınız. Artık bu serideki diğer laboratuvarlara katılmaya hazırsınız.

Görevinizi tamamlama

Bu yönlendirmesiz öğrenim laboratuvarı, Temel: Veri, ML, AI adlı Qwiklabs görevinin bir parçasıdır. Görevler, bir öğrenme rotasını oluşturan birbiriyle bağlantılı laboratuvar dizilerini ifade eder. Bu göreve kaydolun ve bu laboratuvara katıldıysanız tamamlama kredisini anında kazanın.

Google Cloud eğitimi ve sertifikası

...Google Cloud teknolojilerinden en iyi şekilde yararlanmanıza yardımcı olur. Derslerimizde teknik becerilere odaklanırken en iyi uygulamalara da yer veriyoruz. Gerekli yetkinlik seviyesine hızlıca ulaşmanız ve öğrenim maceranızı sürdürebilmeniz için sizlere yardımcı olmayı amaçlıyoruz. Temel kavramlardan ileri seviyeye kadar farklı eğitim programlarımız mevcut. Ayrıca, yoğun gündeminize uyması için talep üzerine sağlanan, canlı ve sanal eğitim alternatiflerimiz de var. Sertifikasyonlar ise Google Cloud teknolojilerindeki becerilerinizi ve uzmanlığınızı doğrulamanıza ve kanıtlamanıza yardımcı oluyor.

Kılavuzun Son Güncellenme Tarihi: 27 Eylül 2023

Laboratuvarın Son Test Edilme Tarihi: 27 Eylül 2023

Telif Hakkı 2024 Google LLC Tüm hakları saklıdır. Google ve Google logosu, Google LLC şirketinin ticari markalarıdır. Diğer tüm şirket ve ürün adları ilişkili oldukları şirketlerin ticari markaları olabilir.