GSP103

Genel Bakış

Dataproc; Apache Spark ve Apache Hadoop kümelerini daha basit ve daha uygun maliyetli şekilde çalıştırmak için sunulan hızlı, kullanımı kolay ve tümüyle yönetilen bir bulut hizmetidir. Eskiden saatler, hatta günler süren işlemler, birkaç saniyede veya dakikalar içinde tamamlanır. Dataproc kümelerini hızla oluşturup dilediğiniz zaman yeniden boyutlandırabilirsiniz. Bu sayede, kümelerinize sığmayan ardışık veri düzenleri konusunda endişelenmeniz gerekmez.

Bu laboratuvarda, Dataproc kümesi oluşturmak, kümede basit bir Apache Spark işi çalıştırmak ve ardından kümedeki çalışanların sayısını değiştirmek için Google Cloud konsolunun nasıl kullanılacağı anlatılmaktadır.

Yapacaklarınız

Bu laboratuvarda şunları öğreneceksiniz:

• Google Cloud konsolunda Dataproc kümesi oluşturma
• Kümede basit bir Apache Spark işi çalıştırma
• Kümedeki çalışan sayısını düzenleme

Kurulum ve şartlar

Laboratuvarı Başlat düğmesini tıklamadan önce

Buradaki talimatları okuyun. Laboratuvarlar süreli olduğundan duraklatılamaz. Start Lab'i (Laboratuvarı başlat) tıkladığınızda başlayan zamanlayıcı, Google Cloud kaynaklarının ne süreyle kullanımınıza açık durumda kalacağını gösterir.

Bu uygulamalı laboratuvarı kullanarak, laboratuvar etkinliklerini simülasyon veya demo ortamı yerine gerçek bir bulut ortamında gerçekleştirebilirsiniz. Bunu yapabilmeniz için size yeni, geçici kimlik bilgileri verilir. Bu kimlik bilgilerini laboratuvar süresince Google Cloud'da oturum açmak ve Google Cloud'a erişmek için kullanabilirsiniz.

Bu laboratuvarı tamamlamak için gerekenler:

• Standart bir internet tarayıcısına erişim (Chrome Tarayıcı önerilir)

Not: Bu laboratuvarı çalıştırmak için tarayıcıyı gizli modda (önerilen) veya gizli tarama penceresinde açın. Aksi takdirde, kişisel hesabınızla öğrenci hesabınız arasında oluşabilecek çakışmalar nedeniyle kişisel hesabınızdan ek ücret alınabilir.

• Laboratuvarı tamamlamak için yeterli süre (Laboratuvarlar başlatıldıktan sonra duraklatılamaz.)

Not: Bu laboratuvar için yalnızca öğrenci hesabını kullanın. Farklı bir Google Cloud hesabı kullanırsanız bu hesaptan ödeme alınabilir.

Laboratuvarınızı başlatma ve Google Cloud Console'da oturum açma

1. Laboratuvarı Başlat düğmesini tıklayın. Laboratuvar için ödeme yapmanız gerekiyorsa ödeme yöntemini seçebileceğiniz bir iletişim kutusu açılır. Soldaki "Laboratuvar ayrıntıları" panelinde şunlar yer alır:

   • "Google Cloud konsolunu aç" düğmesi
   • Kalan süre
   • Bu laboratuvarda kullanmanız gereken geçici kimlik bilgileri
   • Bu laboratuvarda ilerlemek için gerekebilecek diğer bilgiler

2. Google Cloud Console'u aç'ı tıklayın (veya Chrome Tarayıcı'yı kullanıyorsanız sağ tıklayıp Bağlantıyı gizli pencerede aç'ı seçin).

   Laboratuvar, kaynakları çalıştırır ve sonra "Oturum aç" sayfasını gösteren başka bir sekme açar.

   İpucu: Sekmeleri ayrı pencerelerde, yan yana açın.

   Not: Hesap seçin iletişim kutusunu görürseniz Başka bir hesap kullan'ı tıklayın.

3. Gerekirse aşağıdaki kullanıcı adını kopyalayıp Oturum açın iletişim kutusuna yapıştırın.

   {{{user_0.username | "Username"}}}

   Kullanıcı adını "Laboratuvar ayrıntıları" panelinde de bulabilirsiniz.

4. İleri'yi tıklayın.

5. Aşağıdaki şifreyi kopyalayıp Hoş geldiniz iletişim kutusuna yapıştırın.

   {{{user_0.password | "Password"}}}

   Şifreyi "Laboratuvar ayrıntıları" panelinde de bulabilirsiniz.

6. İleri'yi tıklayın.

   Önemli: Laboratuvarın sizinle paylaştığı giriş bilgilerini kullanmanız gerekir. Google Cloud hesabınızın kimlik bilgilerini kullanmayın. Not: Bu laboratuvarda kendi Google Cloud hesabınızı kullanabilmek için ek ücret ödemeniz gerekebilir.

7. Sonraki sayfalarda ilgili düğmeleri tıklayarak ilerleyin:

   • Hükümler ve koşulları kabul edin.
   • Geçici bir hesap kullandığınızdan kurtarma seçenekleri veya iki faktörlü kimlik doğrulama eklemeyin.
   • Ücretsiz denemelere kaydolmayın.

Birkaç saniye sonra Google Cloud konsolu bu sekmede açılır.

Not: Google Cloud ürün ve hizmetlerine erişmek için gezinme menüsünü tıklayın veya Arama alanına hizmetin veya ürünün adını yazın.

Cloud Dataproc API'nin etkinleştirildiğini doğrulama

Google Cloud'da Dataproc kümesi oluşturabilmek için Cloud Dataproc API'nin etkinleştirilmiş olması gereklidir. API'nin etkinleştirildiğini doğrulamak için:

1. Gezinme menüsü > API'ler ve Hizmetler > Kitaplık'ı tıklayın:

2. API ve Hizmet Arayın iletişim kutusuna Cloud Dataproc yazın. Konsoldaki arama sonuçlarında Cloud Dataproc API gösterilir.

3. API'nin durumunu görüntülemek için Cloud Dataproc API'yi tıklayın. API etkinleştirilmemişse Enable (Etkinleştir) düğmesini tıklayın.

API etkinleştirildikten sonra laboratuvar talimatlarını uygulayın.

Hizmet hesabı izni

Küme oluşturmak için gerekli olan depolama alanı iznini hizmet hesabına atamak için:

1. Gezinme menüsü > IAM & Admin > IAM (IAM ve Yönetici > IAM) bölümüne gidin.

2. compute@developer.gserviceaccount.com hizmet hesabındaki kalem simgesini tıklayın.

3. + ADD ANOTHER ROLE (BAŞKA ROL EKLE) düğmesini tıkladıktan sonra Storage Admin (Depolama Yöneticisi) rolünü seçin.

Storage Admin (Depolama Yöneticisi) rolünü seçtikten sonra Save'i (Kaydet) tıklayın.

1. görev: Küme oluşturma

1. Cloud Platform Console'da gezinme menüsü > Dataproc > Kümeler'i seçip Küme oluştur'u tıklayın.

2. Compute Engine'de küme için Oluştur'u tıklayın.

3. Kümeniz için aşağıdaki alanları ayarlayıp diğer tüm alanlar için varsayılan değerleri kabul edin:

Not: Düğümleri yapılandırma bölümünde hem ana düğümün hem de çalışma düğümlerinin doğru makine serisine ve makine türüne ayarlandığından emin olun.

Alan	Değer
Ad	example-cluster
Bölge
Zone (Alt bölge)
Machine Series (Manager Node) [Makine serisi (yönetici düğümü)]	E2
Machine Type (Manager Node) [Makine türü (yönetici düğümü)]	e2-standard-2
Primary disk size (Manager Nodes) [Birincil disk boyutu (yönetici düğümleri)]	30 GB
Number of Worker Nodes (Çalışma düğümü sayısı)	2
Machine Series (Worker Nodes) [Makine Serisi (çalışma düğümleri)]	E2
Machine Type (Worker Nodes) [Makine türü (çalışma düğümleri)]	e2-standard-2
Primary disk size (Worker Nodes) [Birincil disk boyutu (çalışma düğümleri)]	30 GB
Internal IP only (Yalnızca dahili IP)	"Configure all instances to have only internal IP addresses"ın (Tüm örnekleri yalnızca dahili IP adresleri olacak şekilde yapılandır) seçimini kaldırın.

Not: Alt bölge, örnekleri tüm Google Compute alt bölgelerine küresel olarak dağıtabilen, çok bölgeli, özel bir ad alanıdır. Ayrıca, Cloud Dataproc tarafından kullanılan kaynakları (sanal makine örnekleri ve Cloud Storage dahil) ve meta veri depolama konumlarını kullanıcının belirlediği bölge içinde izole etmek istiyorsanız us-central1 veya europe-west1 gibi farklı bölgeler de belirtebilirsiniz.

4. Kümeyi oluşturmak için Oluştur'u tıklayın.

Yeni kümeniz Kümeler listesinde gösterilir. Kümenin oluşturulması birkaç dakika kadar sürebilir. Küme kullanıma hazır olana kadar, Durum olarak Hazırlanıyor ifadesi gösterilir. Bu ifade daha sonra Çalışıyor olarak değişir.

Tamamlanan görevi test etme

Tamamladığınız görevi doğrulamak için İlerleme durumumu kontrol et'i tıklayın.

Dataproc kümesi oluşturma

2. görev: İş gönderme

Örnek Spark işi çalıştırmak için:

1. Soldaki bölmede İşler'i tıklayıp Dataproc'un işler görünümüne geçin ve sonra İşi gönder'i tıklayın.

2. İşi güncellemek için aşağıdaki alanları ayarlayın. Diğer tüm alanlar için varsayılan değerleri kabul edin:

Alan	Değer
Bölge
Küme	example-cluster
İş türü	Spark
Ana sınıf veya jar	org.apache.spark.examples.SparkPi
Jar dosyaları	file:///usr/lib/spark/examples/jars/spark-examples.jar
Bağımsız değişkenler	1000 (Bu değer, görev sayısını belirler.)

3. Gönder'i tıklayın.

Not: İşin, Pi'yi hesaplamak için kullandığı yöntem: Spark işi, Pi değerini Monte Carlo yöntemini kullanarak tahmin eder. Koordinat düzleminde x, y noktaları oluşturarak bir birim karenin içinde yer alan bir daireyi modeller. Giriş bağımsız değişkeni (1000), oluşturulacak x, y çiftlerinin sayısını belirler. Oluşturulan çift sayısı ne kadar fazlaysa tahmin doğruluğu da o kadar yüksek olur. Bu tahminde, hesaplama işlemini parallelleştirmek için Cloud Dataproc çalışma düğümleri kullanılmaktadır. Daha fazla bilgi edinmek için Estimating Pi using the Monte Carlo Method (Monte Carlo Yöntemiyle Pi Tahmini) ve GitHub'daki JavaSparkPi.java sayfalarına göz atın.

İşiniz, İşler listesinde görünecektir. Bu listede, projenizdeki işler küme, tür ve geçerli durum bilgileriyle birlikte gösterilir. İş durumu, önce Çalışıyor, iş tamamlandıktan sonra ise Başarılı olarak gösterilir.

Tamamlanan görevi test etme

Tamamladığınız görevi doğrulamak için İlerleme durumumu kontrol et'i tıklayın.

İş gönderme

3. görev: İş çıkışını görüntüleme

Tamamlanan iş çıkışını görüntülemek için:

1. İşler listesinde ilgili iş kimliğini tıklayın.

2. SATIR KAYDIR için AÇIK değerini seçin veya ekranı en sağa kaydırarak Pi'nin hesaplanmış değerini görüntüleyin. SATIR KAYDIR AÇIK olarak ayarlandığında çıkış şu şekilde görünür:

İşiniz, Pi değerini başarılı şekilde kabaca hesapladı.

4. görev: Çalışan sayısını düzenlemek için kümeyi güncelleme

Kümenizdeki çalışan örneklerinin sayısını değiştirmek için:

1. Soldaki gezinme bölmesinden Kümeler'i seçerek Dataproc Kümeleri görünümüne dönün.

2. Kümeler listesinde example-cluster'ı tıklayın. Sayfada varsayılan olarak kümenizin CPU kullanımıyla ilgili bir genel bakış gösterilir.

3. Kümenizin geçerli ayarlarını görmek için Yapılandırma'yı tıklayın.

4. Düzenle'yi tıklayın. Artık çalışma düğümü sayısını düzenleyebilirsiniz.

5. Çalışma düğümleri alanına 4 girin.

6. Kaydet'i tıklayın.

Artık kümeniz güncellenmiştir. Kümedeki sanal makine örneklerinin sayısını kontrol edin.

Tamamlanan görevi test etme

Tamamladığınız görevi doğrulamak için İlerleme durumumu kontrol et'i tıklayın.

Küme güncelleme

1. Bir işi güncellenmiş bir kümeyle yeniden çalıştırmak istiyorsanız soldaki bölmeden İşler'i ve sonra İŞİ GÖNDER'i tıklayın.

2. İş gönderme bölümünde ayarladığınız alanları ayarlayın:

Alan	Değer
Bölge
Küme	example-cluster
İş türü	Spark
Ana sınıf veya jar	org.apache.spark.examples.SparkPi
Jar dosyaları	file:///usr/lib/spark/examples/jars/spark-examples.jar
Bağımsız değişkenler	1000 (Bu değer, görev sayısını belirler.)

3. Gönder'i tıklayın.

5. görev: Öğrendiklerinizi test etme

Aşağıda, bu laboratuvarda ele alınan kavramlarla ilgili bilginizi pekiştirmeye yönelik çoktan seçmeli sorular verilmiştir. Bu soruları elinizden geldiğince yanıtlamaya çalışın.

Tebrikler!

Google Cloud konsolunu kullanarak Dataproc kümesi oluşturup güncellemeyi ve ardından bu kümeye bir iş göndermeyi öğrendiniz.

Sonraki adımlar / Daha fazla bilgi

Bu laboratuvar, Qwik Starts laboratuvar serisinin de bir parçasıdır. Bu laboratuvarlar, Google Cloud'daki pek çok özelliği biraz olsun tanıtabilmek için tasarlamıştır. Katılabileceğiniz bir sonraki laboratuvarı bulmak için laboratuvar kataloğunda "Qwik Starts" araması yapın.

Google Cloud eğitimi ve sertifikası

...Google Cloud teknolojilerinden en iyi şekilde yararlanmanıza yardımcı olur. Derslerimizde teknik becerilere odaklanırken en iyi uygulamalara da yer veriyoruz. Gerekli yetkinlik seviyesine hızlıca ulaşmanız ve öğrenim maceranızı sürdürebilmeniz için sizlere yardımcı olmayı amaçlıyoruz. Temel kavramlardan ileri seviyeye kadar farklı eğitim programlarımız mevcut. Ayrıca, yoğun gündeminize uyması için talep üzerine sağlanan, canlı ve sanal eğitim alternatiflerimiz de var. Sertifikasyonlar ise Google Cloud teknolojilerindeki becerilerinizi ve uzmanlığınızı doğrulamanıza ve kanıtlamanıza yardımcı oluyor.

Kılavuzun Son Güncellenme Tarihi: 2 Temmuz 2024

Laboratuvarın Son Test Edilme Tarihi: 2 Temmuz 2024

Telif Hakkı 2025 Google LLC. Tüm hakları saklıdır. Google ve Google logosu, Google LLC şirketinin ticari markalarıdır. Diğer tüm şirket ve ürün adları ilişkili oldukları şirketlerin ticari markaları olabilir.