GSP104

Genel bakış

Dataproc; Apache Spark ve Apache Hadoop kümelerini daha basit ve daha uygun maliyetli şekilde çalıştırmak için sunulan hızlı, kullanımı kolay ve tümüyle yönetilen bir bulut hizmetidir. Eskiden saatler, hatta günler süren işlemler, birkaç saniyede veya dakikalar içinde tamamlanır. Dataproc kümelerini hızla oluşturup dilediğiniz zaman yeniden boyutlandırabilirsiniz. Bu sayede, kümelerinize sığmayan ardışık veri düzenleri konusunda endişelenmeniz gerekmez.

Bu laboratuvarda, Dataproc kümesi oluşturmak, kümede basit bir Apache Spark işi çalıştırmak ve kümedeki çalışanların sayısını değiştirmek için komut satırının nasıl kullanılacağı anlatılmaktadır.

Neler yapacaksınız?

Bu laboratuvarda şunları öğreneceksiniz:

• Komut satırını kullanarak Dataproc kümesi oluşturma
• Kümede basit bir Apache Spark işi çalıştırma
• Kümedeki çalışan sayısını düzenleme

Kurulum ve şartlar

Laboratuvarı Başlat düğmesini tıklamadan önce

Buradaki talimatları okuyun. Laboratuvarlar süreli olduğundan duraklatılamaz. Laboratuvarı Başlat'ı tıkladığınızda başlayan zamanlayıcı, Google Cloud kaynaklarının ne süreyle kullanımınıza açık durumda kalacağını gösterir.

Bu uygulamalı laboratuvarı kullanarak, laboratuvar etkinliklerini gerçek bir bulut ortamında (Simülasyon veya demo ortamında değil.) gerçekleştirebilirsiniz. Bu olanağın sunulabilmesi için size yeni, geçici kimlik bilgileri verilir. Bu kimlik bilgilerini laboratuvar süresince Google Cloud'da oturum açmak ve Google Cloud'a erişmek için kullanırsınız.

Bu laboratuvarı tamamlamak için şunlar gerekir:

• Standart bir internet tarayıcısına erişim (Chrome Tarayıcı önerilir).

Not: Bu laboratuvarı çalıştırmak için tarayıcıyı gizli pencerede açın. Aksi takdirde, kişisel hesabınızla öğrenci hesabınız arasında oluşabilecek çakışmalar nedeniyle kişisel hesabınızdan ek ücret alınabilir.

• Laboratuvarı tamamlamak için yeterli süre. (Laboratuvarlar, başlatıldıktan sonra duraklatılamaz)

Not: Kişisel bir Google Cloud hesabınız veya projeniz varsa bu laboratuvarda kullanmayın. Aksi takdirde hesabınızdan ek ücret alınabilir.

Laboratuvarınızı başlatma ve Google Cloud Console'da oturum açma

1. Laboratuvarı Başlat düğmesini tıklayın. Laboratuvar için ödeme yapmanız gerekiyorsa ödeme yöntemini seçebileceğiniz bir pop-up açılır. Soldaki Laboratuvar Ayrıntıları panelinde şunlar yer alır:

   • Google Cloud Console'u aç düğmesi
   • Kalan süre
   • Bu laboratuvarda kullanmanız gereken geçici kimlik bilgileri
   • Bu laboratuvarda ilerlemek için gerekebilecek diğer bilgiler

2. Google Cloud Console'u aç'ı tıklayın (veya Chrome Tarayıcı'yı kullanıyorsanız sağ tıklayıp Bağlantıyı gizli pencerede aç'ı seçin).

   Laboratuvar, kaynakları çalıştırır ve sonra Oturum açın sayfasını gösteren başka bir sekme açar.

   İpucu: Sekmeleri ayrı pencerelerde, yan yana açın.

   Not: Hesap seçin iletişim kutusunu görürseniz Başka bir hesap kullan'ı tıklayın.

3. Gerekirse aşağıdaki kullanıcı adını kopyalayıp Oturum açın iletişim kutusuna yapıştırın.

   {{{user_0.username | "Username"}}}

   Kullanıcı adını Laboratuvar ayrıntıları panelinde de bulabilirsiniz.

4. İleri'yi tıklayın.

5. Aşağıdaki şifreyi kopyalayıp Hoş geldiniz iletişim kutusuna yapıştırın.

   {{{user_0.password | "Password"}}}

   Şifreyi Laboratuvar ayrıntıları panelinde de bulabilirsiniz.

6. İleri'yi tıklayın.

   Önemli: Laboratuvarın sizinle paylaştığı giriş bilgilerini kullanmanız gerekir. Google Cloud hesabınızın kimlik bilgilerini kullanmayın. Not: Bu laboratuvarda kendi Google Cloud hesabınızı kullanabilmek için ek ücret ödemeniz gerekebilir.

7. Sonraki sayfalarda ilgili düğmeleri tıklayarak ilerleyin:

   • Şartları ve koşulları kabul edin.
   • Geçici bir hesap kullandığınızdan kurtarma seçenekleri veya iki faktörlü kimlik doğrulama eklemeyin.
   • Ücretsiz denemelere kaydolmayın.

Birkaç saniye sonra Google Cloud Console bu sekmede açılır.

Not: Google Cloud ürün ve hizmetlerinin listelendiği menüyü görmek için sol üstteki Gezinme menüsü'nü tıklayın.

Cloud Shell'i etkinleştirme

Cloud Shell, çok sayıda geliştirme aracı içeren bir sanal makinedir. 5 GB boyutunda kalıcı bir ana dizin sunar ve Google Cloud üzerinde çalışır. Cloud Shell, Google Cloud kaynaklarınıza komut satırı erişimi sağlar.

1. Google Cloud Console'un üst kısmından Cloud Shell'i etkinleştir simgesini tıklayın.

Bağlandığınızda, kimliğiniz doğrulanmış olur. Proje ise PROJECT_ID'nize göre ayarlanmıştır. Çıkış, bu oturum için PROJECT_ID'yi tanımlayan bir satır içerir:

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud, Google Cloud'un komut satırı aracıdır. Cloud Shell'e önceden yüklenmiştir ve sekmeyle tamamlamayı destekler.

2. (İsteğe bağlı) Etkin hesap adını şu komutla listeleyebilirsiniz:

gcloud auth list

3. Yetkilendir'i tıklayın.

4. Çıkışınız aşağıdaki gibi görünecektir:

Çıkış:

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (İsteğe bağlı) Proje kimliğini şu komutla listeleyebilirsiniz:

gcloud config list project

Çıkış:

[core] project = <project_ID>

Örnek çıkış:

[core] project = qwiklabs-gcp-44776a13dea667a6 Not: gcloud ile ilgili tüm belgeleri, Google Cloud'daki gcloud CLI'ya genel bakış rehberinde bulabilirsiniz.

1. görev: Küme oluşturma

1. Cloud Shell'de, Bölge'yi ayarlamak için aşağıdaki komutu çalıştırın:

gcloud config set dataproc/region {{{project_0.default_region | Region}}}

2. Dataproc, aynı bölgedeki kümeler arasında paylaşılan hazırlık paketleri ve geçici paketler oluşturur. Dataproc'un kullanması için bir hesap belirtmediğimizden, Compute Engine'in varsayılan hizmet hesabı kullanılır. Bu hesabın varsayılan olarak depolama paketi izinleri yoktur. Bunları eklememiz gerekir.

• İlk olarak PROJECT_ID ve PROJECT_NUMBER değerlerini almak için şu komutları çalıştırın:

PROJECT_ID=$(gcloud config get-value project) && \ gcloud config set project $PROJECT_ID PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)')

• Şimdi, aşağıdaki komutu çalıştırarak Compute Engine'in varsayılan hizmet hesabına Depolama Alanı Yöneticisi rolü atayın.

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role=roles/storage.admin

3. Aşağıdaki komutu çalıştırarak alt ağınızda Özel Google Erişimi'ni etkinleştirin:

gcloud compute networks subnets update default --region={{{project_0.default_region | REGION }}} --enable-private-ip-google-access

4. Aşağıdaki komutu çalıştırarak e2-standard-4 sanal makineleri ve varsayılan Cloud Dataproc ayarlarıyla example-cluster adında bir küme oluşturun:

gcloud dataproc clusters create example-cluster --worker-boot-disk-size 500 --worker-machine-type=e2-standard-4 --master-machine-type=e2-standard-4

5. Kümeniz için bir alt bölgeyi onaylamanız istenirse: Y girin.

Kümeniz birkaç dakika içinde oluşturulacaktır.

Waiting for cluster creation operation...done. Created [... example-cluster]

"Created" (Oluşturuldu) mesajını gördüğünüzde çalışmanıza devam edebilirsiniz.

Tamamlanan görevi test etme

Tamamladığınız görevi doğrulamak için İlerleme durumumu kontrol et'i tıklayın. Dataproc kümesini başarıyla oluşturduysanız bir değerlendirme puanı görürsünüz.

Dataproc kümesi oluşturma

2. görev: İş gönderme

• Pi değerini kabaca hesaplayan örnek bir Spark işi göndermek için şu komutu çalıştırın:

gcloud dataproc jobs submit spark --cluster example-cluster \ --class org.apache.spark.examples.SparkPi \ --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000

Bu komut şunları belirtir:

• example-cluster kümesinde bir spark işi çalıştırmak istediğinizi
• İşin pi hesaplama uygulamasıyla ilgili ana yöntemini içeren class
• İşinizin kodunu içeren jar dosyasının konumu
• Bu işe iletmek istediğiniz parametreler (bu örnekte, görevlerin sayısı, yani 1000)

Not: İşe iletilen parametrelerin önünde çift kısa çizgi (--) olmalıdır. Daha fazla bilgi için gcloud belgelerine göz atın.

Terminal penceresinde işe ait çalıştırılan ve son çıkış gösterilir:

Waiting for job output... ... Pi is roughly 3.14118528 ... state: FINISHED

Tamamlanan görevi test etme

Tamamladığınız görevi doğrulamak için İlerleme durumumu kontrol et'i tıklayın. İşi başarıyla gönderdiyseniz bir değerlendirme puanı görürsünüz.

İş gönderme

3. görev: Küme güncelleme

1. Kümedeki çalışanların sayısını 4 olarak değiştirmek için aşağıdaki komutu çalıştırın:

gcloud dataproc clusters update example-cluster --num-workers 4

Kümenizle ilgili güncellenmiş ayrıntılar komut çıkışında gösterilir:

Waiting on operation [projects/qwiklabs-gcp-7f7aa0829e65200f/regions/global/operations/b86892cc-e71d-4e7b-aa5e-6030c945ea67]. Waiting for cluster update operation...done.

2. Çalışma düğümlerinin sayısını azaltmak için de aynı komutu kullanabilirsiniz:

gcloud dataproc clusters update example-cluster --num-workers 2

Artık bir Dataproc kümesi oluşturabilir ve Google Cloud'daki gcloud komut satırından çalışan sayısını ayarlayabilirsiniz.

4. görev: Öğrendiklerinizi test etme

Aşağıda, bu laboratuvarda ele alınan kavramlarla ilgili bilginizi pekiştirmeye yönelik çoktan seçmeli sorular verilmiştir. Bu soruları elinizden geldiğince yanıtlamaya çalışın.

Tebrikler!

Dataproc kümesi oluşturup değiştirmek ve iş göndermek için komut satırının nasıl kullanılacağını öğrendiğiniz.

Sonraki adımlar / Daha fazla bilgi

Bu laboratuvar, Qwik Starts laboratuvar serisinin de bir parçasıdır. Bu laboratuvarlar, Google Cloud'daki pek çok özelliği biraz olsun tanıtabilmek için tasarlamıştır. Katılabileceğiniz bir sonraki laboratuvarı bulmak için laboratuvar kataloğunda "Qwik Starts" araması yapın.

Google Cloud eğitimi ve sertifikası

...Google Cloud teknolojilerinden en iyi şekilde yararlanmanıza yardımcı olur. Derslerimizde teknik becerilere odaklanırken en iyi uygulamalara da yer veriyoruz. Gerekli yetkinlik seviyesine hızlıca ulaşmanız ve öğrenim maceranızı sürdürebilmeniz için sizlere yardımcı olmayı amaçlıyoruz. Temel kavramlardan ileri seviyeye kadar farklı eğitim programlarımız mevcut. Ayrıca, yoğun gündeminize uyması için talep üzerine sağlanan, canlı ve sanal eğitim alternatiflerimiz de var. Sertifikasyonlar ise Google Cloud teknolojilerindeki becerilerinizi ve uzmanlığınızı doğrulamanıza ve kanıtlamanıza yardımcı oluyor.

Kılavuzun Son Güncellenme Tarihi: 29 Ağustos 2024

Laboratuvarın Son Test Edilme Tarihi: 29 Ağustos 2024

Telif Hakkı 2024 Google LLC Tüm hakları saklıdır. Google ve Google logosu, Google LLC şirketinin ticari markalarıdır. Diğer tüm şirket ve ürün adları ilişkili oldukları şirketlerin ticari markaları olabilir.