GSP192

Genel bakış

Bu laboratuvarda, Google'ın Dataflow şablonlarından birini kullanarak akış ardışık düzeni oluşturmayı öğreneceksiniz. Daha net açıklamak gerekirse "Pub/Sub'dan BigQuery'ye" şablonunu kullanacaksınız. Bu şablon, JSON biçiminde yazılmış mesajları Pub/Sub konusundan okuyarak BigQuery tablosuna aktarır. Bu şablonla ilgili belgeleri, Google tarafından sağlanan şablonlar için başlangıç kılavuzunda bulabilirsiniz.

BigQuery veri kümesi ve tablosunu oluşturmak için size Cloud Shell komut satırı veya Cloud Console'u kullanma seçeneği sunulacak. Kullanılacak yöntemi seçip laboratuvarın geri kalan kısımlarında bu yöntemi kullanmaya devam edin. Her iki yöntemi de kullanmayı denemek istiyorsanız bu laboratuvara iki defa katılın.

Neler yapacaksınız?

• BigQuery veri kümesi ve tablosu oluşturma
• Cloud Storage paketi oluşturma
• "Pub/Sub'dan BigQuery'ye" Dataflow şablonunu kullanarak akış ardışık düzeni oluşturma

Kurulum

Laboratuvarı Başlat düğmesini tıklamadan önce

Buradaki talimatları okuyun. Laboratuvarlar süreli olduğundan duraklatılamaz. Start Lab'i (Laboratuvarı başlat) tıkladığınızda başlayan zamanlayıcı, Google Cloud kaynaklarının ne süreyle kullanımınıza açık durumda kalacağını gösterir.

Bu uygulamalı laboratuvarı kullanarak, laboratuvar etkinliklerini simülasyon veya demo ortamı yerine gerçek bir bulut ortamında gerçekleştirebilirsiniz. Bunu yapabilmeniz için size yeni, geçici kimlik bilgileri verilir. Bu kimlik bilgilerini laboratuvar süresince Google Cloud'da oturum açmak ve Google Cloud'a erişmek için kullanabilirsiniz.

Bu laboratuvarı tamamlamak için gerekenler:

• Standart bir internet tarayıcısına erişim (Chrome Tarayıcı önerilir)

Not: Bu laboratuvarı çalıştırmak için tarayıcıyı gizli modda (önerilen) veya gizli tarama penceresinde açın. Aksi takdirde, kişisel hesabınızla öğrenci hesabınız arasında oluşabilecek çakışmalar nedeniyle kişisel hesabınızdan ek ücret alınabilir.

• Laboratuvarı tamamlamak için yeterli süre (Laboratuvarlar başlatıldıktan sonra duraklatılamaz.)

Not: Bu laboratuvar için yalnızca öğrenci hesabını kullanın. Farklı bir Google Cloud hesabı kullanırsanız bu hesaptan ödeme alınabilir.

Laboratuvarınızı başlatma ve Google Cloud Console'da oturum açma

1. Laboratuvarı Başlat düğmesini tıklayın. Laboratuvar için ödeme yapmanız gerekiyorsa ödeme yöntemini seçebileceğiniz bir iletişim kutusu açılır. Soldaki "Laboratuvar ayrıntıları" panelinde şunlar yer alır:

   • "Google Cloud konsolunu aç" düğmesi
   • Kalan süre
   • Bu laboratuvarda kullanmanız gereken geçici kimlik bilgileri
   • Bu laboratuvarda ilerlemek için gerekebilecek diğer bilgiler

2. Google Cloud Console'u aç'ı tıklayın (veya Chrome Tarayıcı'yı kullanıyorsanız sağ tıklayıp Bağlantıyı gizli pencerede aç'ı seçin).

   Laboratuvar, kaynakları çalıştırır ve sonra "Oturum aç" sayfasını gösteren başka bir sekme açar.

   İpucu: Sekmeleri ayrı pencerelerde, yan yana açın.

   Not: Hesap seçin iletişim kutusunu görürseniz Başka bir hesap kullan'ı tıklayın.

3. Gerekirse aşağıdaki kullanıcı adını kopyalayıp Oturum açın iletişim kutusuna yapıştırın.

   {{{user_0.username | "Username"}}}

   Kullanıcı adını "Laboratuvar ayrıntıları" panelinde de bulabilirsiniz.

4. İleri'yi tıklayın.

5. Aşağıdaki şifreyi kopyalayıp Hoş geldiniz iletişim kutusuna yapıştırın.

   {{{user_0.password | "Password"}}}

   Şifreyi "Laboratuvar ayrıntıları" panelinde de bulabilirsiniz.

6. İleri'yi tıklayın.

   Önemli: Laboratuvarın sizinle paylaştığı giriş bilgilerini kullanmanız gerekir. Google Cloud hesabınızın kimlik bilgilerini kullanmayın. Not: Bu laboratuvarda kendi Google Cloud hesabınızı kullanabilmek için ek ücret ödemeniz gerekebilir.

7. Sonraki sayfalarda ilgili düğmeleri tıklayarak ilerleyin:

   • Hükümler ve koşulları kabul edin.
   • Geçici bir hesap kullandığınızdan kurtarma seçenekleri veya iki faktörlü kimlik doğrulama eklemeyin.
   • Ücretsiz denemelere kaydolmayın.

Birkaç saniye sonra Google Cloud konsolu bu sekmede açılır.

Not: Google Cloud ürün ve hizmetlerine erişmek için gezinme menüsünü tıklayın veya Arama alanına hizmetin veya ürünün adını yazın.

Cloud Shell'i etkinleştirme

Cloud Shell, çok sayıda geliştirme aracı içeren bir sanal makinedir. 5 GB boyutunda kalıcı bir ana dizin sunar ve Google Cloud üzerinde çalışır. Cloud Shell, Google Cloud kaynaklarınıza komut satırı erişimi sağlar.

1. Google Cloud konsolunun üst kısmından Activate Cloud Shell (Cloud Shell'i etkinleştir) simgesini tıklayın.

2. Aşağıdaki pencereleri tıklayın:

   • Cloud Shell bilgi penceresinde devam edin.
   • Google Cloud API çağrıları yapmak için Cloud Shell'e kimlik bilgilerinizi kullanma yetkisi verin.

Bağlandığınızda kimliğiniz zaten doğrulanmıştır. Proje ise Project_ID'nize () göre ayarlanmıştır. Çıkış, bu oturum için Project_ID'yi tanımlayan bir satır içerir:

Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}

gcloud, Google Cloud'un komut satırı aracıdır. Cloud Shell'e önceden yüklenmiştir ve sekmeyle tamamlamayı destekler.

3. (İsteğe bağlı) Etkin hesap adını şu komutla listeleyebilirsiniz:

gcloud auth list

4. Authorize'ı (Yetkilendir) tıklayın.

Çıkış:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (İsteğe bağlı) Proje kimliğini şu komutla listeleyebilirsiniz:

gcloud config list project

Çıkış:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Not: gcloud ile ilgili tüm belgeleri, Google Cloud'daki gcloud CLI'a genel bakış rehberinde bulabilirsiniz.

1. görev: Dataflow API'nin yeniden etkinleştirildiğini doğrulama

Gerekli API'ye erişilebilmesi için Dataflow API bağlantısını yeniden başlatın.

1. Cloud Console'un üst kısmındaki arama çubuğuna "Dataflow API" yazın. Listelenen sonuçlarda Dataflow API'yi tıklayın.

2. Yönet'i tıklayın.

3. API'yi devre dışı bırak'ı tıklayın.

Onaylamanız istenirse Devre dışı bırak'ı tıklayın.

4. Etkinleştir'i tıklayın.

API tekrar etkinleştirildiğinde, sayfada devre dışı bırakma seçeneği gösterilir.

Tamamlanan görevi test etme

Tamamladığınız görevi doğrulamak için İlerleme durumumu kontrol et'i tıklayın.

Dataflow API'yi devre dışı bırakıp tekrar etkinleştirin.

2. görev: Cloud Shell'i kullanarak BigQuery veri kümesi, BigQuery tablosu ve Cloud Storage paketi oluşturma

Öncelikle BigQuery veri kümesi ve tablosu oluşturalım.

Not: Bu görevde bq komut satırı aracı kullanılmaktadır. Bu adımları Cloud Console'u kullanarak tamamlamak istiyorsanız 3. göreve geçin.

1. taxirides adlı bir veri kümesi oluşturmak için aşağıdaki komutu çalıştırın:

bq mk taxirides

Elde ettiğiniz çıkış şuna benzer şekilde görünecektir:

Dataset '' successfully created

Tamamlanan görevi test etme

Tamamladığınız görevi doğrulamak için İlerleme durumumu kontrol et'i tıklayın. BigQuery veri kümesi oluşturma işlemi tamamlandıysa değerlendirme puanı görürsünüz.

BigQuery veri kümesi oluşturun (veri kümesinin adı: taxirides).

Artık veri kümeniz oluşturulduğuna göre bir BigQuery tablosu örneklendirmek için aşağıdaki adımda bu veri kümesini kullanacaksınız.

2. Bu işlemi yapmak için aşağıdaki komutu çalıştırın:

bq mk \ --time_partitioning_field timestamp \ --schema ride_id:string,point_idx:integer,latitude:float,longitude:float,\ timestamp:timestamp,meter_reading:float,meter_increment:float,ride_status:string,\ passenger_count:integer -t taxirides.realtime

Elde ettiğiniz çıkış şuna benzer şekilde görünecektir:

Table 'myprojectid:taxirides.realtime' successfully created

Tamamlanan görevi test etme

Tamamladığınız görevi doğrulamak için İlerleme durumumu kontrol et'i tıklayın. BigQuery veri kümesinde tablo oluşturma işlemi tamamlandıysa değerlendirme puanı görürsünüz.

BigQuery veri kümesinde tablo oluşturun.

bq mk komutu ilk bakışta biraz karmaşık görünür. Ancak bu komutun ne anlama geldiğini çözmek için BigQuery komut satırı belgelerinden yardım alabiliriz. Örneğin, belgelerde şema hakkında daha fazla bilgi edinebiliriz.

• Yerel JSON şema dosyasına veya sütun tanımlarının [FIELD]:[DATA_TYPE], [FIELD]:[DATA_TYPE] biçiminde virgülle ayrılmış listesine giden yoldur.

Bu durumda ikinci seçeneği, yani virgülle ayrılmış listeyi kullanıyoruz.

Cloud Shell'i kullanarak Cloud Storage paketi oluşturma

Artık tablomuzu örneklendirdiğimize göre bir paket oluşturalım.

Paket adının global olarak benzersiz olması için proje kimliğini kullanın:

• Bu işlemi yapmak için şu komutları çalıştırın:

export BUCKET_NAME={{{project_0.project_id | "Bucket Name"}}} gsutil mb gs://$BUCKET_NAME/

Tamamlanan görevi test etme

Tamamladığınız görevi doğrulamak için İlerleme durumumu kontrol et'i tıklayın. Cloud Storage paketi oluşturma işlemi tamamlandıysa değerlendirme puanı görürsünüz.

Cloud Storage paketi oluşturun.

Paketinizi oluşturduktan sonra sayfayı aşağı kaydırarak Ardışık düzeni çalıştırma bölümüne gidin.

3. görev: Google Cloud Console'u kullanarak BigQuery veri kümesi, BigQuery tablosu ve Cloud Storage paketi oluşturma

Not: 2. görevi tamamladıysanız 3. görevi atlayın. Bu görevlerin komut satırı işlemleri aynıdır.

1. Soldaki menüde, Büyük Veri bölümünden BigQuery'yi tıklayın.

2. Ardından Bitti'yi tıklayın.

3. Gezgin bölümünde proje adının yanındaki üç noktayı tıklayın, ardından Veri kümesi oluştur'u tıklayın.

4. Veri kümesi kimliğiniz olarak taxirides değerini girin:

5. Veri konumu için us (Amerika Birleşik Devletleri'nde birden fazla bölge) seçeneğini belirleyin.

6. Diğer varsayılan ayarları değiştirmeden VERİ KÜMESİ OLUŞTUR'u tıklayın.

Tamamlanan görevi test etme

Tamamladığınız görevi doğrulamak için İlerleme durumumu kontrol et'i tıklayın. BigQuery veri kümesi oluşturma işlemi tamamlandıysa değerlendirme puanı görürsünüz.

BigQuery veri kümesi oluşturun (veri kümesinin adı: taxirides).

7. Soldaki konsolda, proje kimliğinin altında taxirides veri kümesini görüyor olmanız gerekir.

8. taxirides veri kümesinin yanındaki üç noktayı tıklayıp Aç'ı seçin.

9. Ardından, konsolun sağ tarafında TABLO OLUŞTUR'u seçin.

10. Hedef > Tablo Adı kısmına realtime yazın.

11. Şema bölümünde Metin olarak düzenle kaydırma çubuğunu açın ve aşağıdaki kodu girin:

ride_id:string,point_idx:integer,latitude:float,longitude:float,timestamp:timestamp, meter_reading:float,meter_increment:float,ride_status:string,passenger_count:integer

Konsolunuz aşağıdaki gibi görünecektir:

12. Şimdi Tablo oluştur'u tıklayın.

Tamamlanan görevi test etme

Tamamladığınız görevi doğrulamak için İlerleme durumumu kontrol et'i tıklayın. BigQuery veri kümesinde tablo oluşturma işlemi tamamlandıysa değerlendirme puanı görürsünüz.

BigQuery veri kümesinde tablo oluşturun.

Cloud Console'u kullanarak Cloud Storage paketi oluşturma

1. Cloud Console'a dönüp Cloud Storage > Paketler > Paket oluştur adımlarını izleyin.

2. Paket adının global olarak benzersiz olması için proje kimliğini kullanın:

3. Diğer varsayılan ayarları değiştirmeden Oluştur'u tıklayın.

Tamamlanan görevi test etme

Tamamladığınız görevi doğrulamak için İlerleme durumumu kontrol et'i tıklayın. Cloud Storage paketi oluşturma işlemi tamamlandıysa değerlendirme puanı görürsünüz.

Cloud Storage paketi oluşturun.

4. görev: Ardışık düzeni çalıştırma

Dataflow şablonunu dağıtın:

gcloud dataflow jobs run iotflow \ --gcs-location gs://dataflow-templates-{{{project_0.default_region | "Region"}}}/latest/PubSub_to_BigQuery \ --region {{{project_0.default_region | "Region"}}} \ --worker-machine-type e2-medium \ --staging-location gs://{{{project_0.project_id | "Bucket Name"}}}/temp \ --parameters inputTopic=projects/pubsub-public-data/topics/taxirides-realtime,outputTableSpec={{{project_0.project_id | "Table Name"}}}:taxirides.realtime

Google Cloud Console'da, gezinme menüsünde, Dataflow > İşler'i tıklayın. Dataflow işiniz gösterilir.

Daha fazla bilgi için lütfen belgeye göz atın.

Not: Etkinlik takibinin tamamlanması için bir dakika beklemeniz gerekebilir.

Tamamlanan görevi test etme

Tamamladığınız görevi doğrulamak için İlerleme durumumu kontrol et'i tıklayın. Dataflow ardışık düzenini başarıyla çalıştırdıysanız bir değerlendirme puanı görürsünüz.

Ardışık düzeni çalıştırın.

Kaynaklarınızın oluşturulduğunu ve kullanıma hazır hale geldiğini görürsünüz.

Şimdiyse gezinme menüsünde BigQuery'yi tıklayarak BigQuery'ye yazılan verileri görüntüleyelim.

• BigQuery kullanıcı arayüzü açıldığında proje adının altına taxirides veri kümesinin, onun altına da realtime tablosunun eklendiğini görürsünüz.

Not: Verilerin BigQuery tablosuna doldurulması için birkaç dakika beklemeniz gerekebilir.

5. görev: Sorgu gönderme

Sorguları standart SQL kullanarak gönderebilirsiniz.

1. BigQuery Düzenleyici alanına, aşağıdaki kodu ekleyerek projenizdeki verilere sorgu gönderin.

SELECT * FROM `{{{project_0.project_id | "Bucket Name"}}}.taxirides.realtime` LIMIT 1000

2. ÇALIŞTIR'ı tıklayın.

Herhangi bir sorun veya hatayla karşılaşırsanız sorguyu tekrar çalıştırın. Ardışık düzenin başlaması bir dakika sürebilir.

3. Sorgu çalıştırıldığında, Sorgu Sonuçları panelinde aşağıdaki çıkışı görürsünüz:

İyi iş çıkardınız! Pub/Sub konusundan 1.000 taksi yolculuğu çekip bunları BigQuery tablosuna aktardınız. Sizin de gördüğünüz gibi şablonlar, Dataflow işlerini çalıştırmanın pratik ve kullanımı kolay bir yoludur. Google tarafından sağlanan şablonlar için başlangıç kılavuzunu inceleyerek Dataflow belgelerindeki diğer Google şablonlarına da göz atmayı unutmayın.

6. görev: Öğrendiklerinizi test etme

Aşağıda, bu laboratuvarda ele alınan kavramlarla ilgili bilginizi pekiştirecek çoktan seçmeli sorular verilmiştir. Bu soruları elinizden geldiğince yanıtlamaya çalışın.

Tebrikler!

"Pub/Sub'dan BigQuery'ye" Dataflow şablonunu kullanarak akış ardışık düzeni oluşturdunuz. Bu şablon, JSON biçiminde yazılmış mesajları Pub/Sub konusundan okuyarak BigQuery tablosuna aktarır.

Sonraki adımlar/Daha fazla bilgi

Bu laboratuvar, Qwik Starts laboratuvar serisinin bir parçasıdır. Bu laboratuvarlar, Google Cloud'daki pek çok özelliği biraz olsun tanıtabilmek için tasarlamıştır. Katılabileceğiniz bir sonraki laboratuvarı bulmak için Google Cloud Öğrenim Merkezi kataloğunda "Qwik Starts" araması yapın.

Google Cloud eğitimi ve sertifikası

...Google Cloud teknolojilerinden en iyi şekilde yararlanmanıza yardımcı olur. Derslerimizde teknik becerilere odaklanırken en iyi uygulamalara da yer veriyoruz. Gerekli yetkinlik seviyesine hızlıca ulaşmanız ve öğrenim maceranızı sürdürebilmeniz için sizlere yardımcı olmayı amaçlıyoruz. Temel kavramlardan ileri seviyeye kadar farklı eğitim programlarımız mevcut. Ayrıca, yoğun gündeminize uyması için talep üzerine sağlanan, canlı ve sanal eğitim alternatiflerimiz de var. Sertifikasyonlar ise Google Cloud teknolojilerindeki becerilerinizi ve uzmanlığınızı doğrulamanıza ve kanıtlamanıza yardımcı oluyor.

Kılavuzun Son Güncellenme Tarihi: 4 Şubat 2024

Laboratuvarın Son Test Edilme Tarihi: 10 Kasım 2023

Telif Hakkı 2025 Google LLC. Tüm hakları saklıdır. Google ve Google logosu, Google LLC şirketinin ticari markalarıdır. Diğer tüm şirket ve ürün adları ilişkili oldukları şirketlerin ticari markaları olabilir.