GSP196

Genel bakış

Bu laboratuvarda, CSV metin dosyalarındaki verileri Cloud SQL'e aktaracak, ardından basit sorgular kullanarak bazı temel veri analizleri gerçekleştireceksiniz.

Bu laboratuvarda kullanılan veri kümesi ABD Ulaşım İstatistikleri Bürosu'ndan alınmıştır ve ABD'deki yurt içi uçuşlarla ilgili geçmiş bilgileri içerir. Veri bilimi alanına ait birçok kavram ve tekniği açıklamak için kullanılabilen bu veri kümesinden, Google Cloud Platform'da Veri Bilimi görevi kapsamındaki tüm laboratuvarlarda yararlanılır.

Hedefler

• Cloud SQL örneği oluşturma
• Cloud SQL veritabanı oluşturma
• Metin verilerini Cloud SQL'e aktarma
• Sorguları kullanarak ilk veri modeli oluşturma

Kurulum ve gereksinimler

Laboratuvarı Başlat düğmesini tıklamadan önce

Buradaki talimatları okuyun. Laboratuvarlar süreli olduğundan duraklatılamaz. Laboratuvarı Başlat'ı tıkladığınızda başlayan zamanlayıcı, Google Cloud kaynaklarının ne süreyle kullanımınıza açık durumda kalacağını gösterir.

Bu uygulamalı laboratuvarı kullanarak, laboratuvar etkinliklerini gerçek bir bulut ortamında (Simülasyon veya demo ortamında değil.) gerçekleştirebilirsiniz. Bu olanağın sunulabilmesi için size yeni, geçici kimlik bilgileri verilir. Bu kimlik bilgilerini laboratuvar süresince Google Cloud'da oturum açmak ve Google Cloud'a erişmek için kullanırsınız.

Bu laboratuvarı tamamlamak için şunlar gerekir:

• Standart bir internet tarayıcısına erişim (Chrome Tarayıcı önerilir).

Not: Bu laboratuvarı çalıştırmak için tarayıcıyı gizli pencerede açın. Aksi takdirde, kişisel hesabınızla öğrenci hesabınız arasında oluşabilecek çakışmalar nedeniyle kişisel hesabınızdan ek ücret alınabilir.

• Laboratuvarı tamamlamak için yeterli süre. (Laboratuvarlar, başlatıldıktan sonra duraklatılamaz)

Not: Kişisel bir Google Cloud hesabınız veya projeniz varsa bu laboratuvarda kullanmayın. Aksi takdirde hesabınızdan ek ücret alınabilir.

Laboratuvarınızı başlatma ve Google Cloud Console'da oturum açma

1. Laboratuvarı Başlat düğmesini tıklayın. Laboratuvar için ödeme yapmanız gerekiyorsa ödeme yöntemini seçebileceğiniz bir pop-up açılır. Soldaki Laboratuvar Ayrıntıları panelinde şunlar yer alır:

   • Google Cloud Console'u aç düğmesi
   • Kalan süre
   • Bu laboratuvarda kullanmanız gereken geçici kimlik bilgileri
   • Bu laboratuvarda ilerlemek için gerekebilecek diğer bilgiler

2. Google Cloud Console'u aç'ı tıklayın (veya Chrome Tarayıcı'yı kullanıyorsanız sağ tıklayıp Bağlantıyı gizli pencerede aç'ı seçin).

   Laboratuvar, kaynakları çalıştırır ve sonra Oturum açın sayfasını gösteren başka bir sekme açar.

   İpucu: Sekmeleri ayrı pencerelerde, yan yana açın.

   Not: Hesap seçin iletişim kutusunu görürseniz Başka bir hesap kullan'ı tıklayın.

3. Gerekirse aşağıdaki kullanıcı adını kopyalayıp Oturum açın iletişim kutusuna yapıştırın.

   {{{user_0.username | "Username"}}}

   Kullanıcı adını Laboratuvar ayrıntıları panelinde de bulabilirsiniz.

4. İleri'yi tıklayın.

5. Aşağıdaki şifreyi kopyalayıp Hoş geldiniz iletişim kutusuna yapıştırın.

   {{{user_0.password | "Password"}}}

   Şifreyi Laboratuvar ayrıntıları panelinde de bulabilirsiniz.

6. İleri'yi tıklayın.

   Önemli: Laboratuvarın sizinle paylaştığı giriş bilgilerini kullanmanız gerekir. Google Cloud hesabınızın kimlik bilgilerini kullanmayın. Not: Bu laboratuvarda kendi Google Cloud hesabınızı kullanabilmek için ek ücret ödemeniz gerekebilir.

7. Sonraki sayfalarda ilgili düğmeleri tıklayarak ilerleyin:

   • Şartları ve koşulları kabul edin.
   • Geçici bir hesap kullandığınızdan kurtarma seçenekleri veya iki faktörlü kimlik doğrulama eklemeyin.
   • Ücretsiz denemelere kaydolmayın.

Birkaç saniye sonra Google Cloud Console bu sekmede açılır.

Not: Google Cloud ürün ve hizmetlerinin listelendiği menüyü görmek için sol üstteki Gezinme menüsü'nü tıklayın.

Cloud Shell'i etkinleştirme

Cloud Shell, çok sayıda geliştirme aracı içeren bir sanal makinedir. 5 GB boyutunda kalıcı bir ana dizin sunar ve Google Cloud üzerinde çalışır. Cloud Shell, Google Cloud kaynaklarınıza komut satırı erişimi sağlar.

1. Google Cloud Console'un üst kısmından Cloud Shell'i etkinleştir simgesini tıklayın.

Bağlandığınızda, kimliğiniz doğrulanmış olur. Proje ise PROJECT_ID'nize göre ayarlanmıştır. Çıkış, bu oturum için PROJECT_ID'yi tanımlayan bir satır içerir:

Your Cloud Platform project in this session is set to YOUR_PROJECT_ID

gcloud, Google Cloud'un komut satırı aracıdır. Cloud Shell'e önceden yüklenmiştir ve sekmeyle tamamlamayı destekler.

2. (İsteğe bağlı) Etkin hesap adını şu komutla listeleyebilirsiniz:

gcloud auth list

3. Yetkilendir'i tıklayın.

4. Çıkışınız aşağıdaki gibi görünecektir:

Çıkış:

ACTIVE: * ACCOUNT: student-01-xxxxxxxxxxxx@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (İsteğe bağlı) Proje kimliğini şu komutla listeleyebilirsiniz:

gcloud config list project

Çıkış:

[core] project = <project_ID>

Örnek çıkış:

[core] project = qwiklabs-gcp-44776a13dea667a6 Not: gcloud ile ilgili tüm belgeleri, Google Cloud'daki gcloud CLI'ya genel bakış rehberinde bulabilirsiniz.

1. görev: Ortamınızı hazırlayın

Bu laboratuvar, O'Reilly Media, Inc. tarafından yayınlanan Data Science on Google Cloud Platform, 2nd Edition (Google Cloud Platform'da Veri Bilimi, 2. Baskı) kitabı için geliştirilmiş bir grup kod örneğinden ve komut dosyasından yararlanır. Laboratuvar, "Creating Compelling Dashboard" (İlgi Çekici Kontrol Panelleri Oluşturma) başlıklı Bölüm 3'ün ilk kısmında ele alınan Google Cloud SQL'i yapılandırma ve veri görevlerini içe aktarma işlemlerini kapsar. Bölüm 2'de kullanılan örnek depoyu Github'dan Cloud Shell'e klonlayıp laboratuvar görevlerinin tümünü buradan gerçekleştireceksiniz.

Google Cloud Repository'den Veri Bilimi Deposunu Klonlama

1. Cloud Shell'de depoyu klonlamak için aşağıdaki komutları girin:

git clone \ https://github.com/GoogleCloudPlatform/data-science-on-gcp/

2. Depo dizinini şu şekilde değiştirin:

cd data-science-on-gcp/03_sqlstudio

3. Laboratuvarın ilerleyen bölümlerinde proje kimliğiniz için kullanılacak ortam değişkenlerini ve verilerinizi kapsayacak depolama paketini oluşturun:

export PROJECT_ID=$(gcloud info --format='value(config.project)') export BUCKET=${PROJECT_ID}-ml

4. Dosyayı Cloud Storage paketinde saklamak için aşağıdaki komutu girin:

gsutil cp create_table.sql \ gs://$BUCKET/create_table.sql

2. görev: Cloud SQL örneği oluşturma

1. Cloud SQL örneği oluşturmak için aşağıdaki komutları girin:

gcloud sql instances create flights \ --database-version=POSTGRES_13 --cpu=2 --memory=8GiB \ --region={{{project_0.default_region | "REGION"}}} --root-password=Passw0rd

Bu işlemin tamamlanması birkaç dakika sürebilir.

Tamamlanan görevi test etme

Yerine getirdiğiniz görevi doğrulamak için İlerleme durumumu kontrol et'i tıklayın. Cloud SQL örneğini başarıyla oluşturduysanız bir değerlendirme puanı görürsünüz.

Cloud SQL örneği oluşturun.

2. Cloud Shell IP adresiyle bir ortam değişkeni oluşturun:

export ADDRESS=$(curl -s http://ipecho.net/plain)/32

3. SQL örneğinize yönetim erişimi sağlamak için Cloud Shell örneğini izin verilenler listesine ekleyin:

gcloud sql instances patch flights --authorized-networks $ADDRESS

4. İstendiğinde, yapılan değişikliği kabul etmek için Y tuşuna basın.

Tamamlanan görevi test etme

Yerine getirdiğiniz görevi doğrulamak için İlerleme durumumu kontrol et'i tıklayın. SQL örneğine erişmek için Cloud Shell'i izin verilenler listesine başarıyla eklediyseniz bir değerlendirme puanı görürsünüz.

SQL örneğinize erişmek için Cloud Shell örneğini izin verilenler listesine ekleme

Veritabanı ve tablo oluşturma

Verileri bir Postgres tablosuna aktarmak için öncelikle boş bir veritabanı ve doğru şemayı kullanarak bir tablo oluşturmanız gerekir.

1. Cloud Console'un gezinme menüsünde () SQL'i tıklayın.

2. Bir örneğin Genel bakış sayfasını açmak için flights örnek adını tıklayın.

3. Soldaki SQL gezinme menüsünde, Databases'i (Veritabanları) tıklayın.

4. Create database'i (Veritabanı oluştur) tıklayın.

5. Yeni veritabanı iletişim kutusuna veritabanı adı olarak bts girin.

6. Create'i (Oluştur) tıklayın.

7. Bir örneğin Genel bakış sayfasını açmak için SQL gezinme menüsünden Overview'i (Genel bakış) seçin.

8. Üst tarafta, IMPORT'u (İÇE AKTAR) seçin.

9. Cloud Storage dosyası alanında Browse'u (Göz at) tıklayın.

10. Buckets (Paketler) bölümünde, paket adınızın karşısındaki oku tıklayın.

11. create_table.sql dosyasını seçin.

12. Select'i (Seç) tıklayın.

13. File format (Dosya biçimi) bölümünde SQL'i seçin.

14. Cloud SQL örneğinizde bts veritabanını belirleyin.

15. İçe aktarma işlemini başlatmak için Import'u (İçe aktar) tıklayın.

Boş tablo birkaç saniye içinde oluşturulacaktır.

Tamamlanan görevi test etme

Yerine getirdiğiniz görevi doğrulamak için İlerleme durumumu kontrol et'i tıklayın. create_table.sql dosyasından yararlanarak bts veritabanını ve uçuş tablosunu başarıyla oluşturduysanız bir değerlendirme puanı görürsünüz.

create_table.sql dosyasından yararlanarak bts veritabanını ve flights tablosunu oluşturma

3. görev: Cloud SQL örneğine verileri ekleme

Boş veritabanını ve tabloyu oluşturdunuz. Şimdi de CSV dosyalarını bu tabloya yükleyeceksiniz. Paketinizdeki 201501.csv dosyasını bulup biçim olarak CSV, veritabanı olarak bts, tablo olarak da flights girip Ocak verilerini yüklersiniz.

1. Cloud SQL örneği sayfanızda IMPORT'u (İÇE AKTAR) tıklayın.

2. Cloud Storage dosyası alanında Browse'u (Göz at) tıklayın, ardından paket adınızın karşısındaki oku ve 201501.csv'yi tıklayın.

3. Select'i (Seç) tıklayın.

4. Dosya biçimi olarak CSV'yi seçin.

5. bts veritabanını seçin ve tablonuz olarak flights yazın.

6. IMPORT'u (İÇE AKTAR) tıklayın:

4. görev: Veritabanıyla etkileşimde bulunma

1. Aşağıdaki komutu kullanarak Cloud Shell'den Cloud SQL örneğine bağlanın:

gcloud sql connect flights --user=postgres

2. Şifre istendiğinde Passw0rd değerini girin. Yazarken harfleri görmeyebilirsiniz.

3. Açılan komut isteminde bts veritabanına bağlanın:

\c bts;

4. Şifre istendiğinde Passw0rd değerini girin.

5. Ardından, en yoğun 5 havaalanını getirmek için bir sorgu çalıştırın:

SELECT "Origin", COUNT(*) AS num_flights FROM flights GROUP BY "Origin" ORDER BY num_flights DESC LIMIT 5;

Veritabanı görece küçük olduğundan (yalnızca Ocak), bu sorgu etkili olsa da başka aylar eklendikçe veritabanı yavaşlayacaktır.

İlişkisel veritabanları, verilerin küçük bir alt kümesini getiren anlık sorgular gerçekleştirdiğiniz küçük veritabanları için uygundur. Daha büyük veritabanları için ilgili sütunları dizine ekleyerek ilişkisel veritabanının performansını ayarlayabilirsiniz. Dahası, ilişkisel veritabanları genellikle işlemleri desteklediğinden ve güçlü tutarlılığı garanti ettiğinden, sık güncellenen veriler için mükemmel bir seçenektir.

Buna karşın, aşağıdaki durumlarda ilişkisel veritabanları iyi bir seçenek değildir:

• Verileriniz genelde salt okunur durumdaysa
• Veri kümelerinizin boyutları terabayt aralığına giriyorsa
• Tablonun tamamını taramanız gerekiyorsa (örneğin, bir sütunun maksimum değerini hesaplamak için) veya veri akış hızınız yüksekse

Bu, uçuş gecikmesi kullanım alanını tanımlar. Bu durumda, ilişkisel veritabanından analiz veri ambarına, yani BigQuery'ye geçin. Analiz veri ambarı hem SQL kullanmamıza olanak sağlar hem de büyük veri kümeleriyle ve anlık sorgularla (yani, sütunların dizine eklenmesi gerekmeden) çalışmak için daha uygundur.

Tebrikler!

Artık nasıl tablo oluşturacağınızı ve Cloud Storage'da depolanan metin verilerini Google Cloud SQL'e nasıl aktaracağınızı biliyorsunuz.

Sonraki adımlar / Daha fazla bilgi

Buradan sonra aşağıdaki adımlarla devam edebilirsiniz:

• Data Science on the Google Cloud Platform, 2nd Edition: O'Reilly Media, Inc.

Google Cloud eğitimi ve sertifikası

...Google Cloud teknolojilerinden en iyi şekilde yararlanmanıza yardımcı olur. Derslerimizde teknik becerilere odaklanırken en iyi uygulamalara da yer veriyoruz. Gerekli yetkinlik seviyesine hızlıca ulaşmanız ve öğrenim maceranızı sürdürebilmeniz için sizlere yardımcı olmayı amaçlıyoruz. Temel kavramlardan ileri seviyeye kadar farklı eğitim programlarımız mevcut. Ayrıca, yoğun gündeminize uyması için talep üzerine sağlanan, canlı ve sanal eğitim alternatiflerimiz de var. Sertifikasyonlar ise Google Cloud teknolojilerindeki becerilerinizi ve uzmanlığınızı doğrulamanıza ve kanıtlamanıza yardımcı oluyor.

Kılavuzun Son Güncellenme Tarihi: 28 Kasım 2023

Laboratuvarın Son Test Edilme Tarihi: 28 Kasım 2023

Telif Hakkı 2024 Google LLC Tüm hakları saklıdır. Google ve Google logosu, Google LLC şirketinin ticari markalarıdır. Diğer tüm şirket ve ürün adları ilişkili oldukları şirketlerin ticari markaları olabilir.