GSP617

Übersicht

Cloud Logging dient als zentrales Repository für Logs aus verschiedenen Google Cloud-Diensten, einschließlich BigQuery, und eignet sich hervorragend für die kurz‑ bis mittelfristige Logspeicherung. In vielen Branchen müssen Logs längere Zeit aufbewahrt werden. Wenn Sie Logs für eine umfangreichere Verlaufsanalyse oder komplexe Audits speichern möchten, können Sie eine Senke einrichten, um bestimmte Logs nach BigQuery zu exportieren.

In diesem Lab sehen Sie sich die BigQuery-Logs in Cloud Logging an, richten eine Senke ein, um sie nach BigQuery zu exportieren, und nutzen SQL, um die Logs zu analysieren.

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange die Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung selbst durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

Hinweis: Nutzen Sie den privaten oder Inkognitomodus, um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Hinweis: Wenn Sie über ein persönliches Google Cloud-Konto oder -Projekt verfügen, verwenden Sie es nicht für dieses Lab. So werden zusätzliche Kosten für Ihr Konto vermieden.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Pop-up-Fenster geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich Details zum Lab mit diesen Informationen:

   • Schaltfläche Google Cloud Console öffnen
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Ggf. weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite Anmelden geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich Details zum Lab.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich Details zum Lab.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie sich eine Liste der Google Cloud-Produkte und ‑Dienste ansehen möchten, klicken Sie oben links auf das Navigationsmenü.

Cloud Shell aktivieren

Cloud Shell ist eine virtuelle Maschine, auf der Entwicklertools installiert sind. Sie bietet ein Basisverzeichnis mit 5 GB nichtflüchtigem Speicher und läuft auf Google Cloud. Mit Cloud Shell erhalten Sie Befehlszeilenzugriff auf Ihre Google Cloud-Ressourcen.

1. Klicken Sie oben in der Google Cloud Console auf Cloud Shell aktivieren .

Wenn Sie verbunden sind, sind Sie bereits authentifiziert und das Projekt ist auf Ihre Project_ID, eingestellt. Die Ausgabe enthält eine Zeile, in der die Project_ID für diese Sitzung angegeben ist:

Ihr Cloud-Projekt in dieser Sitzung ist festgelegt als {{{project_0.project_id | "PROJECT_ID"}}}

gcloud ist das Befehlszeilentool für Google Cloud. Das Tool ist in Cloud Shell vorinstalliert und unterstützt die Tab-Vervollständigung.

2. (Optional) Sie können den aktiven Kontonamen mit diesem Befehl auflisten:

gcloud auth list

3. Klicken Sie auf Autorisieren.

Ausgabe:

ACTIVE: * ACCOUNT: {{{user_0.username | "ACCOUNT"}}} Um das aktive Konto festzulegen, führen Sie diesen Befehl aus: $ gcloud config set account `ACCOUNT`

4. (Optional) Sie können die Projekt-ID mit diesem Befehl auflisten:

gcloud config list project

Ausgabe:

[core] project = {{{project_0.project_id | "PROJECT_ID"}}} Hinweis: Die vollständige Dokumentation für gcloud finden Sie in Google Cloud in der Übersicht zur gcloud CLI.

Aufgabe 1: BigQuery öffnen

Die BigQuery Console öffnen

1. Klicken Sie in der Google Cloud Console im Navigationsmenü auf BigQuery.

Zuerst wird das Fenster Willkommen bei BigQuery in der Cloud Console geöffnet, das neben allgemeinen Informationen auch einen Link zur Kurzanleitung und zu den Versionshinweisen enthält.

2. Klicken Sie auf Fertig.

Die BigQuery Console wird geöffnet.

Aufgabe 2: Dataset erstellen

1. Klicken Sie unter Explorer auf das Dreipunkt-Menü neben dem Projekt, das mit qwiklabs-gcp- beginnt.

2. Klicken Sie auf Dataset erstellen.

3. Legen Sie als Dataset-ID den Namen bq_logs fest.

4. Klicken Sie auf DATASET ERSTELLEN.

Klicken Sie auf Fortschritt prüfen. Dataset erstellen

Aufgabe 3: Abfrage ausführen

Führen Sie als Erstes eine einfache Abfrage aus, durch die ein Log erstellt wird. Später verwenden Sie dieses Log, um den Export nach BigQuery einzurichten.

1. Kopieren Sie die folgende Abfrage und fügen Sie sie in den BigQuery-Abfrageeditor ein:

SELECT current_date

2. Klicken Sie auf AUSFÜHREN.

Aufgabe 4: Logexport aus Cloud Logging einrichten

1. Klicken Sie in der Cloud Console auf Navigationsmenü > Logging > Log-Explorer.

Hinweis: Wenn Sie auf nicht gespeicherte Arbeit hingewiesen werden, klicken Sie auf VERLASSEN.

2. Wählen Sie unter Ressource die Option BigQuery aus und klicken Sie auf Anwenden.

3. Klicken Sie jetzt oben rechts auf die Schaltfläche Abfrage ausführen.

Die Abfrage sollte einige Logeinträge liefern.

Suchen Sie den Eintrag, der den Ausdruck „jobcompleted“ enthält.

4. Klicken Sie links davon auf den Pfeil, um den Eintrag zu maximieren.

Klicken Sie jetzt rechts auf die Schaltfläche Verschachtelte Felder maximieren.

Dadurch wird der vollständige JSON-Logeintrag angezeigt. Scrollen Sie nach unten und sehen Sie sich die unterschiedlichen Felder an.

5. Scrollen Sie wieder nach oben zum Header des Eintrags, klicken Sie auf jobcompleted und wählen Sie Übereinstimmende Einträge anzeigen aus.

Dadurch wird die Suche mit den korrekten Begriffen durchgeführt. Möglicherweise müssen Sie sie über die Schaltfläche Suchanfrage anzeigen einblenden.

Senke erstellen

Nachdem Sie nun die benötigten Logs haben, können Sie eine Senke einrichten.

1. Klicken Sie im Drop-down-Menü Weitere Aktionen auf Senke erstellen.

2. Füllen Sie die Felder so aus:

• Name der Senke: JobComplete. Klicken Sie auf WEITER.
• Senkendienst auswählen: BigQuery dataset.
• BigQuery-Dataset auswählen (Ziel): bq_logs (das zuvor eingerichtete Dataset).
• Behalten Sie in allen anderen Feldern die Standardwerte bei.

3. Klicken Sie auf SENKE ERSTELLEN.

Neue Logeinträge aus BigQuery werden nun in eine Tabelle im Dataset bq_logs exportiert.

Klicken Sie auf Fortschritt prüfen. Senke erstellen

Aufgabe 5: Beispielabfragen ausführen

Führen Sie Beispielabfragen aus, um Logs in die neue Tabelle zu laden.

• Rufen Sie Cloud Shell auf und fügen Sie die folgenden BigQuery-Befehle ein:

bq query --location=us --use_legacy_sql=false --use_cache=false \ 'SELECT fullName, AVG(CL.numberOfYears) avgyears FROM `qwiklabs-resources.qlbqsamples.persons_living`, UNNEST(citiesLived) as CL GROUP BY fullname' bq query --location=us --use_legacy_sql=false --use_cache=false \ 'select month, avg(mean_temp) as avgtemp from `qwiklabs-resources.qlweather_geo.gsod` where station_number = 947680 and year = 2010 group by month order by month' bq query --location=us --use_legacy_sql=false --use_cache=false \ 'select CONCAT(departure_airport, "-", arrival_airport) as route, count(*) as numberflights from `bigquery-samples.airline_ontime_data.airline_id_codes` ac, `qwiklabs-resources.qlairline_ontime_data.flights` fl where ac.code = fl.airline_code and regexp_contains(ac.airline , r"Alaska") group by 1 order by 2 desc LIMIT 10'

Jede Abfrage sollte Ergebnisse liefern.

Klicken Sie auf Fortschritt prüfen. Beispielabfragen ausführen

Aufgabe 6: Logs in BigQuery ansehen

1. Kehren Sie zu BigQuery zurück (Navigationsmenü > BigQuery).

2. Maximieren Sie die Ressource, deren Name mit qwiklabs-gcp- beginnt, sowie das Dataset bq_logs.

Ihnen sollte eine Tabelle angezeigt werden, deren Name in etwa „cloudaudit_googleapis_com_data_access“ lautet.

Hinweis: Möglicherweise müssen Sie die Beispielabfragen erneut ausführen, damit die Tabelle angezeigt wird.

3. Klicken Sie auf den Namen der Tabelle und sehen Sie sich deren Schema an. Sie werden feststellen, dass sie eine große Anzahl an Feldern umfasst.

Wenn Sie auf Vorschau geklickt haben, aber keine Logs zu den vor Kurzem ausgeführten Abfragen angezeigt werden, liegt dies daran, dass die Logs in die Tabelle gestreamt werden. Dies bedeutet, dass die neuen Daten zwar abgefragt werden können, es aber einige Zeit dauert, bis sie in der Vorschau zu sehen sind.

Sie können die Tabelle besser nutzbar machen, indem Sie eine ANSICHT erstellen. Dafür wird dann eine Teilmenge der Felder abgerufen und einige Berechnungen werden durchgeführt, um einen Messwert für die Abfragezeit zu erhalten.

4. Klicken Sie auf Neue Abfrage erstellen. Führen Sie im BigQuery-Abfrageeditor den folgenden SQL-Code aus, wobei Sie durch den Namen Ihres Projekts ersetzen. Die Projekt-ID können Sie ganz einfach aus dem Bereich Details zum Lab auf der linken Seite kopieren:

CREATE OR REPLACE VIEW bq_logs.v_querylogs AS SELECT resource.labels.project_id, protopayload_auditlog.authenticationInfo.principalEmail, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobConfiguration.query.query, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobConfiguration.query.statementType, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatus.error.message, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.startTime, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.endTime, TIMESTAMP_DIFF(protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.endTime, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.startTime, MILLISECOND)/1000 AS run_seconds, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalProcessedBytes, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalSlotMs, ARRAY(SELECT as STRUCT datasetid, tableId FROM UNNEST(protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.referencedTables)) as tables_ref, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalTablesProcessed, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.queryOutputRowCount, severity FROM `<YOUR-PROJECT-ID>.bq_logs.cloudaudit_googleapis_com_data_access_*` ORDER BY startTime

Klicken Sie auf Fortschritt prüfen. Logs in BigQuery ansehen

5. Fragen Sie nun die ANSICHT ab. Erstellen Sie eine neue Abfrage und führen Sie den folgenden Befehl aus:

SELECT * FROM bq_logs.v_querylogs

6. Scrollen Sie durch die Ergebnisse der ausgeführten Abfragen.

Das wars! Sie haben das Lab erfolgreich abgeschlossen.

Sie haben BigQuery-Logs aus Cloud Logging in eine BigQuery-Tabelle exportiert und sie dann mit SQL analysiert.

Weitere Informationen

• Dokumentation zu Cloud Logging
• BigQuery-Dokumentation

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Anleitung zuletzt am 5. Februar 2024 aktualisiert

Lab zuletzt am 27. September 2023 getestet

© 2024 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.