Francisco Colomer
Membro dal giorno 2023
Membro dal giorno 2023
Questo corso adotta un approccio pratico reale al flusso di lavoro ML attraverso un case study. Un team ML è chiamato a rispondere a numerosi requisiti aziendali e ad affrontare vari casi d'uso ML. Deve comprendere gli strumenti necessari per la gestione e la governance dei dati e considerare l'approccio migliore per la pre-elaborazione dei dati. Al team vengono presentate tre opzioni per creare modelli ML per due casi d'uso. Il corso spiega perché il team utilizzerà AutoML, BigQuery ML o l'addestramento personalizzato per raggiungere i propri obiettivi.
This course explores what ML is and what problems it can solve. The course also discusses best practices for implementing machine learning. You’re introduced to Vertex AI, a unified platform to quickly build, train, and deploy AutoML machine learning models. The course discusses the five phases of converting a candidate use case to be driven by machine learning, and why it’s important to not skip them. The course ends with recognizing the biases that ML can amplify and how to recognize them.
Complete the intermediate Engineer Data for Predictive Modeling with BigQuery ML skill badge to demonstrate skills in the following: building data transformation pipelines to BigQuery using Dataprep by Trifacta; using Cloud Storage, Dataflow, and BigQuery to build extract, transform, and load (ETL) workflows; and building machine learning models using BigQuery ML. A skill badge is an exclusive digital badge issued by Google Cloud in recognition of your proficiency with Google Cloud products and services and tests your ability to apply your knowledge in an interactive hands-on environment. Complete the skill badge course, and final assessment challenge lab, to receive a digital badge that you can share with your network.
Complete the intermediate Build a Data Warehouse with BigQuery skill badge to demonstrate skills in the following: joining data to create new tables, troubleshooting joins, appending data with unions, creating date-partitioned tables, and working with JSON, arrays, and structs in BigQuery. A skill badge is an exclusive digital badge issued by Google Cloud in recognition of your proficiency with Google Cloud products and services and tests your ability to apply your knowledge in an interactive hands-on environment. Complete the skill badge course, and final assessment challenge lab, to receive a digital badge that you can share with your network. For practice with BigQuery fundamentals (including working with the console and command line), complete the course titled BigQuery Basics for Data Analysts.
Complete the introductory Prepare Data for ML APIs on Google Cloud skill badge to demonstrate skills in the following: cleaning data with Dataprep by Trifacta, running data pipelines in Dataflow, creating clusters and running Apache Spark jobs in Dataproc, and calling ML APIs including the Cloud Natural Language API, Google Cloud Speech-to-Text API, and Video Intelligence API. A skill badge is an exclusive digital badge issued by Google Cloud in recognition of your proficiency with Google Cloud products and services and tests your ability to apply your knowledge in an interactive hands-on environment. Complete this skill badge course, and the final assessment challenge lab, to receive a skill badge that you can share with your network.
In the last installment of the Dataflow course series, we will introduce the components of the Dataflow operational model. We will examine tools and techniques for troubleshooting and optimizing pipeline performance. We will then review testing, deployment, and reliability best practices for Dataflow pipelines. We will conclude with a review of Templates, which makes it easy to scale Dataflow pipelines to organizations with hundreds of users. These lessons will help ensure that your data platform is stable and resilient to unanticipated circumstances.
In this second installment of the Dataflow course series, we are going to be diving deeper on developing pipelines using the Beam SDK. We start with a review of Apache Beam concepts. Next, we discuss processing streaming data using windows, watermarks and triggers. We then cover options for sources and sinks in your pipelines, schemas to express your structured data, and how to do stateful transformations using State and Timer APIs. We move onto reviewing best practices that help maximize your pipeline performance. Towards the end of the course, we introduce SQL and Dataframes to represent your business logic in Beam and how to iteratively develop pipelines using Beam notebooks.
This course is part 1 of a 3-course series on Serverless Data Processing with Dataflow. In this first course, we start with a refresher of what Apache Beam is and its relationship with Dataflow. Next, we talk about the Apache Beam vision and the benefits of the Beam Portability framework. The Beam Portability framework achieves the vision that a developer can use their favorite programming language with their preferred execution backend. We then show you how Dataflow allows you to separate compute and storage while saving money, and how identity, access, and management tools interact with your Dataflow pipelines. Lastly, we look at how to implement the right security model for your use case on Dataflow.
L'integrazione del machine learning nelle pipeline di dati aumenta la capacità di estrarre insight dai dati. Questo corso illustra i modi in cui il machine learning può essere incluso nelle pipeline di dati su Google Cloud. Per una personalizzazione minima o nulla, il corso tratta di AutoML. Per funzionalità di machine learning più personalizzate, il corso introduce Notebooks e BigQuery Machine Learning (BigQuery ML). Inoltre, il corso spiega come mettere in produzione soluzioni di machine learning utilizzando Vertex AI.
Le pipeline di dati in genere rientrano in uno dei paradigmi EL (Extract, Load), ELT (Extract, Load, Transform) o ETL (Extract, Transform, Load). Questo corso descrive quale paradigma dovrebbe essere utilizzato e quando per i dati in batch. Inoltre, questo corso tratta diverse tecnologie su Google Cloud per la trasformazione dei dati, tra cui BigQuery, l'esecuzione di Spark su Dataproc, i grafici della pipeline in Cloud Data Fusion e trattamento dati serverless con Dataflow. Gli studenti fanno esperienza pratica nella creazione di componenti della pipeline di dati su Google Cloud utilizzando Qwiklabs.
L'elaborazione dei flussi di dati sta diventando sempre più diffusa poiché la modalità flusso consente alle aziende di ottenere parametri in tempo reale sulle operazioni aziendali. Questo corso tratta la creazione di pipeline di dati in modalità flusso su Google Cloud. Pub/Sub viene presentato come strumento per la gestione dei flussi di dati in entrata. Il corso spiega anche come applicare aggregazioni e trasformazioni ai flussi di dati utilizzando Dataflow e come archiviare i record elaborati in BigQuery o Bigtable per l'analisi. Gli studenti acquisiranno esperienza pratica nella creazione di componenti della pipeline di dati in modalità flusso su Google Cloud utilizzando QwikLabs.
I due componenti chiave di qualsiasi pipeline di dati sono costituiti dai data lake e dai data warehouse. In questo corso evidenzieremo i casi d'uso per ogni tipo di spazio di archiviazione e approfondiremo i dettagli tecnici delle soluzioni di data lake e data warehouse disponibili su Google Cloud. Inoltre, descriveremo il ruolo di un data engineer, illustreremo i vantaggi di una pipeline di dati di successo per le operazioni aziendali ed esamineremo i motivi per cui il data engineering dovrebbe essere eseguito in un ambiente cloud. Questo è il primo corso della serie Data Engineering on Google Cloud. Dopo il completamento di questo corso, iscriviti al corso Building Batch Data Pipelines on Google Cloud.
Questo corso presenta i prodotti e i servizi per big data e di machine learning di Google Cloud che supportano il ciclo di vita dai dati all'IA. Esplora i processi, le sfide e i vantaggi della creazione di una pipeline di big data e di modelli di machine learning con Vertex AI su Google Cloud.
This course helps learners create a study plan for the PDE (Professional Data Engineer) certification exam. Learners explore the breadth and scope of the domains covered in the exam. Learners assess their exam readiness and create their individual study plan.