개요

이 실습에서는 Covertype 데이터 세트를 활용하며 TFX를 사용해 데이터 세트를 분석, 이해, 사전 처리하고 지도 제작 지형지물에서 삼림 식생 유형을 예측하는 다중 클래스 분류 모델을 배포합니다.

목표

• TFX 파이프라인 구성요소를 개괄적으로 이해합니다.
• TFX 대화형 컨텍스트를 사용하여 TFX 파이프라인의 프로토타입을 개발하는 방법을 알아봅니다.
• TensorFlow 데이터 검사(TFDV) 라이브러리를 사용하여 입력 데이터를 확인하고 분석합니다.
• 확장 가능한 데이터 처리와 특성 변환에 Tensorflow Transform(TFT) 라이브러리를 활용합니다.
• Tensorflow Model Analysis(TFMA) 라이브러리를 이용하여 모델을 평가합니다.

설정

각 실습에서는 정해진 기간 동안 새 Google Cloud 프로젝트와 리소스 집합이 무료로 제공됩니다.

1. 시크릿 창을 사용하여 Qwiklabs에 로그인합니다.

2. 실습 사용 가능 시간(예: 1:15:00)을 참고하여 해당 시간 내에 완료합니다.
   일시중지 기능은 없습니다. 필요한 경우 다시 시작할 수 있지만 처음부터 시작해야 합니다.

3. 준비가 되면 실습 시작을 클릭합니다.

4. 실습 사용자 인증 정보(사용자 이름 및 비밀번호)를 기록해 두세요. Google Cloud Console에 로그인합니다.

5. Google Console 열기를 클릭합니다.

6. 다른 계정 사용을 클릭한 다음, 안내 메시지에 이 실습에 대한 사용자 인증 정보를 복사하여 붙여넣습니다.
   다른 사용자 인증 정보를 사용하는 경우 오류가 발생하거나 요금이 부과됩니다.

7. 약관에 동의하고 리소스 복구 페이지를 건너뜁니다.

Cloud Shell 활성화

Cloud Shell은 여러 개발 도구가 포함된 가상 머신입니다. 5GB의 영구적인 홈 디렉터리를 제공하며 Google Cloud에서 실행됩니다. Cloud Shell을 사용하면 명령줄을 통해 Google Cloud 리소스에 액세스할 수 있습니다. gcloud는 Google Cloud의 명령줄 도구입니다. Cloud Shell에 사전 설치되어 있으며 탭 자동 완성을 지원합니다.

1. Google Cloud Console의 탐색창에서 Cloud Shell 활성화()를 클릭합니다.

2. 계속을 클릭합니다.
   환경을 프로비저닝하고 연결하는 데는 몇 분 정도 소요됩니다. 연결되면 사용자 인증도 처리되어 프로젝트가 PROJECT_ID로 설정됩니다. 예를 들면 다음과 같습니다.

샘플 명령어

• 활성 계정 이름을 나열합니다.

gcloud auth list

(출력)

Credentialed accounts: - <myaccount>@<mydomain>.com (active)

(출력 예시)

Credentialed accounts: - google1623327_student@qwiklabs.net

• 프로젝트 ID를 나열합니다.

gcloud config list project

(출력)

[core] project = <project_ID>

(출력 예시)

[core] project = qwiklabs-gcp-44776a13dea667a6

작업 1. 클라우드 서비스 사용 설정하기

1. Cloud Shell에서 아래 명령어를 실행하여 Google Cloud 프로젝트에 프로젝트 ID를 설정합니다.

PROJECT_ID={{{project_0.project_id|Project ID}}} gcloud config set project $PROJECT_ID

2. 그런 다음, 다음 명령을 실행하여 필요한 클라우드 서비스를 사용 설정합니다.

gcloud services enable \ cloudbuild.googleapis.com \ container.googleapis.com \ cloudresourcemanager.googleapis.com \ iam.googleapis.com \ containerregistry.googleapis.com \ containeranalysis.googleapis.com \ ml.googleapis.com \ dataflow.googleapis.com \ notebooks.googleapis.com

3. 다음으로, Cloud Build 서비스 계정에 편집자 권한을 추가합니다.

PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format="value(projectNumber)") CLOUD_BUILD_SERVICE_ACCOUNT="${PROJECT_NUMBER}@cloudbuild.gserviceaccount.com" gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$CLOUD_BUILD_SERVICE_ACCOUNT \ --role roles/editor

4. 이제, 커스텀 서비스 계정을 만들고 파이프라인 초매개변수 미세 조정을 위해 CAIP 학습 작업에 AI Platform Vizier 서비스에 대한 액세스 권한을 부여합니다.

SERVICE_ACCOUNT_ID=tfx-tuner-caip-service-account gcloud iam service-accounts create $SERVICE_ACCOUNT_ID \ --description="A custom service account for CAIP training job to access AI Platform Vizier service for pipeline hyperparameter tuning." \ --display-name="TFX Tuner CAIP Vizier"

5. 파이프라인 초매개변수 조정을 위해 AI Platform 서비스 계정에 AI Platform Vizier 서비스에 대한 추가 액세스 권한을 부여합니다.

PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format="value(projectNumber)") CAIP_SERVICE_ACCOUNT="service-${PROJECT_NUMBER}@cloud-ml.google.com.iam.gserviceaccount.com" gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$CAIP_SERVICE_ACCOUNT \ --role=roles/storage.objectAdmin gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$CAIP_SERVICE_ACCOUNT \ --role=roles/ml.admin

6. 서비스 계정에 스토리지 관리자 역할에 대한 액세스 권한을 부여합니다.

SERVICE_ACCOUNT_ID=tfx-tuner-caip-service-account gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:${SERVICE_ACCOUNT_ID}@${PROJECT_ID}.iam.gserviceaccount.com \ --role=roles/storage.objectAdmin

7. 서비스 계정에 AI Platform Vizier 역할에 대한 액세스 권한을 부여합니다.

gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:${SERVICE_ACCOUNT_ID}@${PROJECT_ID}.iam.gserviceaccount.com \ --role=roles/ml.admin

8. 프로젝트의 AI Platform Google 관리형 서비스 계정에 AI Platform 서비스 계정에 대한 서비스 계정 관리자 역할을 부여합니다.

gcloud iam service-accounts add-iam-policy-binding \ --role=roles/iam.serviceAccountAdmin \ --member=serviceAccount:service-${PROJECT_NUMBER}@cloud-ml.google.com.iam.gserviceaccount.com \ ${SERVICE_ACCOUNT_ID}@${PROJECT_ID}.iam.gserviceaccount.com

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. 클라우드 서비스 사용 설정하기

작업 2. AI Platform Pipelines 인스턴스 만들기

1. 탐색 메뉴에서 AI Platform이 나올 때까지 아래로 스크롤한 후 나중에 실습에서 간편하게 액세스할 수 있도록 해당 섹션을 고정합니다.

2. 파이프라인을 클릭합니다.

3. 그런 다음 새 인스턴스를 클릭합니다.

4. 구성을 클릭합니다.

5. Kubeflow Pipelines 페이지에서 다음 Cloud API에 대한 액세스 허용을 선택하고 이름은 그대로 둡니다. 그런 다음 새 클러스터 만들기를 클릭합니다.

완료되는 데 2~3분 정도 걸립니다. 클러스터가 완료되기를 기다린 후 다음 단계로 넘어갑니다. 열려 있는 첫 번째 탭의 Cloud Console GKE 섹션에서 클러스터 생성이 진행되는 과정을 확인하거나 Cloud Console GCE 섹션에서 개별 VM이 돌아가는지 확인할 수 있습니다.

6. 클러스터 생성이 완료되면 서비스 약관 상자를 선택하고, 다른 설정은 변경하지 말고 그대로 둔 다음 배포를 클릭합니다. KFP 개별 서비스가 GKE 클러스터에 배포되었음을 확인할 수 있습니다.

설치가 진행되는 동안 다음 단계로 이동합니다.

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. AI Platform Pipelines 인스턴스 만들기

작업 3. Cloud AI Platform Notebooks 인스턴스 만들기

1. Cloud Shell에서 다음 명령어를 실행하여 사용자 관리형 노트북을 만듭니다.

gcloud notebooks instances create tfx-on-googlecloud --vm-image-project=deeplearning-platform-release --vm-image-family=tf2-2-3-cpu --machine-type=e2-medium --location={{{project_0.default_zone|zone_to_be_set}}}

2. 탐색 메뉴를 클릭합니다. Vertex AI, Workbench로 차례로 이동합니다.

3. 사용자 관리형 Notebooks를 클릭합니다.

   노트북 생성을 완료하는 데 2~3분 정도 걸립니다.

4. 내 노트북 이름 옆에 있는 JupyterLab 열기를 클릭합니다. JupyterLab 창이 새 탭에서 열립니다.

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. Cloud AI Platform Notebooks 인스턴스 만들기

작업 4. AI Platform Notebooks 인스턴스 내에서 예시 저장소 클론하기

JupyterLab 인스턴스로 mlops-on-gcp 노트북을 클론하려면 다음을 수행합니다.

1. JupyterLab에서 터미널 아이콘을 클릭하여 새 터미널을 엽니다.

2. 명령줄 프롬프트에 다음 명령어를 입력하고 Enter를 누릅니다.

   git clone https://github.com/GoogleCloudPlatform/mlops-on-gcp 참고: 클론된 저장소가 JupyterLab UI에 표시되지 않는 경우에는 상단 메뉴의 Git > Clone a repository(저장소 클론)에서 UI를 사용해 저장소를 클론(https://github.com/GoogleCloudPlatform/mlops-on-gcp)하면 됩니다.

   

3. mlops-on-gcp 디렉터리를 더블클릭하고 디렉터리의 콘텐츠를 볼 수 있는지 확인하여 저장소가 클론되었는지 확인합니다. 이 과정의 모든 Jupyter 노트북 기반 실습 파일은 이 디렉터리에서 확인할 수 있습니다.

예시 노트북으로 이동

1. JupyterLab에서 터미널을 열고 다음 명령어를 실행합니다.

cd mlops-on-gcp/workshops/tfx-caip-tf23 ./install.sh 참고: PIP 비호환성 경고 및 404 클라이언트 오류는 무시해도 됩니다.

2. 이제 AI Platform Notebooks에서 mlops-on-gcp/workshops/tfx-caip-tf23/lab-01-tfx-walkthrough/labs로 이동하여 lab-01.ipynb를 엽니다.

3. 노트북의 셀을 모두 지우고('수정' > '모든 출력 지우기') 셀을 하나씩 '실행'합니다.

4. 메시지가 표시되면 다음 안내를 다시 참고하여 진행 상황을 확인합니다.

도움이 더 필요하다면 mlops-on-gcp/workshops/tfx-caip-tf23/lab-01-tfx-walkthrough/solutions로 이동하여 전체 솔루션을 살펴보고 lab-01.ipynb를 엽니다.

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. AI Platform Notebooks 인스턴스 내에서 예시 저장소 클론하기

작업 5. Cloud에서 학습 작업 실행하기

완료된 작업 테스트 - CsvExampleGen 구성 및 실행하기

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. CsvExampleGen 구성 및 실행하기

완료된 작업 테스트 - 학습 구성요소 만들기 및 실행하기

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. 학습 구성요소 만들기 및 실행하기

수고하셨습니다

이것으로 TFX 파이프 구성요소를 소개하는 둘러보기를 마칩니다. 이 실습에서는 TFX를 사용해 데이터 세트를 분석, 이해, 사전 처리하고 지도 제작 지형지물에서 삼림 식생 유형을 예측하는 다중 클래스 분류 모델을 배포했습니다.

실습 종료

실습을 완료하면 실습 종료를 클릭합니다. Qwiklabs에서 사용된 리소스를 자동으로 삭제하고 계정을 지웁니다.

실습 경험을 평가할 수 있습니다. 해당하는 별표 수를 선택하고 의견을 입력한 후 제출을 클릭합니다.

별점의 의미는 다음과 같습니다.

• 별표 1개 = 매우 불만족
• 별표 2개 = 불만족
• 별표 3개 = 중간
• 별표 4개 = 만족
• 별표 5개 = 매우 만족

의견을 제공하고 싶지 않다면 대화상자를 닫으면 됩니다.

의견이나 제안 또는 수정할 사항이 있다면 지원 탭을 사용하세요.

Copyright 2020 Google LLC All rights reserved. Google 및 Google 로고는 Google LLC의 상표입니다. 기타 모든 회사명 및 제품명은 해당 업체의 상표일 수 있습니다.