Checkpoint
Enable the Document AI API.
/ 20
Configure your Vertex AI Workbench instance
/ 20
Make a synchronous process document request.
/ 20
Prepare your environment for asynchronous API calls
/ 20
Make an asynchronous process document request
/ 20
Memproses Dokumen dengan Python Menggunakan Document AI API
- GSP925
- Ringkasan
- Penyiapan dan persyaratan
- Tugas 1. Membuat dan menguji pemroses formulir umum
- Tugas 2. Mengonfigurasi instance Vertex AI Workbench untuk melakukan panggilan Document AI API
- Tugas 3. Membuat permintaan dokumen proses sinkron
- Tugas 4. Menjalankan kode Python Document AI sinkron
- Tugas 5. Membuat pemroses OCR Dokumen untuk Document AI
- Tugas 6. Menyiapkan lingkungan untuk panggilan Document AI API asinkron
- Tugas 7. Membuat permintaan dokumen proses asinkron
- Selamat
GSP925
Ringkasan
Document AI API adalah solusi pemahaman dokumen yang mengambil data tidak terstruktur, seperti dokumen dan email, lalu memudahkan data untuk dipahami, dianalisis, dan digunakan.
Di lab ini, Anda akan menggunakan Document AI API dengan Python untuk membuat berbagai pemroses, termasuk pemroses formulir umum dan pemroses OCR Dokumen, lalu melakukan panggilan sinkron dan asinkron ke API menggunakan Python. Lab ini membuat instance Vertex AI Workbench untuk Anda yang akan Anda gunakan dengan notebook JupyterLab untuk bekerja dengan modul Klien Python untuk Document AI.
Tujuan
Di lab ini, Anda akan mempelajari cara:
- Mengaktifkan Document AI API dan membuat pemroses.
- Menginstal library klien untuk Python pada instance Vertex AI Workbench.
- Mengurai data dari formulir yang dipindai menggunakan Python untuk melakukan panggilan API sinkron.
- Mengurai data dari formulir yang dipindai menggunakan Python untuk melakukan panggilan API asinkron.
Penyiapan dan persyaratan
Sebelum mengklik tombol Mulai Lab
Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer, yang dimulai saat Anda mengklik Start Lab, akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.
Lab praktik ini dapat Anda gunakan untuk melakukan sendiri aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.
Untuk menyelesaikan lab ini, Anda memerlukan:
- Akses ke browser internet standar (disarankan browser Chrome).
- Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.
Mengaktifkan Cloud Shell
Cloud Shell adalah mesin virtual yang dilengkapi dengan berbagai alat pengembangan. Mesin virtual ini menawarkan direktori beranda persisten berkapasitas 5 GB dan berjalan di Google Cloud. Cloud Shell menyediakan akses command-line untuk resource Google Cloud Anda.
- Klik Activate Cloud Shell di bagian atas konsol Google Cloud.
Setelah terhubung, Anda sudah diautentikasi, dan project ditetapkan ke PROJECT_ID Anda. Output berisi baris yang mendeklarasikan PROJECT_ID untuk sesi ini:
gcloud
adalah alat command line untuk Google Cloud. Alat ini sudah terinstal di Cloud Shell dan mendukung pelengkapan command line.
- (Opsional) Anda dapat menampilkan daftar nama akun yang aktif dengan perintah ini:
-
Klik Authorize.
-
Output Anda sekarang akan terlihat seperti ini:
Output:
- (Opsional) Anda dapat menampilkan daftar project ID dengan perintah ini:
Output:
Contoh output:
gcloud
yang lengkap di Google Cloud, baca panduan ringkasan gcloud CLI.
Tugas 1. Membuat dan menguji pemroses formulir umum
Dalam tugas ini, Anda akan mengaktifkan Document AI API dan membuat serta menguji pemroses formulir umum. Pemroses formulir umum akan memproses semua jenis dokumen dan mengekstrak seluruh konten teks yang dapat diidentifikasi dalam dokumen tersebut. Pemroses ini tidak terbatas pada teks cetak, tetapi juga dapat memproses teks tulisan tangan dan teks dengan orientasi apa pun, mendukung sejumlah bahasa, dan memahami bagaimana elemen data formulir saling berhubungan sehingga Anda dapat mengekstrak key-value pair untuk kolom formulir yang memiliki label teks.
Mengaktifkan Cloud Document AI API
Sebelum dapat mulai menggunakan Document AI, Anda harus mengaktifkan API.
-
Pada Konsol Cloud, dari Navigation menu (), klik APIs & services > Library.
-
Cari Cloud Document AI API, lalu klik tombol Enable untuk menggunakan API di project Google Cloud Anda.
Jika Cloud Document AI API telah diaktifkan, Anda akan melihat tombol Manage dan dapat melanjutkan hingga akhir lab.
Membuat pemroses formulir umum
Membuat pemroses Document AI menggunakan parser formulir Document AI.
-
Di konsol, pada Navigation menu (), klik Document AI > Overview.
-
Klik Explore processor dan pilih Form Parser, yang merupakan salah satu jenis pemroses umum.
-
Tetapkan nama pemroses sebagai form-parser, lalu pilih region US (United States) dari daftar.
-
Klik Create untuk membuat pemroses form-parser umum.
Langkah ini akan membuat pemroses dan kembali ke halaman detail pemroses yang akan menampilkan ID, status, dan endpoint prediksi pemroses.
- Catat ID Pemroses karena Anda perlu memperbarui variabel di notebook JupyterLab dengan ID Pemroses di tugas berikutnya.
Tugas 2. Mengonfigurasi instance Vertex AI Workbench untuk melakukan panggilan Document AI API
Selanjutnya, hubungkan ke JupyterLab yang berjalan di instance Vertex AI Workbench yang telah dibuat untuk Anda saat lab ini dimulai, lalu konfigurasi lingkungan tersebut untuk menjalankan tugas lab yang tersisa.
-
Di Konsol Google Cloud, pada Navigation menu, klik Vertex AI > Workbench.
-
Cari instance
lalu klik tombol Open JupyterLab.
Antarmuka JupyterLab untuk instance Workbench Anda akan terbuka di tab browser baru.
-
Klik Terminal untuk membuka shell terminal di dalam instance Vertex AI Workbench.
-
Masukkan perintah berikut di shell terminal untuk mengimpor file lab ke instance Vertex AI Workbench Anda:
- Masukkan perintah berikut di shell terminal untuk menginstal library klien Python yang diperlukan untuk Document AI dan library lain yang diperlukan:
Anda akan melihat output yang menandakan bahwa library telah berhasil diinstal.
- Masukkan perintah berikut di shell terminal untuk mengimpor contoh formulir informasi kesehatan:
-
Pada antarmuka notebook, buka notebook JupyterLab bernama
. -
Pada dialog Select Kernel, pilih Python 3 dari daftar kernel yang tersedia.
Tugas 3. Membuat permintaan dokumen proses sinkron
Buatlah panggilan dokumen proses menggunakan panggilan Document AI API sinkron. Untuk memproses dokumen dalam jumlah besar sekaligus, Anda juga dapat menggunakan API asinkron yang akan Anda gunakan pada tugas selanjutnya.
Meninjau kode Python untuk panggilan Document AI API sinkron
Luangkan waktu sejenak untuk meninjau kode Python di notebook
Blok kode pertama mengimpor library yang diperlukan dan melakukan inisialisasi beberapa variabel.
Sel kode Set your Processor ID menetapkan ID Pemroses yang harus Anda tetapkan secara manual sebelum dapat memproses dokumen dengan notebook.
Untuk langkah ini, Anda akan memerlukan ID pemroses Document AI dari pemroses yang dibuat di Tugas 1.
Tips: Jika Anda tidak menyimpannya, buka Navigation menu () di tab Konsol Cloud, klik Document AI > My processors, lalu klik nama pemroses untuk membuka halaman detailnya. Dari sini, Anda dapat menyalin ID pemroses.
Sel kode Process Document Function menentukan fungsi process_document
yang digunakan untuk melakukan panggilan sinkron ke pemroses Document AI. Fungsi ini membuat objek klien Document AI API.
Nama pemroses yang diperlukan oleh panggilan API dibuat menggunakan parameter project_id
,locations
, dan processor_id
dan contoh dokumen PDF dibaca dan disimpan dalam struktur mime_type
.
Fungsi ini membuat objek permintaan yang berisi nama lengkap pemroses dokumen dan menggunakan objek tersebut sebagai parameter untuk panggilan sinkron ke klien Document AI API. Jika permintaan berhasil, objek dokumen yang ditampilkan akan mencakup properti yang berisi entity yang terdeteksi dalam formulir.
Sel kode Process Document memanggil fungsi process_document
, menyimpan respons di variabel document
, dan mencetak teks mentah yang telah dideteksi. Semua pemroses akan melaporkan beberapa data untuk properti document.text
.
Sel kode Get Text Function menentukan fungsi get_text()
yang mengambil teks untuk elemen yang dinamai menggunakan properti text_anchor
, start_index
, dan end_index
dari text_segments
elemen bernama tersebut. Fungsi ini digunakan untuk mengambil nama dan nilai formulir untuk data formulir jika data tersebut ditampilkan oleh pemroses.
Sel Display Form Data melakukan iterasi pada semua halaman yang telah dideteksi dan untuk setiap form_field
yang dideteksi, sel ini menggunakan fungsi get_text()
untuk mengambil nama dan nilai kolom. Nilai tersebut kemudian ditampilkan, beserta skor keyakinan yang sesuai. Data formulir akan ditampilkan oleh pemroses yang menggunakan parser formulir umum atau parser khusus, tetapi tidak akan ditampilkan oleh pemroses yang dibuat dengan parser OCR Dokumen.
Sel Display Entity Data mengekstrak data entity dari objek dokumen dan menampilkan jenis entity, nilai, dan properti keyakinan untuk setiap entity yang terdeteksi. Data entity hanya ditampilkan oleh pemroses yang menggunakan parser khusus Document AI seperti parser Biaya Pengadaan. Parser formulir umum dan parser OCR Dokumen tidak akan menampilkan data entity.
Tugas 4. Menjalankan kode Python Document AI sinkron
Jalankan kode untuk melakukan panggilan sinkron ke Document AI API di notebook JupyterLab.
-
Pada sel kode Set your Processor ID kedua, ganti teks placeholder
PROCESSOR_ID
dengan ID Pemroses untuk pemroses form-parser yang telah Anda buat di langkah sebelumnya. -
Pilih sel pertama, klik menu Run, lalu klik Run Selected Cell and All Below untuk menjalankan semua kode di notebook.
Jika Anda telah menggunakan contoh formulir informasi kesehatan, Anda akan melihat data seperti berikut untuk sel output pada data formulir:
Jika Anda berhasil membuat pemroses khusus, sel terakhir akan menampilkan data entity. Jika gagal, tabel kosong akan ditampilkan.
- Pada menu JupyterLab, klik File, lalu klik Save Notebook untuk menyimpan progres Anda.
Tugas 5. Membuat pemroses OCR Dokumen untuk Document AI
Dalam tugas ini, Anda akan membuat pemroses Document AI menggunakan parser OCR Dokumen umum.
-
Dari Navigation menu, klik Document AI > Overview.
-
Klik Explore Processor, lalu klik Create Processor di bagian Document OCR. Ini adalah jenis pemroses umum.
-
Tetapkan nama pemroses sebagai ocr-processor, lalu pilih region US (United States) dari daftar.
-
Klik Create untuk membuat pemroses.
-
Catat ID Pemroses. Anda akan memerlukannya di tugas selanjutnya.
Tugas 6. Menyiapkan lingkungan untuk panggilan Document AI API asinkron
Dalam tugas ini, Anda akan mengupload contoh notebook JupyterLab untuk menguji panggilan Document AI API asinkron dan menyalin beberapa contoh formulir untuk lab ke Cloud Storage untuk pemrosesan asinkron.
-
Klik tab Terminal untuk membuka ulang shell terminal di dalam instance Vertex AI Workbench.
-
Buat bucket Cloud Storage untuk dokumen input dan salin contoh formulir W2 ke dalam bucket:
-
Pada antarmuka notebook, buka notebook JupyterLab bernama
. -
Pada dialog Select Kernel, pilih Python 3 dari daftar kernel yang tersedia.
Tugas 7. Membuat permintaan dokumen proses asinkron
Meninjau kode Python untuk panggilan Document AI API asinkron
Luangkan waktu sejenak untuk meninjau kode Python di notebook
Sel kode pertama mengimpor library yang diperlukan.
Sel kode Set your Processor ID menetapkan ID Pemroses yang harus Anda tetapkan secara manual sebelum dapat memproses dokumen dengan notebook.
Sel kode Set your variables menentukan parameter yang akan digunakan untuk melakukan panggilan asinkron, termasuk lokasi bucket Cloud Storage input dan output yang akan digunakan untuk data sumber dan file output. Anda akan memperbarui nilai placeholder di sel ini untuk PROJECT_ID
dan PROCESSOR_ID
di bagian selanjutnya pada lab ini sebelum Anda menjalankan kode tersebut. Variabel lainnya berisi nilai default untuk lokasi pemroses, bucket Cloud Storage input, dan bucket Cloud Storage output yang tidak perlu diubah.
Sel kode Define Google Cloud client objects menginisialisasi klien Cloud Storage dan Document AI.
Sel kode Create input configuration membuat parameter array konfigurasi input untuk data sumber yang akan diteruskan ke permintaan Document AI asinkron sebagai konfigurasi input. Array ini menyimpan lokasi sumber Cloud Storage, dan jenis MIME untuk setiap file yang ditemukan di lokasi Cloud Storage input.
Sel kode Create output configuration membuat parameter output untuk permintaan asinkron yang berisi lokasi bucket Cloud Storage output dan menyimpannya sebagai konfigurasi output batch Document AI.
Sel kode Create the Document AI API request membangun objek permintaan batch processing Document AI asinkron menggunakan objek konfigurasi input dan output.
Sel kode Start the batch (asynchronous) API operation membuat permintaan proses dokumen asinkron dengan meneruskan objek permintaan ke metode batch_process_documents()
. Ini adalah panggilan asinkron, jadi Anda menggunakan metode result()
untuk memaksa notebook menunggu sampai tugas asinkron di latar belakang selesai.
Sel Fetch list of output files menampilkan objek di lokasi bucket output seperti yang ditentukan di variabel destination_uri
.
Sel Display detected text from asynchronous output JSON files memuat setiap file JSON output yang ditemukan sebagai objek dokumen Document AI dan data teks yang terdeteksi oleh pemroses OCR Dokumen akan ditampilkan.
Sel Display entity data akan menampilkan data entity yang ditemukan. Namun, data entity hanya tersedia untuk pemroses yang dibuat menggunakan parser khusus. Data entity tidak akan ditampilkan dengan parser OCR Document AI umum yang digunakan dalam tugas ini.
Menjalankan kode Python Document AI asinkron
Gunakan kode contoh yang tersedia di notebook Jupyterlab untuk memproses dokumen secara asinkron menggunakan permintaan batch processing Document AI.
-
Pada sel kode kedua, ganti teks placeholder
PROCESSOR_ID
dengan ID Pemroses untuk pemroses form-parser yang telah Anda buat di langkah sebelumnya. -
Pilih sel pertama, klik menu Run, lalu klik Run Selected Cell and All Below untuk menjalankan semua kode di notebook.
-
Saat sel kode dijalankan, Anda dapat melihat notebook untuk meninjau kode dan komentar yang menjelaskan bagaimana objek permintaan asinkron dibuat dan digunakan.
Notebook akan menunggu beberapa saat agar operasi batch processing asinkron selesai pada sel kode Start the batch (asynchronous) API operation. Meskipun panggilan API batch processing itu sendiri bersifat asinkron, notebook menggunakan metode result
untuk memaksa notebook menunggu hingga panggilan asinkron selesai sebelum menghitung dan menampilkan data output.
Jika tugas asinkron memakan waktu lebih lama dari yang diperkirakan, dan waktunya habis, Anda mungkin harus menjalankan ulang sel yang tersisa untuk menampilkan output. Sel tersebut adalah sel-sel setelah sel Start the batch (asynchronous) API operation.
Output Anda akan berisi teks yang mencantumkan data Document AI yang terdeteksi di setiap file. Parser OCR Dokumen tidak mendeteksi formulir atau data entity, jadi tidak akan ada formulir atau data entity yang dibuat. Jika Anda dapat membuat pemroses khusus, Anda juga akan melihat data entity ditampilkan oleh sel akhir.
- Pada menu JupyterLab, klik File, lalu klik Save Notebook untuk menyimpan progres Anda.
Selamat
Anda telah berhasil melakukan panggilan sinkron dan asinkron ke Document AI API. Di lab ini, Anda telah mengaktifkan Document AI API dan membuat pemroses. Anda telah menginstal library klien untuk Python di instance Vertex AI Workbench, mengurai data dari formulir yang dipindai menggunakan Python untuk melakukan panggilan API sinkron, dan mengurai data dari formulir yang dipindai menggunakan Python untuk melakukan panggilan API asinkron.
Selesaikan Quest Anda
Lab mandiri ini merupakan bagian dari quest badge keahlian Detect Manufacturing Defects using Visual Inspection AI. Quest adalah serangkaian lab terkait yang membentuk jalur pembelajaran. Dengan menyelesaikan Quest ini, Anda mendapatkan badge sebagai pengakuan atas pencapaian Anda. Tampilkan badge di resume atau platform media sosial Anda, dan umumkan pencapaian Anda menggunakan hashtag #GoogleCloudBadge. Anda dapat membuat badge bersifat publik dan menautkannya di resume online atau akun media sosial. Daftar ke quest dan langsung dapatkan kredit penyelesaian jika Anda telah mengikuti lab ini. Lihat quest lain yang tersedia.
Langkah berikutnya/Pelajari lebih lanjut
- Untuk mempelajari lebih lanjut penggunaan Document AI API, baca panduan ini.
Sertifikasi dan pelatihan Google Cloud
...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.
Manual Terakhir Diperbarui pada 8 Oktober 2024
Lab Terakhir Diuji pada 8 Oktober 2024
Hak cipta 2024 Google LLC Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.