Mengonfigurasi Kontrol Layanan VPC (original) (raw)

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Kontrol Layanan VPC memungkinkan organisasi menentukan perimeter di sekitar Google Cloud resource untuk mengurangi risiko pemindahan data yang tidak sah.

Lingkungan Managed Airflow dapat di-deploy dalam perimeter layanan. Dengan mengonfigurasi lingkungan Anda menggunakan Kontrol Layanan VPC, Anda dapat menjaga privasi data sensitif sekaligus memanfaatkan kemampuan orkestrasi alur kerja yang terkelola sepenuhnya di Managed Airflow.

Dukungan Kontrol Layanan VPC untuk Managed Airflow berarti:

Managed Airflow kini dapat dipilih sebagai layanan yang diamankan di dalam perimeter Kontrol Layanan VPC.
Semua resource pokok yang digunakan oleh Managed Airflow dikonfigurasi untuk mendukung arsitektur Kontrol Layanan VPC dan mengikuti aturannya.

Men-deploy lingkungan Managed Airflow dengan Kontrol Layanan VPC akan memberi Anda:

Mengurangi risiko pemindahan data yang tidak sah.
Perlindungan terhadap eksposur data karena kontrol akses yang salah dikonfigurasi.
Mengurangi risiko pengguna berbahaya menyalin data ke resource yang tidak sah, atau penyerang eksternal mengakses resource dari internet.Google Cloud Google Cloud

Tentang Kontrol Layanan VPC di Managed Airflow

Semua batasan jaringan Kontrol Layanan VPC juga berlaku untuk lingkungan Managed Airflow Anda. Lihatdokumentasi Kontrol Layanan VPC untuk mengetahui detailnya.
Jika lingkungan Managed Airflow dilindungi oleh perimeter, akses ke repositori PyPI publik akan dibatasi. LihatMenginstal paket PyPI di Kontrol Layanan VPC untuk mengetahui informasi selengkapnya.
Jika lingkungan Anda menggunakan jaringan IP Pribadi,semua traffic internal dirutekan ke jaringan VPC Anda, kecuali traffic ke API, layanan, dan domain Google yangtersedia untuk lingkungan IP Pribadimelalui Akses Google Pribadi.
Bergantung pada cara Anda mengonfigurasi jaringan VPC, lingkungan IP Pribadi dapat memperoleh akses ke internet melalui jaringan VPC Anda.
Managed Airflow tidak mendukung penggunaan identitas pihak ketiga dalam aturan ingress dan egress untuk mengizinkan operasi UI Apache Airflow. Namun, Anda dapat menggunakan jenis identitas ANY_IDENTITY dalam aturan ingress dan egress untuk mengizinkan akses ke semua identitas, termasuk identitas pihak ketiga. Untuk mengetahui informasi selengkapnya tentang jenis identitas ANY_IDENTITY, lihat Aturan ingress dan egress.
Dalam mode Kontrol Layanan VPC, akses ke server web dilindungi oleh perimeter dan akses dari luar perimeter diblokir. Untuk mengizinkan akses dari luar perimeter layanan, konfigurasitingkat akses atauaturan ingress dan egress sesuai kebutuhan. Selain itu, Anda dapat membatasi akses ke server web untuk rentang IP tertentu.

Tentang konektivitas ke Google API dan layanan Google di Kontrol Layanan VPC

Managed Airflow (Gen 3) merutekan traffic ke layanan Google melaluirestricted.googleapis.com, yang memungkinkan akses ke API, layanan, dan domain Google yang didukung oleh rentang ini.

Untuk mengetahui informasi selengkapnya dan daftar layanan serta domain yang tersedia melalui restricted.googleapis.com, lihat Konfigurasi jaringan dalam dokumentasi Virtual Private Cloud.

Lingkungan Managed Airflow (Gen 3) memblokir panggilan ke API, layanan, dan domain Google yang tidak ada dalam daftar API dan layanan yang diperlukan. Jika Anda ingin memanggil API dari DAG:

Pastikan layananmendukung Kontrol Layanan VPC.
Tambahkan layanan ke layanan yang dibatasi.
Tambahkan layanan ke layanan yang dapat diakses VPC.

Misalnya, jika Anda menggunakan Operator VertexAI, tambahkan aiplatform.googleapis.comke layanan terbatas dan layanan yang dapat diakses VPC.

Untuk mengetahui informasi selengkapnya tentang cara menambahkan layanan ke perimeter, lihatMengelola perimeter layanandalam dokumentasi Kontrol Layanan VPC.

Di Managed Airflow (Gen 3), layanan yang tidakmendukung Kontrol Layanan VPCdan tidak tersedia melalui restricted.googleapis.com tidak dapat diaksesdari lingkungan yang dilindungi dengan Kontrol Layanan VPC. Pembatasan ini ditambahkan di Managed Airflow (Gen 3) untuk meningkatkan keamanan lingkungan. Meskipun Managed Airflow (Gen 2) memungkinkan konfigurasi akses ke layanan yang tidak didukung tersebut, sebaiknya hindari melakukannya di lingkungan yang dilindungi oleh Kontrol Layanan VPC.

Membuat lingkungan dalam perimeter

Langkah-langkah berikut diperlukan untuk men-deploy Managed Airflow di dalam perimeter:

Aktifkan Access Context Manager API dan Cloud Composer API untuk project Anda. Lihat Mengaktifkan API sebagai referensi.
Buat perimeter dengan mengikutipetunjuk konfigurasi perimeter dalam dokumentasi Kontrol Layanan VPC. Pastikan daftar layanan yang dibatasi mencakup semua layanan yang digunakan oleh Managed Airflow, selain layanan lain yang ingin Anda batasi:
- Cloud Composer API (composer.googleapis.com)
- Artifact Registry API (artifactregistry.googleapis.com)
- Compute Engine API (compute.googleapis.com)
- Kubernetes Engine API (container.googleapis.com)
- Container File System API (containerfilesystem.googleapis.com)
- Cloud DNS API (dns.googleapis.com)
- Service Account Credentials API (iamcredentials.googleapis.com)
- Cloud Logging API (logging.googleapis.com)
- Cloud Monitoring API (monitoring.googleapis.com)
- Cloud Pub/Sub API (pubsub.googleapis.com)
- Cloud SQL Admin API (sqladmin.googleapis.com)
- Cloud Storage API (storage.googleapis.com)
- Untuk semua layanan lain yang digunakan oleh DAG Anda:
  1. Tambahkan layanan ke layanan yang dibatasi.
  2. Tambahkan layanan ke layanan yang dapat diakses VPC.
Buat lingkungan Managed Airflow baru:
1. Gunakan Google Cloud CLI untuk membuat lingkungan Anda.
2. Aktifkan IP Pribadi dengan argumen --enable-private-environment.
3. Tentukan parameter akses untuk server web dengan argumen --web-server-allow-all, --web-server-allow-ip, atau--web-server-deny-all. Untuk mengetahui informasi selengkapnya tentang cara menggunakan argumen ini, lihatMembuat lingkungan. Untuk meningkatkan perlindungan, izinkan akses ke server web hanya dari rentang IP tertentu.
4. Jangan izinkan penginstalan paket dari repositori internet publik dengan argumen --enable-private-builds-only.
  Contoh:
```
gcloud composer environments create example-environment \  
  --location us-central1 \  
  --enable-private-environment \  
  --web-server-allow-all \  
  --enable-private-builds-only  
```
Secara default, akses ke Airflow UI dan API hanya diizinkan dari dalam perimeter keamanan. Jika Anda ingin membuatnya tersedia di luar perimeter keamanan, konfigurasi tingkat akses atau aturan ingress dan egress.

Menambahkan lingkungan yang ada ke perimeter

Anda dapat menambahkan project yang berisi lingkungan ke perimeter jika lingkungan Anda menggunakan IP Pribadi dan penginstalan paket PyPI dari repositori publik dinonaktifkan.

Untuk memperbarui lingkungan Managed Airflow (Gen 3) yang ada ke konfigurasi ini:

Pastikan Anda telah membuat atau mengonfigurasi perimeterseperti yang dijelaskan di bagian sebelumnya.
Gunakan Google Cloud CLI untuk mengupdate lingkungan Anda.
Aktifkan IP Pribadi dengan argumen --enable-private-environment.
Jangan izinkan penginstalan paket dari repositori internet publik dengan argumen --enable-private-builds-only.
Jika diperlukan,konfigurasi akses ke server web Airflow. Untuk meningkatkan perlindungan, izinkan akses ke server web hanya dari rentang IP tertentu.

Contoh:

gcloud composer environments update example-environment \
  --location us-central1 \
  --enable-private-environment \
  --enable-private-builds-only

Menginstal paket PyPI di Kontrol Layanan VPC

Dalam konfigurasi Kontrol Layanan VPC default, Managed Airflow hanya mendukung penginstalan paket PyPI dari repositori pribadi yang dapat dijangkau dari ruang alamat IP internal jaringan VPC.

Semua lingkungan Managed Airflow dalam perimeter Kontrol Layanan VPC tidak memiliki akses ke repositori PyPI publik secara default.

Menginstal dari repositori pribadi

Konfigurasi yang direkomendasikan adalah menyiapkan repositori PyPI pribadi:

Isi dengan paket yang telah diseleksi dan digunakan oleh organisasi Anda, lalu konfigurasi Managed Airflow untukmenginstal dependensi Python dari repositori pribadi.

Menginstal dari repositori publik

Untuk menginstal paket PyPI dari repositori eksternal:

Buatrepositori jarak jauh Artifact Registry.
Beri repositori ini akses ke sumber upstream.
Konfigurasi Airflow untukmenginstal paket dari repositori Artifact Registry.

Saat memecahkan masalah pembuatan lingkungan, Anda dapat menganalisis log audit yang dibuat oleh Kontrol Layanan VPC.

Selain pesan log lainnya, Anda dapat memeriksa log untuk mendapatkan informasi tentang akun layanan cloud-airflow-prod@system.gserviceaccount.com dan service-PROJECT_ID@cloudcomposer-accounts.iam.gserviceaccount.com yang mengonfigurasi komponen lingkungan Anda.

Layanan Airflow terkelola menggunakan akun layanancloud-airflow-prod@system.gserviceaccount.com untuk mengelolakomponen project tenant di lingkungan Anda.

Akun layanan service-PROJECT_ID@cloudcomposer-accounts.iam.gserviceaccount.com, yang juga dikenal sebagai Akun Layanan Agen Layanan Composer, mengelola komponen lingkungan di project layanan dan host.