Struktur kode Terraform

Terragrunt code structures

Pertanyaan-pertanyaan mengenai struktur kode Terraform sejauh ini merupakan hal yang paling sering ditemukan di dalam komunitas. Semua orang akan berpikir mengenai struktur kode terbaik untuk proyek mereka pada satu titik.

Bagaimana sebaiknya menstrukturkan konfigurasi Terraform?

Banyak jawaban yang tersedia untuk pertanyaan di atas dan sangat sulit untuk memberikan saran yang bersifat universal. Maka dari itu mari kita mulai dengan pemahaman terhadap apa yang sedang kita hadapi.

• Bagaimana tingkat kompleksitas dari proyek Anda?

  • Jumlah dari sumber daya yang terhubung

  • Jumlah dari penyedia Terraform (Lihat catatan di bawah mengenai penyedia-penyedia logis)

• Seberapa sering infrastruktur Anda berubah?

  • Dari sekali sebulan/seminggu/sehari

  • Sampai secara terus-menerus (setiap kali ada commit baru)

• Inisiator perubahan kode? Apakah Anda memperbolehkan server CI memperbarui repositori ketika artifak baru dibangun?

  • Hanya para pengembang yang boleh mendorong ke dalam repositori infrastruktur

  • Semua orang bisa mengajukan perubahan terhadap segala sesuatu dengan membuka PR (termasuk tugas-tugas otomatis yang berjalan di server CI)

• platform atau layanan penggelaran mana yang Anda gunakan?

  • AWS CodeDeploy, Kubernetes, atau OpenShift membutuhkan pendekatan yang berbeda

• Bagaimana lingkungan dikelompokan?

  • Berdasarkan lingkungan, wilayah, proyek

Memulai penstrukturan konfigurasi Terraform

Meletakan seluruh kode di dalam berkas main.tf merupakan ide yang baik ketika Anda baru memulai atau ketika menulis contoh kode. Pada kasus-kasus lainnya, Anda sebaiknya memisahkan konfigurasi secara logis ke dalam beberapa berkas sebagai berikut:

• main.tf - berisi modul-modul, locals, dan sumber data-sumber data untuk menciptakan seluruh sumber daya.

• variables.tf - berisi deklarasi variabel-variabel yang digunakan pada main.tf

• outputs.tf - berisi keluaran-keluaran dari sumber daya - sumber daya yang diciptakan pada main.tf

• versions.tf - berisi persyaratan versi untuk Terraform dan penyedia

terraform.tfvars sebaiknya tidak digunakan kecuali pada komposisi

Bagaimana cara pikir tentang struktur konfigurasi Terraform?

Rekomendasi umum struktur kode

• Lebih mudah dan lebih cepat bekerja dengan jumlah sumber daya yang lebih sedikit

  • terraform plan dan terraform apply keduanya memanggil API komputasi awan untuk memverifikasi status sumber daya

  • Jika seluruh infrastruktur Anda berada di dalam satu komposisi maka hal ini akan membuat operasi Terraform memakan waktu yang lama

• Radius ledakan menjadi lebih kecil dengan sumber daya yang lebih sedikit

  • Mengisolasi sumber daya yang tidak saling berkaitan dengan cara meletakan mereka di komposisi yang berbeda mengurangi resiko ketika terjadi kesalahan

• Mulai proyek Anda dengan menggunakan keadaan jarak jauh karena:

  • Laptop Anda bukanlah tempat sumber kebenaran infrastruktur Anda

  • Mengelola berkas tfstate di dalam git merupakan mimpi buruk

  • Ketika nantinya lapisan-lapisan infrastruktur mulai berkembang ke berbagai arah (jumlah dependensi atau sumber daya) maka akan lebih mudah bagi Anda untuk mengontrolnya

• Praktikan aturan penamaan dan struktur yang konsisten:

  • Seperti kode prosedural, kode Terraform sebaiknya ditulis dengan prinsip bawha kode akan dibaca oleh orang lain. Konsistensi akan membantu ketika perubahan terjadi di masa yang akan datang

  • Bukanlah hal yang mustahil untuk memindahkan sumber daya pada berkas keadaan Terraform. Tetapi hal tersebut mungkin sulit dilakukan jika Anda memiliki penamaan dan struktur yang tidak konsisten.

• Jaga modul-modul sumber daya sesederhana mungkin

• Jangan gunakan nilai kode keras (hard-coded) untuk nilai yang bisa diberikan sebagai variabel atau ditemukan menggunakan sumber data

• Gunakan sumber data dan terraform_remote_state secara khusus sebagai perekat antar modul infrastruktur di dalam komposisi

Di dalam buku ini, contoh proyek dikelompokan berdasarkan kompleksitas - dari infrastruktur yang kecil sampai sangat besar. Pemisahan ini tidak bersifat mutlak, jadi periksa juga struktur-struktur lainnya.

Orkestrasi modul infrastruktur dan komposisi

Memiliki infrastruktur skala kecil sama artinya dengan memiliki jumlah dependensi dan sumber daya yang sedikit. Seiring berkembangnya proyek maka kebutuhan untuk mengeksekusi konfigurasi Terraform secara berantai akan semakin jelas keliatan. Selain itu, kebutuhan untuk menghubungan modul-modul infrastruktur yang berbeda dan menyampaikan nilai di dalam komposisi menjadi semakin jelas juga.

Setidaknya ada 5 group solusi orkestrasi yang berbeda yang bisa digunakan oleh pengembang:

• Hanya Terraform. Sangat lugas, pengembang hanya perlu mengetahui Terraform untuk menyelesaikan pekerjaan.

• Terragrunt. Alat orkestrasi murni yang bisa digunakan untuk mengorkestrasi keseluruhan infrastruktur dan juga dependensinya. Terragrunt beroperasi dengan modul infrastruktur dan komposisi secara asli. Hal ini mengurangi jumlah duplikasi kode.

• Berkas buatan sendiri. Seringkali hal ini terjadi sebagai titik awal menuju orkestrasi dan sebelum menemukan Terragrunt.

• Ansible atau alat otomatisasi umum lainnya. Umumnya digunakan ketika Terraform diadopsi setelah Ansible atau ketika Ansible UI digunakan secara aktif.

• Crossplane dan solusi lainya yang terinspirasi dari Kubernetes. Kadangkala, merupakan hal yang masuk akal untuk menggunakan ekosistem Kubernetes dan mempekerjakan fitur lingkaran rekonsiliasi untuk mencapai keadaan yang diinginkan dari konfigurasi Terraform. Tonton video Crossplane vs Terraform untuk informasi lebih lanjut.

Berdasarkan hal yang dijelaskan di atas, buku ini mengulas dua hal pertama dari solusi orkestrasi proyek yaitu hanya Terraform dan Terragrunt.

Lihat contoh struktur kode untuk Terraform atau Terragrunt pada bab selanjutnya.

Sumber: https://github.com/antonbabenko/terraform-best-practices/tree/master/examples/small-terraform

Contoh ini mengandung kode sebagai ilustrasi dari struktur konfigurasi Terraform untuk infrastruktur berukuran kecil dimana tidak ada dependensi eksternal di dalamnya.

Sumber: https://github.com/antonbabenko/terraform-best-practices/tree/master/examples/large-terraform

Contoh di atas berisi kode sebagai ilustrasi struktur konfigurasi Terraform untuk infrastruktur ukuran besar yang mengandung hal berikut:

• 2 akun AWS

• 2 wilayah

• 2 lingkungan terpisah (prod dan stage yang tidak berbagi apa pun). Setiap lingkungan hidup di akun yang berbeda dan menjangkau sumber daya di 2 wilayah

• Setiap lingkungan menggunakan versi yang berbeda dari modul infrastruktur siap pakai (alb) yang berasal dari Terraform Registry

• Setiap lingkungan menggunakan versi yang sama dari modul internal modules/network yang bersumber dari direktori lokal.

Dokumentasi ofisial Terraform menjabarkan seluruh aspek konfigurasi secara detail. Bacalah secara seksama untuk memahami sisa dari bagian ini.

Bagian ini menjabarkan konsep-konsep dasar yang digunakan pada buku ini.

Sumber daya (resource)

Contoh dari sumber daya pada Terraform adalah aws_vpc, aws_db_instance, dan lain sebagainya. Sumber daya merupakan bagian dari penyedia (provider), menerima argumen-argumen, mengeluarkan atribut-atribut, dan memiliki siklus hidup. Sumber daya dapat diciptakan, diambil, diperbarui, dan dihapus.

Modul sumber daya

Modul sumber daya adalah sekumpulan sumber daya yang terhubung secara bersamaan untuk mencapai tujuan tertentu. Contohnya adalah modul Terraform AWS VPC. Modul ini menciptakan VPC, subnet, dan pintu gerbang NAT (NAT gateway). Modul sumber daya bergantung pada konfigurasi penyedia yang bisa didefinisikan pada module itu sendiri atau pada struktur lain yang lebih tinggi levelnya.

Modul infrastruktur

Modul infrastruktur adalah sekumpulan modul sumber daya yang mungkin saja tidak terhubung secara logis, tetapi memiliki fungsi yang sama pada situasi/proyek/susunan saat ini. Modul infrastruktur mendefinisikan konfigurasi penyedia-penyedia yang akan dialirkan ke modul-modul sumber daya dan sumber daya yang ada di hilir. Modul infrastruktur umumnya bekerja secara terbatas pada satu entitas yang terpisah secara logis. Contohnya wilayah AWS, atau proyek Google.

Kita ambil modul terraform-aws-atlantis sebagai contoh. Modul ini menggunakan modul-modul sumber daya lain seperti terraform-aws-vpc dan terraform-aws-security-group untuk mengelola infrastruktur yang dibutuhkan dalam menjalankan Atlantis pada AWS Fargate.

Contoh lainnya adalah modul terraform-aws-cloudquery. Pada modul ini terdapat berbagai modul lain berasal dari terraform-aws-modules yang digunakan secara bersamaan untuk mengelola infrastruktur. Selain itu module ini juga menggunakan sumber daya Docker untuk membangun, mendorong, dan mengelar gambar-gambar (image) Docker. Semuanya ada di dalam satu paket.

Komposisi

Komposisi adalah sekumpulan modul infrastruktur yang mencakup berbagai area yang terpisah secara logis (Contoh wilayah AWS, beberapa akun AWS). Komposisi digunakan untuk menjabarkan secara penuh infrastruktur yang dibutuhkan oleh seluruh organisasi atau proyek.

Komposisi terdiri dari modul-modul infrastruktur yang di dalamnya berisi modul-modul sumber daya yang pada hakikatnya berisi sumber daya - sumber daya individu.

Sumber data (data source)

Sumber data hanya melakukan operasi baca (read-only) dan bergantung pada konfigurasi penyedia. Sumber data digunakan oleh modul sumber daya dan modul infrastruktur.

Sumber data terraform_remote_state bertindak sebagai perekat untuk modul-modul dan komposisi-komposisi tingkat tinggi.

Sumber data eksternal memungkinkan program lain untuk bertindak sebagai sumber data, mengekspos data arbitrer untuk digunakan di tempat lain di dalam konfigurasi Terraform. Kita ambil contoh modul terraform-aws-lambda. Pada modul ini nama berkas dikomputasi dengan cara memanggil naskah Python eksternal.

Sumber data http mengirimkan permintaan HTTP GET ke target URL dan mengekspor informasi seputar respons dari permintaan tersebut. Sumber data ini berguna untuk mendapatkan informasi dari titik akhir ketika tidak tersedianya penyedia asli Terraform untuk berkomunikasi dengan titik akhir tersebut.

Keadaan jarak jauh

Modul-modul infrastruktur dan komposisi-komposi sebaiknya menyimpan keadaan Terraform di lokasi jarak jauh dimana keadaan tersebut bisa diambil oleh pihak lain secara terkontrol (Misal dengan adanya ACL, pembuatan versi, dan pembuatan catatan).

Penyedia, pengada, dan lain-lain

Penyedia, pengada, dan beberapa istilah lainnya dijabarkan dengan baik pada dokumentasi resmi dan tidak ada gunanya dijabarkan ulang di sini. Menurut pendapat penulis, mereka tidak begitu berguna dalam kaitannya untuk menulis modul Terraform yang baik.

Kok susah ya?

Ketika sumber daya - sumber daya individu diandaikan seperti atom di infrastruktur, maka modul sumber daya adalah molekul. Modul adalah unit terkecil yang dapat diversikan dan dibagikan. Modul memiliki daftar argumen yang tepat dan mengimplementasi logik dasar untuk unit tersebut sehingga dapat menjalankan fungsinya. Contohnya adalah modul terraform-aws-security-group. Modul ini menciptakan sumber daya aws_security_group dan aws_security_group_rule berdasarkan masukan yang diberikan. Modul sumber daya ini sendiri bisa digunakan bersamaan dengan modul-modul lain untuk menciptakan modul infrastruktur.

Akses terhadap data lintas molekul (modul sumber daya dan infrastruktur) dilakukan menggunakan keluaran modul dan sumber data.

Akses antar komposisi seringkali dilakukan menggunakan sumber data jarak jauh. Ada beberapa cara untuk membagikan data antara konfigurasi.

Berikut contoh penjabaran konsep di atas dalam hubungan semu:

composition-1 {
  infrastructure-module-1 {
    data-source-1 => d1

    resource-module-1 {
      data-source-2 => d2
      resource-1 (d1, d2)
      resource-2 (d2)
    }

    resource-module-2 {
      data-source-3 => d3
      resource-3 (d1, d3)
      resource-4 (d3)
    }
  }

}

Terraform merupakan sebuah proyek (sebagaimana banyaknya alat-alat DevOps lainnya) yang relatif baru yang dimulai pada tahun 2014.

Terraform adalah alat yang ampuh (mungkin alat yang paling ampuh di luar sana saat ini) dan merupakan alat yang paling banyak digunakan untuk mengelola infrastruktur sebagai kode (Infrastructure as Code/IaC). Terraform memungkin pengembang untuk melakukan banyak hal dan tidak membatasi mereka melakukannya dengan cara yang akan sulit untuk didukung atau diintegrasi dengan sistem lain.

Beberapa informasi yang dijabarkan pada buku ini mungkin tampak tidak seperti praktik terbaik. Ini merupakan hal yang lumrah. Untuk membantu pembaca memisahkan antara praktik terbaik yang telah teruji atau cara dogmatis lainnya untuk melakukan hal yang sama, penulis sesekali menggunakan petunjuk untuk menyediakan konteks dan ikon-ikon untuk menentukan level kematangan dari setiap subbagian yang terkait dengan praktik terbaik.

Buku ini mulai ditulis di Madrid yang cerah pada tahun 2018. Buku ini tersedia secara gratis di https://www.terraform-best-practices.com/

Beberapa tahun kemudian buku ini telah diperbarui dengan konten praktik terbaik dari Terraform versi 1.0. Pada akhirnya, buku ini akan berisi sebagian besar dari praktik terbaik dan rekomendasi yang tidak terbantahkan bagi para pengguna Terraform.

Sponsor

Please contact me if you want to become a sponsor.

Alih bahasa