Struktura kodu Terraform

Struktura kodu Terragrunt

Pytania dotyczące struktury kodu są zdecydowanie najczęściej zadawanymi w społeczności Terraform. W pewnym momencie każdy zaczyna się zastanawiać co dla projektu będzie najlepsze.

Jak powinienem uporządkować moje konfiguracje Terraform?

To jedno z pytań, na które jest wiele odpowiedzi, lecz bardzo trudno jest udzielić uniwersalnych porad, więc postarajmy się zacząć od zrozumienia z czym mamy do czynienia.

• Jaka jest złożoność Twojego projektu?

  • Liczba powiązanych zasobów

  • Liczba użytych dostawców Terraform (uwaga — patrz poniżej na temat „dostawców logicznych” (logical providers))

• Jak często zmienia się Twoja infrastruktura?

  • Zaczynając od raz w miesiącu/tygodniu/codziennie

  • Skończywszy na ciągłym (za każdym razem, gdy pojawia się nowa zmiana (commit))

• Kto lub co zmienia kod? Czy pozwalasz serwerowi CI aktualizować repozytorium po zbudowaniu nowego artefaktu?

  • Tylko programiści mogą wysyłać kod do repozytorium infrastruktury

  • Każdy może proponować zmiany, otwierając pull-requesty (w tym automatyczne zadania uruchomione na serwerze CI)

• Z jakiej platformy lub usługi wdrożeniowej korzystasz?

  • AWS CodeDeploy, Kubernetes czy OpenShift wymagają nieco innych podejść

• Jak grupowane są środowiska?

  • Według środowiska, regionu, projektu

Rozpoczęcie pracy z odpowiednim podejściem do struktury projektu w Terraform

Umieszczenie całego kodu w pliku main.tf jest dobrym pomysłem, jeśli dopiero zaczynasz swoją przygodę z Terraform lub piszesz testowy kod, aby coś zweryfikować. We wszystkich innych przypadkach lepiej będzie mieć kilka plików podzielonych logicznie w następujący sposób:

• main.tf — wywoływanie modułów, zmienny lokalnych i źródeł danych w celu utworzenia wszystkich zasobów

• variables.tf — zawiera deklaracje zmiennych używanych w main.tf

• outputs.tf — zawiera dane wyjściowe z zasobów utworzonych w main.tf

• versions.tf — zawiera wymagania dotyczące wersji dla Terraform i dostawców

Jak myśleć o strukturze konfiguracji Terraform?

Popularne wskazówki dotyczące strukturyzowania kodu

• Łatwiej i szybciej pracuje się z mniejszą liczbą zasobów

  • komendy terraform plan i terraform apply wykonują wywołania API, aby zweryfikować status zasobów

  • Jeśli masz całą infrastrukturę w jednej kompozycji, może to zająć trochę czasu

• Promień rażenia jest mniejszy przy mniejszej ilości zasobów

  • Odizolowanie od siebie niepowiązanych zasobów poprzez umieszczenie ich w oddzielnych kompozycjach zmniejsza ryzyko, jeśli coś pójdzie nie tak

• Rozpocznij swój projekt od użycia stanu zdalnego (remote state), ponieważ:

  • Twój laptop nie jest odpowiednim miejscem na źródło prawdy (source of truth) o Twojej infrastrukturze

  • Zarządzanie plikiem tfstate w repozytorium git to koszmar

  • Później, gdy warstwy infrastruktury zaczną rosnąć w wielu kierunkach (liczba zależności lub zasobów) łatwiej będzie mieć wszystko pod kontrolą

• Ćwicz pisanie spójnej struktury i praktykuj zachowywanie konwencji nazewnictwa:

  • Podobnie jak przy kodzie proceduralnym, kod Terraform powinien być napisany tak, aby w pierwszej kolejności mogli go przeczytać ludzie. Zachowanie porządku pomoże, kiedy trzeba będzie wrócić do zmian sprzed pół roku.

  • Przenoszenie zasobów w pliku stanu Terraform jest możliwe, ale może to być trudniejsze, jeśli masz niespójną strukturę i nazewnictwo

• Zachowaj moduły zasobów tak proste, jak to możliwe

• Nie "hardkoduj" wartości, które mogą być przekazywane jako zmienne lub uzyskane przy użyciu źródeł danych

• Użyj źródeł danych i terraform_remote_state jako łącznika między modułami infrastruktury w kompozycji

W tej książce przykładowe projekty są pogrupowane według złożoności — od małych do bardzo dużych infrastruktur. Ten podział nie jest ścisły, więc sprawdź, jak robią to inni.

Orkiestracja modułów i kompozycji infrastruktury

Posiadanie małej infrastruktury oznacza, że istnieje niewielka liczba zależności i niewiele zasobów. Wraz z rozwojem projektu pojawia się potrzeba łączenia wykonywania konfiguracji Terraform. Łączenia różnych modułów infrastruktury i przekazywanie wartości w ramach kompozycji staje się oczywistym następstwem.

Istnieje co najmniej 5 odrębnych grup rozwiązań do orkiestracji, z których korzystają programiści_stki:

1. Czysty Terraform. Bardzo proste rozwiązanie. Programiści_stki muszą znać tylko Terraform, aby wykonać zadanie.

2. Terragrunt. Narzędzie, którego można użyć do orkiestracji całej infrastruktury, a także obsługi zależności. Terragrunt działa natywnie z modułami infrastruktury i kompozycjami, dzięki czemu ogranicza powielanie kodu.

3. Skrypty wewnętrzne. Często używane jako punkt startowy do używania orkiestracji oraz przed odkryciem Terragrunt.

4. Ansible lub inne narzędzie ogólnego przeznaczenia do automatyzacji. Zwykle wybierane rozwiązanie, gdy Terraform jest używany po implementacji Ansible lub gdy aktywnie używany jest interfejs użytkownika Ansible.

Mając to wszystko na uwadze — ta książka zawiera przegląd pierwszych dwóch z struktur projektowych — tylko Terraform i Terragrunt.

Ta sekcja opisuje kluczowe pojęcia, które są używane w książce.

Zasób (resource)

Przykładowe zasoby to aws_vpc, aws_db_instance, itd. Zasób należy do dostawcy (provider), może przyjmować argumenty (parameters) oraz zwracać różne atrybuty (outputs) i ma swój cykl życia (lifecycle). Może on być tworzony, pobierany, aktualizowany i usuwany.

Moduł zasobu (resource module)

Moduł infrastruktury (infrastructure module)

Moduł infrastruktury to zbiór modułów zasobów, które nie muszą być ze sobą logicznie połączone, ale mogą, współpracując ze sobą służyć temu samemu celowi. Definiuje konfigurację dla dostawców, która jest następnie przekazywana do modułów zasobów podrzędnych i do samodzielnych zasobów. Zwykle ogranicza się on do pracy w pojedynczej encji na każdy logiczny separator (np. region AWS, projekt Google).

Kompozycja (composition)

Kompozycja to zbiór modułów infrastruktury, które mogą obejmować kilka logicznie oddzielonych obszarów (np. regiony AWS, kilka kont AWS). Kompozycja służy do opisania kompletnej infrastruktury wymaganej dla całej organizacji lub projektu.

Kompozycja składa się z modułów infrastruktury, na które składają się moduły zasobów, które realizują poszczególne zasoby

Źródło danych (data source)

Źródło danych wykonuje operacje tylko do odczytu (read-only) i jest zależne od konfiguracji dostawcy. Jest ono używane w module zasobów i module infrastruktury.

Źródło danych terraform_remote_state działa jako spoiwo dla modułów i kompozycji wyższego poziomu.

Zdalny zapis stanu infrastruktury (remote state)

Dostawca (provider, provisioner)

Skąd te trudności?

Dostęp do danych oraz wymiana między nimi (moduły zasobów i moduły infrastruktury) jest realizowany z wykorzystaniem wyjść modułów (module output) i źródeł danych.

Starając się przedstawić opisane powyżej pojęcia przy pomocy pseudorelacji uzyskamy następującą strukturę:

Jakich narzędzi muszę używać?

Należy określić wersje modułów zasobów i infrastruktury. Dostawcy powinni być skonfigurowani poza modułami, ale tylko w kompozycji. Wersję dostawców i Terraform można również zablokować.

Dokumentacja

Dokumentacja generowana automatycznie

Dzięki konfiguracjom Terraform pre-commit może służyć do formatowania i sprawdzania poprawności kodu, a także do aktualizowania dokumentacji.

terraform-docs

Źródła

Ten przykład zawiera kod dla strukturyzacji konfiguracji Terraform dla średniego rozmiaru infrastruktury, która zawiera:

• 2 konta AWS

• 2 oddzielne środowiska (prod i stage, które nic ze sobą nie dzielą). Każde środowisko funkcjonuje na osobnym koncie AWS

• Każde środowisko używa tej samej wersji modułów/sieci (modules/network) modułu wewnętrznego, ponieważ pochodzi z katalogu lokalnego.

Istnieją też warsztaty dla osób, które chcą przećwiczyć niektóre z zagadnień opisanych w tej książce.

Użyj zmiennych lokalnych (locals), aby określić jawne zależności między zasobami

Przydatny sposób na wskazanie Terraform, że niektóre zasoby powinny zostać usunięte wcześniej, nawet jeśli nie ma bezpośredniej zależności w konfiguracjach.

Terraform 0.12 - argumenty wymagane vs opcjonalne

1. Wymagany argument index_document musi być ustawiony, jeśli var.website nie jest pustą mapą.

2. Opcjonalny argument error_document można pominąć.