Før du starter
Følg stegene under dersom du har tenkt å bygge pipelines i Saga. Merk at det går an å trykkke på flere av stegene i figuren.
GitHub-repo for pipelines
Vi har laget et GitHub-repo saga-pipelines hvor koden for alle pipelines i Saga skal ligge, med mindre pipelinen ikke egner seg for Airflow. Dersom du mistenker at din pipeline ikke egner seg for Airflow, ta gjerne kontakt med oss for å diskutere hvordan pipelinen kan bygges.
Oppsett av utviklermiljø
Vi har lagt til rette for at man ikke skal trenge å sette opp et utviklermiljø selv, gjennom støtte for devcontainers. Under er det skissert tre ulike metoder for å bruke denne løsning. Merk at metode 1 og 2 krever aktiv tilgang til internett for å fungere. Metode 3 krever kun tilgang til internett når man setter opp miljøet første gang i en ny branch.
Obs: Bruken av GitHub Codespaces betales av din personlige bruker. Hver bruker har minst 120 "core hours" inkludert hver måned. Dette er forhåpentligvis nok, så lenge du husker å skru av utviklingsmiljøet når du ikke bruker det. Dette gjør du ved å åpne menyen for miljøet og velge "Stop codespace".
1. Utviklermiljø i nettleser med Codespaces
Den enkleste måten å komme i gang med utvikling er å trykke på "Code"-knappen oppe til høyre når du ser på Saga-pipelines-repoet i GitHub, og deretter "Create codespace on main". Dette vil åpne en ny fane i nettleseren din hvor en variant av Visual Studio Code (VSCode) kjører. Dette blir da ditt utviklingsmiljø. Her kan du redigere kode, gjøre git-operasjoner kjøre DAG-en din. Dette utviklingsmiljøet er persistent. Det vil si at du kan gjøre endringer i filer og installere utvidelser til VSCode. Disse endringene vil fortsatt være der om du åpner opp utviklingsmiljøet senere - helt til du velger å slette miljøet.
2. Utvikling med Codespaces ved hjelp av VSCode lokalt
Dersom du ikke har lyst å utvikle i nettleseren finnes det to andre måter å bruke devcontainers på. Dersom du lager et utviklingsmiljø slik som beskrevet over, kan dette miljøet åpnes i Visual Studio Code, eller andre programmer som støtter devcontainers, på din lokale maskin. Dette gjør du ved å trykke på de tre prikkene og deretter knappen som vist på skjermbildet under.
3. Utvikling lokalt med Docker
Den tredje måten er å opprette utviklingsmiljøet lokalt på din PC. Dette krever at du har docker installert, i tillegg til Visual Studio Code. Da må du klone repoet til din PC, og deretter åpne VSCode i den mappa. Da vil det dukke opp en dialog som spør om du vil åpne mappa i en container. Når du svarer ja på denne vil det bli åpnet et nytt vindu hvor du kan bruke VSCode i dette utviklingsmiljøet. Dette er den eneste varianten som ikke bruker GitHub Codespaces, og dermed trenger du ikke å tenke på at du må skru av miljøet når det ikke er i bruk.
Sjekke inn kode og endringer
I metodene hvor man bruker Codespaces (metode 1 og 2) er den enkleste måten å sjekke inn kode på å bruke funksjonaliteten som finnes i VSCode. Før du begynner å utvikle, må du lage en ny branch ut fra main. En beskrivelse av hvordan bruke kildekontroll i Codespaces finner du her. Du kan også bruke git kommandoer direkte i terminalen i VSCode.
Autentisering mot GCP
Dersom du ønsker å kjøre kode som kaller tjenester i GCP, eller om du bruker å bruke gcloud i utviklermiljøet, kan du kjøre disse to kommandoene:
Denne kommandoen trengs for å kjøre vanlige gcloud-kommandoer som deg selv:
gcloud auth login
Denne kommandoen trengs for at programmer du kjører lokalt skal kunne gjøre GCP-kall med din innlogging. Dette er vanlig når du tester eller kjører en pipeline lokalt:
gcloud auth application-default login