Kom i gang
Statens vegvesen har valgt Google Cloud Platform (GCP) som skyplattform for Saga. Dette er Google sin skyplattform, og er tilsvarende Azure hos Microsoft eller AWS fra Amazon.
Valget ble tatt fordi plattformen tilbyr svært gode muligheter for innsamling, prosessering, sammenstilling og analyse av data fra ulike kilder, og er relativt brukervennlig.
Struktur i Google Cloud Platform
Du bruker og administrerer vanligvis GCP i nettleseren, og du må ha konto i GCP for å få tilgang. Mer om tilganger finner du i "Starte med Google Cloud".
Det finnes tre administrasjonsnivåer i GCP: Organization, Folder og Project.
Organization: Alt vi gjør på GCP ligger under organisasjonen “vegvesen.no”. Dette inkluderer Saga og andre initiativ som bruker GCP.
Folder: Mapper kan brukes både for å organisere prosjekter som hører sammen, og for å gi rettigheter på mappenivå. Merk at du trenger egne rettigheter for å se mappene; har du ikke disse vil det se ut som prosjektene ligger i en flat struktur.
Project: Alle ressurser som opprettes må tilhøre et prosjekt. Når du har fått en rolle i Saga har du automatisk fått opprettet et eget prosjekt, på formen saga-<brukernavn>-playground-<suffix>. Brukernavnet her finnes ved å ta første tre bokstaver av fornavn og etternavn, og vil i de fleste tilfeller være likt SVV-brukernavnet ditt. Suffix er nødvendig for å sørge for at prosjekt-navnet er globalt unikt.
Se gjerne Googles egen dokumentasjon for mer informasjon.
Vanlige tjenester
Her følger noen av de vanligste GCP-tjenestene du kan ha bruk for, samt noen andre nyttige tjenester Google tilbyr, med lenker til dokumentasjon.
Google Cloud Storage (GCS)
GCS er førstevalget for å lagre filer i ethvert format på GCP. Filer lagres i “buckets” med unike URLer på gs://-format, eksempelvis gs://saga-veglogg-prod-wznf-processed-publications, og kan organiseres i mapper.
Du kan laste opp filer til GCS ved å bruke cloud console, gsutil eller gcloud alpha storage. I tillegg kan du bruke Storage Transfer Service for å kopiere eller flytte store mengder filer mellom bøtter, eller mellom on-premise og GCS.
Det er også gode muligheter for å importere data rett fra en GCS-bøtte til BigQuery.
BigQuery (BQ)
BigQuery er Google sin SQL-kompatible, kolonne-baserte database som håndterer datamengder på petabyte-nivå.
Les mer om bruk av BigQuery til analyseformål.
Google Colab
Colab er ikke en del av GCP, men kan likevel brukes for å kjøre Jupyter Notebooks i skyen. Du kan hente data fra BigQuery og gjøre spørringer og analyser mot disse.
Google Data Studio
Data Studio er heller ikke del av GCP, men er likevel tett knyttet slik at mulighetene for integrasjon med andre tjenester hos GCP er veldig gode. Du kan med et par klikk åpne et gitt resultatsett fra BigQuery i Data Studio for en mer visuell framstilling av dataene.