Tämän viikon tehtävissä harjoitellaan ensin muutaman tärkeän ohjelmistokehityksen työkalun (komentorivi, versionhallinta, riippuvuuksien hallinta, automatisoitu testaus, jatkuva integraatio) käyttöä.

Typoja tai epäselvyyksiä tehtävissä?

Tee korjausehdotus editoimalla tätä tiedostoa GitHubissa.

Kurssipalaute

Kurssin lopussa kerättävän palautteen lisäksi on voit antaa milloin vain kurssihenkilökunnalle anonyymiä palautetta osoitteessa https://norppa.jyu.fi/targets/7131/feedback.

Tehtävien palauttaminen

Tehtävät palautetaan GitHubiin, sekä merkitsemällä tehdyt tehtävät Timiin. Viikon tehtävät palautetaan yhdellä kertaa, eli tee merkintä palautussovellukseen vasta kun olet valmis viikon tehtävien osalta.

Käytännössä tällä viikolla tehdään palautusta varten yksi GitHub repositoria nimeltään ohtuvarasto. Jos et vielä tiedä mikä on GitHub ja repositorio, niin pian opit.

Tehtävää 1 ei varsinaisesti palauteta minnekään, eikä sitä arvostella.

1. Komentorivi

Tätä tehtävää ei palauteta mihinkään

Graafisten käyttöliittymien olemassaolosta huolimatta ohjelmistoalalla on edelleen erittäin tärkeää hallita komentorivin eli terminaalin käyttö. Itse asiassa komentorivin merkitys on jopa nousussa.

Varmista, että osaat käyttää “riittävästi” komentoriviä (ks. alla oleva lista).

Jos osaamisessasi on puutteita (ks. alla oleva lista) kertaa haluamastasi resurssista:

HUOM. Codecademy vaatii kirjautumisen Facebook, Google tai GitHub -tunnuksella. Kurssilla käytetään muutenkin GitHubia, eli se tunnus pitäisi kaikilla olla olemassa, jotta pääsee kirjautumaan.

Tämän tehtävän jälkeen sinun tulisi hallita seuraavat asiat:

  • Käsitteet
    • Root directory
    • Home directory
    • Parent directory
    • Child directory
    • Working directory
    • .. ja \*
  • Ja osata käyttää komentoja
    • pwd
    • cd
    • ls, ls -a, ls -l, ls -t
    • mkdir
    • touch
    • cp
    • rm, rm -r
    • mv

Tulet tarvitsemaan komentorivin käyttötaitoja tällä kurssilla ja muutenkin opinnoissasi.

Tehtävää ei palauteta mitenkään. Voit merkitä tehtävän tehdyksi kun osaat yllä luetellut asiat.

2. GitHubiin [versionhallinta]

Jos sinulla ei jostain syystä ole vielä tunnusta GitHubiin, luo se nyt.

Luo GitHubiin repositorio nimellä ohtuvarasto

Tämän tehtävän lisäksi tehtävät 3-13 tehdään nyt luotuun ohtuvarasto-repositorioon.

  • Klikkaa yläpalkin oikeassa reunassa olevaa “Create a new repo”-ikonia
  • Laita rasti kohtaan “Add a README file”

Jos et ole vielä luonut koneellesi ssh-avainta, tee se nyt. Lisää julkinen avain GitHubiin. Ohjeet avaimen luomiseen ja lisäämiseen löytyvät täältä:

Tämän jälkeen pystyt käyttämään GitHubia ilman salasanan syöttämistä koneelta, josta juuri luodun avaimen salainen pari löytyy

Jos et ole jo aiemmin niin tehnyt, konfiguroi nimesi ja email-osoitteesi paikallisen koneesi Git:iin antamalla komennot:

git config --global user.name "Your Name"
git config --global user.email my.address@gmail.com

Tiedot näkyvät profiilissasi ja tekemiesi committien yhteydessä, joten anna sen verran tietoa, kuin haluat.

Oletuseditoriksi kannattaa Linuxilla ja macOS:lla konfiguroida esimerkiksi nano (jokaisella on mieltymyksensä):

git config --global core.editor nano

ja Windowsilla notepad:

git config --global core.editor notepad

Tosin jos olet vimin käyttäjä, voit jättää edellisen tekemättä.

Kloonaa nyt GitHubiin tehty repositorio paikalliselle koneelle. Tämä tapahtuu antamalla komentoriviltä komento:

git clone git@github.com:omatunnustahan/ohtuvarasto.git

missä komennon git clone parametrina on repositoriosi sivulla näkyvä merkkijono (huomaa, että formaatin on oltava SSH):

Nyt paikalliselle koneellesi syntynyt hakemisto ohtuvarasto (hakemiston nimi on sama kuin repositoriosi), joka on GitHubissa olevan repositorion klooni.

3. Gitin alkeet [versionhallinta]

Olet jo todennäköisesti käyttänyt Gitiä aiemmilla kursseilla. Tässä tehtävässä harjoitellaan seuraavia komentoja:

  • git add
  • git commit
  • git status
  • git checkout -- file

  • git reset HEAD

  • Jos et vielä hallitse komentoja, kertaan kurssin Ohjelmointi 2 Git -materiaali.

Lisää Git-ohjeita löytyy runsaasti internetistä, esim:

Tee nyt seuraavat:

  • Mene edellisessä tehtävässä luotuun repositorion klooniin (eli komennon git clone luomaan hakemistoon)
  • Lisää ja committaa repositorioon kaksi tiedostoa ja kaksi hakemistoa, joiden sisällä on tiedostoja
    • Muista hyödyllinen komento git status
  • Muuta ainakin kahden tiedoston sisältöä ja committaa muutokset repositorioon
  • Tee .gitignore-tiedosto, jossa määrittelet, että repositorion juurihakemistossa olevat tiedostot, joiden pääte on tmp, ja hakemistot joiden nimi on __pycache__ ja .pytest_cache ignoroidaan
    • Toinen ignorattava hakemisto on siis .pytest_cache, jonka nimi alkaa pisteellä
    • Pistealkuiset hakemistot ja tiedostot eivät näy oletusarvoisesti komennon ls listauksissa, saat ne näkyville komennolla ls -a
  • Lisää tmp-päätteisiä tiedostoja hakemistoon ja varmista että Git jättää ne huomioimatta
    • Saat asian tarkastettua komennolla git status
  • Lisää myös hakemisto nimeltä __pycache__ ja hakemiston sisälle joku tiedosto. Varmista, että hakemisto sisältöineen ei mene versionhallinnan alaisuuteen
  • Lisää ja commitoi .gitignore-tiedosto repositorioosi
  • Seuraavat kohdat puhuvat Gitin staging-alueesta. Jos et tiedä mistä on kysymys, selvitä mistä kyse. Asia kyllä selviää ylle linkitetyistä ohjeista
  • Tee muutos johonkin tiedostoon. Älä lisää tiedostoa “staging”-alueelle
    • Peru muutos (git status-komento antaa vihjeen miten tämä tapahtuu)
  • Tee muutos ja lisää tiedosto “staging”-alueelle, varmista että muutosta ei enää näy tiedostossa
    • Peru muutos (git status-komento antaa vihjeen miten tämä tapahtuu), varmista että muutosta ei enää näy tiedostossa

git add -p

  • Tutoriaaleissa ei valitettavasti käytetä git add-komennon hyödyllistä muotoa git add -p (katso https://gist.github.com/mattlewissf/9958704)
  • Tee muutoksia muutamiin tiedostoihin ja lisää muutokset staging-alueelle komennon git add -p avulla
  • Jos lisäät projektiin uusia tiedostoja, ei git add -p huomaa niitä, eli ne on lisättävä staging-alueelle erikseen
  • Käytä jatkossa komentoa git add -p aina kun se on suinkin mahdollista!

Komennolla man git add saat lisätietoa optiosta ja mm. vastausvaihtoehtojen selitykset.

4. Tiedostojen lisääminen GitHubiin [versionhallinta]

Tehtävässä 2 tehtiin GitHubiin repositorio “ohtuvarasto”, joka liitettiin paikalliselle koneelle luotuun repositorioon “remote repositoryksi”. Synkronoidaan paikallisen repositorion ja GitHubin tilanne:

  • “Pushaa” nämä GitHubissa olevaan etärepositorioon antamalla komento git push
  • Varmista selaimella, että lisätyt tiedostot menevät GitHubiin

GitHubissa pitäisi näyttää suunnilleen seuraavalta

5. Monta kloonia samasta repositoriosta [versionhallinta]

Yleensä on tapana pitää GitHubissa olevaa repositoriota tiedostojen “keskitettynä” sijoituspaikkana ja liittää paikallisella koneella oleva repositorio GitHubissa olevan repositorion etärepositorioksi, kuten teimme tehtävässä 1.

Jos työskennellään useammalta koneelta, on GitHubissa olevasta repositoriosta monta kloonia ja kloonien tila on pidettävä ajantasalla.

Luodaan nyt harjoituksen vuoksi paikalliselle koneelle repositoriosta toinen klooni:

  • Mene komentoriville ja esim. kotihakemistoosi (tai johonkin paikkaan, joka ei ole Git-repositorio)
  • Anna komento git clone git@github.com:githubtunnus/repositorionNimi.git nimiKloonille
    • githubtunnus ja repositorionNimi selviävät GitHubista repositoriosi tehtävän 2 toisen kuvan osoittamasta paikasta
    • nimiKloonille tulee olemaan kloonatun repositorion nimi, varmista että annat nimen, jonka nimistä tiedostoa tai hakemistoa ei jo ole kansiossa
  • Mene kloonattuun repositorioon ja lisää sinne jotain tiedostoja. Committaa lopuksi
  • “Pushaa” muutokset GitHubiin
  • Varmista selaimella, että lisätyt tiedostot menevät GitHubiin

Mene nyt tehtävässä 2 tehtyyn GitHub-repositorion klooniin.

  • Alkuperäinen paikallinen klooni ei ole enää ajantasalla, “pullaa” sinne muutokset komennolla git pull
  • Varmista että molempien paikallisten repositorioiden sisältö on nyt sama
  • Lisää alkuperäiseen klooniin joitain tiedostoja ja pushaa ne GitHubiin
  • Mene jälleen tässä tehtävässä tehtyyn klooniin ja pullaa

6. Repositorion siivous [versionhallinta]

Valmistaudutaan seuraavaan tehtävään siivoamalla repositoriostamme ylimääräiset tiedostot

  • Mene repositoriosi alkuperäiseen, tehtävässä 2 tekemääsi klooniin
    • Voit poistaa tehtävää 5 varten tekemäsi harjoituskloonin
  • Poista repositorioistasi kaikki hakemistot sekä muut tiedostot paitsi .git, .gitignore ja README.md
  • Committaa muutokset
    • Varmista komennolla git status että kaikki muutokset ovat versionhallinnassa, eli että Git ei ilmoita joidenkin tiedostojen olevan Changes not staged for commit
    • Joudut ehkä kertaamaan tehtävän 3 linkittämistä tutoriaaleista sitä miten tiedostojen poistaminen Gitistä tapahtuu
  • Pushaa muutokset GitHubiin. Katso selaimella, että GitHubissa kaikki on ajan tasalla, eli että repositoriossa ei ole mitään muuta kuin tiedostot .gitignore ja README.md

Haetaan sitten seuraavissa tehtävissä käytettävä koodi:

  • Lisää ja committoi zipistä puretut tavarat repositorioosi ja pushaa ne GitHubiin
  • Katso vielä kerran selaimella, että GitHubissa kaikki on ajan tasalla

Huomaa, että repositoriosi tulee näyttää tehtävän jälkeen suunnilleen seuraavalta:

Jos hakemisto src ja tiedostot pyproject.toml ym. eivät ole repositorion juuressa, siirrä ne sinne ennen kuin siirryt eteenpäin.

7. Poetry

Tämän kurssin ohjelmointitehtävissä käytetään Pythonia. Python asennuksen löytymisen koneeltasi voit tarkistaa komennolla:

python3 --version

Jos Python on asennettu, komennon suorittaminen tulostaa asennetun Pythonin version. Varmista, että käytössä oleva versio on vähintään 3.10.0. Jos python3-komentoa ei löydy, kokeile komentoa python. Varmista kuitenkin, että python-komento suorittaa tarpeeksi uutta versiota. Jos asennusta ei löydy, tai käytössä on vanhempi versio, voit seurata esim Helsingin yliopiston ohjelmointikurssien ohjeita Pythonin asentamiselle.

Asennusohjeista löytyy myös ohjeet Visual Studio Code -editorin asentamiselle. Kurssin tehtäviä ei kuitenkaan palauteta TMC-liitännäisen avulla, joten VS Code -liitännäinen ei ole välttämätön kurssin suorittamiselle. Voit siis halutessasi käyttää kurssilla myös mitä tahansa muuta editoria.

Ohjelmoinnin peruskursseilla olet suorittanyt koodia Timissä tai paikallisisesti eri IDEillä. Ammattimaisessa ohjelmistokehityksessä koodin suorittaminen ja testaamisen on tapahduttava toistettavalla tavalla, ja siten että operaatiot pystytään suorittamaan millä tahansa koneella, skriptatusti komentoriviltä, eli riippumatta VS Coden kaltaisista kehitysympäristöistä.

Koodin suorittaminen komentoriviltä python3-komennolla ei itsessään ole kovin hankalaa. Ongelmia alkaa syntyä vasta, kun projekti tarvitsee ulkoisia riippuvuuksia erilaisten asennettavien kirjastojen muodossa. Kirjastojen asennukseen ja hallintaan tarvitaan erilisiä työkaluja. Pythonin kohdalla suosituin komentorivityökaluja tähän tarkoitukseen on pip.

Jotta samalla tietokoneella olevien projektien riippuvuuksissa ei syntyisi ristiriitoja, on käytössä usein niin kutsuttuja projektikohtaisia virtuaaliympäristöjä. Näitä virtuaaliympäristöjä luodaan ja käytetään venv-moduulin kautta.

Jotta saisimme helposti käyttöömme pipin ja virtuaaliympäristön tuomat edut, voimme käyttää Poetry-komentorivityökalua. Poetryn dokumentaation antama kuvaus on seuraava:

Poetry is a tool for dependency management and packaging in Python. It allows you to declare the libraries your project depends on and it will manage (install/update) them for you.

  • Edellisessä tehtävässä lisättiin repositorioon Poetry-muodossa oleva varasto-projekti. Projekti sisältää erittäin yksinkertaisen varaston hallintaan soveltuvaa koodia. Varaston hallinnasta vastaa src/varasto.py-tiedossa määritelty luokka Varasto. Luokkaa käyttää src/index.py-tiedossa määritelty funktio main
  • Tutki Poetry-muotoisen projektin hakemistorakennetta esim. antamalla komento tree projektin sisältävän hakemiston juuressa (tree ei ole Poetryyn liittyvä käsky vaan normaali shell-komento)
    • Windowsissa komennosta käyttökelpoisin muoto on tree /F Jos käytössäsi on Windowsissa git bash komento on muotoa cmd //c tree
    • HUOM: macOS:ssä ei ole oletusarvoisesti tree-komentoa
    • Mikäli koneellasi on Homebrew asennettuna, saat tree-komennon asennettua komennolla brew install tree
    • Myöskään kaikissa Linuxeissa ei komento tree ole oletusarvoisesti asennettu. Debian-pohjaisissa Linuxeissa (esim Ubuntussa) saat asennettua tree-komennon komennolla sudo apt-get install tree
  • Tarkastele projektin määrittelevän tiedoston pyproject.toml sisältöä
    • Tiedosto määrittelee mm. projektin käyttämät riippuvuudet
  • Tarkastele juurihakemistossa olevan poetry.lock-tiedoston sisältöä
    • Tiedoston sisällön ei ole tarkoitus olla ihmisluettava, eikä sitä pitäisikään missään nimessä muokata. Tiedosto on täysin Poetryn ylläpitämä. Poetry tallentaa tiedostoon projektiin asennettujen riippuvuuksien versiot, jotta jokaisen asennuksen yhteydessä riippuvuuksista voidaan asentaa juuri oikeat versiot

Ohjelmakoodin editointi kannattaa tehdä järkevällä editorilla, esim. Visual Studio Codella, mutta Poetry-komentojen suorittaminen onnistuu helpoiten komentoriviltä.

Varoitus: pip

Olet saattanut asentaa Pythonin tarvitsemia riippuvuuksia pip-komennolla. Älä käytä pipiä tällä kurssilla sillä jos teet niin, teet 99.9% todennäköisyydellä jotain väärin.

Tällä kurssilla riippuvuudet asennetaan poetryllä.

Ennen siirtymistä tehtävien pariin, ja et ole aiemmin Poetryä käyttänyt, tutustu Poetryn asennus- ja käyttöohjeisiin lukemalla tämä dokumentti. Kurssilla käytetään Poetryn versiota 1.6.1. Jos koneellasi on vanhempi versio, se on syytä päivittää.

On suositeltavaa, että teet tämän muutoksen Poetryn asetuksiin! Varmista vielä, että asetus on koneellasi oikein tehtynä.

Tee nyt seuraavat toimenpiteet.

  • Asenna varasto-projektin riippuvuudet suorittamalla sen juurihakemistossa komento poetry install
  • Käynnistä sovellus komennolla poetry run python3 src/index.py
    • Run-komento suorittaa annetun komennon (tässä tapauksessa python3 src/index.py) virtuaaliympäristössä
  • Siirry virtuaaliympäristöön komennolla poetry shell. Huom tätä komentoa ei ladata automaattisesti poetry 2.0.0 version jälkeen, uusi versio on poetry env activate, joka tulostaa komennon millä ympäristö voidaan aktivoida (eli siis näyttää mistä virtuaali ympäristösi activate skripti löytyy). Poetry shell on kuitenkin vielä olemassa pluginina, sen voi ladata esim komennolla poetry self add poetry-plugin-shell
  • Suorita komento python3 src/index.py
    • Virtuaaliympäristössä komentoja voi suorittaa “normaalisti”, eli ilman run-komentoa
    • Kun uutta koodia kehitetään ja suoritetaan tiheissä sykleissä, on komentojen suorittaminen kätevintä tehdä virtuaaliympäristön sisällä
  • Poistu virtuaaliympäristöstä komennolla exit
  • Suorita testit komennolla poetry run pytest
    • Testien suorittamista varten on käytössä pytest-sovelluskehys

HUOM jos törmäät seuraavaan virheilmoitukseen

Python 2.7 will no longer be supported in the next feature release of Poetry (1.2).
You should consider updating your Python version to a supported one.

Note that you will still be able to manage Python 2.7 projects by using the env command.
See https://python-poetry.org/docs/managing-environments/ for more information.

The currently activated Python version 2.7.16 is not supported by the project (^3.10).
Trying to find and use a compatible version.

eräs tapa korjata tilanne Macilla ja ehkä myös Linuxilla on editoida tiedoston ~/.poetry.bin/poetry ensimmäisellä rivillä mainittu pythonin polku. Oletusarvoinen polku on todennäköisesti seuraava

#!/usr/bin/python

Polku tulee vanhemmilla Maceilla muuttaa (todennäköisesti) muotoon

#!/usr/local/bin/python3

Oikea polku kannattaa varmistaa komennolla which python3.

8. Unittest

Ohjelmistokehityksen ehkä tärkein vaihe on laadunvarmistus, laadunvarmistuksen tärkein keino taas on testaus, joka on syytä automatisoida mahdollisimman pitkälle, sillä ohjelmistoja joudutaan testaamaan paljon. Erityisesti iteratiivisessa/ketterässä ohjelmistokehityksessä samat testit on suoritettava uudelleen aina ohjelman muuttuessa.

Python-maailmassa automatisoidun testaamisen johtava työkalu on unittest. Jos unittest on vieras, kertaa sen perusteet tästä unittest-ohjeesta.

Edellisen tehtävän esimerkkisovelluksessa on jo jonkun verran unittest-testejä, laajennetaan nyt testejä.

Muista, että testit voi suorittaa projektin juurihakemistossa komennolla poetry run pytest tai siirtymällä virtuaaliympäristöön komennolla poetry shell ja suorittamalla sen jälkeen komennon pytest.

  • Täydennä varasto-projektin testejä siten, että luokan Varasto testien haarautumakattavuudeksi (branch coverage) tulee 100%
    • Joudut huomioimaan ainakin tapaukset, joissa varastoon yritetään laittaa liikaa tavaraa ja varastosta yritetään ottaa enemmän kuin siellä on
    • Edellinenkään ei vielä riitä
  • Testauksen rivikattavuuden saat selville coverage-työkalun avulla. Tutustu työkaluun lukemalla Coverage-ohje
  • Ota työkalu projektissasi käyttöön asentamalla se projektin kehityksen aikaiseksi riippuvuudeksi komennolla:
poetry add coverage --group dev

Komennon muoto riippuu siitä kuinka uusi Poetryn versio käytössäsi on.

  • Lisää projektin juurihakemistoon konfiguraatiotiedosto .coveragerc, jossa kerrotaan, mistä projektin tiedostoista testikattavuutta kerätään. Tiedoston sisällön tulee olla seuraava:
[run]
source = src
  • Siirry virtuaaliympäristöön komennolla poetry shell
    • Suorita komento coverage run --branch -m pytest. Komento suorittaa testit ja kerää testien haarautumakattavuuden
    • Tämän jälkeen suorita komento coverage html. Komento muodostaa raportin kerättyjen tietojen perusteella
  • Projektin juurihakemistoon pitäisi ilmestyä hakemisto htmlcov. Voit tarkastella HTML-muotoista testikattavuusraporttia avamaalla selaimessa hakemiston htmlcov tiedoston index.html
    • Klikkaamalla raportista yksittäisen tiedoston nimeä näet, mitkä koodin suorituksen haarat on vielä testaamatta
  • Lisää projektin .gitignore-tiedostoon tiedosto .coverage ja hakemisto htmlcov
  • Kun luokan Varasto (tiedoston src/varasto.py) testien haarautumakattavuus (branch coverage) on 100%, pushaa tekemäsi muutokset GitHubiin
    • Raportissa on luultavasti mukana myös muita tiedostoja, mutta ainoastaan src/varasto.py-tiedoston haarautumakattavuus tarvitsee olla 100%. Opimme myöhemmin, kuinka ylimääräiset tiedostot pystyy jättämään raportin ulkopuolelle
    • Kun muokkaat testejä, muista suorittaa komennot coverage run --branch -m pytest ja coverage html uudelleen, jotta raportti päivittyy
    • Saat suoritettua molemmat komennot “yhdellä napin painalluksella” sijoittamalla ne samalle riville puolipisteellä eroteltuna coverage run --branch -m pytest; coverage html

9. GitHub Actions, osa 1

Poetryn avulla testien suorittaminen on mahdollista tehdä skriptattavaksi, eli helposti komentoriviltä yhdellä komennolla suoritettavaksi. Seuraava askel on suorittaa buildausprosessi, eli ohjelman suorittamiseen vaadittavat toimenpiteet ja siihen liittyvien testien suoritus, erillisellä build-palvelimella (engl. build server).

Ideana on, että ohjelmistokehittäjä noudattaa seuraavaa sykliä:

  • Uusin versio koodista haetaan versionhallinnan keskitetystä repositoriosta ohjelmistokehittäjän koneelle
  • Lisäykset ja niitä testaavat testit tehdään paikalliseen kopioon
  • Testit suoritetaan paikalliseen kopioon ohjelmistokehittäjän koneella
  • Jos kaikki on kunnossa, paikalliset muutokset lähetetään keskitettyyn repositorioon
  • Build-palvelin seuraa keskitettyä repositoriota ja kun siellä huomataan muutoksia, hakee ja kääntää build-palvelin muuttuneen koodin ja suorittaa sille testit
  • Build-palvelin raportoi havaituista virheistä

Erillisen build-palvelimen avulla varmistetaan, että ohjelmisto toimii muuallakin kuin muutokset tehneen ohjelmistokehittäjän koneella. Tätä käytännettä kutsutaan jatkuvaksi integraatioksi (engl. continuous integration). Palaamme asiaan tarkemmin kurssin kolmannessa osassa.

Nykyään alkaa olla yleistä, että erillisen build-palvelimen sijaan käytetään jotain verkossa olevaa “build-ohjelmistoa”, jolloin softakehittäjien ei tarvitse huolehtia ollenkaan buildaukseen käytettävän palvelimen ja sen ohjelmistojen asentamisesta.

Kurssilla käytetään GitHubiin 15.11.2019 julkaistua ja sen jälkeen nopeasti suuren suosion saavuttanutta Actions-ominaisuutta hoitamaan automatisoitu buildaus.

Konfiguroidaan seuraavaksi GitHub Actions huolehtimaan projektistamme.

Valitse GitHub-repositoriostasi välilehti Actions ja klikkaa set up a workflow yourself-linkkiä:

Valinta avaa actionien konfiguraatiotiedoston. Muuta se seuraavaan muotoon:

name: CI

on:
  push:
    branches: [main]
  pull_request:
    branches: [main]

jobs:
  build:
    runs-on: ubuntu-latest

    steps:
      - uses: actions/checkout@v4
      - name: Set up Python 3.10
        uses: actions/setup-python@v5
        with:
          python-version: '3.10'
      - name: Install Poetry
        run: pip install poetry
      - name: Install dependencies
        run: poetry install --no-root
      - name: Run tests
        run: poetry run coverage run --branch -m pytest

Paina vihreää Commit changes -nappia, ja anna sopiva commit-viesti.

Konfiguraatiotiedosto (jonka nimi on oletusarvoisesti main.yml) tallettuu repositorioosi hakemiston .github/workflows alle:

GitHub siis committoi uuden tiedoston automaattisesti repositorioosi.

Kun nyt pullaat repositorion koodin omalle koneellesi, näkyy konfiguraatiotiedosto myös siellä, esim. Visual Studio Code -editorilla se näyttää seuraavalta:

Kun avaan nyt repositorion välilehden Actions, huomaat että sinne on ilmestynyt hieman tavaraa:

10. GitHub Actions, osa 2

Katsotaan hieman tarkemmin mitä GitHub Actionien konepellin alla tapahtuu.

GitHub Actionit ovat sarjoja erilaisia “toimenpiteitä”, joita GitHub voi suorittaa repositoriossa olevalle koodille. Actionin toiminta määritellään hakemiston .github/workflows sijoitettavissa .yml-päätteisissä tiedostoissa.

Tarkastellaan äsken määrittelemäämme tiedostoa:

name: CI

on:
  push:
    branches: [main]
  pull_request:
    branches: [main]

jobs:
  build:
    runs-on: ubuntu-latest

    steps:
      - uses: actions/checkout@v4
      - name: Set up Python 3.10
        uses: actions/setup-python@v5
        with:
          python-version: '3.10'
      - name: Install Poetry
        run: pip install poetry
      - name: Install dependencies
        run: poetry install
      - name: Run tests
        run: poetry run coverage run --branch -m pytest

Kohta on määrittelee missä tilanteissa actionit suoritetaan. Konfiguraatiomme määrää, että actionit suoritetaan aina kun repositorion päähaaraan pushataan koodia (sekä silloin jos päähaaraan tehdään ns. pull request).

Osiossa jobs voidaan määritellä yksi tai useampi “työ”, eli useasta askeleesta koostuva tehtäväsarja. Määrittelimme tällä kertaa vain yhden työn, jolle annoimme nimen build. Jos töitä olisi useita, suorittaisi GitHub Actions ne rinnakkain.

Yksittäinen työ koostuu useista askelista, jotka on määritelty työn alla kohdassa steps.

GitHub varaa työn askelien suorittamista varten virtuaalikoneen. Kohta runs-on määrittelee minkälaisella käyttöjärjestelmällä työn askeleet suoritetaan. Esimerkkimme tapauksessa suoritusympäristö on Ubuntu Linux.

Esimerkkimme tapauksessa työ koostuu viidestä askeleesta. Ensimmäinen askel

- uses: actions/checkout@v4

suorittaa valmiiksi määritellyn actionin checkout, joka dokumentaationsa mukaan tekee seuraavaa

This action checks-out your repository under $GITHUB_WORKSPACE, so your workflow can access it.

Eli checkout action siis hakee repositorion koodin askeleet suorittavalle virtuaalikoneelle.

Toinen askel on action setup-python, joka asentaan työn suorittavalle virtuaalikoneelle haluamme Python-version. Jostain syystä versionumero on annettava hipsuissa, eli muodossa ‘3.10’. Jos hipsuja ei ole, yrittää GitHub Actions asentaa Pythonista version 3.1

Molemmat näistä actioneista olivat GitHubin marketplacesta löytyviä valmiita actioneja. Esim. Pythonin asentaminen työn suorittavalle virtuaalikoneelle on itsessään aika monimutkainen toimenpide, mutta valmiiksi määritelty action tekee sen helpoksi.

Kolmas askel on hieman erilainen:

- name: Install Poetry
  run: pip install poetry

Se suorittaa komentorivillä komennon, joka asentaa Poetryn.

Neljäs askel asentaa projektin riippuvuudet poetry install-komennolla.

Viides askel on kaikkein tärkein, se suorittaa Poetryn avulla projektin testit ja kerää testikattavuuden:

- name: Run tests
  run: poetry run coverage run --branch -m pytest

Tee nyt koodiin muutos, joka hajottaa testit ja committaa ja pushaa muutos GitHubiin.

Hetken kuluttua actions-välilehdellä pitäisi näkyä että commiteja on kaksi, ja että viimeisin on tilaltaan “punainen”:

Klikkaamalla rikki mennyttä committia, päästään tarkastelemaan hieman tarkemmin actionin suorituksen etenemistä:

Kuten odotettua, testi ei mennyt läpi. Riippuen GitHubin asetuksista, olet myös saattanut saada email-muistutuksen rikki menneestä buildista.

Korjaa testi ja pushaa muutokset uudelleen GitHubiin. Tarkkaile jälleen Actions-näkymää ja varmista, että kaikki toimii oikein.

11. GitHub Actions, osa 3

Laita repositoriossa olevaan tiedostoon README.md koodin tilasta kertova Status Badge.

Tämän ohjeen mukaan badgen osoite on muotoa

https://github.com/OWNER/REPOSITORY/actions/workflows/WORKFLOW-FILE/badge.svg

WORKFLOW-FILE löytyy hakemistosta .github/workflows

Oletusasetuksilla tiedoston nimi on main.yml

Esimerkiksi:

https://github.com/mluukkai/ohtuvarasto/actions/workflows/main.yml/badge.svg

Lisää badge editoimalla tiedostoa README.md suoraan GitHubissa:

Oikein toimiva badge näyttää seuraavalta:

Badge toimii siis sen indikaattorina onko repositoriossasi oleva koodi testien puolesta kunnossa!

Tee nyt jokin muutos koneellasi repositorioon johonkin muuhun tiedostoon kuin README.md ja yritä pushata koodi GitHubiin. Toimenpiteestä seuraa virhe:

To github.com:mluukkai/ohtuvarasto.git
 ! [rejected]        main -> main (fetch first)
error: failed to push some refs to 'git@github.com:mluukkai/ohtuvarasto.git'
hint: Updates were rejected because the remote contains work that you do
hint: not have locally. This is usually caused by another repository pushing
hint: to the same ref. You may want to first integrate the remote changes
hint: (e.g., 'git pull ...') before pushing again.
hint: See the 'Note about fast-forwards' in 'git push --help' for details.

Tulet todennäköisesti törmäämään vastaavaan virheeseen usein. Syynä virheelle on se, että yrität pushata muutoksia GitHubiin vaikka GitHub on “edellä” paikallista repositoriotasi (ts. sinne lisättiin tiedosto README.md).

Ongelma ratkeaa seuraavasti. Tee ensin komento git pull. Saat Gitiltä pitkän valitusviestin:

remote: Enumerating objects: 5, done.
remote: Counting objects: 100% (5/5), done.
remote: Total 3 (delta 0), reused 0 (delta 0), pack-reused 0
Unpacking objects: 100% (3/3), 645 bytes | 215.00 KiB/s, done.
From github.com:mluukkai/ohtuvarasto2
   6f1cd65..aa6c099  main       -> origin/main
hint: You have divergent branches and need to specify how to reconcile them.
hint: You can do so by running one of the following commands sometime before
hint: your next pull:
hint:
hint:   git config pull.rebase false  # merge
hint:   git config pull.rebase true   # rebase
hint:   git config pull.ff only       # fast-forward only
hint:
hint: You can replace "git config" with "git config --global" to set a default
hint: preference for all repositories. You can also pass --rebase, --no-rebase,
hint: or --ff-only on the command line to override the configured default per
hint: invocation.

Käytännössä Git haluaa tietää minkälaisella strategialla paikallisen ja etärepositoriosi koodi tulisi yhdistää. Vaihtoehdoista kannattanee valita keskimäinen, eli anna komentorivillä komento

git config pull.rebase true

Käytännössä valittu vaihtoehto tarkoittaa sitä, että Git suorittaa uudet lokaalit commitit etärepositoriossa olevien committien perään.

Voit nyt pullata koodin uudelleen komennolla git pull. Komento git push onnistuu nyt. Jatkossa vastaavista tilanteista selviää komennoilla git pull ja git push.

Jos muutit paikallisesti tiedostoa README.md, saatoit aiheuttaa ns. merge-konfliktin jonka selvittämiseen vaaditaan jo hieman vaivaa. Palaamme asiaan tulevilla viikoilla…

Tee vielä lopuksi badgestasi linkki Actions-välilehdelle. Eli kun badgea painetaan, tulee selaimen ohjautua repositorion Actions-välilehdelle, esim. omassa tapauksessani osoitteeseen https://github.com/mluukkai/ohtuvarasto/actions

12. Codecov

Tehtävässä 8 määrittelimme projektin testauskattavuuden coveragen avulla. https://codecov.io -palvelu mahdollistaa projektien koodikattavuuden julkaisemisen verkossa.

  • Kirjaudu Codecoviin (GitHub login)
  • Lisää repositorio Codecoviin alaisuuteen:

Saatat joutua odottamaan hetken, ennen kuin Codecov löytää repositoriosi. On myös mahdollista, että joudut vielä sallimaan repositorion näkymisen GitHubin asetusten kautta. Voit antaa luvan joko kaikkiin julkisiin repositorioihin tai valitsemiisi repositorioihin:

Projektin lisäämisen jälkeen aukeavassa näkymässä oleva Step 2 sisältää oleellisen tärkeän asian, eli repository tokenin:

Käytännössä Codecovin repository token on avain, jonka avulla palvelu tunnistaa sinut. Tällaisten avainten käytölle on tyypillistä, että niitä ei haluta kaikkien saataville julkiseen repositorioon.

Lisää nyt avain Github Actioneiden käyttöön Codecovin dokumentaatiota seuraten. Laajemmin sailaisuuksien sisällyttämisestä GitHubiin on kuvattu GitHubin dokumentaatiossa.

Saamme muodostettua Codecovin ymmärtämän testikattavuusraportin käyttämällä coverage html-komennon sijaan komentoa coverage xml. Kyseinen komento muodostaa XML-muotoisen testikattavuusraportin. Lisätään GitHub Action -konfiguraatiomme loppuun kaksi uutta askelta:

Lisätään GitHub Action -konfiguraatiomme loppuun kaksi uutta askelta:


- name: Coverage report
  run: poetry run coverage xml
- name: Coverage report to Codecov
  uses: codecov/codecov-action@v4
  env:
    CODECOV_TOKEN: ${{ secrets.CODECOV_TOKEN }}

HUOM rivit on sisennettävä samalle tasolle kuin muut stepit.

Aiemmin codevoc ei vaatinut julkisten repositorioiden osalta upload tokenin käyttöä, mutta nykyisin tällainen tarvitaan. Käytännössä Codecovin upload token on avain, jonka avulla palvelu tunnistaa sinut. Tällaisten avainten käytölle on tyypillistä, että niitä ei haluta kaikkien saataville julkiseen repositorioon. Avaimen luominen ja lisääminen Github Actioneiden käyttöön on selitetty Codecovin dokumentaatiossa. Laajemmin sailaisuuksien sisällyttämisestä Githubiin on kuvattu Githubin dokumentaatiossa.

Kertauksena:

  1. Luo avain Codecovin ohjeiden mukaan
  2. Siirrä avain GitHubin secretiksi (Githubin repossa settings -> secrets and variables / actions -> New repository secret -> nimeksi CODECOV_TOKEN ja arvoksi avain)
  3. Lisää yllä olevat vaiheet GitHub Action -konfiguraatiosio

Kun seuraavan kerran koodi pushataan GitHubiin, ilmestyy Codecoviin koodin testikattavuusraportti:

Klikkailemalla tiedostojen nimiä, pääset katsomaan yksittäisten luokkien testauksen kattamat rivit:

Käytännössä pyydämme nyt GitHub Actioneja suorittamaan ensin testit ja keräämään testikattavuuden (komennolla poetry run coverage run --branch -m pytest), jonka jälkeen muodostetaan XML-muotoinen testikattavuusraportti (komennolla poetry run coverage xml). Tämä testikattavuusraportti lähetetään Codeviin.

GitHub Actionien loki näyttää miten askelten suoritus etenee:

Lisää repositoriosi README.md-tiedostoon myös Codecov-badge. Löydät badgen repositorion Codecov-sivun Configuration-valikosta.

Projektisi GitHub-sivun tulisi lopulta näyttää suunnilleen seuraavalta:

Huomaa, että GitHub Actionin ja Codecovin badget eivät päivity täysin reaaliajassa. Eli vaikka projektin testikattavuus nousisi, kestää hetken, ennen kuin badge näyttää tuoreen tilanteen.

13. Parempi testikattavuus

Projektin testauskattavuutta häiritsee nyt se, että myös src/tests-hakemiston testit ja src/index.py-tiedosto lasketaan testikattavuuteen. Voimme määritellä, että joitain tiedostoja tai kokonaisia hakemistoja jätetään huomioimatta kattavuusraportin generoinnissa.

Lisää juurihakemiston .coveragerc-tiedostoon, omit-konfiguraatio ja määrittele siinä huomioimatta jätettävät tiedostot:

[run]
source = src
omit = src/tests/**,src/index.py

Konfiguraatiossa määritellä pilkulla eroteltuna niin kutsuttaja glob-polkuja. Voimme jättää huomioimatta esimerkiksi yksittäisen tiedoston polun (src/index.py), tai kaikki tietyn hakemiston alla olevat polut (src/tests/**).

Pushaa koodi GitHubiin ja varmista, että Codecov generoi raportin siten, että src/index.py-tiedosto ja src/tests-hakemiston tiedostot jätetään huomioimatta.

Tehtävien palauttaminen

Pushaa kaikki tekemäsi tehtävät (paitsi ne, joissa mainitaan, että tehtävää ei palauteta mihinkään) GitHubiin palautusrepositorioosi ja merkkaa tekemäsi tehtävät Timiin