Osa 1

Tämän viikon tehtävissä harjoitellaan ensin muutaman tärkeän ohjelmistokehityksen työkalun (komentorivi, versionhallinta, riippuvuuksien hallinta, automatisoitu testaus, jatkuva integraatio) käyttöä.

Typoja tai epäselvyyksiä tehtävissä?

Tee korjausehdotus editoimalla tätä tiedostoa GitHubissa.

Kurssipalaute

Kurssin lopussa kerättävän palautteen lisäksi on voit antaa milloin vain kurssihenkilökunnalle anonyymiä palautetta osoitteessa https://norppa.jyu.fi/targets/7131/feedback.

Tehtävien palauttaminen

Tehtävät palautetaan GitHubiin, sekä merkitsemällä tehdyt tehtävät Timiin. Viikon tehtävät palautetaan yhdellä kertaa, eli tee merkintä palautussovellukseen vasta kun olet valmis viikon tehtävien osalta.

Käytännössä tällä viikolla tehdään palautusta varten yksi GitHub-repositorio nimeltään ohtuvarasto. Jos et vielä tiedä mikä on GitHub ja repositorio, niin pian opit.

Tehtävää 1 ei varsinaisesti palauteta minnekään, eikä sitä arvostella.

1. Komentorivi

Tätä tehtävää ei palauteta mihinkään

Graafisten käyttöliittymien olemassaolosta huolimatta ohjelmistoalalla on edelleen erittäin tärkeää hallita komentorivin eli terminaalin käyttö. Itse asiassa komentorivin merkitys on jopa nousussa.

Varmista, että osaat käyttää “riittävästi” komentoriviä (ks. alla oleva lista).

Jos osaamisessasi on puutteita (ks. alla oleva lista) kertaa haluamastasi resurssista:

• https://www.codecademy.com/learn/learn-the-command-line online-kurssin kaksi ensimmäistä osaa Navigating the File System ja Viewing and Changing the File System
• https://ryanstutorials.net/linuxtutorial/ oppaasta 4 osaa: 1. The Command Line, 2. Basic Navigation, 3.More About Files ja 5. File Manipulation

HUOM. Codecademy vaatii kirjautumisen Facebook, Google tai GitHub -tunnuksella. Kurssilla käytetään muutenkin GitHubia, eli se tunnus pitäisi kaikilla olla olemassa, jotta pääsee kirjautumaan.

Tämän tehtävän jälkeen sinun tulisi hallita seuraavat asiat:

• Käsitteet
  • Root directory
  • Home directory
  • Parent directory
  • Child directory
  • Working directory
  • .. ja \*
• Ja osata käyttää komentoja
  • pwd
  • cd
  • ls, ls -a, ls -l, ls -t
  • mkdir
  • touch
  • cp
  • rm, rm -r
  • mv

Tulet tarvitsemaan komentorivin käyttötaitoja tällä kurssilla ja muutenkin opinnoissasi.

Tehtävää ei palauteta mitenkään. Voit merkitä tehtävän tehdyksi kun osaat yllä luetellut asiat.

2. GitHubiin [versionhallinta]

Jos sinulla ei jostain syystä ole vielä tunnusta GitHubiin, luo se nyt.

Luo GitHubiin repositorio nimellä ohtuvarasto

Tämän tehtävän lisäksi tehtävät 3-13 tehdään nyt luotuun ohtuvarasto-repositorioon.

• Klikkaa yläpalkin oikeassa reunassa olevaa “Create a new repo”-ikonia
• Laita rasti kohtaan “Add a README file”

Jos et ole vielä luonut koneellesi ssh-avainta, tee se nyt. Lisää julkinen avain GitHubiin. Ohjeet avaimen luomiseen ja lisäämiseen löytyvät täältä:

• Ohje täällä

Tämän jälkeen pystyt käyttämään GitHubia ilman salasanan syöttämistä koneelta, josta juuri luodun avaimen salainen pari löytyy

Jos et ole jo aiemmin niin tehnyt, konfiguroi nimesi ja email-osoitteesi paikallisen koneesi Git:iin antamalla komennot:

git config --global user.name "Your Name"
git config --global user.email my.address@gmail.com

Tiedot näkyvät profiilissasi ja tekemiesi committien yhteydessä, joten anna sen verran tietoa, kuin haluat.

Oletuseditoriksi kannattaa Linuxilla ja macOS:lla konfiguroida esimerkiksi nano (jokaisella on mieltymyksensä):

git config --global core.editor nano

ja Windowsilla notepad:

git config --global core.editor notepad

Tosin jos olet vimin käyttäjä, voit jättää edellisen tekemättä.

Kloonaa nyt GitHubiin tehty repositorio paikalliselle koneelle. Tämä tapahtuu antamalla komentoriviltä komento:

git clone git@github.com:omatunnustahan/ohtuvarasto.git

missä komennon git clone parametrina on repositoriosi sivulla näkyvä merkkijono (huomaa, että formaatin on oltava SSH):

Nyt paikalliselle koneellesi syntynyt hakemisto ohtuvarasto (hakemiston nimi on sama kuin repositoriosi), joka on GitHubissa olevan repositorion klooni.

3. Gitin alkeet [versionhallinta]

Olet jo todennäköisesti käyttänyt Gitiä aiemmilla kursseilla. Tässä tehtävässä harjoitellaan seuraavia komentoja:

• git add
• git commit
• git status
• git checkout -- file

• git reset HEAD

• Jos et vielä hallitse komentoja, kertaa kurssin Ohjelmointi 2 Git -materiaali.

Lisää Git-ohjeita löytyy runsaasti internetistä, esim:

• Pro Git -opas, kannattaa lukea näin alkuun luku 2
• GitHubin helpit
• https://www.atlassian.com/git/tutorials
• https://we.riseup.net/debian/git-development-howto

Tee nyt seuraavat:

• Mene edellisessä tehtävässä luotuun repositorion klooniin (eli komennon git clone luomaan hakemistoon)
• Lisää ja committaa repositorioon kaksi tiedostoa ja kaksi hakemistoa, joiden sisällä on tiedostoja
  • Muista hyödyllinen komento git status
• Muuta ainakin kahden tiedoston sisältöä ja committaa muutokset repositorioon
• Tee .gitignore-tiedosto, jossa määrittelet, että repositorion juurihakemistossa olevat tiedostot, joiden pääte on tmp, ja hakemistot joiden nimi on __pycache__ ja .pytest_cache ignoroidaan
  • Toinen ignorattava hakemisto on siis .pytest_cache, jonka nimi alkaa pisteellä
  • Pistealkuiset hakemistot ja tiedostot eivät näy oletusarvoisesti komennon ls listauksissa, saat ne näkyville komennolla ls -a
• Lisää tmp-päätteisiä tiedostoja hakemistoon ja varmista että Git jättää ne huomioimatta
  • Saat asian tarkastettua komennolla git status
• Lisää myös hakemisto nimeltä __pycache__ ja hakemiston sisälle joku tiedosto. Varmista, että hakemisto sisältöineen ei mene versionhallinnan alaisuuteen
• Lisää ja commitoi .gitignore-tiedosto repositorioosi
• Seuraavat kohdat puhuvat Gitin staging-alueesta. Jos et tiedä mistä on kysymys, selvitä mistä kyse. Asia kyllä selviää ylle linkitetyistä ohjeista
• Tee muutos johonkin tiedostoon. Älä lisää tiedostoa “staging”-alueelle
  • Peru muutos (git status-komento antaa vihjeen miten tämä tapahtuu)
• Tee muutos ja lisää tiedosto “staging”-alueelle, varmista että muutosta ei enää näy tiedostossa
  • Peru muutos (git status-komento antaa vihjeen miten tämä tapahtuu), varmista että muutosta ei enää näy tiedostossa

git add -p

• Tutoriaaleissa ei valitettavasti käytetä git add-komennon hyödyllistä muotoa git add -p (katso https://gist.github.com/mattlewissf/9958704)
• Tee muutoksia muutamiin tiedostoihin ja lisää muutokset staging-alueelle komennon git add -p avulla
• Jos lisäät projektiin uusia tiedostoja, ei git add -p huomaa niitä, eli ne on lisättävä staging-alueelle erikseen
• Käytä jatkossa komentoa git add -p aina kun se on suinkin mahdollista!

Komennolla man git add saat lisätietoa optiosta ja mm. vastausvaihtoehtojen selitykset.

4. Tiedostojen lisääminen GitHubiin [versionhallinta]

Tehtävässä 2 tehtiin GitHubiin repositorio “ohtuvarasto”, joka liitettiin paikalliselle koneelle luotuun repositorioon “remote repositoryksi”. Synkronoidaan paikallisen repositorion ja GitHubin tilanne:

• “Pushaa” nämä GitHubissa olevaan etärepositorioon antamalla komento git push
• Varmista selaimella, että lisätyt tiedostot menevät GitHubiin

GitHubissa pitäisi näyttää suunnilleen seuraavalta

5. Monta kloonia samasta repositoriosta [versionhallinta]

Yleensä on tapana pitää GitHubissa olevaa repositoriota tiedostojen “keskitettynä” sijoituspaikkana ja liittää paikallisella koneella oleva repositorio GitHubissa olevan repositorion etärepositorioksi, kuten teimme tehtävässä 1.

Jos työskennellään useammalta koneelta, on GitHubissa olevasta repositoriosta monta kloonia ja kloonien tila on pidettävä ajantasalla.

Luodaan nyt harjoituksen vuoksi paikalliselle koneelle repositoriosta toinen klooni:

• Mene komentoriville ja esim. kotihakemistoosi (tai johonkin paikkaan, joka ei ole Git-repositorio)
• Anna komento git clone git@github.com:githubtunnus/repositorionNimi.git nimiKloonille
  • githubtunnus ja repositorionNimi selviävät GitHubista repositoriosi tehtävän 2 toisen kuvan osoittamasta paikasta
  • nimiKloonille tulee olemaan kloonatun repositorion nimi, varmista että annat nimen, jonka nimistä tiedostoa tai hakemistoa ei jo ole kansiossa
• Mene kloonattuun repositorioon ja lisää sinne jotain tiedostoja. Committaa lopuksi
• “Pushaa” muutokset GitHubiin
• Varmista selaimella, että lisätyt tiedostot menevät GitHubiin

Mene nyt tehtävässä 2 tehtyyn GitHub-repositorion klooniin.

• Alkuperäinen paikallinen klooni ei ole enää ajantasalla, “pullaa” sinne muutokset komennolla git pull
• Varmista että molempien paikallisten repositorioiden sisältö on nyt sama
• Lisää alkuperäiseen klooniin joitain tiedostoja ja pushaa ne GitHubiin
• Mene jälleen tässä tehtävässä tehtyyn klooniin ja pullaa

6. Repositorion siivous [versionhallinta]

Valmistaudutaan seuraavaan tehtävään siivoamalla repositoriostamme ylimääräiset tiedostot

• Mene repositoriosi alkuperäiseen, tehtävässä 2 tekemääsi klooniin
  • Voit poistaa tehtävää 5 varten tekemäsi harjoituskloonin
• Poista repositorioistasi kaikki hakemistot sekä muut tiedostot paitsi .git, .gitignore ja README.md
• Committaa muutokset
  • Varmista komennolla git status että kaikki muutokset ovat versionhallinnassa, eli että Git ei ilmoita joidenkin tiedostojen olevan Changes not staged for commit
  • Joudut ehkä kertaamaan tehtävän 3 linkittämistä tutoriaaleista sitä miten tiedostojen poistaminen Gitistä tapahtuu
• Pushaa muutokset GitHubiin. Katso selaimella, että GitHubissa kaikki on ajan tasalla, eli että repositoriossa ei ole mitään muuta kuin tiedostot .gitignore ja README.md

Haetaan sitten seuraavissa tehtävissä käytettävä koodi:

• Hae osoitteesta https://github.com/ohjelmistotuotanto-jyu/tehtavat/raw/main/viikko1/varasto-uv.zip löytyvä zipattu paketti
• Pura paketti sopivaan paikkaan
• Siirrä paketin sisällä olevat tiedostot kloonattuun repositorioon siten, että paketissa olevat tiedostot ja hakemistot tulevat repositorion juureen
• Repositoriosi sisältävän hakemiston tulee nyt näyttää seuraavalta

• Lisää ja committoi zipistä puretut tavarat repositorioosi ja pushaa ne GitHubiin
• Katso vielä kerran selaimella, että GitHubissa kaikki on ajan tasalla

Huomaa, että repositoriosi tulee näyttää tehtävän jälkeen suunnilleen seuraavalta:

Huom. Mikäli esimerkkikuvissa näkyy vanhemman kurssiversion mukainen poetry.lock, uv:ta käytettäessä repositoriossa ei ole kyseistä tiedostoa, vaan .python-version sekä riippuvuuksien asennuksen yhteydessä syntyvä uv.lock.

Jos hakemisto src ja tiedostot pyproject.toml ym. eivät ole repositorion juuressa, siirrä ne sinne ennen kuin siirryt eteenpäin.

7. uv

Tämän kurssin ohjelmointitehtävissä käytetään Pythonia. Kurssilla käytetään Python-projektien riippuvuuksien ja Python-version hallintaan uv-komentorivityökalua, joten aloitetaan asentamalla se.

uv --version

uv self update

Asenna uv seuraamalla uv-ohjeen asennusosiota

• Jos kohtaat ongelmia, katso täältä ratkaisuja joihinkin tyypillisiin ongelmatilanteisiin

Kun uv on asennettu, sen avulla onnistuu myös kurssilla tarvittavan Python-version asentaminen, mitään erillistä Python-asennusta ei siis tarvita:

uv python install 3.14

Tarkista asennetut versiot komennolla uv python list. Kun myöhemmin luot uuden uv-projektin komennolla uv init --python 3.14, uv käyttää automaattisesti juuri asentamaasi versiota. Katso tarvittaessa lisää uv-ohjeen kohdasta Python-version hallinta.

Koodin editointiin suosittelemme Visual Studio Code -editoria.

Ohjelmoinnin peruskursseilla olet saattanut suorittaa koodia painamalla VS Coden nuoli-painiketta, ja testejä painamalla silmä-painiketta. Ammattimaisessa ohjelmistokehityksessä koodin suorittaminen ja testaamisen on tapahduttava toistettavalla tavalla, ja siten että operaatiot pystytään suorittamaan millä tahansa koneella, skriptatusti komentoriviltä, eli riippumatta VS Coden kaltaisista kehitysympäristöistä.

Koodin suorittaminen komentoriviltä python3-komennolla ei itsessään ole kovin hankalaa. Ongelmia alkaa syntyä vasta, kun projekti tarvitsee ulkoisia riippuvuuksia erilaisten asennettavien kirjastojen muodossa. Kirjastojen asennukseen ja hallintaan tarvitaan erillisiä työkaluja. Pythonin kohdalla on perinteisesti käytetty tähän tarkoitukseen pip-komentorivityökalua.

Jotta samalla tietokoneella olevien projektien riippuvuuksissa ei syntyisi ristiriitoja, on käytössä usein niin kutsuttuja projektikohtaisia virtuaaliympäristöjä. Virtuaaliympäristöjä luodaan ja käytetään venv-moduulin kautta.

Juuri asentamasi uv yhdistää molemmat työkalut: se asentaa ja hallinnoi projektin riippuvuuksia pipin tapaan ja luo projektille automaattisesti oman virtuaaliympäristön. Näin kaikki riippuvuuksien hallintaan liittyvä hoituu yhdellä työkalulla, eikä pipiä tai venv-moduulia tarvitse käyttää erikseen.

Edellisessä tehtävässä lisättiin repositorioon uv-muodossa oleva varasto-projekti. Projekti sisältää erittäin yksinkertaisen varaston hallintaan soveltuvaa koodia. Varaston hallinnasta vastaa src/varasto.py-tiedostossa määritelty luokka Varasto. Luokkaa käyttää src/index.py-tiedostossa määritelty funktio main.

Tutki uv-muotoisen projektin hakemistorakennetta esim. antamalla komento tree projektihakemiston juuressa (tree ei ole uv:hen liittyvä käsky vaan normaali shell-komento)

Tarkastele projektin määrittelevän tiedoston pyproject.toml sisältöä

• Tiedosto määrittelee mm. projektin käyttämät riippuvuudet

Ohjelmakoodin editointi kannattaa tehdä järkevällä editorilla, esim. Visual Studio Codella, mutta uv-komentojen suorittaminen onnistuu helpoiten komentoriviltä.

Tee nyt seuraavat toimenpiteet.

Asenna varasto-projektin riippuvuudet suorittamalla sen juurihakemistossa komento uv sync

Käynnistä sovellus komennolla uv run python3 src/index.py

• Run-komento suorittaa annetun komennon (tässä tapauksessa python3 src/index.py) virtuaaliympäristössä

Siirry virtuaaliympäristöön komennolla source .venv/bin/activate (Windows PowerShellissä .venv\Scripts\activate tai Git Bashissa source .venv/Scripts/activate)

Suorita komento python3 src/index.py

• Virtuaaliympäristössä komentoja voi suorittaa “normaalisti”, eli ilman uv run -komentoa
• Kun uutta koodia kehitetään ja suoritetaan tiheässä syklissä, on komentojen suorittaminen kätevintä tehdä virtuaaliympäristön sisällä

Poistu virtuaaliympäristöstä komennolla deactivate

Suorita testit komennolla uv run pytest

• Testien suorittamista varten on käytössä pytest-sovelluskehys

8. Yksikkötestit

Laadunvarmistus on ohjelmistokehityksen ehkä tärkein vaihe, ja sen tärkein keino on testaus. Ohjelmistoja joudutaan testaamaan paljon, joten testaus kannattaa automatisoida mahdollisimman pitkälle. Tämä korostuu iteratiivisessa eli ketterässä ohjelmistokehityksessä, jossa samat testit on ajettava uudelleen aina, kun ohjelmaa muutetaan.

Tekoälyavusteinen sovelluskehitys tekee testauksesta entistäkin tärkeämpää. Tekoäly tuottaa nopeasti paljon koodia, joka näyttää usein uskottavalta mutta voi silti olla virheellistä. Kattavat automaattiset testit ovat paras keino varmistaa, että koodi, oli sen kirjoittanut ihminen tai tekoäly, toimii niin kuin pitää, ja että aiemmin toiminut toiminnallisuus ei hajoa muutosten myötä.

Python-maailmassa automatisoidun testaamisen johtava työkalu on unittest, johon olet saattanut jo tutustua kurssilla Ohjelmistotekniikka.

Jos unittest on vieras, tai päässyt unohtumaan, kertaa sen perusteet tästä unittest-ohjeesta.

Edellisen tehtävän ohtuvarastossa on jo jonkun verran unittest-testejä, laajennetaan nyt testejä.

Muista, että testit voi suorittaa projektin juurihakemistossa komennolla uv run pytest tai siirtymällä virtuaaliympäristöön komennolla source .venv/bin/activate ja suorittamalla sen jälkeen komennon pytest.

Täydennä varasto-projektin testejä siten, että luokan Varasto testien haarautumakattavuudeksi (branch coverage) tulee 100%

• Joudut huomioimaan ainakin tapaukset, joissa varastoon yritetään laittaa liikaa tavaraa ja varastosta yritetään ottaa enemmän kuin siellä on
• Edellinenkään ei vielä riitä

Testauksen rivikattavuuden saat selville coverage-työkalun avulla. Tutustu työkaluun lukemalla Coverage-ohje

Ota työkalu projektissasi käyttöön asentamalla se projektin kehityksen aikaiseksi riippuvuudeksi komennolla:

uv add coverage --dev

Lisää projektin juurihakemistoon konfiguraatiotiedosto .coveragerc, jossa kerrotaan, mistä projektin tiedostoista testikattavuutta kerätään. Tiedoston sisällön tulee olla seuraava:

[run]
source = src

Siirry virtuaaliympäristöön komennolla source .venv/bin/activate (Windows PowerShellissä .venv\Scripts\activate)

Suorita komento coverage run --branch -m pytest. Komento suorittaa testit ja kerää testien haarautumakattavuuden

Tämän jälkeen suorita komento coverage html. Komento muodostaa raportin kerättyjen tietojen perusteella

Projektin juurihakemistoon pitäisi ilmestyä hakemisto htmlcov. Voit tarkastella HTML-muotoista testikattavuusraporttia avaamalla selaimessa hakemiston htmlcov tiedoston index.html

• Klikkaamalla raportista yksittäisen tiedoston nimeä näet, mitkä koodin suorituksen haarat on vielä testaamatta

Lisää projektin .gitignore-tiedostoon tiedosto .coverage ja hakemisto htmlcov

Kun luokan Varasto (tiedoston src/varasto.py) testien haarautumakattavuus (branch coverage) on 100%, pushaa tekemäsi muutokset GitHubiin

• Raportissa on luultavasti mukana myös muita tiedostoja, mutta ainoastaan src/varasto.py-tiedoston haarautumakattavuus tarvitsee olla 100%. Opimme myöhemmin, kuinka ylimääräiset tiedostot pystyy jättämään raportin ulkopuolelle
• Kun muokkaat testejä, muista suorittaa komennot coverage run --branch -m pytest ja coverage html uudelleen, jotta raportti päivittyy
• Saat suoritettua molemmat komennot “yhdellä napin painalluksella” sijoittamalla ne samalle riville puolipisteellä eroteltuna coverage run --branch -m pytest; coverage html

9. GitHub Actions, osa 1

uv:n avulla testien suorittaminen on mahdollista tehdä skriptattavaksi, eli helposti komentoriviltä yhdellä komennolla suoritettavaksi. Seuraava askel on suorittaa buildausprosessi, eli ohjelman suorittamiseen vaadittavat toimenpiteet ja siihen liittyvien testien suoritus, erillisellä build-palvelimella (engl. build server).

Ideana on, että ohjelmistokehittäjä noudattaa seuraavaa sykliä:

• Uusin versio koodista haetaan versionhallinnan keskitetystä repositoriosta ohjelmistokehittäjän koneelle
• Lisäykset ja niitä testaavat testit tehdään paikalliseen kopioon
• Testit suoritetaan paikalliseen kopioon ohjelmistokehittäjän koneella
• Jos kaikki on kunnossa, paikalliset muutokset lähetetään keskitettyyn repositorioon
• Build-palvelin seuraa keskitettyä repositoriota ja kun siellä huomataan muutoksia, hakee ja kääntää build-palvelin muuttuneen koodin ja suorittaa sille testit
• Build-palvelin raportoi havaituista virheistä

Erillisen build-palvelimen avulla varmistetaan, että ohjelmisto toimii muuallakin kuin muutokset tehneen ohjelmistokehittäjän koneella. Tätä käytännettä kutsutaan jatkuvaksi integraatioksi (engl. continuous integration). Palaamme asiaan tarkemmin kurssin kolmannessa osassa.

Nykyään alkaa olla yleistä, että erillisen build-palvelimen sijaan käytetään jotain verkossa olevaa “build-ohjelmistoa”, jolloin softakehittäjien ei tarvitse huolehtia ollenkaan buildaukseen käytettävän palvelimen ja sen ohjelmistojen asentamisesta.

Kurssilla käytetään GitHubiin sisäänrakennettua Actions-ominaisuutta hoitamaan automatisoitu buildaus.

Konfiguroidaan seuraavaksi GitHub Actions huolehtimaan projektistamme.

Valitse GitHub-repositoriostasi välilehti Actions ja klikkaa set up a workflow yourself-linkkiä:

Valinta avaa actionien konfiguraatiotiedoston. Muuta se seuraavaan muotoon:

name: CI

on:
  push:
    branches: [main]

jobs:
  build:
    runs-on: ubuntu-latest

    steps:
      - uses: actions/checkout@v5
      - name: Install uv
        uses: astral-sh/setup-uv@v10.1.0
        with:
          python-version: "3.14"
      - name: Install dependencies
        run: uv sync
      - name: Run tests
        run: uv run coverage run --branch -m pytest

Paina vihreää Commit changes -nappia, ja anna sopiva commit-viesti.

Konfiguraatiotiedosto (jonka nimi on oletusarvoisesti main.yml) tallettuu repositorioosi hakemiston .github/workflows alle:

GitHub siis committoi uuden tiedoston automaattisesti repositorioosi.

Kun nyt pullaat repositorion koodin omalle koneellesi, näkyy konfiguraatiotiedosto myös siellä, esim. Visual Studio Code -editorilla se näyttää seuraavalta:

Kun avaan nyt repositorion välilehden Actions, huomaat että sinne on ilmestynyt hieman tavaraa:

10. GitHub Actions, osa 2

Katsotaan hieman tarkemmin mitä GitHub Actionien konepellin alla tapahtuu.

GitHub Actionit ovat sarjoja erilaisia “toimenpiteitä”, joita GitHub voi suorittaa repositoriossa olevalle koodille. Actionin toiminta määritellään hakemiston .github/workflows sijoitettavissa .yml-päätteisissä tiedostoissa.

Tarkastellaan äsken määrittelemäämme tiedostoa:

name: CI

on:
  push:
    branches: [main]

jobs:
  build:
    runs-on: ubuntu-latest

    steps:
      - uses: actions/checkout@v5
      - name: Install uv
        uses: astral-sh/setup-uv@v10.1.0
        with:
          python-version: "3.14"
      - name: Install dependencies
        run: uv sync
      - name: Run tests
        run: uv run coverage run --branch -m pytest

Kohta on määrittelee missä tilanteissa actionit suoritetaan. Konfiguraatiomme määrää, että actionit suoritetaan aina kun repositorion päähaaraan pushataan koodia.

Osiossa jobs voidaan määritellä yksi tai useampi “työ”, eli useasta askeleesta koostuva tehtäväsarja. Määrittelimme tällä kertaa vain yhden työn, jolle annoimme nimen build. Jos töitä olisi useita, suorittaisi GitHub Actions ne rinnakkain.

Yksittäinen työ koostuu useista askelista, jotka on määritelty työn alla kohdassa steps.

GitHub varaa työn askelien suorittamista varten virtuaalikoneen. Kohta runs-on määrittelee minkälaisella käyttöjärjestelmällä työn askeleet suoritetaan. Esimerkkimme tapauksessa suoritusympäristö on Ubuntu Linux.

Esimerkkimme tapauksessa työ koostuu neljästä askeleesta. Ensimmäinen askel

- uses: actions/checkout@v5

suorittaa valmiiksi määritellyn actionin checkout, joka dokumentaationsa mukaan tekee seuraavaa

This action checks-out your repository under $GITHUB_WORKSPACE, so your workflow can access it.

Eli checkout action siis hakee repositorion koodin askeleet suorittavalle virtuaalikoneelle.

Toinen askel on action setup-uv, joka asentaa työn suorittavalle virtuaalikoneelle uv:n, sekä python-version-parametrin avulla myös haluamamme Python-version. Versionumero kannattaa antaa lainausmerkeissä, eli muodossa "3.14", sillä muuten YAML tulkitsee sen liukuluvuksi, jolloin esim. versio 3.10 muuttuisi muotoon 3.1.

Molemmat näistä actioneista olivat GitHubin marketplacesta löytyviä valmiita actioneja. Esim. Pythonin asentaminen työn suorittavalle virtuaalikoneelle on itsessään aika monimutkainen toimenpide, mutta valmiiksi määritelty action tekee sen helpoksi.

Kolmas askel asentaa projektin riippuvuudet uv sync-komennolla.

Neljäs askel on kaikkein tärkein, se suorittaa uv:n avulla projektin testit ja kerää testikattavuuden:

- name: Run tests
  run: uv run coverage run --branch -m pytest

Tee nyt koodiin muutos, joka hajottaa testit ja committaa ja pushaa muutos GitHubiin.

Hetken kuluttua actions-välilehdellä pitäisi näkyä että commiteja on kaksi, ja että viimeisin on tilaltaan “punainen”:

Klikkaamalla rikki mennyttä committia, päästään tarkastelemaan hieman tarkemmin actionin suorituksen etenemistä:

Kuten odotettua, testi ei mennyt läpi. Riippuen GitHubin asetuksista, olet myös saattanut saada email-muistutuksen rikki menneestä buildista.

Korjaa testi ja pushaa muutokset uudelleen GitHubiin. Tarkkaile jälleen Actions-näkymää ja varmista, että kaikki toimii oikein.

11. GitHub Actions, osa 3

Laita repositoriossa olevaan tiedostoon README.md koodin tilasta kertova Status Badge.

Tämän ohjeen mukaan badgen osoite on muotoa

https://github.com/OWNER/REPOSITORY/actions/workflows/WORKFLOW-FILE/badge.svg

WORKFLOW-FILE löytyy hakemistosta .github/workflows

Oletusasetuksilla tiedoston nimi on main.yml

Esimerkiksi:

https://github.com/mluukkai/ohtuvarasto/actions/workflows/main.yml/badge.svg

Lisää badge editoimalla tiedostoa README.md suoraan GitHubissa:

Oikein toimiva badge näyttää seuraavalta:

Badge toimii siis sen indikaattorina onko repositoriossasi oleva koodi testien puolesta kunnossa!

Tee nyt jokin muutos koneellasi repositorioon johonkin muuhun tiedostoon kuin README.md ja yritä pushata koodi GitHubiin. Toimenpiteestä seuraa virhe:

To github.com:mluukkai/ohtuvarasto.git
 ! [rejected]        main -> main (fetch first)
error: failed to push some refs to 'git@github.com:mluukkai/ohtuvarasto.git'
hint: Updates were rejected because the remote contains work that you do
hint: not have locally. This is usually caused by another repository pushing
hint: to the same ref. You may want to first integrate the remote changes
hint: (e.g., 'git pull ...') before pushing again.
hint: See the 'Note about fast-forwards' in 'git push --help' for details.

Tulet todennäköisesti törmäämään vastaavaan virheeseen usein. Syynä virheelle on se, että yrität pushata muutoksia GitHubiin vaikka GitHub on “edellä” paikallista repositoriotasi (ts. sinne lisättiin tiedosto README.md).

Ongelma ratkeaa seuraavasti. Tee ensin komento git pull. Saat Gitiltä pitkän valitusviestin:

remote: Enumerating objects: 5, done.
remote: Counting objects: 100% (5/5), done.
remote: Total 3 (delta 0), reused 0 (delta 0), pack-reused 0
Unpacking objects: 100% (3/3), 645 bytes | 215.00 KiB/s, done.
From github.com:mluukkai/ohtuvarasto2
   6f1cd65..aa6c099  main       -> origin/main
hint: You have divergent branches and need to specify how to reconcile them.
hint: You can do so by running one of the following commands sometime before
hint: your next pull:
hint:
hint:   git config pull.rebase false  # merge
hint:   git config pull.rebase true   # rebase
hint:   git config pull.ff only       # fast-forward only
hint:
hint: You can replace "git config" with "git config --global" to set a default
hint: preference for all repositories. You can also pass --rebase, --no-rebase,
hint: or --ff-only on the command line to override the configured default per
hint: invocation.

Käytännössä Git haluaa tietää minkälaisella strategialla paikallisen ja etärepositoriosi koodi tulisi yhdistää. Vaihtoehdoista kannattanee valita keskimäinen, eli anna komentorivillä komento

git config pull.rebase true

Käytännössä valittu vaihtoehto tarkoittaa sitä, että Git suorittaa uudet lokaalit commitit etärepositoriossa olevien committien perään.

Voit nyt pullata koodin uudelleen komennolla git pull. Komento git push onnistuu nyt. Jatkossa vastaavista tilanteista selviää komennoilla git pull ja git push.

Jos muutit paikallisesti tiedostoa README.md, saatoit aiheuttaa ns. merge-konfliktin jonka selvittämiseen vaaditaan jo hieman vaivaa. Palaamme asiaan tulevilla viikoilla…

Tee vielä lopuksi badgestasi linkki Actions-välilehdelle. Eli kun badgea painetaan, tulee selaimen ohjautua repositorion Actions-välilehdelle, esim. omassa tapauksessani osoitteeseen https://github.com/mluukkai/ohtuvarasto/actions

12. Codecov

Tehtävässä 8 määrittelimme projektin testauskattavuuden coveragen avulla. https://codecov.io -palvelu mahdollistaa projektien koodikattavuuden julkaisemisen verkossa.

• Kirjaudu Codecoviin (GitHub login)
• Lisää repositorio Codecoviin alaisuuteen:

Saatat joutua odottamaan hetken, ennen kuin Codecov löytää repositoriosi. On myös mahdollista, että joudut vielä sallimaan repositorion näkymisen GitHubin asetusten kautta. Voit antaa luvan joko kaikkiin julkisiin repositorioihin tai valitsemiisi repositorioihin:

Projektin lisäämisen jälkeen aukeavassa näkymässä oleva Step 2 sisältää oleellisen tärkeän asian, eli repository tokenin:

Käytännössä Codecovin repository token on avain, jonka avulla palvelu tunnistaa sinut. Tällaisten avainten käytölle on tyypillistä, että niitä ei haluta kaikkien saataville julkiseen repositorioon.

Lisää avain GitHub Actioneiden käyttöön Codecovin dokumentaatiota seuraten. Laajemmin salaisuuksien sisällyttämisestä GitHubiin on kuvattu GitHubin dokumentaatiossa.

Saamme muodostettua Codecovin ymmärtämän testikattavuusraportin käyttämällä coverage html-komennon sijaan komentoa coverage xml. Kyseinen komento muodostaa XML-muotoisen testikattavuusraportin. Lisätään GitHub Action -konfiguraatiomme loppuun kaksi uutta askelta:

- name: Coverage report
  run: uv run coverage xml
- name: Coverage report to Codecov
  uses: codecov/codecov-action@v5
  env:
    CODECOV_TOKEN: ${{ secrets.CODECOV_TOKEN }}

HUOM rivit on sisennettävä samalle tasolle kuin muut stepit.

Kertauksena:

1. Kopioi avain Codecovin ohjeiden mukaan
2. Siirrä avain GitHubin secretiksi (GitHubin repossa Settings -> Secrets and variables -> Actions -> New repository secret -> nimeksi CODECOV_TOKEN ja arvoksi avain)
3. Lisää yllä olevat askeleet GitHub Action -konfiguraatioosi

Kun seuraavan kerran koodi pushataan GitHubiin, ilmestyy Codecoviin koodin testikattavuusraportti:

Klikkailemalla tiedostojen nimiä, pääset katsomaan yksittäisten luokkien testauksen kattamat rivit:

Käytännössä pyydämme nyt GitHub Actioneja suorittamaan ensin testit ja keräämään testikattavuuden (komennolla uv run coverage run --branch -m pytest), jonka jälkeen muodostetaan XML-muotoinen testikattavuusraportti (komennolla uv run coverage xml). Tämä testikattavuusraportti lähetetään Codecoviin.

GitHub Actionien loki näyttää miten askelten suoritus etenee:

Lisää repositoriosi README.md-tiedostoon myös Codecov-badge. Löydät badgen repositorion Codecov-sivun Configuration-valikosta.

Projektisi GitHub-sivun tulisi lopulta näyttää suunnilleen seuraavalta:

Huomaa, että GitHub Actionin ja Codecovin badget eivät päivity täysin reaaliajassa. Eli vaikka projektin testikattavuus nousisi, kestää hetken, ennen kuin badge näyttää tuoreen tilanteen.

13. Parempi testikattavuus

Projektin testauskattavuutta häiritsee nyt se, että myös src/tests-hakemiston testit ja src/index.py-tiedosto lasketaan testikattavuuteen. Voimme määritellä, että joitain tiedostoja tai kokonaisia hakemistoja jätetään huomioimatta kattavuusraportin generoinnissa.

Lisää juurihakemiston .coveragerc-tiedostoon, omit-konfiguraatio ja määrittele siinä huomioimatta jätettävät tiedostot:

[run]
source = src
omit = src/tests/**,src/index.py

Konfiguraatiossa määritellään pilkulla eroteltuina niin kutsuttuja glob -polkuja. Voimme jättää huomioimatta esimerkiksi yksittäisen tiedoston polun (src/index.py), tai kaikki tietyn hakemiston alla olevat polut (src/tests/**).

Pushaa koodi GitHubiin ja varmista, että Codecov generoi raportin siten, että src/index.py-tiedosto ja src/tests-hakemiston tiedostot jätetään huomioimatta.

Tehtävien palauttaminen

Pushaa kaikki tekemäsi tehtävät (paitsi ne, joissa mainitaan, että tehtävää ei palauteta mihinkään) GitHubiin palautusrepositorioosi ja merkkaa tekemäsi tehtävät Timiin