Automaattisesti arvioidut opintojaksot ovat yleistyneet viime vuosina huomattavasti korkeakoulusektorilla. Digiuudistuksen myötä automaattisesti arvioidut opintojaksot ovat vahvasti tulevaisuutta myös Laurea-ammattikorkeakoulussa. Tässä kirjoituksessa tarkastellaan opintojaksojen automaatista arviointia ja opintojen edistymisen seurantaa arviointina sekä tarjotaan konkreettiset ohjeet opettajille automaattisen arvioinnin ja opintojen edistymisen seurannan asetukseen Canvas verkko-oppimisympäristössä.

Laurean digiuudistus muokkaa opetuksen ja oppimisen käytäntöjä

Laurea-ammattikorkeakoulussa on käynnissä digiuudistus, jossa pedagogiikka, verkko-oppimisympäristö sekä opetuksen ja oppimisen käytännöt uudistuvat. Digitaaliseen muutokseen kuuluvat uuden Canvas verkko-oppimisympäristön käyttöönotto sekä avointen oppimismahdollisuuksien ja kumulatiivisen, avoimen oppimateriaalikirjaston jatkuva kehittäminen. Digiuudistuksessa yhtenä keskeisenä toimenpiteenä on automaattisesti arvioitujen opintojaksojen laajempi hyödyntäminen ja tavoitteena onkin, että vuodesta 2021 lähtien kaikissa koulutuksissa rakennetaan ydinopinnoista vähintään yksi MOOC-tyyppinen (Massive Open Online Course) toteutus. Canvas verkko-oppimisympäristö tukee puoliautomaattisesti tai automaattisesti arvioitujen verkkokurssien ja MOOCien rakentamista tarjoamalla arviointiin uusia välineitä ja opintojen etenemisen seurannan työkaluja. Lisäksi Canvas mahdollistaa entistä paremmin opetuksen yhteiskehittämisen sekä avoimen, CC-lisensoidun (Creative Commons) oppimateriaalin jakamisen Laurea-yhteisössä. Automaattisesti arvioitujen opintojaksojen määrän kasvaessa on hyvä pohtia, mitä automaattinen arviointi tarkoittaa ja miten opintojen edistymisen seurannan työkaluja voidaan hyödyntää sekä opiskelijan että opettajan näkökulmista.

Automaattinen arviointi ja opintojen edistymisen seuranta MOOCeissa

MOOCit ovat useimmiten avoimia, verkko-oppimisympäristöissä toteutettavia kursseja, jotka hyödyntävät digitaalisia aineistoja ja työkaluja. MOOCeille on tyypillistä opetusryhmien suuri koko, suurimmilla kursseilla voi olla yhtä aikaa tuhansia osallistujia. (Bates, 2015; Immonen & Veinio, 2017; Pomerol, ym., 2015; Pekkarinen, 2020; Porter, 2015.) Suuresta osallistujamäärästä seuraa, että perinteinen opettajajohtoinen opintosuoritusten arviointi voi olla haaste tai jopa mahdotonta. Siksi erityisesti MOOC-tyyppisissä opinnoissa hyödynnetään automaattista arviointia ja erityisesti automaattisesti pisteytettyjä testejä. Automaattisella arvioinnilla tarkoitetaan sitä, että opiskelijan tekemien opintosuoritusten pisteet kirjautuvat automaattisesti verkko-oppimisympäristön arviointikirjaan ja kurssin arviointiasteikko on linkitetty arviointikirjan kanssa. Näin sekä opiskelija että opettaja näkevät suoraan sen arvosanan, jonka opiskelija opintosuorituksestaan kertyneillä pisteillä saa kurssin arviointiasteikolla.

Verkko-opinnoissa ja erityisesti automaattisesti arvioiduissa opinnoissa ongelmana voi olla opinnon keskeyttäneiden suuri määrä. Muun muassa motivaatiotekijät voivat olla syitä opintojen keskeyttämiseen, sillä usein automaattisesti arvioiduilla opinnoilla ei ole kovin suurta ohjausresurssia ja näin verkko-opinnot vaativat opiskelijalta vahvaa itseohjautuvuutta ja hyviä itsenäisen opiskelun taitoja (Bawa, 2016; SAMOK). Tyypillisesti suomalaisissa korkeakouluissa opinnon laajuus on 5 opintopistettä, mikä tarkoittaa 135 tuntia opiskelijan työtä. Viiden opintopisteen laajuiseen automaattisesti tai puoliautomaattisesti arvioituun opintoon sisältyy yleensä runsaasti sisältöjä ja erilaisia oppimisen aktiviteetteja. Jotta opiskelijan motivaatio säilyy ja hänen oppimistaan voidaan tukea, on verkossa toteutettavalle opinnolle suunniteltava laadukkaiden sisältöjen lisäksi pedagogisesti mielekäs rakenne ja aktiviteetit.

Monissa verkko-oppimisympäristöissä, kuten Canvasissa, on erilaisia työkaluja opiskelijoiden opintojen tukemiseksi. Opintojen edistymisen seurannan työkaluja käytetään tukemaan ja motivoimaan opiskelijoita ja heidän opintojensa edistymistä. Lisäksi opintojen edistymisen seurannan työkalut tarjoavat opettajille tietoa opiskelijoiden etenemisestä jo opinnon aikana. Käytännössä opintojen edistymisen seurannan työkalut ovat usein erilaisia verkko-oppimisaktiviteettien suorittamiseen liittyviä ”ohjeita” tai ”ehtoja”, joilla opiskelijoiden oppimisprosessia ohjataan ja tuetaan. Opettaja voi esimerkiksi määritellä, että saadakseen hyväksytyn suorituksen opintoon liittyvästä vertaiskeskustelusta, opiskelijan on osallistuttava keskusteluun eli tuotettava oma vastaus. Toisinaan ehdoksi asetetaan lisäksi, että opiskelijan tulee antaa tietty määrä vertaispalautetta eli vastattava toisten opiskelijoiden kommentteihin. Opettaja voi myös määritellä, että opiskelija saa automaattisesti hyväksytyn merkinnän, kun on käynyt katsomassa esimerkiksi oppimateriaalina olevan videon tai että opiskelija voi itse merkitä jonkin aktiviteetin suoritetuksi. (ks. esim. Ahonen & Pekkarinen, 2020.) Käytettävä verkko-oppimisympäristö määrittelee sen, miten tarkasti näitä ohjeita tai ehtoja voidaan asettaa.

Sen lisäksi, että opintojen edistymisen seurannan avulla voidaan tukea opiskelijoiden motivaatiota ja opinnon suorittamista loppuun, voidaan edistymisen seurannan työkaluja hyödyntää automaattisesti arvioiduilla opinnoilla osana arviointia (ks. esim. Lepola & Pekkarinen, 2020; Pekkarinen & Lepola, 2020). Opintojen edistymisen seurannan työkalut mahdollistavat ei-pisteytetyn arvioinnin, jota voi yhdistellä pisteytetyn automaattisen arvioinnin kanssa. Esimerkiksi Laurean Hoitava Viestintä MOOCissa (3 op tai 5 op), joka on suunnattu terveys- ja hyvinvointialojen opiskelijoille, hyödynnettiin sekä automaattisesti pisteytettyjä testejä että opintojen edistymisen seurannan työkaluja arvioinnissa. Kyseisellä opinnolla opiskelijoilla oli opiskeltavanaan kirjallisuutta, videoita, kuvia, H5P:llä (HTML5 Package, avoimen lähdekoodin työkalu interaktiivisten digitaalisten sisältöjen tuottamiseen) toteutettuja aktiviteetteja (kuten Image Hotspots, Haitari ja Quiz), oppimispäiväkirjoja, sekä vertaiskeskusteluja ja lisäksi Canvasin omalla tenttityökalulla toteutettu, pisteytetty testi. Näistä arviointikirjaan otettiin huomioon Canvasin omalla tenttityökalulla tehty testi ja siihen oli asetettu läpipääsypisteraja, jota pystyttiin seuraamaan myös opintojen edistymisen työkaluilla arviointikirjan tuloksen lisäksi. H5P:llä toteutettu testi oli tarkoitettu opiskelijoille oman oppimisen välineeksi ja testaamaan omaa osaamista, eikä sen pisteitä huomioitu arvioinnissa eivätkä ne tallentuneet arviointikirjaan. Vertaiskeskustelut, oppimispäiväkirjat, sekä muu opiskeltava aineisto olivat pääosin mukana opintojen edistymisen seurannassa. Käytännössä tämä tarkoitti sitä, että opiskelijoita ohjattiin ja motivoitiin tekemään tiettyjä oppimistekoja verkko-oppimisympäristössä, joista he saivat joko hyväksytyn merkinnän automaattisesti tai he pystyivät merkitsemään tehtävän tehdyksi itse. Opiskelijat pystyivät seuraamaan Canvasissa sitä, mitkä tehtävät ja aktiviteetit he olivat jo suorittaneet ja mitä heillä on vielä tehtävänään, jotta kurssi on hyväksytysti suoritettu. Opettajat myös pystyivät seuraamaan opiskelijoiden osallistumisaktiivisuutta ja motivoimaan opiskelijoita opinnon aikana. Erityisesti opintojen edistymisen seurannan tiedot olivat tärkeitä opinnon lopulla, kun opettajat pystyivät kannustamaan opiskelijoita viimeistelemään opintosuorituksensa valmiiksi ennen kurssin päättymistä ja näin saatiin useita opintosuorituksia valmiiksi sen sijaan, että ne olisivat mahdollisesti jääneet kesken.

Tällä hetkellä opintojen edistymisen seurannalla arvioitavia aktiviteetteja ei Canvasissa saa osaksi arviointikirjaa automaattisesti, joten näiden erilaisten arviointimahdollisuuksien yhdistäminen edellyttää sitä, että opettaja yhdistää arviointikirjan tulokset ja opintojen edistymisen seurannasta saatavan datan. Hyötynä opettajalle opintojen edistymisen seurannan työkalujen käytöstä osana arviointia on kuitenkin laajempi valikoima arviointityökaluja automaattisesti pisteytettyjen testien lisäksi.

Miten automaattisen arvioinnin ja opintojen edistymisen seurannan työkalut voi ottaa käyttöön Canvasissa?

Automaattisen arvioinnin ja opintojen edistymisen seurannan asetukset asetetaan yleensä sekä tehtävä-, moduuli-, että työtila tasolla. Seuraavissa käytännönläheisissä ohjeissa esitetään, miten automaattisen arvioinnin ja opintojen edistymisen seurannan työkalut voi ottaa käyttöön Canvasissa.

Automaattisesti arvioitu tehtävä ja arviointiasetukset

Canvas-oppimisympäristössä on erilaisia automaattisesti pisteytettyjä tehtäviä (kuva 1.), mm. Canvasin omat Quiz:it (Uudet testit /New Quizzes ja Klassiset testit / Classic Quizzes) sekä erilaisia H5P-tehtäviä (mm. Fill in the Blanks, Drag the Words, Quiz). Nämä tehtävätyypit pisteyttävät siis opiskelijan suorituksen automaattisesti opettajan tekemien asetusten mukaisesti.

Ennen kuin automaattisesti pisteytettyä tehtävää lähdetään rakentamaan, on hyvä pohtia sitä, mihin tarkoitukseen sitä haluaa opinnossa käyttää. Esimerkiksi H5P-työkaluilla toteutettuja automaattisesti pisteytettyjä tehtäviä voidaan käyttää opinnossa opiskelijan oppimisen ja aktivoinnin välineenä. Kontrolliarvioinnissa ne eivät ole parhaimmillaan siksi, että opiskelija pääsee tekemään H5P:llä toteutetun tehtävän niin monta kertaa uudelleen kuin vain haluaa (kuva 2.). Opettaja ei siis voi kontrolloida opiskelijan yrityskertoja H5P-työkaluilla toteutetuissa tehtävissä. Tästä syystä ei myöskään ole välttämättä tarkoituksenmukaista, että näiden tehtävien pisteet tallentuvat opinnon arviointikirjaan ja vaikuttavat opinnon arviointiin. Sen sijaan Canvasin omat Quiz:it toimivat hyvin arvioinnissa, jossa halutaan tarkemmin kontrolloida opiskelijan osaamista ja huomioida pisteet myös opinnon arvioinnissa.

Kun tehtävän tyyppi ja tarkoitus on päätetty, varsinainen arvioitava tehtävä rakennetaan Canvasissa ja sille määritellään halutut asetukset tehtävän asetuksissa. Mikäli pisteytetyn, automaattisesti arvioidun tehtävän läpipääsylle (Canvasin Quiz tai H5P) halutaan asettaa raja (kuva 3.), se asetetaan moduuli-näkymässä valitsemalla moduulin asetuksista kolmen pisteen takaa ”Muokkaa” (”Edit”). Moduulitasolla voi kullekin moduulin aktiviteetille valita ”Vaatimuksen” (”Requirements”), joka opiskelijan tulee täyttää saadakseen hyväksytyn suorituksen. Pisteytettyjen tehtävien läpipääsyraja asetetaan lisäämällä vaatimus ja merkitsemällä haluttu pistemäärä.

Automaattisesti pisteytetyt tehtävät kytketään opinnon arviointiin työtilan asetuksista (Settings) ja valitsemalla ”Ota kurssin arviointiasteikko käyttöön” – ”määrittele arviointiasteikko” (”Enable course grading scheme” – ”View grading scheme”) (kuva 4.). Voit joko valita jonkin jo olemassa olevan asteikon tai tehdä oman. Voit myös muokata jo valmiina olevia asteikkoja. Opinnon arviointiasteikon pisterajat syötetään Canvasissa prosentteina.

Kun arviointiasteikko on määritelty, opiskelija näkee suoraan arviointikirjasta oman suorituksensa pisteet ja sen arvosanan, johon pisteet riittävät. Opettaja pystyy tallentamaan arviointikirjan tiedot suoraan Excel-tiedostoksi.

Opintojen edistymisen seurannan työkalut

Canvasissa on mahdollista käyttää opintojen edistymisen seurannan työkaluja. Opintojen edistymiseen liittyviä asetuksia tehdään moduuli-näkymässä (kuva 5.), moduulikohtaisesti. Valitse moduuli-näkymässä kolmen pisteen takaa ”Muokkaa” (Edit). Voit valita kullekin kyseisen moduulin ”alla” olevalle aktiviteetille ”Vaatimuksen” (Requirements), jonka opiskelijan tulee täyttää saadakseen hyväksytyn suorituksen. Voit asettaa erilaisia vaatimuksia eri aktiviteetille. Esimerkiksi sivulle voit valita, että opiskelija merkitsee sen itse tehdyksi (Mark completed) kun on lukenut sivun tai tarkastele (View), joka tarkoittaa sitä, että opiskelija saa automaattisesti hyväksytyn suorituksen käytyään sivulla ja luettuaan sen. Keskustelulle voit valita esimerkiksi osallistu sivulle (Contribute) toiminnon, jolloin opintojen etenemisen näkökulmasta opiskelija on suorittanut keskustelutehtävän, kun hän on osallistunut keskusteluun. Moduulitasolla myös asetetaan pisteytettyjen tehtävien läpipääsyrajat lisäämällä halutun pistemäärän pistemäärä vähintään kohtaan (Score at least).

Kun opettaja asettaa Canvasissa olevalle opinnolle opintojen edistymiseen liittyviä ”vaatimuksia”, opiskelijan moduulinäkymässä (kuva 6.) näkyy kunkin aktiviteetin kohdalla sille asetettu ”vaatimus” sekä tyhjä ympyrä, kunnes aktiviteetin ”vaatimus” on täyttynyt.

Kun opiskelija on tehnyt vaadittavat toimenpiteet ja suoritukset, muuttuu hänen näkymänsä moduuli-näkymässä (kuva 7.) siten, että tyhjien ympyröiden tilalle tulee vihreä oikein-merkki ja vaatimus on ”tehty” muodossa (esim. View à Viewed). Mikäli opiskelija ei saavuta aktiviteetille asetettua ”vaatimusta”, esimerkiksi riittävän korkeaa pistemäärää pisteytetystä testistä, tulee tyhjän ympyrän tilalle hänen näkymäänsä punainen ”kieltomerkki” siihen saakka, kunnes aktiviteetti on hyväksytysti suoritettu.

Kun opintojen edistymisen seurannan työkalut otetaan opinnossa käyttöön, siitä kannattaa myös kertoa opiskelijoille ja ohjeistaa heitä siitä, miten nämä työkalut toimivat. Opiskelijoille voi Canvasissa kirjoittaa, esimerkiksi opinnon ohjeisiin, seuraavasti:

Tällä opinnolla on käytössä opintojen edistymisen seurannan työkaluja. Opiskelijana voit seurata omien opintojesi edistymistä moduuli-näkymässä. Siinä kunkin aktiviteetin (esim. keskustelu, tehtävä) kohdalla mainitaan, mikäli siihen liittyy ”ehto”. Opinnon eri aktiviteeteille on voitu valita erilaisia ”ehtoja” esim.

Osallistu sivulle / Contribute = sinun tulee osallistua keskustelualueen keskusteluun
Merkitse tehdyksi / Mark completed = voit merkitä itse tehdyksi
Tarkastele / View = sinun on käytävä sivulla ja luettava sisältö
Pisteitä vähintään / Score at least = sinun tulee saada testistä vähintään mainittu pistemäärä saadaksesi hyväksytyn merkinnän kyseisestä testistä

Opinnon moduuli-näkymässä näet nämä ehdot kunkin aktiviteetin alla ja aktiviteetin vieressä on tyhjä ympyrä, kunnes olet suorittanut vaaditun ”ehdon”. Kun ”ehto” on suoritettu hyväksytysti, tyhjän ympyrän tilalle tulee moduuli-näkymässä vihreä oikein-merkki. Mikäli ehtoa ei ole suoritettu hyväksytysti, esimerkiksi et saa vaadittua läpipääsypistemäärää testistä, ympyrän tilalla näkyy punainen kieltomerkki, kunnes aktiviteetti on suoritettu hyväksytysti. Mikäli aktiviteetin kohdalla ei ole tyhjää ympyrää, eikä tietoa ehdosta, aktiviteetille ei ole asetettu ehtoa.

[voit lisäksi ottaa tähän kuvankaappauksen oman opintosi moduuli-näkymästä opiskelijaroolissa]

Lopuksi

Automaattisesti arvioitujen opintojaksojen määrä tulee kasvamaan Laureassa tulevina vuosina tarjoten opiskelijoille joustavia, ajasta ja paikasta riippumattomia opiskelumahdollisuuksia. Vuoden 2020 aikana Laureassa on jo rakennettu useita automaattisesti arvioituja opintoja ja näistä yhteisluomisen prosesseista on kertynyt hyödyllistä kokemusta ja osaamista. Vaikka automaattisesti arvioitujen opintojaksojen etuna pidetään sitä, että ne vievät arviointivaiheessa vähemmän opettajien ohjausresursseja kuin lähiopetus, on hyvä muistaa, ettei laadukas, pedagogisesti mielekäs automaattisesti arvioitu opintojakso kuitenkaan synny itsestään. Myös automaattisesti arvioidun opinnon rakentaminen vaatii aikaa ja työtä opettajalta. Tässä kirjoituksessa on haluttu nostaa esiin automaattiseen arviointiin ja opintojen edistymisen seurantaan liittyviä näkökulmia sekä tarjota opettajille käytännön ohjeita opetuksen kehittämistyön tueksi.

Lähteet

• Ahonen, O. & Pekkarinen, V. (manuscript accepted). MOOCs as Open Online Learning Tools for Developing Competences related to Digital Health and Social Care Services for Multidisciplinary Students. Finnish Journal of eHealth and eWelfare.
• Bawa P. Retention in online courses: exploring issues and solutions: a literature review. SAGE Open. 2016 January-March: 1-11. doi:10.1177/2158244015621777
• Bates, A.W. (2015). Teaching in a Digital Age. Saatavilla: https://www.tonybates.ca/teaching-in-a-digital-age/
• Immonen, V. & Veinio, J. (2017). Laaja avoimen verkkokurssin kokeilu kulttuuriperinnön tutkimuksessa. Yliopistopedagogiikka, 24(1), 53–56.
• Lepola, S. & Pekkarinen, V. (2020). Opiskelijan edistymisen seuranta arviointina automaattisesti arvioidulla opintojaksolla -video. Osa 3. Sotepeda24/7-hankkeen arviointiin liittyvästä videosarjasta. Saatavilla: https://www.youtube.com/watch?v=2dHxT5-jwjY
• Pekkarinen, V. (2020). MOOCeja rakentamassa: Case SotePeda24/7. Laurea Journal. Saatavilla: https://journal.laurea.fi/mooceja-rakentamassa-case-sotepeda24-7/
• Pekkarinen, V. & Lepola, S. (2020). Automaattinen arviointi ja opintojen edistymisen seuranta arviointina MOOCeissa -video. Osa 1. Sotepeda24/7-hankkeen arviointiin liittyvästä videosarjasta. Saatavilla: https://www.youtube.com/watch?v=G5WvB8pG_Fw
• Pomerol, J-C., Epelboin, Y. & Thoury, C. (2015) MOOCs: Design, Use and Business Models. London: Wiley.
• Porter, S. (2015). To MOOC or Not to MOOC How Can Online Learning Help to Build the Future of Higher Education? Waltham: Chandos Publishing.
• SAMOK (2020). AMK-opiskelijoiden kokemuksia etäopiskelusta Kooste opiskelijakuntien toteuttamien kyselyiden tuloksista kevään 2020 poikkeustilanteesta. Saatavilla: https://samok.fi/wp-content/uploads/2020/05/amk-opiskelijoiden-kokemuksia-etaopiskelusta.pdf_.pdf