Kansallinen Finna-palveluja koskeva käyttäjäkysely toteutettiin kuluvan vuoden alussa 21.1. – 17.2. Laurean Finnaan liittyen kyselyyn vastasi 381 käyttäjää. Kyselyyn sisältyi sekä strukturoituja että avoimia kysymyksiä. Seuraavassa esitellään strukturoituihin kysymyksiin liittyvät tulokset ja tarkastellaan, miten Microsoftin Copilot-tekoäly selviytyi avoimiin kysymyksiin annettujen vastausten analysoinnista.
Kuva: Thongden_studio / Adobe Stock (Laurean Education-lisenssi)
Kyselyn tausta
Laurean Finna on hakuliittymä, jolla etsitään Laurea-kirjastolle hankittuja painettuja ja elektronisia aineistoja. Lisäksi palvelun kautta löytyy runsaasti kirjaston valikoimia vapaasti verkossa saatavilla olevia aineistoja. Vuonna 2024 Laurean Finnan kautta tehtiin yhteensä 750 733 hakua.
Eri kirjastojen, museoiden ja arkistojen Finna-näkymiä on olemassa tällä hetkellä 180 kappaletta. Nyt järjestetty ja kahden vuoden välein toistuva kansallinen käyttäjäkysely koskee kaikkia Finna-palveluja. Kyselyn järjestäjänä toimii Kansalliskirjasto, jolla on myös päävastuu Finna-palvelujen teknisestä ylläpidosta ja kehitystyöstä.
Tietosuojan huomioiminen tekoälyn käytössä
Avointen vastausten analysoinnissa käytettiin Laurean henkilökunnan työasemilla käytössä olevaa Microsoft 365 Copilot Chatin yritysversiota, joka on varustettu Enterprise data protection (EDP) -ominaisuudella. Kyseinen ominaisuus estää Copilotille syötetyn datan käyttämisen tekoälyn kehittämisessä. Kyselyssä kerättyjä käyttäjiä profiloivia tietoja (ikä, koulutusala, toimenkuva) ei Copilotille syötetty lainkaan.
Strukturoidut kysymykset
Kyselyssä oli neljä kysymystä, joissa pyydettiin arvioimaan Laurean Finnaa numeroarvosanalla. Taulukossa 1 näkyvät myös vuoden 2023 kyselyssä saatujen vastausten keskiarvot.
| Kysymys | Keskiarvo 2023 | Keskiarvo 2025 |
| Käyttämäni hakupalvelu on helppokäyttöinen (1-5) | 4.1 | 4.1 |
| Käyttämäni hakupalvelu on hyödyllinen (1-5) | 4.6 | 4.5 |
| Löydän etsimäni käyttämästäni hakupalvelusta (1-5) | 4.1 | 4.1 |
| Minkä arvosanan antaisit käyttämällesi hakupalvelulle (1-10) | 8.3 | 8.5 |
Taulukko 1. Käyttäjien antamien Laurean Finnaan liittyvien arvosanojen keskiarvot vuosina 2023 ja 2025.
Lisäksi vastaajilta kysyttiin kysymys: löydätkö yleensä etsimäsi? Tähän 97 % vastaajista vastasi kyllä ja 3 % vastasi ei. Vuonna 2023 vastaavat luvut olivat 93 % (kyllä) / 5% (ei) / 2% (ei vastausta).
Strukturoitujen kysymysten pohjalta käyttäjien voidaan todeta olleen varsin tyytyväisiä Laurean Finnaan. Tyytyväisyys oli pysynyt käytännössä samalla tasolla kahden vuoden takaiseen tilanteeseen verrattuna.
Avointen kysymysten vastausten analysointi MS Copilotilla
Kyselyssä oli neljä avointa kysymystä.
- Kerro yksi asia, johon olet tyytyväinen hakupalvelussa. (187 vastausta)
- Jos muuttaisit yhden asian hakupalvelussa, mitä muuttaisit? (149 vastausta)
- Suosittelisin käyttämääni hakupalvelua (1-10) liittyvä jatkokysymys: Miksi annoit yllä olevan arvosanan? (292 vastausta)
- Millaisia hankaluuksia sinulla on löytää etsimääsi? (11 vastausta)
Ensimmäisessä vaiheessa Copilotia pyydettiin analysoimaan kahteen ensimmäiseen kysymykseen saadut vastaukset omina erillisinä kokonaisuuksinaan.
Kansalliskirjastolta saatu vastausdata silmäiltiin pintapuolisesti läpi ja kopioitiin sen jälkeen Copilotin kehotekenttään. Vastausdatan syötön yhteydessä Copilotille kerrottiin, mihin kysymykseen vastausjoukko liittyi. Yksittäiset vastaukset erottuivat syötteessä toisistaan siten, että jokainen vastaus aloitti Copilotin kehotekentässä uuden rivin.
Kysymyksen 1 vastausten analysointi tehtiin syöttämällä ensin vastausdata ja pyytämällä sen jälkeen Copilotia ilmoittamaan viisi yleisintä esille tullutta asiaa.
SYÖTE1: [Kysymyksen 1 vastaukset]
SYÖTE2: Edellä olevat lauseet ovat vastauksia kirjaston hakuliittymään liittyvään kysymykseen: ’Kerro yksi asia, johon olet tyytyväinen hakupalvelussa’. Voitko tiivistää mitkä ovat viisi yleisintä asiaa, jotka mainittiin.
Copilotin vastaus:
Tässä ovat viisi yleisintä asiaa, joihin käyttäjät ovat tyytyväisiä kirjaston hakupalvelussa:
- Laaja valikoima: Käyttäjät arvostavat laajaa aineistovalikoimaa, joka kattaa monipuolisesti kirjoja, artikkeleita ja muita materiaaleja.
- Helppokäyttöisyys: Palvelun selkeys ja intuitiivinen käyttöliittymä tekevät siitä helposti lähestyttävän ja käytettävän.
- Nopeus: Hakutulosten nopea saaminen ja aineiston saatavuus ovat tärkeitä käyttäjille.
- Monipuoliset hakutoiminnot: Mahdollisuus rajata ja suodattaa hakutuloksia eri kriteereillä auttaa käyttäjiä löytämään tarvitsemansa aineiston tehokkaasti.
- E-kirjat ja verkkoaineistot: Käyttäjät arvostavat erityisesti sähköisten aineistojen, kuten e-kirjojen ja tieteellisten artikkeleiden, saatavuutta.
Kysymyksen 2 kohdalla vastausdata syötettiin hieman eri tavalla suoraan tehtävänannon perään.
SYÖTE: Kirjaston hakupalveluun liittyvässä kyselyssä kysyttiin kysymys: ’Jos muuttaisit yhden asian hakupalvelussa, mitä muuttaisit?’ Tiivistä 5 yleisintä asiaa, jotka vastaajat haluaisivat muuttaa hakupalvelussa. Näin kyselyyn vastattiin: [Kysymyksen 2 vastaukset]
Copilotin vastaus:
Tässä ovat viisi yleisintä asiaa, joita vastaajat haluaisivat muuttaa kirjaston hakupalvelussa:
- Käyttöliittymän selkeys ja ulkonäkö: Monet vastaajat toivoivat selkeämpää ja modernimpaa ulkoasua, joka olisi visuaalisesti houkuttelevampi ja helpompi hahmottaa.
- Hakutoimintojen parantaminen: Ehdotettiin lisää suodatintoimintoja, tarkempia hakukriteerejä ja mahdollisuutta hakea ilman tarkkaa hakusanaa. Myös hakutulosten järjestystä ja selkeyttä toivottiin parannettavan.
- E-kirjojen käytettävyys: Vastaajat halusivat selkeämpiä ohjeita e-kirjojen lataamiseen ja käyttöön sekä pidempiä laina-aikoja. Myös e-kirjojen saatavuuden parantaminen mainittiin.
- Kirjautumisprosessin yksinkertaistaminen: Kirjautumisen toivottiin olevan nopeampaa ja helpompaa, erityisesti jos käyttäjä ei muista omaa tunnustaan.
- Hakutulosten optimointi: Toivottiin, että hakutulokset olisivat paremmin optimoituja ja että uusimmat teokset tulisivat ensimmäisinä tuloksissa. Myös hakutulosten selkeyttä ja jäsentelyä haluttiin parantaa.
Toisessa vaiheessa Copilotia pyydettiin tekemään kaikkiin neljään avoimeen kysymykseen annettujen vastausten (yhteensä 639 kpl) pohjalta yleinen yhteenveto. Vastausdata syötettiin ensin Copilotille kysymys kerrallaan siten, että ennen jokaisen datasetin syöttöä kerrottiin, mihin kysymykseen kyseiset vastaukset liittyivät.
Copilotin vastaus:
Käyttäjäkyselyn vastauksista käy ilmi, että Finna-hakupalvelu koetaan yleisesti ottaen helppokäyttöiseksi, luotettavaksi ja hyödylliseksi opiskelussa. Monet vastaajat löytävät etsimänsä materiaalin helposti ja arvostavat palvelun laajaa aineistovalikoimaa. Kuitenkin joitakin kehityskohteita nousi esiin, kuten e-kirjojen saatavuus ja hakusanojen käytön haasteet.
Havaintoja ja johtopäätöksiä
Tekoälyn käytön hyötyä työelämässä arvioidaan usein suhteessa siihen, miten paljon se säästää työtekijän aikaa. Copilotin avulla on mahdollista kohtalaisen vähällä vaivalla ja nopeasti tehdä tiivis ja sujuvakielinen yhteenveto käyttäjäkyselyn vastauksista. Jos saatu yhteenveto hyväksytään sellaisenaan, aikaa on säästetty huomattavasti.
Vaan kuinka onkaan yhteenvedon laadun laita? Nyt käsiteltävänä olleet vastausmäärät olivat sopivan pieniä siihen, että vastausdata oli suhteellisen helposti selattavissa myös silmämääräisesti. Ihmissilmin tehdyn tarkastelun pohjalta voidaan todeta, että kaikki Copilotin esille nostamat asiat olivat löydettävissä käyttäjien antamista vastauksista. Niin sanottua hallusinointia eli täysin virheellisen tiedon generointia ei Copilotin vastauksissa esiintynyt.
Copilotin kaikkien vastusten pohjalta laatima yhteenveto oli suppeassa yleisluonteisuudessaan aivan kelvollisesti muotoiltu ja paikkansapitävä. Jos kyselyn annin haluaa tiivistää kolmen lauseeseen, voi Copilotin muotoilua käyttää sellaisenaan.
Kyselyssä saatujen vastausten ristiriitaisuus tuli hyvin esille, kun Copilotia pyydettiin analysoimaan erikseen kysymysten 1 ja 2 vastauksia. Käyttäjät olivat samaan aikaan sekä tyytyväisiä että tyytymättömiä muun muassa käyttöliittymän selkeyteen ja helppokäyttöisyyteen, hakutoimintojen monipuolisuuteen ja e-kirjojen saatavuuteen. Tämä on tuttu havainto myös aiemmista Finnan käyttäjäkyselyistä.
Copilotin esille nostamat kysymyksiin 1 ja 2 liittyvät viisi keskeistä pääteemaa vastasivat kaikki varsin onnistuneesti kyselyssä useimmin annettuja vastauksia. Pääteemojen alle listatut yksityiskohtaisemmat nostot saattoivat kuitenkin sisältää asioita tai muotoiluja, jotka olivat kyselyn vastauksissa mainittu vain kerran. Esimerkiksi ’intuitiivista käyttöliittymää’ oli kehuttu vain kertaalleen. Samoin e-kirjojen lataamiseen liittyviä ohjeita tai ’helpompaa kirjautumista, jos käyttäjä ei muista tunnustaan’ oli kaipailtu vain yhdessä vastauksessa.
Raportoinnin apuvälineenä Copilotin voi lyhyesti todeta onnistuneen hyvin. Vaikka sen tuottamia tekstejä ei hyväksyisikään sellaisinaan, on niiden pohjalta huomattavan helppo kirjoittaa lopullinen raportti.
Copilotin avulla esille nousseet teemat ja jäsennykset auttavat myös vastausten silmämääräistä selaamista. Copilotin tuottama jäsennyksen jälkeen vastausjoukon manuaalinen tutkiminen nopeutuu, kun vastausjoukkoa pääsee selaamaan alustavan analyysin pohjalta.
Laurea Finna sai kyselyyn vastanneilta arvosanaksi 8.5. Copilotille vastausten analysoinnin apuvälineenä annan arvosanaksi 9.
