System Usability Scale käytettävyyssuunnittelun työkalupakissa

Miten ja millä menetelmillä käytettävyyttä voidaan mitata? Tätä pohtii Atostekin käyttäjäkokemuksen suunnittelun asiantuntija Markus Jaakola.

Käytettävyys on ohjelmistoilta vaadittava ominaisuus, jonka olemassaoloa on haastavaa mitata objektiivisesti. Mitatessa jotain asiaa, sitä pitää aina verrata johonkin. Käytettävyydelle ei ole olemassa absoluuttista asteikkoa tai mittaria, johon jokaista järjestelmää voisi verrata.

Käytettävyyden määritelmä ja mittaaminen

Perinteisesti käytettävyys on määritelty viittaavan järjestelmän toimivuuteen sen omassa käyttötarkoituksessaan. Käytettävyyden perinteinen määritelmä perustuu kolmeen ominaisuuteen:

• käytön tehokkuus
• käytön tarkkuus
• käyttäjien tyytyväisyys.

Tehokkuuden, tarkkuuden ja tyytyväisyyden mittarit voidaan määritellä järjestelmäkohtaisesti. Jokainen ohjelmisto täyttää sille itselleen asetettuja käytettävyysvaatimuksia. Ohjelmistot ovat keskenään erilaisia sekä käyttötarkoitukseltaan että toiminnaltaan, joten ohjelmistojen käytettävyysvaatimuksetkin ovat aina erilaisia.

Ohjelmistojen erilaisuudella tarkoitetaan, että niillä on erilainen käyttötarkoitus, erilainen käyttökonteksti sekä erilaiset käyttäjät. Myös toteutustekniikka ja käyttöliittymä voivat tietysti olla mitä tahansa maan ja taivaan väliltä.

Kun järjestelmälle asetetut käytettävyysvaatimukset täyttyvät, sen käytettävyyden voidaan todeta olevan hyvällä tasolla. Mutta kuinka hyvä se on suhteessa muihin järjestelmiin? Miten voitaisi vertailla erilaisten järjestelmien käytettävyyttä keskenään? Tähän kysymykseen John Brooke etsi vastausta, kun kehitti System Usability Scale -menetelmän vuonna 1986.

SUS-kyselymenetelmä

System Usability Scale eli SUS on yksinkertainen, mutta luotettava työkalu minkä tahansa järjestelmän käytettävyyden mittaamiseen. Järjestelmä voi olla esimerkiksi ohjelmisto, laitteisto tai näiden yhdistelmä.

SUS-menetelmä koostuu kymmenen kohdan kyselystä, johon käyttäjä vastaa käytettyään järjestelmää tai sen prototyyppiä. SUS-kyselyn kysymykset ovat monivalintakysymyksiä viisiportaisella Likert-asteikolla, joten kyselyyn on nopea ja helppo vastata. Kyselyn tuloksena saadaan järjestelmän käytettävyyttä kuvaava pistemäärä asteikolla nollasta sataan.

Menetelmän määrittelemän laskutoimituksen mukaisesti saatu pistemäärä kuvaa järjestelmän käytettävyyttä yleisellä tasolla. SUS-kyselyyn ei kuulu yksityiskohtainen palaute, joten pelkästään sen perusteella ei saada tietoon, mitkä asiat tarkalleen vaativat kehittämistä.

Menetelmä perustuu useisiin satoihin erilaisten järjestelmien mittauksiin, joiden perusteella on saatu tietoon kyselyn tuottama järjestelmäriippumaton, keskimääräinen tulos. Menetelmän tuloksissa kohdejärjestelmä vertautuu siten kaikkiin muihin olemassa oleviin järjestelmiin.

Menetelmän vahvuudet ovat yksinkertaisuus ja luotettavuus. Luotettavan tuloksen saa hyvin pienillä vastaajamäärillä. Jopa vain muutama vastaajaa riittävät antamaan tuloksen, joka antaa oikean käsityksen järjestelmän todellisesta tilasta.

Kevyt kysely on helppo toteuttaa niin paperilla kuin verkkokyselynäkin. Tulosten analyysiin ei tarvita erityisohjelmistoja. Tuloksen voi laskea menetelmän avoimesti tarjoamalla laskukaavalla. Atostekin UX-asiantuntijat ovat kehittäneet valmiit kysely- ja laskukaavapohjat, joiden avulla käytettävyysmittaus on helppoa ja kustannustehokasta toteuttaa.

SUS-menetelmän haasteet

Menetelmän yhtenä haasteena on tuloksena saadun pistemäärän tulkinta. Vaikka pistemäärän skaala on välillä 0–100, niin keskimääräinen tulos ei ole asteikon puolessa välissä, vaan pistemäärässä 68. Tätä on vaikea hahmottaa intuitiivisesti, joten tuloksia raportoidessa onkin parempi käyttää tulosjakaumia kuvaavia persentiilejä. Persentiili kuvaa sitä, miten suuri osa jakauman datapisteistä jää kyseisen arvon alapuolelle.

Esimerkiksi pistemäärä 68 on keskimääräinen tulos, eli 50 % kaikista SUS-mittausten tuloksista jää pistemäärän 68 alle, ja vastaavasti toinen 50 % tuloksista asettuu sen yläpuolelle.

Jos pistemääräksi muodostuu 80 pistettä, se on jo todella hyvä tulos kuuluen 90. persentiiliin. Tällaisen pistemäärän kohdalla voitaisiin sanoa, että 90 % kaikista muista järjestelmistä on käytettävyydeltään huonompia kuin kyseinen järjestelmä.

Toinen haaste on tulosten kvantitatiivinen ja hyvin korkean tason luonne. Menetelmän avulla saadaan tieto järjestelmän käytettävyyden tasosta, mutta ei syistä, jotka siihen johtavat. Menetelmässä ei kysytä vastauksille perusteluja, vaan se keskittyy mittaustuloksen saamiseen nopeasti ja helposti.

Käytettävyysasiantuntijoiden tulee käyttää lisäksi muita menetelmiä järjestelmän parannuskohteiden löytämiseksi ja muutostarpeiden kartoittamiseksi.

Hyödyt ja käyttö

System Usability Scale on yksi työkalu käytettävyyden mittaamiseen. Se ei yksinään riitä käytettävyyden suunnitteluun ja arviointiin, mutta mahdollistaa eri järjestelmien vertailun universaalilla mittarilla.

SUS-menetelmää voidaan hyödyntää ohjelmistokehityksessä esimerkiksi todentamaan käytettävyystavoitteiden täyttymistä tai auttamaan käytettävyydeltään parhaan ratkaisun valitsemisessa useasta eri järjestelmästä.

Jos ollaan korvaamassa vanhaa tietojärjestelmää uudella, tavoitteena on yleensä myös parantaa samalla käytettävyyttä. SUS-menetelmällä tavoitteen täyttymistä voidaan mitata ja todentaa numeerisesti, tieteellisesti validilla tavalla. Näin onnistuminen voidaan perustella muullakin kuin mututuntumalla.

Atostekin palvelumuotoilu- ja UX-suunnittelupalveluiden työkalupakista löytyy monipuolisia välineitä onnistuneeseen ohjelmistoprojektiin. Yksi niistä on tässä esitelty System Usability Scale -menetelmä.

Lähteet:

Brooke, John. (1995). SUS: A quick and dirty usability scale. Usability Eval. Ind.. 189.

Nielsen Norman Group: Beyond the NPS: Measuring Perceived Usability with the SUS, NASA-TLX, and the Single Ease Question After Tasks and Usability Tests. https://www.nngroup.com/articles/measuring-perceived-usability (Viitattu 19.5.2021)

Usability.gov: System Usability Scale (SUS). https://www.usability.gov/how-to-and-tools/methods/system-usability-scale.html (Viitattu 19.5.2021)

---