projecte mupa – uoc - Universitat Oberta de Catalunya

1
PROJECTE
MUPA – UOC
RESULTATS DEL SEGON
TEST D’USUARIS
Maig 2003
2
Índex:
1- Metodologia utilitzada en aquesta 6a fase: 2on Test amb usuaris
a) Definició dels perfils d’usuari
b) Disseny de les tasques proposades
c) Dissenys dels formularis PRE i POST test
d) Laboratori d’usabilitat
e) Realització del les tasques
f) Realització dels formularis PRE i POST test
g) Exploració de les dades obtingudes del test
2- Descripció dels resultats per tasques
Anàlisi del Escenari 1: Plana d’inici del Campus Virtual UOC.
Tasca 1: Anar a buscar un missatge nou que ha enviat el
professor dels teus estudis al tauler.
Tasca 2: Has rebut un missatge a la teva bústia de SD amb unes
indicacions concretes. Llegeix-lo i segueix les
indicacions.
Anàlisi del Escenari 2: Les Aules.
Tasca 3: Tenim un dubte o consulta a realitzar a “Suport
docència”, on aniries a fer la consulta?
Tasca 4: Detectes que un alumne ha lliurat totes les PAC’s
menys la darrera, llavors et vols posar en contacte amb
el “Tutor” de l’alumne, com ho faries?
Tasca 5: On buscaries un avís d’alguna novetat que afecta
específicament a un consultor
3- Resultats dels formularis PRE i POST test
4- Anàlisi numèric dels test d’usuaris
3
1- Metodologia utilitzada en aquesta 6 a fase del projecte
a) Definició dels perfils d’usuari
En aquesta fase del projecte, el primer pas va ser la definició dels perfils dels
usuaris que interactuarien amb les maquetes proposades.
Van sorgir dos perfils, els quals especifiquem a continuació:
PERFIL 1: (Novell)
-
Que sigui CONSULTOR.
Cap experiència amb el nou Campus de la UOC (Primer semestre).
Població: Barcelona o rodalies.
PERFIL 2: (Expert)
- Que sigui CONSULTOR.
- Tingui experiència amb el nou Campus de la UOC, i també amb el
campus vell.
- Població: Barcelona o rodalies.
Com es pot observar, només es van tenir en compte tres variables, com són:
-
El perfils dins la UOC.
L’experiència amb la interfície avaluada.
La variable geogràfica de Població.
El segon pas, va ser convidar als usuaris a la realització dels test.
Cal destacar el canvi en el procés de reclutació d’usuaris en aquesta segona
sessió de test, degut a la experiència negativa de la primera sessió de tests
d’usuaris.
En aquesta segona fase de test, la reclutació la va realitzar una persona amb
un perfil administratiu, això va descarregar de feina al responsable del projecte
facilitant l’evolució del projecte.
El nombre d’usuaris avaluats en aquest 2on test d’usuaris és el següent, tres
usuaris del perfil 2 i un del perfil 1.
4
b) Disseny de les tasques proposades
El disseny de les tasques proposades es va realitzar desprès d’analitzar els
resultats dels test Heurístic i en paral·lel amb la implementació de les maquetes
utilitzades en el test d’usuaris.
Els criteris que es van tenir en compte per redactar les tasques proposades van
ser els següents:
-
Tasques que realitzen habitualment els CONSULTORS.
Analitzar les millores (canvis) proposades en les noves maquetes.
Possibles millores proposades pels usuaris, un cop ja han interactuat
amb la maqueta.
El temps possible de cada tasca.
D’aquí van sorgir cinc tasques proposades per a la realització dels test
d’usuaris, que són les següents:
Tasca 1: Anar a buscar un missatge nou, que ha enviat el
professor dels teus estudis al tauler.
Tasca 2: Has rebut un missatge a la teva bústia de SD amb unes
indicacions concretes. Llegeix-lo i segueix les
indicacions.
Tasca 3: Tenim un dubte o consulta a realitzar a “Suport
docència”, on aniries a fer la consulta?
Tasca 4: Detectes que un alumne ha lliurat totes les PAC’s
menys la darrera, llavors et vols posar en contacte amb
el “Tutor” de l’alumne, com ho faries?
Tasca 5: On buscaries un avís d’alguna novetat que afecta
específicament a un consultor?
El temps estimat per a la realització de les tasques era:
TASCA/TEMPS TASCA 1
1 minuts
TASCA 2
3 minuts
TASCA 3
1 minuts
TASCA 4
1:30
minuts
TASCA 5
1:30
minuts
5
c) Disseny dels formularis PRE i POST test
c.1) Formulari PRE test d’usuaris
El disseny d’aquest formulari va en relació amb les dades que es volien
obtenir, que en aquest cas només eren dades personals i dades
tècniques de l’usuari.
També es va fer firmar un paper a l’usuari on se li comunicava:
LA POLÍTICA DE CONFIDENCIALITAT I PROTECCIÓ DE DADES DE
CARÀCTER PERSONAL FACILITADES PELS USUARIS A LA
UNIVERSITAT OBERTA DE CATALUNYA (UOC).
Degut a que en el test d’usuaris capturem tant vídeo con àudio del
usuari.
c.2) Formulari POST test d’usuaris
El disseny d’aquest formulari va en relació amb les dades que es volien
obtenir, que en aquest cas era el grau de satisfacció desprès de la
realització del test d’usuaris.
Aprofitant que teníem a l’usuari, també se li van fer cinc preguntes al
respecte de com li havia semblat el test, i el tracte amb el monitor de
test, el resultats d’aquestes preguntes no sortiran reflectits en aquest
document, però serveixen per anar millorant l’experiència d’usuari.
6
d) Laboratori d’usabilitat
Els test d’usuaris s’han avaluat amb dos PC’s on es recullen les dades en local.
Concretament es capturen:
PC1:
- La navegació del “Escriptori” amb el programa Camtasia Studio
(www.techsmith.com ).
PC2:
- Les representacions facials i la veu de l’usuari amb una WebCam.
Les característiques tècniques dels PC’s són les següents:
HARDWARE:
-
Pentium III (450MHZ).
HD 6 GB.
256 MB RAM.
1 Monitor de 17’’.
1 targeta gràfica.
2 targeta de so.
Altaveus.
Mouse + Teclat.
Disquetera.
Lector de CD.
Micròfon de casc.
Webcam amb micròfon intern.
SOFTWARE:
-
Windows 98, Windows XP.
Connexió Intranet UOC.
Drivers Webcam.
Camtasia Studio.
El navegador utilitzat per a la realització del test d’usuaris ha sigut l’Internet
Explorer 6.0.
La velocitat de transmissió utilitzada era la xarxa interna UOC.
Tots els test es van realitzar en Català.
7
e) Realització de les tasques
La direcció i monitorització del test la va executar la mateixa persona, el
monitor de test.
El monitor de test
És l’encarregat de donar la benvinguda a l’usuari, explicar-li una mica com va el
laboratori i el perquè de la webcam, comentar a l’usuari els objectius del test.
Un cop començat el test, el monitor és l’encarregat d’anar llegint a l’usuari les
tasques a realitzar amb les maquetes i recordar a l’us uari que ha d’anar
explicant tots els passos que va fent veu alta.
Durant la realització del test, el monitor de test anava apuntat els problemes o
comentaris de l’usuari.
El monitor de test és l’encarregat de analitzar les dades obtingudes dels test
d’usuaris, ajudant-se amb les observacions rebudes de dos o tres observadors.
8
f) Realització dels formularis PRE i POST test
f.1) Formulari PRE test d’usuaris
Aquest formulari es feia omplir a l’usuari abans de la realització de les
tasques amb la maqueta, ja que se li feia firmar “LA POLÍTICA DE
CONFIDENCIALITAT I PROTECCIÓ DE DADES DE CARÀCTER
PERSONAL FACILITADES PELS USUARIS A LA UNIVERSITAT
OBERTA DE CATALUNYA (UOC).”
Se li donava aproximadament cinc minuts per omplir-lo, i se li permetia
realitzar qualsevol pregunta o suggeriment.
f.2) Formulari POST test d’usuaris
Aquest formulari es feia omplir a l’usuari un cop finalitzada la realització
de les tasques amb la maqueta. Se li dona aproximadament cinc minuts
per omplir el formulari, però el temps es pot allargar si es comencen a
discutir algun punt del test, al ser preguntes obertes.
9
g) Exploració de les dades obtingudes al test
En aquesta fase del projecte es segueix la mateixa rutina que en la primera
sessió de test d’usuaris (Fase 4 del p rojecte MUPA – UOC).
Les dades obtingudes en el test d’usuaris són analitzades pel monitor de test
que avalua tota la informació amb el visionat dels vídeos capturats tant del
Escriptori com els vídeos capturats de la Webcam amb l’ajuda del programa
Usability Logger (http://www.usabletools.com/).
Les variables quantitatives avaluades van ser les següents:
? Time on tasks (Temps en cada tasca).
? Task completion (% de la tasca completada).
? Categories
10
2- Descripció dels resultats per tasques
Tasca1 : Anar a buscar un missatge nou que ha enviat el
professor dels teus estudis al tauler.
Dels 4 usuaris que realitzen el test, els quatre realitzen amb èxit aquesta tasca,
tots van destacar la bandereta vermella com una ajuda per destacar els
missatges nous.
Tots van comentar que actualment aquesta tasca la realitzen mitjançant la
bústia personal o els grups de treball.
Tot els usuaris destaquen aquesta nova aplicació com a una millora important, i
que facilitarà molt la comunicació entre consultors d’una mateixa assignatura i
els seu professor (coordinador).
imatge de l’accés directe a la SALA DELS ESTUDIS.
11
Tasca 2: Has rebut un missatge a la teva bústia de SD amb
unes indicacions concretes. Llegeix-lo i segueix les
indicacions.
Aquesta tasca consistia en llegir un missatge de Suport Docència a la teva
bústia personal, on t’indicava que havies d’utilitzar una aplicació que es trobava
dins de l’Aula, l’aplicació en concret era la de revisió d’examen.
Amb aquesta tasca es volia avaluar dues coses:
a) Si anirien a buscar aquesta aplicació a l’Aula, o per el contrari
farien valer la seva experiència al Campus i anirien
directament a Suport Docència que és on es trobava
actualment.
b) Si han aconseguit arribar a l’Aula, a quina pestanya de l’Aula
anirien a buscar l’aplicació.
a) Aconsegueixen entrar a l’Aula?
Els quatre usuaris entenen el missatge de Suport Docència i van directament a
l’Aula.
b) A quina pestanya de l’Aula van a buscar l’aplicació de revisió
d’exàmens?
Els quatre usuaris van a buscar l’aplicació de revisió d’examen a la nova
pestanya Aplicacions d’un consultor. Cal destacar que un usuari ho va
aconseguir finalment, però es va sobrepassar dels temps donat per aquesta
tasca, per això se li puntua amb un 50% de la tasca completada.
12
Els quatre usuaris testats, valoren molt positivament la integració de les
Aplicacions d’un consultor dins de l’aula.
imatge de l’Aula .
Remarcar en negreta l’opció activa en el període del semestre:
Tots els usuaris que han aconseguit trobar l’aplicació la troben fàcilment ja que
està amb un estil negreta enfront de les altres aplicacions, això facilita molt la
cerca.
Conclusions de la Tasca 2:
S’ha solucionat el problema que va sorgir en el primer test d’usuaris, ens
referim al títol de la nova pestanya. Vam arribar a la conclusió que el nom de
Consultoria era massa general. En aquesta nova maqueta es va substituir el
nom de la pestanya per Aplicacions d’un consultor. Podem veure que s’ha
aconseguit un radi d’èxit del 100%.
13
Anàlisi del Escenari 2: Les Aules.
Se’ls hi demana als usuaris que naveguin una mica per l’Aula i comentin si
troben algun canvi respecte a la seva Aula.
Informació del títol i el número de l’Aula:
Cap del usuaris és capaç de diferenciar en quin número d’Aula està dins de
l’Aula. Cap es dona conte de que la informació del numero de l’Aula es troba en
el “Bread Crums”.
imatge del “Bread Crums”.
Això pot provocar que un Consultor amb més d’una Aula de la mateixa
assignatura, tingui problemes per diferenciar-les. S’hauria de remarcar o
posicionar en un altre lloc més preferència el número de l’Aula.
Respecte al títol de l’Aula, tots el troben, però hi ha una queixa general de que
no es veu fàcilment, tot i que es troba en una posició preferencial de l’Aula.
Aquest problema ja va sorgir en el Test Heurístic i en el 1er Test d’usuaris, on
es va destacar que la cromàtica utilitzada per representar el títol de l’Aula no
era l’idoni.
imatge del títol de l’Aula 1.
14
Tasca 3 : Tenim un dubte o consulta a realitzar a “ Suport
docència”, on aniries a fer la consulta?
Dos dels quatre usuaris utilitzen l’enllaç “Atenció de consultes per a Docents“,
per enviar una consulta a Suport Docència, i entenen perquè serveix.
Els altres dos, van a Suport Docència.
imatge de l’enllaç Atenció de consultes per a Docents.
Conclusions de la Tasca 3:
Si valorem aquest resultats amb el del primer test, també són satisfactoris.
Recordem que molts dels usuaris en el primer test no entenien que volia dir
l’enllaç de “Enviar un missatge al SUCD”, això s’ha solucionat canviant el títol
d’aquesta opció per “Atenció de consultes per a docents“.
Els dos usuaris que han utilitzat la opció de Atenció de consultes per a docents,
han valorat molt positivament que s’afegís aquest enllaç dins de l’Aula. Sobretot
per als Consultors nous, que són els que poden tenir més problemes.
Els altres dos usuaris han decidit anar a fer la consulta a Suport Docència, que
també seria un camí vàlid, tot i que en els resultats numèrics s’ha valorat com
tasca no completada, perquè el que s’estava analitzant era el nou enllaç afegit
de Atenció de consultes per a docents.
15
Tasca 4: Detectes que un alumne ha lliurat totes les PAC’s
menys la darrera, llavors et vols posar en contacte amb el
“Tutor” de l’alumne, com ho faries?
Tres dels quatre usuaris realitzen la tasca satisfactòriament. Els usuaris van
trobar la informació utilitzant l’aplicació “Consulta dels estudiants d’un
consultor/a i del seu tutor/a” des de la nova pestanya de Aplicacions d’un
consultor.
L’únic usuari que no va realitzar amb èxit la tasca, va argumentar que no sabia
quina era la relació Consultor/Tutor dins la UOC.
16
Tasca 5: On buscaries un avís d’alguna novetat que afecta
específicament a un c onsultor?
Aquesta era la tasca més problemàtica de la primera sessió de test d’usuaris.
Es va arribar a la conclusió de que no era una bona opció afegir les Novetats
Suport Docència a l’apartat Novetats i Notícies de la plana d’inici del Campus
Virtual.
La nova proposta va ser, afegir un accés directe amb estructura d’Aula per a
Suport Docència, com es pot observar en la següent imatge.
imatge de l’accés directe a Suport Docència.
I afegir les Novetats Suport Docència al Tauler de Suport Docència.
17
Conclusions de la Tasca 5:
Amb aquestes noves propostes s’ha aconseguit que tres dels quatre usuaris
realitzin la tasca amb èxit.
A més, cal afegir que els tres usuaris que han realitzat la taca amb èxit han
comentat que seria una bona eina per centralitzar els missatges que reben tant
de Suport Docència, Alumnes, correu personal, etc.
A continuació mostrarem els resultat numèrics obtinguts del test d’usuaris:
18
Time On Tasks (in seconds)
(Temps en cada tasca)
TASCA TASCA 2
1 (1 min) (3 min)
60seg
180seg
TASCA 3
(1min)
60seg
TASCA TASCA 5
4 (1:30 (1:30 min)
min)
90seg
90seg
Anàlisi del
Escenari 1 :
Plana d'inici del
Campus Virtual
UOC
Anàlisi del Escenari
2 : Les Aules
Total
USUARI 1
21
91
37
45
368
118
425
1105
USUARI 2
13
118
43
53
41
345
126
739
USUARI 3
21
311
90
89
42
328
281
1162
USUARI 4
17
238
12
203
6
333
343
1152
Total
72
758
182
390
457
1124
1175
Nota: Els resultats d’aquesta taula s’han de valorar amb mesura, ja que la variable que s’està calculant (el temps), així ho
requereix. Hi ha tasques que poden variar considerablement respecte al temps estimat per ella, això es degut a possibles
interrupcions de l’usuari en forma de preguntes cap al monitor de test.
19
Time On Tasks (in seconds)
(Temps en cada tasca)
20
Time On Tasks (in seconds)
(Temps en cada tasca)
MITJA
21
Task Completion (in percentage)
(% de la tasca completada)
TASCA 1 TASCA 2 TASCA TASCA TASCA
Anàlisi del
Anàlisi del
(1 min)
(3 min) 3 (1min) 4 (1:30 5 (1:30 Escenari 1 : Plana Escenari 2 : Les
60seg)
180seg
60seg
min)
min)
d'inici del Campus
Aules
90seg
90seg
Virtual UOC
Total
USUARI 1
USUARI 2
USUARI 3
USUARI 4
100
100
100
100
100
100
50
100
100
0
0
100
100
100
0
100
0
100
100
100
100
100
100
100
100
100
100
100
Total
400
350
200
300
300
400
400
600
600
450
700
Nota: Com es pot veure en aquesta taula de resultats, només s’han tingut en compte les tasques aconseguides amb un 100%
d’èxit completat. S’ha pres aquesta restricció per poder veure clarament on podíem trobar els problemes d’usabilitat. Només en el
cas de Usuari3/Tasca2 s’ha puntuat un 50% de la tasca realitzada per sobrepassar el temps estimat, tot i que es va aconseguir la
realització de la tasca. Els valors d’aquesta taula estan reforçats amb els resultats qualitatius obtinguts i comentats amb
anterioritat.
22
Task Completion (in percentage)
(% de la tasca completada)
23
Task Completion (in percentage)
(% de la tasca completada)
MITJA
24
Categories
problema
general
Torna
inici
usuari
parlant
saps on
estàs?
USUARI 1
0
2
2
0
2
19
2
3
30
USUARI 2
0
2
3
0
3
16
1
2
27
USUARI 3
0
4
0
1
4
15
1
5
30
USUARI 4
0
2
2
0
2
14
1
3
24
Total
0
10
7
1
11
64
5
13
Pensant Frustració Llegint
scroll finestra
Total
Nota: Aquestes dades són orientatives, el seu valor dins d’aquest document és informatiu. No podem extreure’n conclusions
viables d’elles.
25
Conclusions finals
Si es comparen els resultats obtinguts en les dues sessions de tests d’usuaris,
podem observar que els resultats en aquesta segona sessió han esta molt més
satisfactoris.
Si comparem les dues tasques més problemàtiques del 1er test, que van ser:
? Tasca 2: Afegir una nova pestanya a l’Aula amb les aplicacions
necessàries per un consultor.
? Tasca 5: Situació dins la plana d’inici del Campus de les novetats i
notícies específiques pel perfil Consultor.
Podem observar tant en els resultats qualitatius com en els quantitatius com
s’han millorat els resultats.
Si parlem de la Tasca 2, s’ha passat de 1 usuari sobre 7 possibles que va
realitzar la tasca amb èxit, a 3,5 sobre 4 usuaris en la segona sessió de test.
Si parlem de la Tasca 5, s’ha passat de 0 usuari sobre 7 possibles que va
realitzar la tasca amb èxit, a 3 sobre 4 usuaris en la segona sessió de test.
També cal destacar que s’ha millorat la Tasca 1 que ha aconseguit un èxit del
100% en tots els usuaris testats.
La Tasca 2,3 més o menys s’ha mantingut amb els mateixos resultats que la
primera sessió de tests, ja que no van ser tasques problemàtiques.
26
FI DEL DOCUMENT
Realitzat per :
David Rodríguez Gabaldón
drodriguezgab@uoc.edu