前面我们提到了要想科学评估一个数字化学习平台的好坏有两种研究类型。而无论哪种研究类型,都需要通过可用性测试、访谈及问卷调查三种研究方法进行研究.
藉由可用性测试结果,研究者分析出平台功能之效率、有效性及错误率等3 项指标;藉由访谈内容获取学习性指标以及使用困难的相关研究资料; 整理及分析问卷调查结果,来获得可用性指标评估资料,了解受测者对于平台课程规划部分可用性的主观感受。
而一般来说,资料的分析可以分为2部分:第一部分为数字化学习平台课程规划之可用性;第二部分为课程规划功能之使用困难。
一、 数字化学习平台课程规划之可用性
研究者分析数字化学习平台课程规划各项任务的可用性,「学习性」较佳的任务为课程设定、连结网站、心得报告、作业及讨论区。「效率」较佳的任务为心得报告、讨论区及连结网站。「有效性」较佳的任务为讨论区、心得报告、连结网站及作业。「错误率」最低的任务依序为讨论区、心得报告及连结网站及作业,以上仅列出各项指标最佳排名前三名。
心得报告、讨论区、连结网站、课程设定、作业等部分的名称命名清楚明了,其中的功能设置也很简单,课程规划者可以快速找到需要用到的功能,了解如何使用此功能,并按照任务内容需求完成任务操作,如同Nielsen(1995) 在其著名的 10 项可用性设计原则中提到的系统与现实的关联性,平台内出现的功能名称,就是使用者一般习惯使用的名称,因此让使用者可以很直觉的掌握到功能的意涵,不需花时间猜测或理解其命名意义。
「学习性」最差的任务为测验卷、公开教材目录及线上资源。「效率」最差的任务为报表、公开教材目录及线上资源。「有效性」最差的任务为线上资源、公开教材目录、测验卷及报表。
「错误率」最高的任务为线上资源、公开教材目录及测验卷及报表,以上仅列出各项指标排名前三名。其中,线上资源的设计不符合 Nielsen 可用性设计原则中提到的系统与现实的关联性。平台内出现的功能名称,让课程规划者无法直接辨别出其功能,需要花时间思考或尝试几次,才能知道功能的用法。
测验卷的设计则不符合 Nielsen 提到的弹性和使用效率。测验卷功能设计步骤既繁复,栏位又繁多,让使课程规划者需要经过非常多步骤才能够完成任务,让人感到困难与繁琐。公开教材目录的设计不符合 Nielsen 可用性设计原则中提到的系统与现实的关联性,课程规划者不知道此功能名称与用法之间的连结,因此无法完成任务。报表及学习管理此两部分设计不符合 Nielsen 可用性设计原则中提到的系统与现实的关联性,该设计的功能和分类皆不清楚,让课程规划者无法直觉且快速找到需要使用的功能。