1 引言

手机上网日益普及, 并且应用到各行各业. 根据中国互联网络信息中心(CNNIC) 2020年9月发布第46次中国互联网络发展状况统计报告报道: 截至2020年6月, 我国网民使用手机上网比例达99.2%, 在互联网的各种应用中, 在线教育用户规模达到3.81亿, 占网民总体的40.5%^[1].

中国高校的网络基础设施基本完善. 85%的高校提供无线网络服务, 55% 的高校实现免费无线上网^[2]. 可以说, 高校网络基础设施建设已经基本构建完成.

高校学生自带移动电子设备, 特别是智能手机进入课堂是值得探讨的学习新趋势. 根据美国旨在分析新兴技术在教育中吸纳与应用的NMC地平线报告, 学生自带设备上课成为近期趋势^[3], 自带设备使学生能够用他们所熟悉和喜爱的技术来支持学习. 2018年和2019年的地平线报告指出, 应增加对学习度量的关注, 跟踪和评估学业进展数据, 度量分析用于调整教育教学^{[4, 5]}.

在线教育已经成为教育发展的重要组成部分, 并开始向移动端扩展迁移, 探索利用智能手机教学的新模式^[6–9]. 在将来, 电子学习可能是移动第一的战略^[10]. 西班牙萨拉曼卡大学的一项研究发现, 利用手机APP学习解剖的表现在统计意义上好于使用传统方法学习解剖的表现^[11]. 未来二十年, 我国移动学习发展将经历基础环境建设、知识体系化建设和学习服务建设3个迭代循环的阶段, 应发挥移动学习在不同领域内的优势, 开发有效促进移动学习的工具应用, 拓宽理论视域, 开展移动学习活动、策略及评价的研究^[12].

在线教育评测将成为提高教育保障水平的重要措施. 教育测量与评价主要是研究对教育现象进行测量和价值判断的理论、方法和技术, 是当今现代教育科学研究的三大领域之一^[13]. 在国内, 全国计算机等级考试所有级别/科目全部实行上机考试. 美国的托福和GRE考试也分别于2005年和2011年实现基于Internet的考试^[14]. 基于计算机的无纸化考试已经成为高校考试的趋势^[15,16]. 近年来, 基于移动设备的考试逐渐成为研究热门和新趋势^[17–24].

综上所述, 本文旨在高校课堂中引入手机APP进行在线学习评测的方法研究, 即将传统的课程、班级管理及部分评价方法融入手机APP中, 以提高在线课堂教育中学习管理的效率和学生学习知识的积极性, 更好地保证高校教育中的教学质量.

2 研究方法

本文研究将手机作为学习工具引入高校课堂, 在高校课堂有限的时间中利用手机进行实时在线教学测验, 引起学生学习兴趣, 促进学生高效利用课堂时间.

本文研究方法包括文献查阅、课堂实践、课堂调查以及数据的对比分析等, 研究流程如图1所示.

在图1的研究流程中, 首先明确本文研究目标: 探索手机测验在高校课堂教学中应用的可行性以及效果, 依据研究目标整理研究思路和方法: 1)查阅文献, 了解其他教育机构利用移动设备, 比如PC、平板电脑或手机进行电子化考试的方法和经验. 2)在自己的课堂教学中循序渐进地引入手机课堂测验, 了解该方法是否可行. 教育的目的是以学生为中心, 因此必须要在学生中实践才能了解教改的效果. 3)在每学期教学实践之后, 对学生的实践情况进行广泛调查, 了解学生对利用手机考试系统进行课堂测验的态度和认识, 根据学生的反馈在后续实践中逐步改进手机测验的方法, 比如引入不同的考试类型. 4)在课堂测验中比较传统纸质测验方法和手机测验方法之间的差异, 找到两种方式之间的异同. 5)最后数据进行统计分析得出结论.

2.1 手机考试系统说明

本文研究采用了成都泰盟软件有限公司发布的IPE-100易考过手机考试系统作为手机测验工具. 该系统由3部分组成, 见图2.

在图2中, 服务器端是整个手机考试系统的后台支持系统, 包括教师信息、学生信息、考试信息等都存储在服务器端, 可以利用PC机或手机进行服务器端操作. 教师手机端是教师使用手机考试系统的前端, 可以完成手机考试系统的所有操作, 比如: 构建数据库、建立班级、启动考试、查阅考试情况等. 学生手机端则用于学生完成手机考试和课堂调查.

2.1.1 教师启动考试的流程

在手机考试系统的教师端, 教师首先利用PC机或手机, 在手机考试系统服务器平台中创建自己所授课程, 并为该课程创建相应题库; 然后在平台上构建授课班级, 并导入班级学生姓名; 最后就可以以班级为单位构建手机考试.

教师具体开启一次基于手机课堂测验的流程是: 老师首先要构建测验的试卷, 然后根据试卷创建基于不同班级的考试. 考试对应于班级, 便于对每一个同学的成绩进行记录和管理. 创建完成考试之后, 老师在课堂上就可以启动考试和停止考试. 当停止考试之后, 所有客观题目由计算机自动评卷, 而主观题目则可以由老师或学生评卷, 每次课堂测验结果都会被保留在系统的数据库中. 教师利用手机考试系统进行考试的流程见图3.

2.1.2 学生使用手机考试的流程

在手机考试系统的学生端, 学生可以通过手机扫描二维码登录进入考试系统, 然后在手机上作答, 最后提交结果完成本次考试. 对于只有客观题的考试, 学生可以立刻得到自己本次考试的结果, 并知道自己本次考试错在什么地方, 而学生每次考试的结果都被保存下来供学生后续查询和学习. 学生使用手机考试系统的流程见图4.

2.2 手机考试系统关键技术

手机考试系统中包括很多关键技术, 其中自动组卷、学生交互以及试卷评价分析尤为重要.

2.2.1 自动组卷

自动组卷是指系统根据老师出题要求, 包括: 章节、题型、数量、分数、评分标准、难易程度等因素自动生成试卷, 自动组卷伪代码见算法1.

算法1. 自动组卷

输入: 章节, 题型, 题量, 评分规则, 难度

输出: 试卷

1. 根据输入参数从数据库查询试题

2. 随机选择满足要求的指定数量的测试问题

3. 根据规则为每道考题分配分数

4. if (考题是自动评分对象)

5. {

6. 将其标记为自动评分

7. 将结果与测试问题联系起来

8. }

9. else

10. {

11. 将其标记为手动评分

12. 手动连接规则

13. }

14. 根据以上内容制作期末试卷

15. 返回建立的试卷

2.2.2 学生交互

学生可以通过扫描二维码进入手机考试网站, 学生通过二维码登录考试系统的伪代码见算法2.

算法2. 扫描二维码登录系统

输入: 二维码(手机考试系统进入二维码)

输出: 登录成功的标志

1. 分析二维码

2. 从二维码分析结果中获取网站地址

3. 根据网站地址打开系统网站

4. 从登录界面获取用户登录名和密码

5. 将用户登录名和密码的验证信息赋予登录是否成功的标志位

6. if (标志位为1)

7. {

8. 进入系统

9. }

10. else

11. {

12. 显示登录失败信息

13. }

14. 返回登录成功的标志

2.2.3 试卷评价分析

学生考完试之后, 系统自动收卷, 然后根据试卷类型进行试卷评分和分析, 对于客观题, 系统直接给出评分并给出统计结果, 包括分数分布、区分度、难度等; 对于主观题, 则根据指定要求分配到评阅人进行评审, 试卷评价分析的伪代码见算法3.

算法3. 判断分析试卷

输入: 考试试卷, 题型, 评分规则

输出: 考试结果(试题难度、区分度, 试卷成绩分布等)

1. 收集所有试卷, 根据题型判断试卷

2. if (试题类型为客观题)

3. {

4. 自动判断试题并设定分数

5. }

6. else if (试题类型为主观题)

7. {

8. 分配用户根据规则手工评卷

9. }

10. 根据所有试题计算出每道题的区分度和难度

11. 根据所有成绩计算考试成绩分布

12. 返回考试结果

2.3 手机课堂测验实践

从2017年10月至2020年6月, 本研究在老师所授3门课程共计16个班级的近884名学生中进行了70多次手机课堂考试, 包括: 软件开发环境与工具的5个班共计307名学生, 软件构造的5个班共计341名学生, 软件设计与体系结构的6个班共计236名学生. 图5 展示了同学们在课堂上进行手机测验的场景.

在手机课堂测验实践中, 考虑到课堂的时限性以及测验与最近教学内容的相关性, 课堂测验一般采用10分钟左右的短时测验为主, 题目则多以选择题为主, 便于系统自动评卷, 这样在每次测验之后学生立刻知道自己的考试结果. 同时, 老师也知道了学生本次考试的总体结果, 包括每道题的错误分布, 学生答题的正确率等. 老师可以根据考试结果对本次考试进行针对性评讲, 并结合考试结果适当调整教学重点, 使学生更好地掌握知识. 手机考试结果试题分析和试卷分析见图6、图7.

2.4 手机课堂测验与纸质课堂测验对比

为了了解手机考试和纸质考试之间的差异, 在2018–2019年春季学期, 研究者对四川大学软件学院“软件设计与体系结构”和“软件开发环境与工具”两门课程共计4个班级的200多名学生进行了10次手机课堂测验和纸质课堂测验的对比试验. 其中, 软件开发环境与工具课程包含两个班级, 它们分别被命名为工具一班和工具二班; 软件设计与体系结构课程有两个班级, 分别命名为体系一班和体系二班. 4个班级整学期分别进行了5次课堂测验, 其中, 工具一班和体系一班前两次测验采用手机测验方式, 后3次测验采用纸质测验方式; 工具二班和体系二班所有5次测验均采用手机测验方式完成, 这样设计的目的是为了完成同一班级之间手机测验和纸质测验方式之间的纵向对比以及不同班级之间手机测验和纸质测验方式之间的横向对比. 4个班级课堂测验的具体分布情况见表1.

为了对手机课堂测验和传统纸质课堂测验方式之间进行全面对比, 采用了同班级纵向对比和不同班级横向对比两种方法, 具体如下所述.

2.4.1 同一班级前后时段纵向对比

纵向对比是指同一班级前后不同时段课堂测验成绩之间的对比. 具体方式是工具一班和体系一班前两次采用手机课堂测验, 后3次则采用纸质方式进行课堂测验. 纵向对比就是对比这两个班前两次手机测验成绩和后3次纸质测验成绩之间的差异. 尽管纵向对比前后不同时间测验题目存在差异, 但参加考试的学生完全相同, 这种对比可以了解相同学生对不同考试方式的适应程度.

2.4.2 不同班级同一时段的横向对比

横向对比是指不同班级同时使用不同考试方式进行课堂测验成绩对比. 具体方式是工具一班和体系一班后3次课堂测验采用纸质测验方式, 同时, 工具二班和体系二班后3次课堂测验采用手机测验方式. 在横向对比中, 除了课堂测试的方式不同之外, 对比班级, 包括工具一班和二班, 软件一班和二班之间的考试题目完全相同. 横向对比的目的是为了了解不同班级学生对相同考试试题而不同考试方式的适应程度.

2.5 手机课堂测验的学生调查

本次教改, 针对2018–2019学年第二学期“软件设计与体系结构”以及“软件开发环境与工具”两门课程的共计124名学生进行了调查, 其中“软件设计与体系结构”课程有73名学生参加调查, “软件开发环境与工具”课程有51名学生参加了调查. 调查的主要内容包括: 学生喜欢的考试形式, 手机考试是否会成为趋势, 手机考试适合的考试类型, 手机考试试题题目类型以及手机考试存在的问题等.

3 研究结果 3.1 手机测验和纸质测验的对比

按照第2.3节设计的两种对比方法进行手机测验和纸质测验对比, 对比结果如下所述.

3.1.1 同一班级纵向对比结果

为了对同一班级手机测验和纸质测验进行纵向对比, 研究者分析了工具一班和体系一班前两次手机考试和后3次纸质考试之间的成绩差异. 对于工具一班, 共有41名同学, 去掉11名5次课堂测验中存在任何一次缺考现象的同学, 剩余30名同学参加了全部5次考试. 体系一班共有53名同学, 比较时去掉5次考试中有缺考现象的10名同学, 对剩余的43名同学成绩进行了纵向比较. 对同一班级前面两次使用手机测验后面3次采用纸质测验的平均成绩进行纵向对比的结果见表2.

从表2中可以看出, 使用纸质测验的平均成绩高于使用手机测验的平均成绩. 为了进一步分析纵向对比的差异, 对同一班级所有同学不同时段课堂测验平均成绩做了单因素方差统计分析, 工具一班手机测试和纸质测试平均成绩单因素方差分析的p值为0.0002; 体系一班的p值为0.0014; 将工具一班和体系一班看成一个整体, 单因素方差分析p值为0.000 02, 均小于0.05, 说明三种情况下纸质测验和手机测验成绩之间均存在显著差异, 纸质测验成绩明显高于手机测验成绩.

3.1.2 不同班级横向对比结果

在横向对比时, 分别对工具一班和工具二班, 体系一班和体系二班在后3次测验中, 采用相同考试题目和不同考试方式平均成绩进行了对比. 其中工具一班和体系一班采用纸质考试, 工具二班和体系二班采用手机考试方式. 工具一班共有41名同学, 去掉8名后3次考试中存在任何一次缺考现象的同学, 剩余33名同学参加了全部3次纸质测验. 工具二班共49名同学, 去掉12名后3次中有缺考的同学, 共有37名同学参加了全部3次手机考试. 体系一班共有53名同学, 后3次考试中包含45名有效同学, 软件二班共57名同学, 后3次测验中包含50名有效同学. 对不同班级同一时间相同题目课堂测验采用不同考试方式(手机测验和纸质测验)平均成绩横向对比的结果见表3.

从表3中可以看出, 在横向对比时使用纸质测验方式的平均成绩高于使用手机测验方式的平均成绩. 为了进一步分析横向对比的差异, 对工具一班和工具二班的成绩做了单因素方差统计分析, 手机测试和纸质测试平均成绩单因素方差分析p值为0.0004, 小于0.05, 说明手机考试成绩和纸质考试成绩存在明显差异. 体系一班和体系二班两种测验平均成绩的单因素方差分析p值为0.2699, 大于0.05, 说明纸质测验和手机测验成绩之间没有显著差异. 上述两组对比统计结果之间出现差异, 为了消除这种差异, 将采用纸质考试的工具一班和体系一班组成整体一, 将采用手机考试的工具二班和体系二班组成整体二后再进行统计分析, 整体一和整体二之间两种测验平均成绩的单因素方差分析p值为0.0077, 小于0.05, 说明纸质测验和手机测验成绩之间存在显著差异, 纸质测验成绩明显高于利用手机测验的成绩.

3.2 手机测验方式学生调查结果

本研究除了进行学生课堂测验成绩客观对比之外, 还进行了关于手机测验情况的学生调查. 其调查结果见图8和图9.

从图8(a)中可以看出, 关于学生喜欢的考试形式, 有50%的学生喜欢手机考试方式, 而仅有33%的同学喜欢传统纸质考试方式, 说明手机考试更加受到学生的青睐. 从图8(b)中可以看出, 关于手机课堂测验的优势调查, 39%的学生认为立刻知道自己的答题错误对于掌握知识具有帮助, 29%的同学认为立刻知道自己的考试成绩非常重要, 还有28%的同学认为手机测验更加便捷, 说明了手机测试方式具有优势. 从图8(c)可以看出, 关于手机考试趋势性的调查显示, 认为手机考试大于80%概率成为趋势的学生占35%, 还有45%的同学认为超过50%的概率手机考试会成为趋势. 总体上讲, 80%的同学认可手机考试是将来考试方式发展的方向之一.

前面3项调查是参与过手机考试学生对手机考试本身的总体认识, 整体上讲, 学生主观上认可手机考试的形式, 并认为这种考试方式对于他们学习知识带来帮助并将成为一种趋势. 后续的各项调查则了解手机考试具体实施中的一些具体问题, 比如手机考试适合的考试类型、考题类型以及在课堂中实施考试的时间安排等.

图9(a)展示了关于手机考试适合的考试类型调查. 调查表明, 80%的学生认为手机考试适合较简单的课堂小测验, 这可能既与学生参与了较多课堂测验相关, 也与手机考试难于限制作弊有关. 图9(b)展示了关于手机考试适合的试题类型. 可以看出, 71%的学生认为选择题较为适合, 这与手机操作的方便程度有关. 图9(c)展示了关于手机考试中主观题的批阅方式. 调查显示, 41%的学生认可学生批阅, 老师审核, 并有20%同学认为应该老师批阅. 因此整体上讲, 学生还是较认可老师在阅卷中的权威性. 图9(d)展示了关于手机课堂测验的时间选择. 34%的学生选择在上课开始时, 28%的同学选择在上课结束前, 20%的同学选择在上课中间时段, 其余18%同学选择可以在上课任意时间点测试. 该项选择结果较为分散, 可以认为学生不太关心课堂测验在课堂教学中的起始时间点, 老师可以根据课堂教学的需要自主安排课堂考试时间. 图9(e)中调查了关于手机APP软件的改进意见. 调查表明, 约50%的学生关心手机操作的易用性, 说明手机考试最大的改进在于方便学生使用. 从图9(f)中对于手机考试存在的最大问题的调查显示, 61%的同学认为手机考试不易做复杂题目, 17%的同学认为手机考试的主观题难于快速评阅, 还有11%的同学认为软件不易操作. 这说明同学们主要认为手机考试的应用存在有一定限制, 手机由于受到输入和显示方式的限制导致难于完成复杂考试题型, 比如: 作图题, 程序题等.

4 讨论与展望

将手机考试形式引入高校课堂测验是一种新的教学尝试, 本研究得到一些看似矛盾的结果. 虽然从客观上手机考试方式降低了学生的课堂测验成绩, 但从主观上手机考试的形式又得到了学生的普遍认可.

4.1 测验成绩下降的原因

按照最初的设计, 预测客观上手机考试不会影响学生的课堂测验成绩, 而通过与传统纸质测验的纵向对比和横向对比发现, 手机课堂测验客观上导致学生测验成绩的显著性下降, 这可能是由于以下几方面原因造成.

4.1.1 手机考试受到较多客观因素影响

相较于传统纸质考试, 手机考试借助的工具较为复杂, 受到更多客观因素影响, 包括手机性能、网络性能以及手机APP软件的方便性等. 在手机课堂测验时, 曾经出现过由于网络拥堵, 使得某些学生花费较多时间登录进入考试系统, 导致他们有效答题时间减少的现象. 也曾出现过因手机考试系统本身的问题导致个别同学提交考试试卷时答案未被提交的现象, 这些都成为影响学生手机课堂成绩的客观因素.

4.1.2 学生对手机考试的适应性问题

相较于传统纸质测验, 手机测验受到屏幕大小限制, 不能一次看全整张试卷, 这要求学生最好采取顺序答题方式, 对于有些学生而言, 顺序答题方式不利于对试卷的整体把控, 学生主观上需要花时间适应这种考试形式, 这从一定程度上影响了学生的测验成绩.

4.1.3 课堂测验题目较为单一

在进行手机课堂测验时, 考虑到课堂上时间的时限性以及手机考试题目的局限性, 手机考试多采用选择题为主, 通常在10分钟内完成5–10道选择题, 这些题目主要考查学生局部知识点, 并不能像期末考试那样全面反映学生的学习情况.

4.1.4 纵向对比的题目之间存在客观差异

客观上, 纵向对比是比较相同学生群体在不同时间段的学习成绩, 不同时间段采用了不同的测验题目, 前后题目的难度对学生而言存在客观差异, 因此纵向对比的比较条件并非完全一致.

4.1.5 横向对比的班级之间存在客观差异

横向对比是比较不同班级对相同考试题目的课堂测验成绩差异, 不同班级学生之间的学习成绩本身可能就存在客观差异, 因此导致比较条件可能存在差异.

尽管本研究发现手机考试在课堂测验中并未带来学生课堂测验成绩的提高, 甚至可能导致学生课堂测验成绩的下降, 但是手机考试本身却表现出较大的优势, 不仅将新技术引入教学活动中增加了课堂教学的活跃度, 提升了学生的参与兴趣, 而且考试不再受地域限制. 例如, 在2020年春季新冠疫情期间, 由于学生不能到校上课, 教师基本采用线上教学方式, 而线上教学对学生学习情况的把握不足, 为了进一步掌握学生的学习情况, 同时也督促学生加强学习, 教师利用手机测验系统对软件开发环境与工具课程分布于全国各地的学生连续进行手机测验, 促进了学生的学习. 图10是手机测试时查看到分布于全国各地的学生参加手机课堂测验的情况.

4.2 手机考试的完善

手机考试属于新兴事物, 还需要进一步发展与完善, 可以从以下3方面考虑其完善.

4.2.1 考试类型的完善

研究中的手机考试主要用于课堂教学中的小测验. 对于其他考试形式, 比如期末考试等综合考试, 还没有尝试使用手机考试的形式. 如何利用手机进行综合性考试并防止学生作弊还需要进一步研究.

4.2.2 考试题型的完善

目前, 手机测验基本采用选择题型, 这种题型方便学生答题, 但是对于考查学生全面掌握知识存在局限性, 因此如何在手机考试中引入其他考试题型, 比如: 简答题、程序题等还需要进一步研究.

4.2.3 手机考试技术还需要进一步完善

手机考试对于客观题可以自动评卷, 老师学生都立刻知道答题情况, 但是对于主观题而言, 手机考试软件却难于做到自动判卷, 这就需要老师或学生进行网上阅卷, 减少了手机考试及时了解考试结果的优势, 这还需要进一步研究.

5 结论

本文研究发现, 相较于传统的纸质考试, 手机考试的形式在客观上并不能显著提高学生的课堂测验成绩, 甚至有时会降低学生的课堂测验成绩; 但是主观上却引起学生的极大学习兴趣, 提高了课堂的活跃程度, 大多数学生认可手机考试形式是一种趋势. 由于手机考试在使用方便性、快捷组织考试, 考试后及时了解学生的答题结果, 管理学生考试历史记录, 便于扩展其他教学应用功能以及不受时间和地域限制等方面具有较大优势, 在将来的教学中可能成为一种重要的教学评价手段.