基于数据预处理技术的学生成绩预测模型研究

ＪｏｕｒｎａｌｏｆＨｕｂｅｉＵｎｉｖｅｒｓｉｔｙ(ＮａｔｕｒａｌＳｃｉｅｎｃｅ)

Ｖｏｌ.４１　Ｎｏ.１　Ｊａｎ.ꎬ２０１９　

文章编号:１０００２３７５(２０１９)０１０１０１０８

基于数据预处理技术的学生成绩预测模型研究

张麒增ꎬ戴翰波

(湖北大学计算机与信息工程学院ꎬ湖北武汉ꎬ４３００６２)

摘要:随着信息技术的不断发展和教育数据的大量累积ꎬ教育机构对于教育数据的挖掘和改善挖掘效果的需求越来越大.在本文中我们探索用离散化方法和少数类样本合成(ＳＭＯＴＥ)过采样化技术配合神经网络(ｎｅｕｒａｌｎｅｔｗｏｒｋ)算法和支持向量机(ＳＶＭ)算法如何提高预测学生最终课程表现模型的准确率并对比几种离散化方法的表现.从实验结果中我们得出使用离散化和ＳＭＯＴＥ技术进行预处理后能够显著地提升模型的预测能力ꎬ其中使用等频率分箱法进行离散化处理数据集的模型表现最佳.

关键词:教育数据挖掘ꎻ分类ꎻ神经网络ꎻ支持向量机ꎻ离散化ꎻ过采样ꎻＳＭＯＴＥ中图分类号:ＴＰ１８２　　文献标志码:Ａ　　ＤＯＩ:１０.３９６９/ｊ.ｉｓｓｎ.１０００￣２３７５.２０１９.０１.０１９

Ｓｔｕｄｅｎｔｐｅｒｆｏｒｍａｎｃｅｐｒｅｄｉｃｔｉｏｎｍｏｄｅｌｂａｓｅｄｏｎ

ｄａｔａｐｒｅｐｒｏｃｅｓｓｉｎｇｔｅｃｈｎｏｌｏｇｙ

(ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇꎬＨｕｂｅｉＵｎｉｖｅｒｓｉｔｙꎬＷｕｈａｎ４３００６２ꎬＣｈｉｎａ)

ＺＨＡＮＧＱｉｚｅｎｇꎬＤＡＩＨａｎｂｏ

ｅｄｕｃａｔｉｏｎａｌｄａｔａꎬｅｄｕｃａｔｉｏｎａｌｉｎｓｔｉｔｕｔｉｏｎｓａｒｅｉｎｃｒｅａｓｉｎｇｌｙｄｅｍａｎｄｉｎｇｔｈｅｍｉｎｉｎｇｏｆｅｄｕｃａｔｉｏｎａｌｄａｔａａｎｄｔｈｅｉｍｐｒｏｖｅｍｅｎｔｏｆｔｈｅｅｆｆｅｃｔｓｏｆｍｉｎｉｎｇ.ＩｎｔｈｉｓａｒｔｉｃｌｅꎬｗｅｅｘｐｌｏｒｅｔｏｈｏｗｔｏｕｓｅｄｉｓｃｒｅｔｅｍｅｔｈｏｄａｎｄＳＭＯＴＥｏｖｅｒｓａｍｐｌｉｎｇｔｅｃｈｎｏｌｏｇｙꎬｔｏｇｅｔｈｅｒｗｉｔｈｎｅｕｒａｌｎｅｔｗｏｒｋａｌｇｏｒｉｔｈｍａｎｄｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ(ＳＶＭ)

Ａｂｓｔｒａｃｔ:Ｗｉｔｈｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆｉｎｆｏｒｍａｔｉｏｎｔｅｃｈｎｏｌｏｇｙａｎｄｔｈｅａｃｃｕｍｕｌａｔｉｏｎｏｆｌａｒｇｅａｍｏｕｎｔｓｏｆ

ａｌｇｏｒｉｔｈｍꎬｔｏｉｍｐｒｏｖｅｔｈｅｍｏｄｅｌｆｏｒｐｒｅｄｉｃｔｉｎｇｓｔｕｄｅｎｔｓ′ｆｉｎａｌｃｏｕｒｓｅｐｅｒｆｏｒｍａｎｃｅ.ＴｈｅａｃｃｕｒａｃｙｏｆｔｈｅｍｏｄｅｌｏｆｗｅｃｏｎｃｌｕｄｅｔｈａｔｔｈｅｕｓｅｏｆｄｉｓｃｒｅｔｉｚａｔｉｏｎａｎｄＳＭＯＴＥｐｒｅｐｒｏｃｅｓｓｉｎｇｃａｎｓｉｇｎｉｆｉｃａｎｔｌｙｉｍｐｒｏｖｅｔｈｅｐｒｅｄｉｃｔｉｏｎａｂｉｌｉｔｙｏｆｔｈｅｍｏｄｅｌꎬａｎｄｔｈｅｍｏｄｅｌｏｆｄｉｓｃｒｅｔｉｚａｔｉｏｎｐｒｏｃｅｓｓｉｎｇｕｓｉｎｇｔｈｅｅｑｕａｌｆｒｅｑｕｅｎｃｙｂｉｎｎｉｎｇｍｅｔｈｏｄｐｅｒｆｏｒｍｓｂｅｓｔ.ＳＭＯＴＥ

ｔｈｅｃｏｕｒｓｅｐｅｒｆｏｒｍａｎｃｅａｎｄｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｓｅｖｅｒａｌｄｉｓｃｒｅｔｉｚａｔｉｏｎｍｅｔｈｏｄｓ.Ｆｒｏｍｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓꎬ

Ｋｅｙｗｏｒｄｓ:ｅｄｕｃａｔｉｏｎａｌｄａｔａｍｉｎｉｎｇꎻｃｌａｓｓｉｆｉｃａｔｉｏｎꎻｎｅｕｒａｌｎｅｔｗｏｒｋꎻＳＶＭꎻｄｉｓｃｒｅｔｉｚａｔｉｏｎꎻｏｖｅｒｓａｍｐｌｉｎｇꎻ

０　引言

教育数据挖掘是一个跨学科的研究领域ꎬ利用数据挖掘技术发掘隐藏在数据中的奥秘以帮助教育工作者更好地了解学生的学习环境并在一些教学问题中做出可靠、正确的决策.教育数据来源于很多方面ꎬ但主要还是来源于教育机构ꎬ这些教育机构通过多年的教学活动保留了大量的数据.但我们身处信息技术爆炸式发展的时代ꎬ近年来网络上出现了很多在线教育平台ꎬ收集到的大量数据也需要利用数据挖掘技术来分析、发掘其中有用的信息.本文的研究目标是利用一些收集到的数据作为参数来预测学生的成绩ꎬ这些参数包括学生上课离讲台的平均距离、在一个学期的课程中座位转移的次数、一个学期中

收稿日期:２０１８０３１０作者简介:张麒增(１９９３

)ꎬ男ꎬ硕士生ꎻ戴翰波ꎬ通信作者ꎬ讲师ꎬＥ￣ｍａｉｌ:ｄａｉｈａｎｂｏ＠ｈｕｂｕ.ｅｄｕ.ｃｎ

　１０２湖北大学学报(自然科学版)第４１卷

的缺课次数、前两年的平均成绩等.为了改善预测模型的性能ꎬ我们使用一些数据预处理技术以便模型得到更为精确的结果ꎬ以便给有可能得到不好成绩的同学以警示.分析原始数据集后ꎬ对新进入的特征数据集进行数据预处理ꎬ得到我们最终使用的数据集.然后使用Ｂａｃｋｗａｒｄｐｒｏｐａｇａｔｉｏｎ算法训练神经网络ꎬ再从数据预处理入手以提高模型预测能力.首先ꎬ对数据集使用ＳＭＯＴＥ技术来平衡少数类ꎬ然后对连续型特征进行离散化处理ꎬ分别使用人工分箱、等距分箱和等频率分箱方法ꎬ最终得到四个数据集:未预处理的数据、使用人工分箱和ＳＭＯＴＥ技术得到的数据、使用等距分箱和ＳＭＯＴＥ技术的数据、使用等频分箱和ＳＭＯＴＥ技术的数据.将利用上述４个数据集和２种分类算法建立８个模型.所有的模型建成后我们比较了它们预测的准确率、精度、召回率和Ｆ￣ｍｅａｓｕｒｅꎬ同时也比较了ＲＯＣ曲线下面的区域(ＡＵＣ)值.

１　相关工作

数学和葡萄牙语两门课程的表现进行预测ꎬ结果表明只要已知第一或者第二学期的成绩ꎬ就有可能实现较高的预测准确性.ＭａｒｙＥｌｌｅｎＢｅｎｅｄｉｃｔ[２]等人的研究结果表明学生的课程成绩与座位选择有关ꎬ喜欢坐在后排的学生最终的课程表现较差ꎬ坐在前排的学生表现较其他位置的学生更好ꎬ而学生选择座位与他们对课程的兴趣有关.ＮｉｔｅｓｈＶ.Ｃｈａｗｌａ[３]等人提出了一种合成少数类样本过采样技术(ＳＭＯＴＥ)ꎬ他们利用少数类样本合成新的样本并加入数据集中ꎬ实验结果表明ꎬ对少数类数据块进行过采样并对大多数类进行欠采样方法的组合可以实现更好的分类器性能.ＳｙｅｄＴａｎｖｅｅｒＪｉｓｈａｎ[４]等人使用ＳＭＯＴＥ技术处理不平衡数据集、使用最佳等距离分箱技术离散化处理连续型变量再使用神经网络和朴素贝叶斯等分类算法进行预测ꎬ结果表明ꎬ经过ＳＭＯＴＥ技术处理的模型得到的分类准确率为７５％ꎬ比不使用ＳＭＯＴＥ模型的分类准确率提高了１４％.Ｂｈａｒｄｗａｊ等[５]使用学生的上一学期分数、班级考试成绩、研讨班成绩、作业成绩、一般熟练程度、课堂出勤率和实验室工作情况ꎬ以预测学期结束时的分数.Ｙａｄａｖ[６]等人使用学生的出勤率、班级考试成绩、研讨班和作业分数、实验室工作来预测学期末学生的表现.他们使用ＩＤ３、ＣＡＲＴ和Ｃ４.５这几种决策树算法ꎬ最终的分类准确率分别为５２％、５６％和４５％.ＫａｕｒＰ[７]等人使用多层感知机(ＭＬＰ)、ＳＭＯ、Ｃ４.５等分类算法来预测学生的学期表现ꎬ结果表明ＭＬＰ的表现最好ꎬ准确率达到了７５％.Ｍｕｅｅｎ[９]使用ＭＬＰ、朴素贝叶斯和决策树算法对学生成绩进行预测ꎬ实验结果表明朴素贝叶斯的表现最好ꎬ准确率为８６％.

ＰａｕｌｏＣｏｒｔｅｚ[１]等人使用决策树等分类算法并使用学生的第一年或者第二年的成绩等属性对学生的

２　实验

我们的数据来源于湖北大学的算法设计与分析课程.初始的数据集包含学生的姓名、学号、十次课的座位信息、前两年的平均成绩和最终的课程成绩ꎬ包含了近４年学生的２７３条记录.２.１　数据准备及其预处理　我们将整个教室分为Ａ８

１１排为Ｃ区、>＝１２排为Ｄ区ꎬＡ

Ｄ区离讲台的距离分别记为１

Ｄ四个区域:０

３排为Ａ区、４

４.在处理学生距离讲台的距

７排为Ｂ区、

离这个问题上ꎬ我们并没有选择把每个座位单纯的转化为一个二维坐标然后再计算每个同学离讲台的距离ꎬ而是划分区域并给每个区域给定一个距离值.原因是坐在同一个区域的同学心态和习惯上都较为相似ꎬ比如成绩较好的同学都喜欢坐在靠前的位置ꎬ而喜欢坐在后排的同学最终成绩较差ꎬ反映了后排学生上课的参与度较低ꎬ对这门课程的兴趣也较低[２].通过座位信息统计所有学生跨区域转移座位的次数ꎬ计算整个学期下来学生离讲台的平均距离ꎬ统计学生缺席课程的次数[５]ꎬ每次缺席的同学本次上课离讲台的距离记为４ꎬ然后计算每名学生本学期上课离讲台的距离的平均值.

我们在整理数据时发现有一些同学的“平均成绩”属性值存在缺失ꎬ处理缺失值有很多方法ꎬ如删除该条记录、取均值、取最大(小)值或是利用现有数据训练一个模型填补缺失ꎬ本文中将会利用现有数据训练一个线性回归模型进行填补.

本文中使用的所有特征及其值的描述如表１所示.

第１期张麒增ꎬ等:基于数据预处理技术的学生成绩预测模型研究

表１　属性及其值的描述

　１０３

特征ＡｂｓｅｎｔｔｉｍｅｓＭｏｖｅｔｉｍｅｓＡｖｇ＿ＧｒａｄｅＤｉｓｔａｎｃｅ

描述

学生座位离讲台的平均距离学生前两个学年的平均成绩

最终课程成绩学生课程缺课次数

值取值为１到１０取值为１到１０取值为１到４

学生上课跨区域迁移座位的次数

Ｆｉｎａｌ＿ＧｒａｄｅＡ>＝９０ꎬＢ>＝８０ａｎｄ<９０ꎬＣ>＝７０ａｎｄ<８０ꎬ

Ｄ>＝６０ａｎｄ<６９ꎬＥ<６０

{ＡꎬＢꎬＣꎬＤꎬＥ}ꎻ

取值为１到１００

２.１.１　使用合成少数样本过采样(ＳＭＯＴＥ)技术平衡数据集　ＳＭＯＴＥ[３]是一种过采样技术ꎬ被用于解决数据集不平衡问题ꎬ可提高模型对少数类样本的预测能力.ＳＭＯＴＥ算法的基本思想是对少数类样本进行分析ꎬ并根据少数类样本人工合成新样本添加到数据集中.具体的算法流程如下.个近邻.

１)对于每个少数类样本ｘꎬ计算它到少数类样本集中所有样本的距离(例如用欧式距离)ꎬ得到其ｋ２)从这ｋ个近邻中随机选择一个样本ｘｎｅａｒꎬ再产生一个０到１的随机数ꎬ从而依据下式合成得到一

ｘｎｅｗ＝ｘ＋ｒａｎｄｏｍ(０ꎬ１)∗｜ｘ－ｘｎｅａｒ｜.

个新样本.

如图１所示ꎬ我们的数据集存在明显不平衡ꎬ大部分学生的成绩都处于Ｂ、Ｃ、Ｄ这３个等级ꎬ获得Ａ和Ｅ的同学分别只有１９和１０人.

用这样的数据集训练出的模型可能会不准确ꎬ少数类样本学习到的特征不足以用来准确预测.所以我们利用ＳＭＯＴＥ技术对数据集进行预处理以平衡少数类.利用ＳＭＯＴＥ技术进行预处２.１.２　使用数据分箱的方法离散化连续型数据　数据分箱是一种将连续型数据分成小间隔的离散化方法ꎬ每个小间隔的标号可以替代实际的数据值以此来达到离散化数据的目的.通过这种泛化ꎬ尽管细节丢失了ꎬ但泛化后的数据更有意义、更容易解释ꎬ并且所需的空间比原数据少.在归约的数据上进行挖掘ꎬ与在大的、未泛化的数据上挖掘相比ꎬ所需的Ｉ/Ｏ操作更少ꎬ并２.１.３　人工分箱处理连续型数据　对于特征“Ａｂｓｅｎｔｔｉｍｅｓ”ꎬ我们将该特征划分为３个段:ｓｅｌｄｏｍ、ｍｉｄ、ｏｆｔｅｎ.约定当该特征的值大于等于０且小于等于２时值取ｓｅｌｄｏｍꎬ大于等于３且小于５时取ｍｉｄꎬ大于等于５时取ｏｆｆｅｎꎬ即学生超过一半课没来时记为经常缺课.经过统计缺课次数和最终成绩得到结果如表２所示.

表２　缺课次数及平均分

缺课次数平均成绩

ｓｅｌｄｏｍ７９.６２

ｍｉｄ７３.１７

ｏｆｔｅｎ６５.３２

图２　运用ＳＭＯＴＥ后的成绩等级分布

理后的成绩分布如图２所示.

图１　成绩等级分布

且更有效.

从表格２中我们可以清楚地看到ꎬ当缺课次数为ｓｅｌｄｏｍ时ꎬ学生的平均分为７９.６２ꎬ明显高于缺课次数为ｍｉｄ和ｏｆｔｅｎ的７３.１７和６５.３２.可以看到随着缺课次数的增多ꎬ学生的最终成绩存在明显的下降趋势ꎬ而经常缺课的学生成绩明显地处于一个较差的水准.

对于特征“Ｍｏｖｅｔｉｍｅｓ”ꎬ将之划分为三个值:ｓｅｌｄｏｍ、ｍｉｄ、ｏｆｔｅｎ.约定当“Ｍｏｖｅｔｉｍｅｓ”的值大于等于０

　１０４湖北大学学报(自然科学版)第４１卷

且小于等于２时值取ｓｅｌｄｏｍꎬ大于等于３且小于５时取ｍｉｄꎬ大于等于５时取ｏｆｔｅｎ.经过统计学生跨区域次数和最终成绩得到结果如图３所示.

从图３中我们可以看出跨区域次数很少的同学最终获得的成绩均值最高ꎬ为７８.５９ꎬ而经常跨区域换座位的同学的课程成绩是最低的.

“ｃｌｏｓｅ”ꎬ当２<Ｄｉｓｔａｎｃｅ≤３时取值“ｍｉｄ”ꎬ当Ｄｉｓｔａｎｃｅ>３时取值“ｆａｒ”.

对于特征“Ａｖｇ＿Ｇｒａｄｅ”ꎬ使用与Ｆｉｎａｌ＿Ｇｒａｄｅ一样的分级标准.对于特征“Ｄｉｓｔａｎｃｅ”ꎬ约定当１≤Ｄｉｓｔａｎｃｅ≤２时取值

图３　Ｍｏｖｅｔｉｍｅｓ与Ｆｉｎａｌ＿Ｇｒａｄｅ分布

２.１.４　等距分箱(ｅｑｕａｌｗｉｄｔｈｂｉｎｎｉｎｇ)处理连续型数据　等距离分箱法将数据均匀划分成ｎ等份ꎬ每个小间隔之间的距离是相等的ꎬ并赋予每个间隔一个标号作为这个间隔区间的值.划分间隔后ꎬ数据落入不同的间隔区间内ꎬ以间隔区间的标号作为该属性的值.等距分箱可以保持数据原有的分布ꎬ段落越多对数据原貌保持得越好.由于等距分箱需要选择好间隔距离的取值ꎬ如果只是随机的取值可能无法取得２.１.５　等频分箱(ｅｑｕａｌｆｒｅｑｕｅｎｃｙｂｉｎｎｉｎｇ)处理连续型数据　等频分箱法是将数据点均匀分为ｎ等份ꎬ２.２　性能评价标准　对于给定的训练集Ｔ＝{(ｘ１ꎬｙ１)ꎬ􀆺ꎬ(ｘｍꎬｙｍ)}ꎬ可将样例根据其真实类别和学习ＦＮ分别表示假正例、真反例、假反例.本文中采用准确率、召回率和Ｆ值来衡量模型的性能ꎬ具体如下:

精度定义为每类分类正确的样本数占样本总数的比例Ｐ＝

ｍ

比较好的效果ꎬ因此使用最优等距离分箱来处理连续型数据.

每份内包含的数据点相同ꎬ用这种方法得到的数据分布更加均匀.

器预测类别的组合划分为４种情形ꎬＴＰ指预测结果为正例且其真实情况也为正例即为真正例ꎬＦＰ、ＴＮ、

ＴＰ

ꎬ准确率定义为ａｃｃｕｒａｃｙ(Ｔ)＝

ＴＰ＋ＦＰ

ＴＰ１

｜ｆ(ｘｉ)＝ｙｉ｜ꎬ表示所有预测结果为正的样本中分类正确的比例.召回率定义为Ｒ＝ꎬ表示∑ＴＰ＋ＦＮｍｉ＝１

所有正例样本里面最终分类结果正确的样本所占的比例.Ｆ值的计算公式为ꎬＦ＝２.３　实验及其结果　本文中使用１０￣Ｃｒｏｓｓ￣ｖａｌｉｄａｔｉｏｎ的方法验证模型的结果.２.３.１　ＢＰ神经网络　多层感知器(ｍｕｌｔｉｌａｙｅｒｐｅｒｃｅｐｔｒｏｎꎬＭＬＰ)是一种前馈人工神经网络模型ꎬ其结构如图４所示.除了输入层与输出层外ꎬ其余每个隐藏层我们都使用ｓｉｇｍｏｄ函数ｆ(ｘ)＝确率和召回率衡量算法的综合性能.

２×ＰＲ

ꎬＦ值可根据准Ｐ＋Ｒ

１

作为激活函数.本文中使用向后传播(ｂａｃｋｐｒｏｐａｇａｔｉｏｎ)算

１＋ｅ－ｘ

法[１０]训练神经网络模型ꎬ用得到的模型进行分类预测.行建模得到结果的细节分析.

从表３中我们可以看到ꎬ此数据集运用ＢＰ神经网络算法进行预测ꎬ对Ｂ、Ｃ、Ｄ这３个等级预测准确率较高ꎬ但是对于等级Ａ和Ｅ并没有能够准确的预测.成绩等级为Ａ的学生有１９个ꎬ最终

图４　神经网络结构图

表３至表６为我们使用４种数据集利用ＢＰ神经网络算法进

只有２个被正确分为Ａꎬ准确率只有１０.５％.而等级为Ｅ的同学没有一个被正确预测ꎬ准确率为０.所以ꎬ虽然此模型的最终分类准确率能达到６５.９３％ꎬ但是对Ａ和Ｅ的预测的效果非常的差.表４得到的结果表明ꎬ经过ＳＭＯＴＥ和人工分箱处理后ꎬ利用相同的算法训练出来的模型对于类别Ａ和Ｅ预测的能力得到了一定的提升ꎬ预测精度分别从１０.５％上升到４３.４％和９１.３％.再对比表５ꎬ等距分箱配合６４.３７％.最后看表６ꎬ使用ＳＭＯＴＥ技术配合等频分箱处理的模型ꎬ不仅对原本的少数类Ａ和Ｅ的预测ＳＭＯＴＥ技术处理数据集ꎬ对类别Ａ和Ｅ的预测精度分别上升到６９.７％和７７.５％ꎬ最终的预测准确率为

第１期张麒增ꎬ等:基于数据预处理技术的学生成绩预测模型研究　１０５

精度提高到７７.６％和８７.５％ꎬ此方法的分类准确率也是几种方法中最高的ꎬ达到了７１.０３％.

表３　ＢＰ神经网络建模预测细节分析

Ｐｒｅｄ.Ｃ７０２２１５１１

Ｐｒｅｄ.Ｂ１５８９１６７６.４％７８.８％００

Ｐｒｅｄ.Ｄ１１１９０４１

Ｐｒｅｄ.Ａ０１０２１８.２％６５.９３％

１０.５％０

Ｐｒｅｄ.Ｅ００１００００

ＣｌａｓｓＰｒｅｃｉｓｉｏｎ７２.９％７８.８％５４.３％１０.５％０

ＴｒｕｅＣＴｒｕｅＤＴｒｕｅＡＦ￣ＭｅａｓｕｒｅＴｒｕｅＥＴｒｕｅＢ

ＣｌａｓｓｉｆｉｃａｔｉｏｎＡｃｃｕｒａｃｙ

ＣｌａｓｓＲｅｃａｌｌ

６７.６％７２.９％

５２.１％５４.３％

表４　ＢＰ神经网络＋ＳＭＯＴＥ＋人工分箱法建模预测细节分析Ｐｒｅｄ.Ｃ５９２１１０１０

Ｐｒｅｄ.Ｂ２０５４４２４６.８％４７.８％１１

Ｐｒｅｄ.Ｄ４２０６

Ｐｒｅｄ.Ａ３５３３４４.３％６０.４６％

４３.４％００５

Ｐｒｅｄ.Ｅ８１０

ＣｌａｓｓＰｒｅｃｉｓｉｏｎ６１.５％４７.８％６２.９％４３.４％９１.３％

ＴｒｕｅＣＴｒｕｅＤＴｒｕｅＡＦ￣ＭｅａｓｕｒｅＴｒｕｅＥＴｒｕｅＢ

４４１５７３

ＣｌａｓｓｉｆｉｃａｔｉｏｎＡｃｃｕｒａｃｙ

ＣｌａｓｓＲｅｃａｌｌ

６３.１％％６１.５％

６９.８％６２.９％

８２.５％９１.３％

表５　ＢＰ神经网络＋ＳＭＯＴＥ＋等距分箱法建模预测细节分析Ｐｒｅｄ.Ｃ６３２７１１１４

Ｐｒｅｄ.Ｂ１９５９２２５５.１％５２.２％０１

Ｐｒｅｄ.Ｄ１０４３１４０３

Ｐｒｅｄ.Ａ２４５３６８.８％６４.３７％

６９.７％００１

Ｐｒｅｄ.Ｅ３００

ＣｌａｓｓＰｒｅｃｉｓｉｏｎ６５.６％５２.２％６１.４％６９.７％７７.５％

ＴｒｕｅＣＴｒｕｅＤＴｒｕｅＡＦ￣ＭｅａｓｕｒｅＴｒｕｅＥＴｒｕｅＢ

１５６２

ＣｌａｓｓｉｆｉｃａｔｉｏｎＡｃｃｕｒａｙ

ＣｌａｓｓＲｅｃａｌｌ

６２.４％６２.６％

６１.４％６１.４％

７７.５％７７.５％

表６　ＢＰ神经网络＋ＳＭＯＴＥ＋等频分箱法建模预测细节分析ＴｒｕｅＣ５７１９１５０４

ＴｒｕｅＢ２７８２１７６８.３％７２.６％０１

ＴｒｕｅＤ１２４１０６０

ＴｒｕｅＡ１２５９８０.３％７１.０３％

７７.６％０００

ＴｒｕｅＥ０００

ＣｌａｓｓＰｒｅｃｉｓｉｏｎ５９.４％７２.６％５８.６％７７.６％８７.５％

Ｐｒｅｄ.ＣＰｒｅｄ.ＤＰｒｅｄ.ＡＦ￣ＭｅａｓｕｒｅＰｒｅｄ.ＥＰｒｅｄ.Ｂ

１３７０

ＣｌａｓｓｉｆｉｃａｔｉｏｎＡｃｃｕｒａｃｙ

ＣｌａｓｓＲｅｃａｌｌ

５７.９％５９.４％

６３.６％５８.６％

８５.９％８７.５％

　１０６湖北大学学报(自然科学版)第４１卷

２.３.２　随机森林　随机森林是一种组合方法ꎬ组合分类器中的每个分类器都是一棵决策树.个体决策树在每个节点使用随机选择的属性决定划分ꎬ即每棵树都依赖于独立抽样ꎬ并与森林中所有树具有相同分布的随机向量的值.分类时ꎬ每棵树都投票并且返回得票最多的类.

表７至表１０为我们使用４种数据集利用随机森林算法进行建模得到的结果的细节分析.

表７　随机森林建模预测细节分析

ＴｒｕｅＣＴｒｕｅＤＴｒｕｅＡＦ￣ＭｅａｓｕｒｅＴｒｕｅＥＴｒｕｅＢ

Ｐｒｅｄ.Ｃ６８２６１１１１

Ｐｒｅｄ.Ｂ１９８０１０７２.１％７０.８％００

Ｐｒｅｄ.Ｄ９００８

Ｐｒｅｄ.Ａ０７０８４７.１％６５.２％

４２.１％０

Ｐｒｅｄ.Ｅ００３０１４.３％１０％１

ＣｌａｓｓＰｒｅｃｉｓｉｏｎ７０.８％７０.８％４２.１％１０％６０％

２１

ＣｌａｓｓｉｆｉｃａｔｉｏｎＡｃｃｕｒａｃｙ

ＣｌａｓｓＲｅｃａｌｌ７０.８％

６７％５７.５％６０％

表８　随机森林＋人工分箱＋ＳＭＯＴＥ建模预测细节分析

ＴｒｕｅＣＴｒｕｅＤＴｒｕｅＡＦ￣ＭｅａｓｕｒｅＴｒｕｅＥＴｒｕｅＢ

Ｐｒｅｄ.Ｃ６０２０１１１１

Ｐｒｅｄ.Ｂ１５４５３７４２.７％３９.８％０１

Ｐｒｅｄ.Ｄ７２０３

Ｐｒｅｄ.Ａ４５３８４６.１％５９.７７％

５０％００６

Ｐｒｅｄ.Ｅ８１０

ＣｌａｓｓＰｒｅｃｉｓｉｏｎ６２.５％３９.８％５８.６％５０％９５％

４１１７７６

ＣｌａｓｓｉｆｉｃａｔｉｏｎＡｃｃｕｒａｃｙ

ＣｌａｓｓＲｅｃａｌｌ

６３.５％６２.５％

６６.７％５８.６％

８３.５％９５％

表９　随机森林＋等距分箱＋ＳＭＯＴＥ建模预测细节分析

ＴｒｕｅＣＴｒｕｅＤＴｒｕｅＡＣｌａｓｓＲｅｃａｌｌＦ￣ＭｅａｓｕｒｅＴｒｕｅＥＴｒｕｅＢ

Ｐｒｅｄ.Ｃ６３２０１０１３６５.３％６５.６％

Ｐｒｅｄ.Ｂ２０６８２４６０.２％６０.２％０１

Ｐｒｅｄ.Ｄ６２０９４５６８.２％６４.３％

Ｐｒｅｄ.Ａ２３５１６７.５％６７.８２％

６７.１％００１

Ｐｒｅｄ.Ｅ６００１４８１％８５％６８

ＣｌａｓｓＰｒｅｃｉｓｉｏｎ６５.６％６０.２％６４.３％６７.１％８５％

ＣｌａｓｓｉｆｉｃａｔｉｏｎＡｃｃｕｒａｃｙ

表１０　随机森林＋等频分箱＋ＳＭＯＴＥ建模预测细节分析

Ｐｒｅｄ.ＣＰｒｅｄ.ＤＰｒｅｄ.ＡＣｌａｓｓＲｅｃａｌｌＦ￣ＭｅａｓｕｒｅＰｒｅｄ.ＥＰｒｅｄ.Ｂ

ＴｒｕｅＣ５８２０１８２１５９.５％６０.４％

ＴｒｕｅＢ１９７８１８７１.２％６９％０

ＴｒｕｅＤ１７３７０６５６.９％５２.９％０

ＴｒｕｅＡ１５６６８３.５％７１.７２％

８６.８％００１

ＴｒｕｅＥ１００１４８６.９％９１.３％７３

ＣｌａｓｓＰｒｅｃｉｓｉｏｎ６０.４％５２.９％８６.８％９１.３％６９％

ＣｌａｓｓｉｆｉｃａｔｉｏｎＡｃｃｕｒａｃｙ

第１期张麒增ꎬ等:基于数据预处理技术的学生成绩预测模型研究　１０７

从表７中我们可以看到ꎬ未经预处理的数据集运用随机森林算法来进行预测ꎬ虽然可以以比较高的准确率来预测Ｃ、Ｂ、Ｄ三个等级ꎬ且成绩等级为Ａ的学生最终有４２.１％被正确预测ꎬ但等级为Ｅ的同学只有１０％被正确预测ꎬ所以ꎬ虽然此模型的最终分类准确率能达到６５.２％ꎬ但综合的效果不好.从表８中可以看到ꎬ经过ＳＭＯＴＥ和人工分箱处理后ꎬ利用相同算法训练得到的模型对于类别Ａ和Ｅ预测的能力得到了一定的提升ꎬ预测精度分别提高到５０％和９５％.表９的模型不同于表８的模型ꎬ使用了等距分箱进行建模对类别Ａ和Ｅ的预测精度分别上升到６７.１％和８５％ꎬ最终的预测准确率为６７.８２％.最后再看表１０ꎬ使用ＳＭＯＴＥ和等频分箱处理的模型ꎬ不仅对原本的少数类Ａ和Ｅ的预测精度提高到８６.８％和９１.３％ꎬ而且此方法的最终分类准确率也是几种方法中最高的ꎬ达到了７１.７２％.纵观经过预处理后的３种模型ꎬ对于等级为Ｅ(即不及格)的同学的预测准确率分别达到了９５％、８５％、９１.３％ꎬ可以说达到了我们想要的效果.

２.４　综合分析　表１１列出了所有模型的分类准确率、平均精度、平均召回率、平均Ｆ￣Ｍｅａｓｕｒｅ值和平均ＡＵＣ值.可以看到ꎬ在使用ＢＰ神经网络算法和预处理技术的模型中ꎬ运用等频率分箱处理的模型分类准确率是最高的ꎬ达到了７１.０３％ꎬ相比使用未经预处理的模型提高了５.１％ꎬ且综合预测能力更强.使用随机森林算法和预处理技术的模型中ꎬ用等频分箱的模型分类准确率最高ꎬ达到７１.７２％ꎬ高于未经预处理的模型.

表１１　全部模型对比分析

Ｍｏｄｅｌ

Ａｃｃｕｒａｃｙ６５.９３％６２.０４％７１.０３％６４.３７％６５.２％６７.８２％７１.７２％５９.７７％

Ａｖｇ.Ｐｒｅｃｉｓｉｏｎ６３.９％６２.８％７１.２％６４.３％６４.４％６７.７％７１.３％５９.８％

Ａｖｇ.Ｒｅｃａｌｌ６５.９％６２.０％７１.０％６４.４％６５.２％６７.８％７１.７％５９.８％

Ａｖｇ.Ｆ￣Ｍｅａｓｕｒｅ

６３.３％６１.８％７１.０％６４.３％６４.６％６７.７％７１.４％５９.２％

Ａｖｇ.ＡＵＣ８５.７％８８.７％８９.８％８８.３％８４.３％９０.４％９２.１％８７.０％

ＢＰ神经网络(等距分箱＋ＳＭＯＴＥ)ＢＰ神经网络(等频分箱＋ＳＭＯＴＥ)ＢＰ神经网络(人工分箱＋ＳＭＯＴＥ)

随机森林(未经预处理)随机森林(等距分箱＋ＳＭＯＴＥ)随机森林(等频分箱＋ＳＭＯＴＥ)随机森林(人工分箱＋ＳＭＯＴＥ)

ＢＰ神经网络(未经预处理)

３　总结

未经预处理技术处理的数据集无论是使用ＢＰ神经网络算法还是随机森林算法ꎬ得到的结果都不理想ꎬ主要表现在对少数类的预测性能很差.其原因主要是我们未经处理的数据集是一个不平衡的数据集ꎬ数据类别分布不均匀导致了就算是很强大的算法也同样无法很好地预测少数类样本.而在我们使用了ＳＭＯＴＥ技术后ꎬ少数类样本得到了平衡ꎬ模型对于少数类别的预测能力也得到了很大的提升ꎬ相比使用等频分箱、ＳＭＯＴＥ技术、ＢＰ神经网络算法的模型和未经预处理使用ＢＰ神经网络算法的两个模型ꎬ对少数类Ａ和Ｅ的预测精度分别提升了６７.１％和８７.５％ꎬ最终的分类准确率也提高了５.１％.虽然未经数据预处理的模型得到的最终分类准确率并不是最低的ꎬ但运用了ＳＭＯＴＥ技术和离散化处理模型的综合预测能力显然比没经过这样处理的模型更加优秀.再者ꎬ根据实验结果对比可以看出ꎬ使用等频分箱法离散化处理数据集最终的分类表现比用等距分箱和人工自定义分箱的好ꎬ在使用ＢＰ神经网络算法的模型中分别提高了６.６６％和１０.５７％.这是由于等距分箱法处理过后所有数据点都会被分入相同距离间隔的箱子中ꎬ而学生前两年平均成绩集中于某几个间隔内ꎬ得到的值分布并不均匀ꎬ从而影响了预测.与等距分箱类似ꎬ人工自定义分箱法只不过是以人工的方式决定分箱的间隔距离ꎬ数据集也存在同样的问题.而等频率分箱法则不同ꎬ它得到的数据集ꎬ每个箱子中的数据点数量是基本相同的ꎬ不存在不均匀的问题.因此我们可以得到结论ꎬ数据预处理对于数据挖掘是最重要的一步ꎬ就本文而言不经过预

　１０８湖北大学学报(自然科学版)第４１卷

处理的数据集训练得到的模型综合的预测能力比经过预处理的表现得更差.当然ꎬ本文的研究还存在一些待改进的地方ꎬ比如收集到数据集较小ꎬ收集的过程也都是人工收集、整理ꎬ有可能存在一些人工误差.在未来的研究中ꎬ我们会继续探索这些模型在大数据集中的应用效果.

４　参考文献

[１]ＣｏｒｔｅｚＰꎬＳｉｌｖａＡ.Ｕｓｉｎｇｄａｔａｍｉｎｉｎｇｔｏｐｒｅｄｉｃｔｓｅｃｏｎｄａｒｙｓｃｈｏｏｌｓｔｕｄｅｎｔｐｅｒｆｏｒｍａｎｃｅ[Ｃ]//Ｐｒｏｃｅｅｄｉｎｇｓｏｆ５ｔｈＡｎｎｕａｌ[２]ＭａｒｙＥｌｌｅｎＢｅｎｅｄｉｃｔꎬＪｏｈｎＨｏａｇ.Ｓｅａｔｉｎｇｌｏｃａｔｉｏｎｉｎｌａｒｇｅｌｅｃｔｕｒｅｓ:ａｒｅｓｅａｔｉｎｇｐｒｅｆｅｒｅｎｃｅｓｏｒｌｏｃａｔｉｏｎｒｅｌａｔｅｄｔｏｃｏｕｒｓｅ[３]ＣｈａｗｌａＮＶꎬＢｏｗｙｅｒＫＷꎬＨａｌｌＬＯꎬｅｔａｌ.ＳＭＯＴＥ:ｓｙｎｔｈｅｔｉｃｍｉｎｏｒｉｔｙｏｖｅｒ￣ｓａｍｐｌｉｎｇｔｅｃｈｎｉｑｕｅ[Ｊ].ＪｏｕｒｎａｌｏｆＡｒｔｉｆｉｃｉａｌ[４]ＪｉｓｈａｎＳＴꎬＲａｓｈｕＲＩꎬＨａｑｕｅＮꎬｅｔａｌ.Ｉｍｐｒｏｖｉｎｇａｃｃｕｒａｃｙｏｆｓｔｕｄｅｎｔｓ’ｆｉｎａｌｇｒａｄｅｐｒｅｄｉｃｔｉｏｎｍｏｄｅｌｕｓｉｎｇｏｐｔｉｍａｌｅｑｕａｌ[５]ＢｕｎｋａｒＫꎬＳｉｎｇｈＵＫꎬＰａｎｄｙａＢꎬｅｔａｌ.Ｄａｔａｍｉｎｉｎｇ:ｐｒｅｄｉｃｔｉｏｎｆｏｒｐｅｒｆｏｒｍａｎｃｅｉｍｐｒｏｖｅｍｅｎｔｏｆｇｒａｄｕａｔｅｓｔｕｄｅｎｔｓｕｓｉｎｇ[６]ＹａｄａｖＳＫꎬＢｈａｒａｄｗａｊＢꎬＰａｌＳ.Ｄａｔａｍｉｎｉｎｇａｐｐｌｉｃａｔｉｏｎｓ:ａｃｏｍｐａｒａｔｉｖｅｓｔｕｄｙｆｏｒｐｒｅｄｉｃｔｉｎｇｓｔｕｄｅｎｔｓ′ｐｅｒｆｏｒｍａｎｃｅ[Ｊ].[７]ＫａｕｒＰꎬＳｉｎｇｈＭꎬＪｏｓａｎＧＳ.Ｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｐｒｅｄｉｃｔｉｏｎｂａｓｅｄｄａｔａｍｉｎｉｎｇａｌｇｏｒｉｔｈｍｓｔｏｐｒｅｄｉｃｔｓｌｏｗｌｅａｒｎｅｒｓｉｎｅｄｕｃａｔｉｏｎ[８]ＲｏｍｅｒｏＣｒｉｓｔóｂａｌꎬＳｅｂａｓｔｉáｎＶｅｎｔｕｒａ.Ｅｄｕｃａｔｉｏｎａｌｄａｔａｍｉｎｉｎｇ:ａｒｅｖｉｅｗｏｆｔｈｅｓｔａｔｅｏｆｔｈｅａｒｔ[Ｃ]//ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎ[９]ＡｈｍｅｄＭꎬＺａｆａｒＢꎬＭａｎｚｏｏｒＵ.Ｍｏｄｅｌｉｎｇａｎｄｐｒｅｄｉｃｔｉｎｇｓｔｕｄｅｎｔｓ′ａｃａｄｅｍｉｃｐｅｒｆｏｒｍａｎｃｅｕｓｉｎｇｄａｔａｍｉｎｉｎｇｔｅｃｈｎｉｑｕｅｓ[１０]ＤａｖｉｄＥＲꎬＨｉｎｔｏｎＧＥꎬＷｉｌｌｉａｍｓＲＪ.Ｌｅａｒｎｉｎｇｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｂｙｂａｃｋ￣ｐｒｏｐａｇａｔｉｎｇｅｒｒｏｒｓ[Ｊ].Ｎｔｕｒｅꎬ１９８６ꎬ３２３:５３３￣

５３６.

[Ｃ]//ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＭｏｄｅｒｎＥｄｕｃａｔｉｏｎａｎｄＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅꎬ２０１６(８):３６.ＳｙｓｔｅｍｓꎬＭａｎꎬａｎｄＣｙｂｅｒｎｅｔｉｃｓꎬＰａｒｔＣꎬ２０１０:６０１￣６１８.ｓｅｃｔｏｒ[Ｊ].ＰｒｏｃｅｄｉａＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅꎬ２０１５ꎬ５７:５００￣５０８.

ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＩｎｎｏｖａｔｉｖｅＴｅｃｈｎｏｌｏｇｙ＆ＣｒｅａｔｉｖｅＥｎｇｉｎｅｅｒｉｎｇꎬ２０１１ꎬ１(１２):１３￣１９.

ｃｌａｓｓｉｆｉｃａｔｉｏｎ[Ｃ]//ＮｉｎｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＷｉｒｅｌｅｓｓａｎｄＯｐｔｉｃａｌＣｏｍｍｕｎｉｃａｔｉｏｎｓＮｅｔｗｏｒｋｓ.ＩＥＥＥꎬ２０１２:１￣５.ｗｉｄｔｈｂｉｎｎｉｎｇａｎｄｓｙｎｔｈｅｔｉｃｍｉｎｏｒｉｔｙｏｖｅｒ￣ｓａｍｐｌｉｎｇｔｅｃｈｎｉｑｕｅ[Ｊ].ＤｅｃｉｓｉｏｎＡｎａｌｙｔｉｃｓꎬ２０１５ꎬ２(１):１￣２５.ＩｎｔｅｌｌｉｇｅｎｃｅＲｅｓｅａｒｃｈꎬ２００２ꎬ１６(１):３２１￣３５７.

ｐｅｒｆｏｒｍａｎｃｅ?[Ｊ].ＪｏｕｒｎａｌｏｆＥｃｏｎｏｍｉｃＥｄｕｃａｔｉｏｎꎬ２００４ꎬ３５(３):２１５￣２３１.ＦｕｔｕｒｅＢｕｓｉｎｅｓｓＴｅｃｈｎｏｌｏｇｙＣｏｎｆｅｒｅｎｃｅꎬＰｒｏｔｏꎬ２００８:５￣１２.

(责任编辑　江津)