客服电话
APP下载
迪恩网络APP
随时随地掌握行业动态
官方微信
扫描二维码
关注迪恩网络微信公众号
|
R语言代码 决策树的构建 rm(list=ls()) setwd("C:/Users/Administrator/Desktop/R语言与数据挖掘作业/实验3-决策树分类") #save print sink("tree1.txt") inputfile=read.csv(file="./bank-data.csv",header=TRUE) #age for(i in 1:length(inputfile$age)) inputfile$age[i]=ifelse(inputfile$age[i]<30,"<=30", ifelse(inputfile$age[i]<40,"31-40",">=40")) # sub=which(is.na(inputfile$age)) # inputfile=inputfile[-sub,] # # sub=which(is.na(inputfile$sex)) # inputfile=inputfile[-sub,] # # sub=which(is.na(inputfile$region)) # inputfile=inputfile[-sub,] sub=which(is.na(inputfile$income)) inputfile=inputfile[-sub,] # sub=which(is.na(inputfile$married)) # inputfile=inputfile[-sub,] # # sub=which(is.na(inputfile$children)) # inputfile=inputfile[-sub,] # # sub=which(is.na(inputfile$car)) # inputfile=inputfile[-sub,] # # sub=which(is.na(inputfile$save_act)) # inputfile=inputfile[-sub,] # # sub=which(is.na(inputfile$current_act)) # inputfile=inputfile[-sub,] # # sub=which(is.na(inputfile$mortgage)) # inputfile=inputfile[-sub,] # # sub=which(is.na(inputfile$pep)) # inputfile=inputfile[-sub,] # #income for (i in 1:length(inputfile$income)) inputfile$income[i]=ifelse(inputfile$income[i]<12640.3,1, ifelse(inputfile$income[i]<17390.1,2, ifelse(inputfile$income[i]<29622,3, ifelse(inputfile$income[i]<43228.2,4,5)))) #id inputfile$id=NULL #拆分数据 train_data=inputfile[1:500,] print(length(train_data)) as.data.frame(train_data) write.csv(train_data,file = "train_data.csv",row.names = FALSE) test_data=inputfile[-100,] print(length(test_data)) as.data.frame(test_data) write.csv(test_data,file = "test_data.csv",row.names = FALSE) #计算信息熵 calcent<-function(data){ nument<-length(data[,1])#500 key<-rep("a",nument)#初始化key #把标签存到key for(i in 1:nument) key[i]<-data[i,length(data)] ent<-0 prob<-table(key)/nument#table[key]=[272,228]代表272个1,228个2 #print(prob) #print(prob[1]) for(i in 1:length(prob)) ent=ent-prob[i]*log(prob[i],2) #print(str(ent)) return(ent) } calcent(train_data) #分数据用 split<-function(data,variable,value){ result<-data.frame() for(i in 1:length(data[,1])){ if(data[i,variable]==value) result<-rbind(result,data[i,-variable]) } return(result) } #选择第几列为最佳划分 choose<-function(data){ numvariable<-length(data[1,])-1 #10个属性 #print("baseent") baseent<-calcent(data) #print(baseent) bestinfogain<-0 bestvariable<-0 infogain<-0 featlist<-c() uniquevals<-c() for(i in 1:numvariable)#遍历每一个属性 { featlist<-data[,i]#获得这一列所有属性 uniquevals<-unique(featlist)#去掉重复项,eg:对于age:uniquevals=[">=40" "<=30" "31-40"] #print("uniquevals") #print(uniquevals) newent<-0 for(j in 1:length(uniquevals))#遍历该属性的每一个值 { subset<-split(data,i,uniquevals[j])#调用自己写的split函数，把第i列为uniquevals[j]的都挑出来放到subset中 #print(subset) prob<-length(subset[,1])/length(data[,1]) newent<-newent+prob*calcent(subset) } infogain<-baseent-newent if(infogain>bestinfogain) { bestinfogain<-infogain bestvariable<-i } } return(bestvariable) } choose(train_data) # #设置决策树分裂条件 # can_stop<-function(data) # { # if(length(data)>50) return(FALSE) # yes_num<-0 # no_num<-0 # for(i in 1:length(data)) # { # #print(data[i,length(data[i])]) # if(data[i,length(data[i])]=="YES") yes_num=yes_num+1 # else if(data[i,length(data[i])]=="NO") # { # no_num=no_num+1 # } # } # if(abs(yes_num-no_num)>5) return(TRUE)#最终的叶子的纯净度 # return(FALSE) # # } is_or_no<-function(data) { yes_num<-0 no_num<-0 for(i in 1:length(data)) { #if(is.null(data[i,length(data[i])])) {next} if(is.na(data[i,length(data[i])])) {next} if(data$pep[i]=="YES") yes_num=yes_num+1 else if(data$pep[i]=="NO") { no_num=no_num+1 } } #print("yes_num") #print(yes_num) #print("no_num") #print(no_num) if(yes_num>no_num) return("1111")#111代表这一类基本都是YES return("0000")#111代表这一类基本都是NO } #建树 bulidtree<-function(data){ choose_data<-choose(data) if(choose_data==0) print("finish") else { #print(choose_data) print(colnames(data)[choose_data]) level<-unique(data[,choose_data]) print(level) #输出属性名 #print("length(level)") print(length(level)) if(length(level)==1)#如果种类只有一个了，那就停止 print("finish") else for(i in 1:length(level)) { data1<-split(data,choose_data,level[i]) #print(data1) if(length(data1)<10){ #通过对10这个数字的更改可以调整决策树的大小和深度 print("finish")#设置结束函数 #print(length(data1)) if(length(data1)!=0) { print(is_or_no(data1)) } } else bulidtree(data1) } } } bulidtree(train_data) sink()
输出结果会在当前工作台下的tree1.txt文件中 如图所示： 对输出结果的解释： 第一个挑出的是“children”这个属性，然后根据这个属性的1 3 0 2下设四个分支，其中1这个分支挑出的属性是“income”，下设3 2 5 4 1折5个分支，其中3这个分支停止了，为“111”，就是“YES”（“000”代表预测值为“NO”） 如草图：
以此类推，就可以画出整棵树了。
一、KD3的想法与实现 下面我们就要来解决一个很重要的问题：如何构造一棵决策树?这涉及十分有趣的细节。 先说说构造的基本步骤，一般来说，决策树的构造主要由两个阶段组成:第一阶段，生成树阶段。选取部分受训数据建立决策树，决策树是按广度优先建立直到每个叶节点包括相同的类标记为止。第二阶段，决策树修剪阶段。用剩余数据检验决策树，如果所建立的决策树不能正确回答所研究的问题，我们要对决策树进行修剪直到建立一棵正确的决策树。这样在决策树每个内部节点处进行属性值的比较，在叶节点得到结论。从根节点到叶节点的一条路径就对应着一条规则，整棵决策树就对应着一组表达式规则。 问题：我们如何确定起决定作用的划分变量。 我还是用鸢尾花的例子来说这个问题思考的必要性。使用不同的思考方式，我们不难发现下面的决策树也是可以把鸢尾花分成3类的。
为了找到决定性特征，划分出最佳结果，我们必须认真评估每个特征。通常划分的办法为信息增益和基尼不纯指数，对应的算法为C4.5和CART。 关于信息增益和熵的定义烦请参阅百度百科，这里不再赘述。 直接给出计算熵与信息增益的R代码： 1、 计算给定数据集的熵 calcent<-function(data){ nument<-length(data[,1]) key<-rep("a",nument) for(i in 1:nument) key[i]<-data[i,length(data)] ent<-0 prob<-table(key)/nument for(i in 1:length(prob)) ent=ent-prob[i]*log(prob[i],2) return(ent) } 我们这里把最后一列作为衡量熵的指标，例如数据集mudat(自己定义的) > mudat x y z 1 1 1 y 2 1 1 y 3 1 0 n 4 0 1 n 5 0 1 n 计算熵 > calcent(mudat) 1 0.9709506 熵越高，混合的数据也越多。得到熵之后，我们就可以按照获取最大信息增益的方法划分数据集
2、 按照给定特征划分数据集 为了简单起见，我们仅考虑标称数据(对于非标称数据，我们采用划分的办法把它们化成标称的即可)。 R代码： split<-function(data,variable,value){ result<-data.frame() for(i in 1:length(data[,1])){ if(data[i,variable]==value) result<-rbind(result,data[i,-variable]) } return(result) } 这里要求输入的变量为：数据集，划分特征变量的序号，划分值。我们以前面定义的mudat为例，以“X”作为划分变量，划分得到的数据集为： > split(mudat,1,1) y z 1 1 y 2 1 y 3 0 n > split(mudat,1,0) y z 4 1 n 5 1 n 3、选择最佳划分(基于熵增益) choose<-function(data){ numvariable<-length(data[1,])-1 baseent<-calcent(data) bestinfogain<-0 bestvariable<-0 infogain<-0 featlist<-c() uniquevals<-c() for(i in 1:numvariable){ featlist<-data[,i] uniquevals<-unique(featlist) newent<-0 for(j in 1:length(uniquevals)){ subset<-split(data,i,uniquevals[j]) prob<-length(subset[,1])/length(data[,1]) newent<-newent+prob*calcent(subset) } infogain<-baseent-newent if(infogain>bestinfogain){ bestinfogain<-infogain bestvariable<-i } } return(bestvariable) }
函数choose包含三个部分，第一部分：求出一个分类的各种标签;第二部分：计算每一次划分的信息熵;第三部分：计算最好的信息增益，并返回分类编号。 我们以上面的简易例子mudat为例，计算划分，有： > choose(mudat) [1] 1 也就是告诉我们，将第一个变量值为1的分一类，变量值为0的分为另一类，得到的划分是最好的。 4、 递归构建决策树 我们以脊椎动物数据集为例，这个例子来自《数据挖掘导论》，具体数据集已上传至百度云盘(点击可下载) 我们先忽略建树细节，由于数据变量并不大，我们手动建一棵树先。 >animals<-read.csv("D:/R/data/animals.csv") >choose(animals) [1] 1 这里变量1代表names，当然是一个很好的分类，但是意义就不大了，我们暂时的解决方案是删掉名字这一栏，继续做有： >choose(animals) [1] 4
我们继续重复这个步骤，直至choose分类为0或者没办法分类(比如sometimes live in water的动物)为止。得到最终分类树。 给出分类逻辑图(遵循多数投票法)：
至于最后的建树画图涉及R的绘图包ggplot，这里不再给出细节。 下面我们使用著名数据集——隐形眼镜数据集，利用上述的想法实现一下决策树预测隐形眼镜类型。这个例子来自《机器学习实战》，具体数据集已上传至百度云盘(点击可下载)。 下面是一个十分简陋的建树程序(用R实现的)，为了叙述方便，我们给隐形眼镜数据名称加上标称：age,prescript,astigmatic,tear rate. 建树的R程序简要给出如下： bulidtree<-function(data){ if(choose(data)==0) print("finish") else{ print(choose(data)) level<-unique(data[,choose(data)]) if(level==1) print("finish") else for(i in1:length(level)){ data1<-split(data,choose(data),level[i]) if(length(data1)==1)print("finish") else bulidtree(data1) } } } 运行结果： >bulidtree(lenses) [1] 4 [1]"finish" [1] 3 [1] 1 [1]"finish" [1]"finish" [1] 1 [1]"finish" [1]"finish" [1] 2 [1]"finish" [1] 1 [1]"finish" [1]"finish" [1]"finish" 这棵树的解读有些麻烦，因为我们没有打印标签，(程序的简陋总会带来这样，那样的问题，欢迎帮忙完善)，人工解读一下： 首先利用4(tear rate)的特征reduce，normal将数据集划分为nolenses(至此完全分类)，normal的情况下，根据3(astigmatic)的特征no，yes分数据集(划分顺序与因子在数据表的出现顺序有关)，no这条分支上选择1(age)的特征pre，young，presbyopic划分，前两个得到结果soft，最后一个利用剩下的一个特征划分完结(这里，由于split函数每次调用时，都删掉了一个特征，所以这里的1是实际第二个变量，这个在删除变量是靠前的情形时要注意)，yes这条分支使用第2个变量prescript作为特征划分my ope划分完结，hyper利用age进一步划分，得到最终分类。 |
请发表评论