博文
weka中使用TFIDF进行特征选择
|||
我首先对训练集进行了中文分词处理，在不做特征选择的情况下，只进行向量化处理：
weka.filters.unsupervised.attribute.StringToWordVector in:9804
Number of instances: 9804
Number of attributes: 9302
Number of instances: 9804
Number of attributes: 9302
产生的arff文件大约30M.
使用TFIDF进行特征选择，仍然使用这个训练集，代码很简单：
StringToWordVector filter = new StringToWordVector();
filter.setStemmer( new NullStemmer() );
filter.setInputFormat(dataRaw);
filter.setTFTransform(true);
filter.setIDFTransform(true);
filter.setMinTermFreq(5);
filter.setWordsToKeep(500);
filter.setStemmer( new NullStemmer() );
filter.setInputFormat(dataRaw);
filter.setTFTransform(true);
filter.setIDFTransform(true);
filter.setMinTermFreq(5);
filter.setWordsToKeep(500);
结果：
weka.filters.unsupervised.attribute.StringToWordVector in:9804
Number of instances: 9804
Number of attributes: 3540
Number of instances: 9804
Number of attributes: 3540
产生的arff文件大约41M. 这个arff文件可以用来训练NaiveBayes或SMO等分类模型。
但需注意，用某种训练好的分类模型进行分类时，被测对象应该使用相同的量化方法，否则双方属性不同，weka会出错，如“Src and Dest differ in # of attributes!!”。
https://blog.sciencenet.cn/blog-713110-573453.html
上一篇：IDA的反编译插件hexrays decompiler
下一篇：使用独立测试集对分类模型进行评估
扫一扫，分享此博文
全部精选博文导读
相关博文
- • MDPI携手中国农业大学三亚研究院共同举办作者培训会——提升青年学者科研写作能力
- • 诚邀国内外青年学者参加Bio-X国际青年科学家论坛
- • Analysis of Schizophrenia through the Networked DIKWP（初学者版）
- • Chinese Calligraphy through the Networked DIKWP（初学者版）
- • Mental Disorders through the Networked DIKWP（初学者版）
- • Evolution of Cosmology through the Networked DIKWP（初学者版）