自己做的网站怎么让别人能访问,网站备案教程,山东网站建设空间,网站建设的实验原理项目要求#xff1a;
通过下载引擎(Web Crawler/Spider)自动下载至少500个英文文档/网页#xff0c;以及500个中文文档/网页#xff0c;越多越好#xff0c;并保留原始的文档/网页备份(如:News_1_Org.txt#xff09;
编程对所下载文档进行自动预处理:
将各个单词进行字…项目要求
通过下载引擎(Web Crawler/Spider)自动下载至少500个英文文档/网页以及500个中文文档/网页越多越好并保留原始的文档/网页备份(如:News_1_Org.txt
编程对所下载文档进行自动预处理:
将各个单词进行字符化完成删除特殊字符、大小写转换等操作
调研并选择合适的中文分词技术和工具实现中文分词
删除英文停用词(Stop Word)
删除中文停用词
调用或者编程实现英文Porter Stemming功能
将中文文档进行字符化即可被搜索引擎索引的字符单元
对于英文文档经过以上处理之后将经过处理之后所形成简化文档保存如:News_1_E.txt以备以后的索引处理
对于中文文档经过以上处理之后将经过处理之后所形成简化文档保存如:News_1_C.txt以备以后的索引处理
实现过程
文档下载
使用python的第三方库requests可以向服务器发送http的get请求获得响应数据利用库bs4的BeautifulSoup对获得的html内容进行解析除去标签只提取出文本内容保存至文件。
预处理
中文文档原始内容进行分词前还利用了正则表达式删去了非中文字符。中文分词用到的是第三方库jieba。
英文文档用了正则表达式删去了一些特殊字符比如句号分号问号逗号保留了单词里的连字符。并用函数lower()将所有英文字母转化成了小写。后续处理用到的是第三方库nltk可以实现分词英文每个单词已经分开此处的分词是指快捷地返回词的列表、删去停用词和Porter Stemming功能。 参考视频
Python 【00-先导课】爆肝两个月拜托三连了这绝对是全B站最用心没有之一的Python爬虫公开课程从入门到不入狱 _哔哩哔哩_bilibili 【Python Jieba 中文分词工具-哔哩哔哩】 01 - jieba 工具介绍_哔哩哔哩_bilibili 【英文分词 | 自定义词组 | 词形还原 | 词频统计【python-nltk】-哔哩哔哩】 英文分词 | 自定义词组 | 词形还原 | 词频统计【python-nltk】_哔哩哔哩_bilibili 参考文章
【小沐学NLP】Python使用NLTK库的入门教程-CSDN博客
Python——jieba优秀的中文分词库基础知识实例-CSDN博客
报告下载
https://download.csdn.net/download/qq_61814350/89207414
