公司网站建设需要注意哪些问题,漂亮企业网站源码,如何搭建企业网站,北京网站开发哪家专业1 绪论1.1 研究的背景和意义本文所研究设计的智能家居销售数据采集与分析系统主要是为了提升数据的采集效率#xff0c;并且实现及时采集到的线上电商平台及线下店面的多重渠道销售数据的采集与分析#xff0c;精确地进行相关的数据采集并应用先进的数据挖掘算法进行分析挖掘…
1 绪论1.1 研究的背景和意义本文所研究设计的智能家居销售数据采集与分析系统主要是为了提升数据的采集效率并且实现及时采集到的线上电商平台及线下店面的多重渠道销售数据的采集与分析精确地进行相关的数据采集并应用先进的数据挖掘算法进行分析挖掘取得数据中潜藏的数据价值信息例如一些数据分析所形成的销售趋势预测结果以及一些相应的消费者画像结果等并在后续的应用中针对企业的智能家居能够取得促进发展的目的。智能家居的销售数据分析与采集工作系统采用以上的设计方案能够使智能家居企业逐步提升智能家居产品质量这一方面可以通过基于智能家居数据采集与分析系统的快速数据采集与数据分析提升市场变化的反应程度和对市场机会的迅速抓取另一部分能够通过对大数据所获得的数据价值分析的结果为智能家居企业中的产品的调整及营销策略的研究提供相关的指导作用提升企业资源的合理配置最终能够取得竞争优势逐步提升自身在智能家居行业的竞争地位。1.2 国内外研究现状1.2.1国内研究现状 在大数据环境下电商推荐系统的研究正逐渐增多也有很多研究开发了各种各样推荐系统的架构和算法来解决信息过剩和用户个性化的冲突。现在所涉及到的推荐系统架构一般都至少分为应用层、服务层、算法层、缓存层和存储层等多层结构以期能利用多层结构高效地处理数据提供相关联的推荐服务。1.2.2国外研究现状 国外推荐系统方面面临着许多挑战尤其是用户物品的打分数据稀疏问题。HanJie等研究指出模型基CF推荐系统预测的准确性受限于用户与物品间评分的稀疏数据混合方法结合辅助信息和评分数据通过文档建模的手段来提高预测准确性[11]。1.3 主要研究内容从图1.1技术路线图可看出本研究所做的主要工作为基于LSTM神经网络和协同过滤算法的智能家居销售数据分析系统的具体设计与实现。其中通过需求分析确定用户智能选择产品时的痛苦环节、主要需求等是系统设计的基础数据。通过数据需求分析确定用户表、商品表、评论表、收藏、浏览表的数据库架构使数据库更加完善、高效。在算法设计中采用LSTM结合Attention实现评论情感分析算法。处理商品评价信息的评论文本挖掘出该评论中的情感倾向以方便用户的比对帮助用户更好地挑选合适商品。应用协同过滤与内容推荐的融合推荐算法实现基于用户行为、商品属性等的商品推荐功能使系统能更好地推荐商品真正实现商品内容的推荐。除此之外通过商品搜索、家居价格分析、商品对比、口碑词频分析等功能模块的实现以及通过管理员后台进行商品管理、评论管理、用户管理、系统设置的后台管理整体系统更加完善提升了系统的灵活性和系统管理的效率。图 1.1技术路线2 核心技术介绍2.1 系统技术简介2.1.1 Django框架技术Django是一个PythonWeb框架最早发布于2005年由AdrianHolvaty和SimonWillison提出。Django的目标是简化开发复杂的网站的过程采用MTVModel-Template-View结构来设计其核心是代码复用少重复自己即DRY。2.1.2 Request爬虫技术在智能家居销售数据分析系统的设计与实现中通过request库对京东智能进行发起一个请求从而获取网页内容和数据在利用特定的网页解析技术提取出我们想要的内容。2.1.3 MySQL技术在智能家居销售数据分析系统中利用MySQL存储从京东中采集来的数据进行增、删、改、查操作但是想要实现该功能则需要进行数据表结构的建立以及定义字段的类型设计数据库的逻辑结构和物理结构来保障数据完整性和统一性。2.2 推荐算法2.2.1 基于内容的推荐算法内容推荐算法依据用户的喜好历史数据找到用户的偏好内容特征后在其他项目中发现与用户喜欢的项目相似的项来推荐给用户。图2.1 基于内容推荐算法示意图内容推荐算法大致流程如下先用关键词定义物品特点即给物品贴上标签然后分析用户历史数据找到用户喜欢的物品特点再将用户喜好物品特点与商品特点进行匹配比较推荐给用户特征最相似的物品。2.2.2 基于协同过滤的推荐算法我们在购物过程中会面对各种各样的商品很不方便选择那么我们就会去和兴趣爱好相投的同伴请他们为我们进行推荐找到我们适合的商品。例2.1给出了协同过滤中推荐的过程用户C历史喜欢的商品为a而从用户评分矩阵上可以看到喜欢a的用户大部分也喜欢c因此可以认为a和c在某种程度上是相似的假设当前用户C喜欢商品a则用户C很可能也会喜欢商品c。表2.1 基于物品的协同过滤算法示意表格用户/商品商品a商品b商品c用户A√√用户B√√√用户C√推荐2.2.3 基于混合推荐的推荐算法实际应用中混合推荐主要是将不同推荐算法进行混合在一定程度上克服单一算法的不足。当数据规模增多、推荐系统常见问题发生以后单一的推荐算法已经无法满足用户的需求。通过将不同推荐算法混合的方法可以让每个算法在某一领域发挥其作用来弥补另外一个算法的缺点以此来优化提升推荐的结果以达到用户需求。我们在实践中常用几种混合方法如下。权重整合给各种推荐策略分配特定的权重通过对各物品的得分进行加权求和从而生成推荐结果集.2.3 LSTM算法长期短期记忆(longshort-termmemoryLSTM)作为RNN中一颗璀璨的明星在时间序列模型中有许多必需的基本结构。它对RNN的门机制作了不少精妙的改进解决了RNN遇到的经典长依赖问题同时更好地捕捉了时间序列中长期变化过程。2.4 开发工具和开发环境2.4.1 开发工具智能家居销售数据分析系统的设计与实现使用了多个开发工具其中包括MySQL能存储和管理数据对web系统中实现数据的增删改查并为可视化提供数据支持起到数据引擎的作用。PyCharmPython程序高效的编辑及调试工具它具备强大的整合功能能够将各个不同的库整合在一起另外还提供错误定位及追踪的功能帮助开发者快捷地解决问题。这些开发工具的使用使系统设计开发变得更加便捷有效实现对京东智能家居商品的采集、清理、分析、展示。通过boostrap前端的整合处理、MySQL数据库存储与维护、PyCharm开发工具可以让开发者快捷地完成具备完整功能强大性能的数据分析系统。2.4.2 开发环境本项目所需的Python版本要在3.7以上操作系统Windows11数据库MySQL数据库管理工具Navicat框架采用Django其他的为机器学习的相关库。
3 系统分析3.1 可行性分析3.1.1技术可行性 在 Windows7 或 10 操作系统上基于python3.12版本使用pycharm软件作为开发工具并通过 Mysql 进行数据库存储后台管理系统的硬件环境为 PC 机用户只需使用任何可以联网的电脑设备通过浏览器即可访问新闻管理系统。 3.1.2经济可行性 一方面只要一台联网的电脑系统管理员都可以随心所欲地进行管理提高了工作效率节省人力物力只需具有一定打字的能力就可以无需高学历。另一方面系统的制作成本低可在现有的PC机上使用IDEA开发工具开发。3.1.3操作可行性 从管理角度看只需一台普通电脑就能完成网站信息的配置、输入和更改操作非常简便且极具可行性。3.1.4数据来源可行性 来源电商平台的数据京东、淘宝已经很普及了使用也很广有代表性。3.2 功能需求分析如下图3.1系统功能图所示系统分为用户模块和管理员模块。系统会通过python爬虫从京东商城的家居分类中采集家居商品包括商品名称、类别、品牌、价格、评论等信息。用户功能包括2、用户登录与注册完成用户身份的验证、管理个人资料以及保存浏览历史和个人收藏保障用户信息安全并提供便捷的商品浏览体验。2、搜索引擎支持高级搜索功能提高用户查找商品的效率与准确性。3、家居价格分析通过数据可视化展示价格趋势支持用户筛选分类进行价格分析帮助用户做出明智购买决策。4、商品比较通过比较商品的参数、价格以及评论等信息协助用户更全面地了解不同商品的优点从而做出更加明智的购买选择。商品推荐根据用户过去的行为和商品的特征使用协同过滤算法从用户间和商品间的相似性来给出商品推荐。基于用户的历史打分、历史购买行为寻找目标用户所感兴趣的相关用户根据相关用户的喜好来针对目标用户给出相关家居商品的推荐。6、家居评论情感分析利用自然语言处理采用长短期记忆网络LSTM算法分析评论情感了解不同产品的用户满意度。7、家居口碑词频分析统计评论中的关键词揭示产品特色及用户关注点。8、喜欢与收藏功能用户可以收藏感兴趣的商品便于商品的对比以及个性化的家居商品推荐。管理员功能包括1、商品管理维护商品信息支持商品名称、状态和价格等信息的编辑和删除维护商品库的准确性。2、评论管理维护网站良好形象处理不合规内容提高情感分析的准确率以及用户满意度。3、用户管理对用户个人信息进行管理与维护确保系统安全、信息安全与数据完整性。系统设置支持系统参数配置确保系统运行稳定与高效。图 3.1系统功能图3.3 非功能需求分析除了系统本身的实用性功能在符合基本功能前提下要考虑到用户的主观体验性非功能需求将发挥重要作用非功能需求设计时要把这部分内容考虑进去。3.4 业务流程分析系统的业务流程涵盖了数据的收集、数据的预处理、数据的分析与建模以及推荐结果的展示。业务流程图如图3.2所示图3.2 系统业务流程图4 系统设计4.1 系统架构设计系统采用前端、中间层和数据层的三层架构设计包括表现层、业务逻辑层和数据层采用Django框架进行表现层的开发同时用响应式开发保证在不同端均具有良好的显示性。系统的架构示意图见图4.1图4.1 系统架构图4.2 功能详细设计本系统对照功能实现用户模块也就是系统使用者拥有登录注册、数据采集、数据可视化、推荐等功能。4.2.1 数据采集功能数据采集模块使用网络爬虫技术对京东智能家居产品的数据、评论进行数据抓取、解析、存储。数据采集流程图如图4.2所示。图4.2采集流程图4.2.2 注册登录功能用户注册及登录流程游客注册时在注册页面填写用户名、密码、邮箱点击提交按钮前端将这些注册信息发送到后端服务器后端调用注册程序进行注册验证如果验证成功注册成功。具体如图4.3。图4.3注册登录流程图4.2.3 推荐功能推荐在登录完成用户成功登录后点击进入推荐界面前端发送用户的推荐商品请求至后台服务器后端利用商品推荐程序程序中载入数据库中的用户推荐数据输出推荐商品列表将数据返回给前端页面前端渲染后向用户输出推荐的商品列表。推荐流程图如图4.4所示。图4.4推荐流程图4.2.4 数据可视化功能可视化过程用户成功登录系统后进入可视化界面前端会将用户的请求打包并传送到后端服务器。后端调用可视化服务中的相关程序该程序从数据库中加载数据对数据进行分词、统计等处理生成词云、柱状图、地图等图表。生成的图表传送到前端页面经过数据渲染后图表将展示给用户。如图4.5所示即为可视化流程图。图4.5 数据可视化流程图4.3 数据库设计4.3.1 逻辑设计根据该系统的数据库表的设计将系统的数据种类归分为用户、京东商品信息、评论信息、收藏信息4个实体。4.3.2 物理设计本数据分析系统数据逻辑结构设计如下表4.1 用户表userinfo字段名类型长度说明idint0用户编号主键、自增usernamevarchar255用户名passwordvarchar255密码emailtext0邮箱contenttext0简介addresstext0地址phonetext0手机号表4.2 商品信息表字段名类型长度说明名称TEXT255价格REAL255链接TEXT255店铺idINTEGER255店铺名TEXT255imgTEXT255评论数INTEGER255品牌TEXT255表4.3 商品评论信息表字段名类型长度说明shop_idINTEGER255shop_id评论idINTEGER255评论id时间TEXT255时间内容TEXT255内容地区TEXT255地区用户名TEXT255用户名会员等级TEXT255会员等级评分integer255评分产品颜色TEXT255产品颜色表4.4收藏表字段名类型长度说明idinteger0uidinteger0sidinteger04.4 本章小结本章节主要对系统功能的各个模块的功能进行具体设计给出各个数据库的逻辑结构和物理结构描述以及设计数据库的表名和字段的属性。5 基于LSTM模型的情感分析实现5.1 数据清洗与处理实现本文的情感分类任务就是根据文本数据预测文本的情感倾向情感类别分为负、中、正3类。通过构建以LSTM(longshort-termmemorynetworks)为核心模型实现情感分类。。5.2 LSTM模型实现情感分类任务主要是利用LSTM模型对文本进行分类。LSTM是被普遍采用的递归神经网络(RNN)它能够处理包括文本在内的时序数据具有捕捉文本中长距离依赖的能力这对于情感分析非常重要情感常常存在上下文只有考虑到上下文我们才能分析清楚其表现出来的感情色彩。LSTM 模型的结构包括在输入层文本由每个单词的 Word2Vec 向量构成并作为 LSTM 的输入。LSTM 层负责处理输入文本的时序依赖。全连接层FC层把 LSTM 的最终隐藏状态传送到全连接层以进行分类。此外采用混淆矩阵来展示每个类别各自的分类结果如图5.1所示采用ROC曲线来可视化模型的表现ROC曲线是表示分类器在不同阈值下的表现情况可直观地反应出模型的分类效果如图5.2所示。图5.2 混淆矩阵图图5.3 ROC曲线图6 混合推荐算法的设计及实现6.1 问题的提出当前常见的推荐算法都存在各自的缺陷主要包括以下几个方面1冷启动问题冷启动问题可以细分为用户冷启动、物品冷启动、系统冷启动。一个新用户加入系统因为没有对他做任何操作或者交互因此无法通过分析他的数据得知他的兴趣信息无法对可能喜欢的内容给与他称为用户冷启动问题。而物品冷启动问题是指一个新物品加入系统因为用户没对他评价或者其他操作而无法得到推荐。2稀疏性问题在推荐系统的实际应用中由于用户数量众多且物品种类繁多用户不可能对所有物品进行操作而相同的物品也不可能被所有用户评价。因此与用户相关联的物品仅占所有物品总数的一小部分。由用户和物品构成的评分矩阵因此会呈现稀疏特性。这种数据稀疏性会对推荐系统的性能产生重大影响因为协同过滤算法的基本原理依赖于用户物品评分矩阵。目前主流的推荐算法通过减少数据维度来应对这一问题。(3)实时性问题用户及物品数量太多在项目中计算相似度以及后期进行预测评分是依赖用户的历史行为进行的。因此只能按照固定的周期更新数据生成新的推荐列表。导致推荐系统不能实现根据用户的实时行为为他推荐严重影响用户感受。6.2 混合算法的设计计算用户商品评分矩阵主要运用了用户协同过滤UserCF和物品协同过滤ItemCF两种推荐技术。6.2.1 基于用户协同过滤设计思路用户协同过滤算法的基本思想就是通过比较用户之间的相似度将同目标用户类似度较高的用户所评分过的商品对目标用户进行推荐。先将数据库中的所有用户的评分信息提取出来并将用户评分数据组织成字典保存在计算机中。用户推荐的协同过滤算法流程见图6.1用户与商品的评分矩阵见表6.1。图6.1 基于用户协同过滤算法流程图表6.1 用户-商品评分矩阵商品1商品2商品3···商品4用户A44-···5用户B-42···-··················用户C5-4···3表6.2 用户相似度矩阵用户A用户B···用户C用户A10.82···0.45用户B0.821···0.67···············用户C0.450.67···16.2.2 基于物品协同过滤设计思路物品协同过滤方法基本原理计算商品之间的相似度通过在目标用户已经评分的商品中推荐相似的商品。表6.3 商品共现矩阵商品1商品2商品3···商品4商品1-158···10商品215-5···3··················商品385-···7表6.4 商品相似度矩阵商品1商品2···商品3商品110.75···0.45商品20.751···0.32···············商品30.450.32···1图6.2 基于物品协同过滤算法流程图6.2.3 混合推荐算法的设计思路混合推荐算法结合用户为基础及物品为基础的协同过滤算法优势产生更精准的推荐结果让用户基础的协同过滤法UserCF利用用户间相似度来推荐其他用户对具有用户本人相似兴趣的物品以及物品基础的协同过滤方法ItemCF利用物品间的相似度来推荐与其他已评价的物品类似的物品。对于混合推荐体系可以对两种推荐策略进行加权根据用户的行为习惯、热门程度给两种不同的方法赋予不同权重。根据用户评分对用户的商品进行推荐同时用UserCF和ItemCF进行推荐并整合两种推荐的结果得到混合推荐列表。动态加权的混合推荐算法中根据用户行为的特征为每一个用户的推荐方法的UserCF与ItemCF的权重比例自动分配。其动态加权策略流程见图6.3。图6.3 动态加权策略流程图整个推荐部分算法流程图如下图6.4所示图6.4推荐算法流程图7 系统实现7.1 用户登录注册模块登录注册采用Django表单和session结合UserMixin来完成认证。注册成功窗口前端如图7.1所示。图7.1 用户注册页面图7.2 用户登录页面7.2 数据展示模块数据展示在这个板块可以通过关键词搜索特定的信息还可以分页显示。如下图7.3所示。图7.3 数据展示页面7.3 数据可视化模块7.3.1 价格分布可视化价格分布图它能清楚的了解不同品牌不同价格段智能生活类商品的数量所占比例其前端的按钮会显示对应的价格类别价格的采集依赖于后台调用数据库中相应品牌所有商品的价格如图7.4图7.4 商品价格区间页面7.3.2 地图分析可视化地区分布密度采用地图分析功能实现首先选择会员等级后端查询同等级会员的地区数据统计各城市用户人数见图7.5。图7.5 购买用户分布页面7.3.3 评论数分析可视化各品牌下各店铺评论量排名用漏斗图表示。通过前段获取用户品牌输入并以此筛选该品牌品牌店铺所带评论排序计评数倒叙排序截取前20项。见图7.6。图7.6 各品牌评论占比页面7.3.4 类型分析可视化饼图用于显示类型类型的分析结果如类型为“旗舰店”“专卖店”等的品牌占比用户单击类型关键字后后端按店铺名字模糊匹配筛选包含关键字的记录并统计各品牌出现频率生成品牌-频数。见图7.7。图7.7 各类智能家居占比页面7.3.5 词云分析可视化词云分析模块将显示用户所选店铺的评论的高频词云。如图7.8。图7.8 词云页面7.4 推荐模块7.4.1 推荐商品功能默认推荐和协同过滤推荐两种方式推荐内容。默认推荐方式是利用随机取值每次调用df.sample(n4)取4家店铺作为推荐满足新用户或空偏好用户的基础场景。动态显示页块效果如图7.9所示)图7.9 推荐页面7.4.2 我的收藏功能我的喜欢通过用户主动点击标记感兴趣的品牌商店由前端发送请求到/recommend?c品牌p商店ns店铺名调用view后端get_data函数将request.user.id与店铺ID(s)存入表tb_collect如图7.10所示图7.10商品收藏7.5 功能测试1用户登录测试用例如表7.1所示。表7.1 用户登录测试用例序号输入期望结果实际结果1写入空白符警告提示警告提示2写入正确格式的用户名、写入不符合数据库的密码提示密码不符合提示密码不符合3写入正确格式的用户名、写入符合数据库的密码顺利登入系统顺利进入系统首页2用户注册用例如表7.2所示。表7.2 用户注册测试用例序号输入期望结果实际结果1用户名是空白符警告提示用户名不合规范警告提示用户名错误2密码是空白符警告提示密码不合规范警告提示密码错误3写入符合规范的字符顺利登入系统顺利登入系统3可视化用例如表7.3所示。表7.3 可视化测试用例序号输入期望结果实际结果1测试柱状图生成生成的柱状图与预期结果一致包括正确的坐标轴、标签和颜色等生成的柱状图包括正确的坐标轴、标签和颜色等2测试饼图生成生成的饼图与预期结果一致包括正确的扇区比例、标签和颜色等。生成的饼图包括正确的扇区比例、标签和颜色等。3测试折线图生成生成的折线图与预期结果一致包括正确的数据点、坐标轴和颜色等。生成的折线图包括正确的数据点、坐标轴和颜色等。4测试表格生成生成的表格与预期结果一致包括正确翻页。生成的表格包括正确翻页。
