企业seo网站推广公司,国外专门做视频翻译网站,成都市建设工程交易中心网站,俄语网站推广2019独角兽企业重金招聘Python工程师标准 前言 服务器端截图可以做什么#xff1f; 个人观点#xff1a;省去跟报表有关的EDM开发#xff0c;直接从系统上截图#xff0c;然后发图片给用户就搞定。剩下的自己脑补。 既然这么好#xff0c;为毛不赶紧弄。… 2019独角兽企业重金招聘Python工程师标准 前言 服务器端截图可以做什么 个人观点省去跟报表有关的EDM开发直接从系统上截图然后发图片给用户就搞定。剩下的自己脑补。 既然这么好为毛不赶紧弄。需要用到的工具坑太多没有尝试不敢拿上去用。 环境准备 如果是window环境就更简单了大家自行处理这里不做介绍。 centos6.55.x版本来落后了不要用会出问题的。其他高级版本自己掂量着用公司提供给我的测试机只有6.5版本 phantomjs 2.x 1.9.x版本的各种bug测试的时候并发一起来进程各种crash所以大家别脑残用1.9.x的 nodejs 0.12以上版本因为4.x版本的gcc要求比较高我又不会装所以没法测4.x版本的。注意一定要编译安装不然会出很多问题。 安装windows字体按网上的说明来安装完成要重启机器。不安装会出现中文字体不显示的问题 安装步骤 我知道很多人比较懒也有很多人这也不懂那也不懂。所以为了不让大家浪费时间给大家安装环境步骤由于系统是64位因此下面的步骤都是按64位来。windows环境下的安装自己看文档。 安装phantomjs 2.x 到http://phantomjs.org/download.html页面下载相应的版本https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2 解压 tar -xvfz phantomjs-2.1.1-linux-x86_64.tar.bz2 创建软链ln -s 相应phantomjs文件夹/phantomjs /usr/bin/phantomjs ln -s 相应phantomjs文件夹/phantomjs /usr/local/bin/phantomjs 测试phantomjs命令能不能使用如果不可以大家自己看着办 安装nodejs0.12.x 参考http://www.laozuo.org/6421.html 到官网下载node-v0.12.9.tar.gz特别注意是源码不是编译后的 解压node-v0.12.9.tar.gz 进入解压后的文件夹逐步执行两条命令1 ./configure 2 make make install 验证node -v 看看版本号是不是跟我们安装的一样 安装windows下的字体 这个直接参考http://www.tuicool.com/articles/VfiqqiA 启动服务 拷贝源码https://github.com/angrytoro/webshot 进到根目录后执行cnpm install来安装相关的模块因为npm在国内太慢了经常慢到让你安装错误 安装模块成功后执行node index.js端口是3000 在浏览器上浏览 界面介绍 直接给图说明比较方便 截图效果 由于有200kb的图片上传限制大家将就下到百度云盘上看qq官网截图效果 http://pan.baidu.com/s/1qXquUkc 并发请求结果 ps在另外一台服务器上用wrk测试 介绍下截图服务机器的硬件配置2核cpu4g内存 由于我在程序中限定了开启3个phantomjs每个phantomjs最多同时做5个页面的渲染和截图。因此我开启了15个线程保持15个链接同时请求持续1分钟的时间效果如下图 五组测试数据统计 序号 网址 持续时间s 并发链接 请求总数 成功 失败 崩溃 1 qq.com 60 15 47 47 0 0 2 qq.com 60 15 54 54 0 0 3 qq.com 60 15 45 45 0 0 4 qq.com 60 15 57 57 0 0 5 qq.com 60 15 49 49 0 0 平均 60 15 50.4 50.4 0 0 从中可以看出在截取qq.com的时候大概平均每秒处理0.84个截图请求。 当然这是在有条件限制的情况下得出的数据在测试的时候查看了下cpu的峰值大概是60%也就是说这个还有提升的空间。而且我们是用qq.com做测试如果是比较简单的页面速度肯定还会提升。 不信请看我请求http://alinode.aliyun.com/blog/23这个网址的测试 这里数据显示1分钟内总共处理了150个请求。平均每秒处理2.5个。 稳定性 下图是跑了1小时的报告蛮看看。 在一个小时之内连续的对qq.com首页做截图总共是处理了562个请求平均每秒0.16个太忧伤了。大家有没有发现其实出现了202个读错误562个超时平均网速才225.54kb诶这也太坑爹了。 不知道这是什么原因造成的到底是网速慢了还是qq官网首页服务器做了安全策略。面对如此惨淡的数据自信心都没了。 其实在早些时候有尝试跑一个晚上的并发可惜好像是因为断网问题导致测试没有完成。之后有进行了持续6个小时的并发测试在跑到2个多小时的时候出现了内存溢出导致服务中断的情况。非常的忧伤 我都不知道为毛内存溢出当时跑去吃饭了好歹也有3G多的内存可以用。在启动服务后我有观测内存从3G多直接降到2G左右不过一直在这个区间徘徊不知道为毛会出现内存溢出。 有两种猜测 由于是测试腾讯首页不知道腾讯会不会出现防御导致请求页面速度变慢然后phantomjs一直在等待各种尝试导致内存溢出。一般情况下我们在浏览某个页面的时候也会出现很卡的情况浏览器出现假死。 由于V8的内存限制机制导致在同时渲染15个页面的时候出现内存溢出。 其实每次的并发测试都会出现超时的情况这个问题不知道是什么原因造成的。 理论上要渲染一个页面其实是得花不少时间的加载页面就大概需要2~3秒的时间加上渲染大概至少需要5秒左右的时间有些垃圾网站更长然后我们还要截图加起来这大概得花个6~8秒的时间吧。 总结 按照目前并发测试的结果来说是不适合用于生产环境的。如果要小范围的做生产测试还需要解决下面几个问题 将某些计算扔给GPU毕竟GPU在渲染方面还是比较好的。 提升v8引擎的内存限制 查找内存溢出的原因并且解决 后记 服务器端截图还是挺有意思的一件事情如果稳定性提高了相信可以用于很多地方。由于代码是写来做测试的所以写得挺烂的还有很多可以改进的地方。 如果大家觉得这个点子不错可以继续开发下去请到github上点个赞并给点改进意见。 转载于:https://my.oschina.net/u/137634/blog/613484
