专门做家具的网站,wordpress链接在哪里设置,湖南省重点建设项目办公室网站,给公司做网站销售怎样啦#xfffc;8 月 27 日晚上八点#xff0c;七牛云高级解决方案架构师程雪松在 IT 大咖说进行了题为《挖掘传统行业日志大数据的无限价值》的直播#xff0c;对传统行业运维常见困境和统一日志管理的必要性进行了深入解析#xff0c;并通过 Pandora 的一些真实用户案例和大家… 8 月 27 日晚上八点七牛云高级解决方案架构师程雪松在 IT 大咖说进行了题为《挖掘传统行业日志大数据的无限价值》的直播对传统行业运维常见困境和统一日志管理的必要性进行了深入解析并通过 Pandora 的一些真实用户案例和大家详细阐述了如何挖掘传统行业日志大数据的无限价值。本文是对直播内容的整理。 下篇主要剖析了日志管理平台建设关注的要点以及分享了 Pandora 的一些真实用户案例并针对听众的提问进行了解答。 监控与告警 数据分析过后需要形成相关的数据的监控和告警。比如把一些我关心的重要的指标监控固化下来定期地对这些数据进行监控一旦它出现问题我需要及时地反映出来形成一些告警方面的通知。最好是能够把搜索结果直接保存为告警设置。比如说我搜索出一个结果出来之后我觉得这个结果很重要这个分析出来的结果我不仅只是想查这一次需要它一直能够被监控起来。一旦这个监控值出现问题我就能够报警。那么就可以另存为报警以后去设置相关的一些策略比如说我要去监控这个指标的最大值、最小值、平均值等等然后这个值一旦突破了某个阈值就能够通过短信或者邮件的方式来进行及时的报警这就是监控报警的一个功能它是必须要有的。 开箱即用的报表 然后就是可视化的展现能够支持各种各样的图表把一些比较难懂的文本型的日志或者数据型的日志变成更易读更直观的一些报表制作成一些大家比较能够理解的比如说饼图柱状图折线图甚至你可能会遇到像中国地图世界地图等等。我预先要支持这样的图表能够很方便的去定义这些报表的功能把数据输入进去选择相关的图表的格式自动去生成这样的一些报表。这样的话你就能够很方便地去体现你的日志分析结果和相关参数的监控。 大屏展示 而且最终也能支持大屏展示能够投射到指挥台或者监控大屏。让我们的 IT 运维人员或者 IT 部门的领导或者甚至是公司的老板能够方便看到信息化平台的情况内部系统是如何运行的现在的状态是什么样这就是一个大屏的展示。 机器学习异常检测 现在对于日志分析仅仅是对已有的数据进行固化分析或是已有的一些策略进行分析已经无法满足运维日新月异的要求其实很多 IT 的问题最开始的时候都是未知的。甚至在一开始对业务进行监控的时候我可能都很难去预想到监控策略应该怎么样去设计或者很难在一开始就提出来监控指标的阈值应该是多少。 历史数据分析 所以如果说日志分析平台能够引入现在一些新的大数据的技术比如说深度学习或者机器学习就能够很方便的去对历史数据进行分析告诉我中间的异常值。举一个例子下面的这一个截图其实是一个企业的数据流量的变化情况然后我们会发现代表实际数据的蓝色线其实并不是平缓的而是呈现一个周期变化的规律。传统的我们对于流量的监控就是画两条平行线把所有的流量夹在里面这样的话一旦出现流量的实时值超过我的阈值的时候就会报警。然后会推送相对应的邮件或者短信的方式去告知我的运维人员。但是我们会发现类似中间小箭头的地方就会出现漏报就是说看起来它其实并没有突破整个所有历史周期里面的峰值和最低值但是我们看到它其实是不符合历史数据的变化规律的。 那么这个时候如果我们能够基于不同时段灵活动态的去调整阈值这样的话就能够很方便的发现这些虽然没有突破历史阈值但是并不符合周期性变化规律的一个数据。这样其实是能够很方便的去找到原来可能遗漏的一些数据异常点。而且这些漏报的异常点很可能会成为未来很大的风险那么我们如果能够在这个时候及时地发现这些异常点及时地去介入把这样的风险甚至是未来的一些故障防患于未然。这是一个历史数据分析的比较经典的一个场景。 预测未来 我们既然能够基于历史数据做全面的学习和分析那么我们也希望能够去配合实时数据的增量学习去准确预测未来的趋势去支持更多的一些智能的特性。这个在什么场景会用到呢 比如说我们在未来的几天之内想做一个业务的变更或者升级但是我不知道哪个时间点最合适影响最小那往常可能我们都会选择深夜例如半夜十二点来做系统交割或者新系统上线这个对于大家来讲熬夜的压力很大。但如果我们能够通过机器学习预测未来的整个流量变化情况我们就能够很方便的去找到一个流量低又不需要给大家带来太多身体负担的时间点来做我们的系统变更。 极简使用 机器学习固然好但大家很多时候会认为机器学习是一个特别高大上的东西觉得算法模型是个特别复杂的东西。那么会想我有没有能力玩能不能玩得转能不能很方便地去使用这样一些机器学习的功能和特性。那能否自动化的、灵活化的、智能化的选择算法自动生成相关的模型让我们的运维人员能够低门槛甚至零门槛来使用这个机器学习的功能就变得很重要。机器学习也是现在大家在选择日志管理平台的时候可能需要去考虑的一个方向。 开放性API 最后是开放性 api其实很多时候运维人员在日常使用日志管理平台的过程当中不只是简单的登录到平台上面通过你的可视化界面去使用你的功能。日志分析平台是需要和业务系统分析系统或者用户已有的监控平台进行对接的。甚至很多时候对日志分析平台的使用并不是直接点进你的界面而是要通过接口的方式来去使用你的能力。所以整个日志分析平台的开放性会是大家在日常使用过程中必须要考虑的一个问题。考虑到我们会去对接非常多的不同的应用开发商开发的不同的业务系统甚至说不同的监控软件所以开放性的 api 的丰富程度其实是一个非常重要的指标。那现在基本上主流的语言包括像 JavaphppythonCCJavaScriptGo 等等这样的一些语言最好都需要支持到。所以开放性也是大家在去对日志分析平台进行选择时必须考虑的一个问题。 七牛云日志分析平台 Pandora 那么有没有这样一个平台能够解决之前提到的所有问题呢有就是七牛的日志分析平台 Pandora。它能够实现对于日志的全生命周期的智能管理比如之前提到的数据的收集、清洗、存储、搜索、监控告警、分析、报表、开放等等相关方面我们都有相关的技术和产品能够去满足用户的需求。Pandora 能够实现对于日志全生命周期的智能管理适用于像运维分析安全审计业务数据分析等等各种场景针对像互联网智能硬件智能制造等行业都能够提供良好的支撑和价值。 这张图是现在 Pandora 能力的全景图对应之前提到的八个方面能够发现其实 Pandora 已经覆盖了用户对于日志分析平台的所有要求。 logkit 是我们的数据采集平台能够支持数据的采集、解析、转换、发送然后 pipeline 就是基于大数据的技术能够帮助用户进行实时和离线分析的一个大数据平台。insight 就是数据分析平台支持对日志统一的存储搜索报表监控告警api分析与预测包括机器学习等等相关的功能。 总结一下 Pandora 的优势就是六点数据规模大处理速度快开放接口巧生态支持多用户体验爽公有云经验足。Pandora 不仅支持公有云的服务我们也可以做私有化的部署。这个可以根据用户实际的情况来灵活选择。 数据规模大 Pandora 现在支持在公有云上完全横向扩展的存储和计算设计。现在累计在云上的存储数据超过了 40 个 pb累计的计算数据超过 500 个 pb传统的 ELK 的方式是无法满足这么大体量的数据的要求。 处理速度快 Pandora 支持实时计算能够做到毫秒到秒级的响应。所有的日志能够做到入库打点毫秒级的响应。例如说系统端或者数据源端能够实时产生的日志我们就能够实时把这些日志采集到我们的平台上来而且保证数据不丢失不冗余。 开放接口巧 我们所有的操作都有对应的 api 的支持能够很容易的去跟第三方的系统进行结合这是我们的第三个优势叫做开放接口巧。 生态支持多 我们支持现在业界主流的绝大多数的关系型数据库非关系型数据库消息队列及一些大数据相关组件。具体的列表大家可以在我们的官网上看到。 用户体验爽 比如刚刚我们提到的字段自动统计、划词分析、联合搜索、机器学习等等细节功能。我们都为用户预先考虑到了这些所有的易用性细节我们超过 200 项我们所有的开发的目标和要求就是降低用户的心智负担不要把日志分析看成是特别复杂的一个事情让大家能够低门槛甚至零门槛的来使用我们的日志分析产品。简单的把你的日志导入平台然后方便的得到日志分析的结果能够给用户带来业务方面的价值和提升。这个是 Pandora 希望能够去实现的事情。 公有云经验足 最后一个优势我们通过一些数据来证明我们的能力。第一个是现在每天向公有云上流入的数据超过 250 个 tb超过 3650 亿条日志。现在我们服务的客户超过 200 家每天参与的日志的计算量能够达到 3.2 个 pb。我们每天也能够对外提供超过一万次的有效报警这是一个非常健壮的平台。所有的功能我们在公有云上完全向用户开放而且用户也可以选择将我们的平台以私有化的方式部署在你本地的机房里面。 案例分享 最后还有一些时间我给大家分享一些案例。然后再来回答刚刚大家提到的一些问题。 七牛云 第一个案例就是七牛云七牛云所有产品线产生的日志都会导入我们的日志分析平台里面来统一的汇聚、清洗、存储、搜索等等然后支撑我们内部的不同部门去使用这些日志。比如说商业运营部会去针对用户日常的使用消费行为去做用户的画像产品研发部用来排查线上错误技术支持部用来客服质量保障部用来做质量分析与复盘运维部用来做运维监控告警与成本分析。 银行 第二个是一个大型银行该银行拥有多个大型数据中心且每个数据中心既有物理机提供服务也有虚拟机提供服务他们碰到的痛点是针对物理机和虚拟机、不同的网络设备、不同的操作系统及不断增加的海量业务数据无法做到统一的收集、存储与分析。 该银行最后采用 Pandora 平台利用 logkit 统一收集各种设备的 metric最后在平台上做监控告警同时也采用 logkit 让业务方来收集业务日志供业务方相关人员对这些日志进行检索与分析从而更快的定位问题并且持续挖掘数据价值。 制造企业 第三个是华东的一个大型制造企业也是我们刚才提到的物联网的一个场景代表。客户会把很多生产线上部署的传感器的数据导入 Pandora。客户整个车间和厂房非常大所有的传感器每秒钟能产生百万级别的数据。这样百万级别的数据需要实时地传送到我的平台上面来然后对数据进行实时处理在做实时监控的同时也会生成一些多维度的报表方便用户对整个生产线的实时工作情况包括生产线一段时间内的整体表现进行一个精确分析。 互联网公司 第四个案例是一个大型互联网公司主要业务是对外提供视频点播类的服务。他们购买了七牛云的 cdn 服务因此产生大量的 cdn 的日志包括用户来源于哪个地方他访问了哪些资源他的整个访问情况和他平均打开视频的时长等等。这样的一些数据其实都在我们的 cdn 日志里面并且蕴含了很大的价值。该用户基于我们的 cdn 日志再结合我们的日志分析平台能够分析出非常多的应用质量以及运营的指标来对后续的业务进行支撑和决策分析。 大家如果有兴趣的话可以去我们的官方网站上面看我们的产品介绍。下方有两个网站一个是七牛云的官网上面可以去免费申请注册账户来试用我们的平台。第二个是我们的文档站大家在里面可以看到所有产品的具体介绍而且他们也会提供典型的产品的场景描述和分析能够帮助大家更好地去理解对我们平台的使用。 · 免费注册 www.qiniu.com · 快速了解 developer.qiniu.com/insight/ 最后 one more thing我们预计会在 9 月份推出这三个功能第一个是多维分析我们叫它 datacube。它能够对用户很多日常的关键运营指标做预计算当你去查询一些你关心的关键指标时能够更快地去输出相关的结果。第二个是针对日常的运维监控全链路的监控分析解决方案。第三个是我们针对具体故障做的一个根因分析。这个我们也会都在 9 月份推出来。请大家关注七牛云的官网我们一有相关的消息就会及时通知大家。 感谢大家来聆听我的一个简单的分享。 QA Q 有私有化部署案例吗 答私有化部署案例是有的我们遇到的很多传统行业的客户都是采用私有化部署方式来使用 Pandora 平台包括我们一些银行案例也是私有化部署的。事实上从 Pandora 诞生的第一天起私有部署场景就是我们最关注的点之一。 Q 对于容器模块的负载能够定位到某一个具体的进程吗 答可以的我们现在支持针对 k8s 的容器日志采集可以针对容器模块进行负载监控能够定位到具体的进程。 Q 可以自定义日志分析规则吗 答可以的我们支持非常灵活的日志分析的规则你可以采用划词的方式来做日志的解析并且将解析结果保存为规则后续可以方便的为日志配置这些规则。 Q 如果使用云空间日志量又很大如何解决流量问题 答一些用户在使用日志分析平台的时候会遇到类似担心如果日常业务和日志管理分析服务不在一个云上会不会产生很多中间的流量费用。针对性这样的情况我们有两种解决方案 一、七牛 Pandora 所有的日志采集传输都是有压缩加密的压缩率在 10 倍以上极大降低流量负担 二、如果有空闲的计算资源可以是本地虚拟机或者云主机我们也支持将日志分析服务以私有化部署的方式部署在本地或是第三方云平台上这样在一个统一平台里面日志传输流量可以变成内部流量一般来说内部流量的成本是很低的。 Q Pandora 和 ELK 有什么区别 答 我们全托管开箱即用按需付费成本低 Pandora 的数据收集产品 logkit 无论是从体验还是性能看都远好于 logstash/filebeat 我们支持灵活的企业级数据总线 我们在 「采集」的稳定性及功能丰富性上的表现远好于 ES 在大规模数据量十亿条日志以上、TB 级别以上的情况下系统稳定性及性能的表现好于 ES ES 不支持数据脱敏 ES 不支持多租户 ES 不支持用户权限安全审计等关键功能 ES 无内置机器学习支持 ES 无各种丰富解决方案的支持 总结来说用 ELK 的场景都可以使用 Pandora 来完成Pandora 提供了优秀的产品体验。 而从功能集的角度考虑Pandora 是 ELK 的超集如可以轻松完成流式计算与多维分析等场景。 牛人说 「牛人说」专栏致力于技术人思想的发现其中包括技术实践、技术干货、技术见解、成长心得还有一切值得被发现的内容。我们希望集合最优秀的技术人挖掘独到、犀利、具有时代感的声音。
