百度的官方网站,做gif网站,企业员工培训课程,免费建立一个个人网站it编年史总览 我正在看Typesafe的Rolan Kuhn在介绍React流方面的精彩演讲#xff0c;乍一看似乎与《纪事报》有一些相似的目标#xff0c;但是当您深入研究细节时#xff0c;很明显我有一些关键的假设根本不同。 关键假设 《纪事》设计的主要假设是 低延迟是您的问题#… it编年史 总览 我正在看Typesafe的Rolan Kuhn在介绍React流方面的精彩演讲乍一看似乎与《纪事报》有一些相似的目标但是当您深入研究细节时很明显我有一些关键的假设根本不同。 关键假设 《纪事》设计的主要假设是 低延迟是您的问题而不是吞吐量。 数据来自微突发您希望在下一次微突发活动之前尽快处理。 如果您忙碌则不能暂停交流/制作人。 或暂停最终用户不是一种选择 您的信息具有很高的价值详细记录每个事件的时间非常有价值。 记录所有事件是了解微爆的关键。 您希望能够检查过去发生的任何事件。 低延迟至关重要 纪事报旨在帮助您解决的关键问题是一致的低延迟。 它假设如果延迟足够低那么吞吐量就不会有问题。 许多基于Web的系统都是为吞吐量而设计的只要最终用户看不到延迟延迟就不会成为问题。 对于软实时系统大多数时候您都需要低延迟而最坏情况下的延迟则要适中这要比人类看到的要快得多。 你无法阻止世界 另一个关键假设是流量控制不是一种选择。 如果您运行缓慢则无法对交易所及其所有用户说请等我一会儿再等。 这意味着生产者永远不会被消费者放慢脚步。 降低生产者速度实际上与增加延迟时间相同但是此延迟时间很容易隐藏。 如果您等到生产者为事件加上时间戳记这会使您的延迟看起来更好。 如果您想采取更现实的措施则应使用时间戳记事件应该由生产者发送 并且不会延迟。 您需要记录所有内容以便重播 重放对于在一定条件下测试应用程序很有用。 例如您可以更改您的应用程序不仅可以看到它的行为正确而且可以及时运行。 对于定量分析他们将需要一组数据来调整其策略。 实时重播旧事件。 您可以记住它的索引而不用复制事件的副本而稍后可以参考该事件您可以稍后重播该事件。 这样可以节省堆中的内存或仅在情况下复制数据。 微爆发对于理解系统至关重要。 一些系统的性能以每天的交易为特征。 这意味着如果在前23个小时内没有完成任何事务而所有事务都在最后一个小时内完成那么您仍将每天执行这么多事务。 经常引用每天的交易是因为它的数量更高但就我而言整天简化工作量听起来很奢侈。 某些系统可能以每秒的事务数为特征。 这可能意味着这些事务可以在一秒钟内开始并完成但并非总是如此。 如果您有1000笔交易并且每毫秒进行一次交易那么您将获得均匀的响应时间。 我发现更有趣的是一天中最忙的一秒钟的交易数量。 这样可以指示系统应该能够处理的流速。 检查微脉冲 考虑一个系统该系统在相同的100微秒内获得30个事件而这些突发相距100毫秒。 这看起来可能是每秒30 / 0.1300个事务这听起来相对容易如果我们需要做的只是跟上进度但是如果我们希望尽快做出响应则短期/突发吞吐量为100中的30微秒或每秒300,000个事件。 换句话说要尽可能快地处理微脉冲您将需要一个系统该系统可以处理的吞吐量比您在几秒钟几分钟或一天内预期的吞吐量高出多个数量级。 理想情况下系统的吞吐量将是一天中最忙的一秒钟的100倍。 在不减慢对这些数据突发的处理速度的情况下每秒处理最繁忙的10毫秒所需的时间。 编年史如何改善微爆的处理 低垃圾率 最小化垃圾是避免GC暂停的关键。 为了有效地使用L1和L2高速缓存您需要保持非常低的垃圾率。 如果您没有有效地使用这些缓存则您的应用程序速度可能会慢2-5倍。 Chronicle中的垃圾非常低您可以处理一百万个事件而无需jstat检测到您创建了任何垃圾。 jstat仅在分配了新的TLAB时显示4 KB的倍数。 编年史确实会产生垃圾但是它非常低。 即每百万个事件进程几个对象。 一旦将GC暂停设置为可管理或不存在您就开始看到系统中的其他延迟源。 拿走巨石您开始看到岩石。 拿走岩石您开始看到鹅卵石。 支持全部写入模型。 众所周知如果保持DEBUG级别登录则可能会严重降低应用程序的速度。 在记录您以后可能想要知道的一切与对您的应用程序的影响之间存在紧张关系。 编年史设计得足够快您可以记录所有内容。 如果替换系统中的队列和IPC连接则可以提高性能并且可以免费甚至更好地“记录所有内容”。 能够记录所有内容意味着您可以在系统的每个阶段添加跟踪时间然后监视系统还可以深入了解系统中最糟糕的1延迟。 这不是您可以使用剖析器为您提供平均值的方法。 通过编年史您可以回答以下问题 系统的哪些部分负责一天中最慢的20个事件 记事本与操作系统的交互最少。 系统调用速度很慢如果可以避免调用操作系统则可以节省大量的延迟。 例如如果在回送时通过TCP发送消息则在写入和读取数据之间可能会增加10微秒的延迟。 您可以写入编年史这是对内存的简单写操作也可以从编年史中读取这也是从内存中读取的内容延迟为0.2微秒。 正如我之前提到的您也会获得持久性 无需担心堆满。 无限制队列的常见问题这使用了一个开放式堆。 Chronicle通过不使用堆来存储数据而是使用内存映射文件来解决此问题。 通过使数据更紧凑可以提高内存利用率但也意味着1 GB的JVM一天可以流处理1 TB的数据而不必担心堆或您拥有多少主内存。 在这种情况下无界队列变得更易于管理。 结论 通过基于不同的假设Chronicle解决了其他解决方案可以避免的问题例如对流控制或使用消息删除已处理消息的需求。 Chronicle旨在更有效地利用您的硬件因此您不需要说30个服务器的云即可每秒处理大约一百万个事件如许多基于云的解决方案所声称的那样您可以与开发人员联系以达到此事件率笔记本电脑。 翻译自: https://www.javacodegeeks.com/2014/05/chronicle-and-low-latency-in-java.htmlit编年史
