薛城区住房和城乡建设局网站,加强文化网站建设,全国有多少家展馆设计公司,网站建设工期时间表本文属于专栏《构建工业级QPS百万级服务》 1、前置知识 c的内存管理#xff0c;主要说的是堆内存管理。现代计算机系统中#xff0c;用户进程的堆内存#xff0c;由内核映射。
堆内存的来源 主要是通过mmap()函数#xff0c;在进程的虚拟地址空… 本文属于专栏《构建工业级QPS百万级服务》 1、前置知识 c的内存管理主要说的是堆内存管理。现代计算机系统中用户进程的堆内存由内核映射。
堆内存的来源 主要是通过mmap()函数在进程的虚拟地址空间中创建新的映射 为什么需要malloc 因为mmap()是按照page size(一般是4096字节)分配的如果是程序员直接使用很容易照成浪费高效地使用内存是共同需求所以有了malloc为什么需要tcmalloc和jemalloc malloc在内存碎片和多线程性能方面做得不好
三方的内存管理库运行原理就是alias malloc和free函数以及operator new注意不是new operator
#define ALIAS(tc_fn) __attribute__ ((alias (#tc_fn), used))extern C { void* malloc(size_t size) __THROW ALIAS(tc_malloc);void free(void* ptr) __THROW ALIAS(tc_free);
} // extern
两个常用的内存分配算法 Buddy allocation连续的内存分配时不断折半直到刚好满足需要的内存Slab allocation将内存管理起来分成很多个大小相同的小片用一个管理类去记录内存的分配和释放
2、TCMalloc(Thread Cache Malloc)
实现原理首先glibc中内存分配相关的函数都是弱符号TCMalloc定义了自己的函数并将其覆盖 主要思想是每个线程有自己的缓存在自己线程缓存不够用时找Central Heap内存分配时不同大小有不同的策 小内存 每个线程缓存有一个单链表每个节点后面跟着的也是一个链表如下图calss0 位8bytesclass1为16bytesclass2为32bytes。当thread cache不够就找central heap当central heap不够就找内核分配。如果Thread Cache的链太短会频繁找去central分配自旋锁如果太长会浪费一些空间tcmalloc_max_total_thread_cache_bytes参数表示的是在当前thread cache中最多的缓存的不释放回central cache的内存。设置太低会导致在高qps的服务中有频繁释放和申请小内存时会和central cache交互频繁导致加锁太多为了设置合适的free listclass 0 后面跟着的链表长度使用了慢启动算法来决定每个独立的free list的链表长度频繁的申请会增加长度频繁的释放会抑制长度中内存CentralCache256kb size 1MB 这里的个page为8kb大内存PageHeap从pageHeap中找如果没有就向OS申请 调优化经验 对于应用使用堆内存量大的如几个G甚至上百G的。虽然版本不同但是一般给每个线程默认管理的内存大小不超过100M。所以在高配置应用中使用TCMALLOC_MAX_TOTAL_THREAD_CACHE_BYTES来增加单个线程可管理的内存是有显著性能提升的。如export TCMALLOC_MAX_TOTAL_THREAD_CACHE_BYTES1073741824
3、JeMalloc
与tcmalloc类似只是中内存不是从central heap中取还是从线程的缓存中取jemalloc的线程缓存管理范围更广更复杂但是效率更高原理 几个名词 page 操作系统提供的内存来自于mmapchunkjemalloc申请内存的大小单位是page size的n倍默认2Mbbasejemalloc自身使用的堆内存结构arenajemalloc最重要的部分内存管理器每个线程一个分配算法是Buddy和Slab的组合 chunk 使用buddy算法划分不同的runrun使用不同的算法划分固定大小的region大部分内存分配直接查找对应的run从中分配空闲的regionbinbin管理相同类型的run记录了run相关信息。用红黑树管理有空闲的region的run并按照地址排序分配流程 small内存去bin管理的内存中找bin找不到再去arena管理的内存找large的直接去arena中找huge也是去arena找只是这里用的是线程共享的arena但是这里频率很低影响小 所以一般来说频繁创建和删除线程的使用tcmalloc用固定线程的使用jemalloc效率更高。
