Golang的内存管理--学习笔记

Go的内存管理内存的分级arena区SpansGo中的mspan内存管理组件mcachemcentralmheap内存的分配流程内存的分级使用的是多级分配的办法将内存分为多级进行分级管理从而降低锁的粒度。并且将可用的堆内存采用二级管理其中每个线程会有一个自己的内存池只有在自己的内存池不够时才会去全局内存中获取够用时首先使用自己的内存池。基本概念arena区arena是堆区即动态分配区域被分隔成8k大小的页将页组合起来称为mspan。bitmap区域标识arena区域的那些地址保存了对象并且使用4bit标识对象是否包含指针、GC标记信息。bitmap的的一个byte大小的内存标识的是arena的4个指针大小的内存一个是8b因此bitmap的大小512GB/(4*8B)16GB。Spansspans中保存的是mspan是arena中分隔页组成的基本内存管理单元的指针每个指针对应一页会出现多个s指向同一个mspan每一个mspan中也保存了对应的spans在回收时可以快速的找到Go中的mspanmspan是go内存管理的基本单元是一片连续的8kb的页组成的大块内存。mspan的特点mspan是包含页的起始地址页的span规格和页的数量的双端链表关于mspan和object的关系mspan是根据自身的SizeClass来分割成若干个object一个object可储存一个对象在为对象分配内存的时候mspan会分配一个和object大小接近的对象SizeClass和SpanClass的概念Size_Class Span_Class / 2由计算方式可以看出每一个Span_Class中有两个mspan。一个分配给包含有指针的对象一个分配给不包含指针的对象。mspan和SizeClass在Go1.9中mspan的SizeClass有67种每个mspan分割的object大小是8*2n的倍数写在代码中// path: /usr/local/go/src/runtime/sizeclasses.go const _NumSizeClasses 67 var class_to_size [_NumSizeClasses]uint16{0, 8, 16, 32, 48, 64, 80, 96, 112, 128, 144, 160, 176, 192, 208, 224, 240, 256, 288, 320, 352, 384, 416, 448, 480, 512, 576, 640, 704, 768, 896, 1024, 1152, 1280, 1408, 1536,1792, 2048, 2304, 2688, 3072, 3200, 3456, 4096, 4864, 5376, 6144, 6528, 6784, 6912, 8192, 9472, 9728, 10240, 10880, 12288, 13568, 14336, 16384, 18432, 19072, 20480, 21760, 24576, 27264, 28672, 32768}在使用SizeClass的时候其中为0表示大对象直接由对内存分配小对象通过mspan来分配SizeClass也决定了mspan所能分配的页数写死在代码中上图中由两个S指向同一个mspan这是因为两个s指向的P同属一个mspan因此方便了互相查找。startAddr 直接指向了arena区域表示mspan的起始地址allocBIts指向一个位图每位代表一个块是否被分配了对象allocCount 表示已经分配的对象个数内存管理组件Go中的分配器的3中组件的构成mcachemcentralmheapmcacheGo中为每个逻辑处理器P提供一个本地线程缓存即mcache每个P同一时间只能运行一个goroutine因此访问mcache是不需要加锁mcache的结构体定义//path: /usr/local/go/src/runtime/mcache.go type mcache struct { alloc [numSpanClasses]*mspan } numSpanClasses _NumSizeClasses 1mcache中使用numSpanClasses作为索引管理多个用于分配的mspan包含了所有规格的mspannumSpanClasses是mspan中介绍的_NumSizeClasses的2倍数组中的一半mspan是分配给有指针的对象一半是给没有指针的对象。在垃圾回收的时候没有指针的就不需要进一步扫描了mcache的初始化在初始化时没有mspan资源使用过程中动态的从mcentral申请会缓存起来对象小于等于32k时使用mcashe中的mspan。mcentralmecntral为mcache提供切分好的mspan资源每个mcentral保存一种特定大小的全局mspan列表分配的和未分配的mcentral被所有的工作线程共同享有存在竞争有锁机制//path: /usr/local/go/src/runtime/mcentral.go type mcentral struct { // 互斥锁 lock mutex // 规格 sizeclass int32 // 尚有空闲object的mspan链表 nonempty mSpanList // 没有空闲object的mspan链表或者是已被mcache取走的msapn链表 empty mSpanList // 已累计分配的对象个数 nmalloc uint64 }图中的内容和结构体对应获取mspan和归还流程获取加锁从nonempty链表找到一个可用的mspan并将其从nonempty中删除将取出的mspan加入到empty链表将mspan返回给工作线程解锁归还加锁将mspan从empty链表删除将mspan加入到nonempty链表解锁mheapmheap代表Go程序持有的所有堆空间Go程序使用一个mheap的全局对象_mheap来管理当mcentral中没有空闲的mspan时会向mheap申请没有mheap时会向操作系统申请。mheap的主要工作大对象分配内存管理未切割的mspan内存的分配流程32k直接从mheap上分配16B的对象使用mcache的tiny分配器分配二者之间的首先计算对象规格然后从mcache中相应的mspan中分配如果mcache中没有则向mcentral申请mcentral中没有则向mheap申请mheap中没有则找操作系统。