Linux堆的一些基础知识

阅读原文时间：2023年07月10日阅读：4

堆的概述
堆的相关数据结构
- 微观结构
- 宏观结构
深入了解堆实现
内容来源

堆的概述

堆用来在程序运行时动态的分配内存，对其实就是虚拟空间里从地址向高地址增长的连续的线性区域。

void *malloc(unsigned int size)：作用是在内存的动态存储区中分配一个长度为size的连续空间。此函数的返回值是分配区域的起始地址，或者说，此函数是一个指针型函数，返回的指针指向该分配域的开头位置。
void free(void *ptr)：释放之前调用 calloc、malloc 或 realloc 所分配的内存空间。
brk()：将数据段(.data)的最高地址指针_edata往高地址推。（从堆头开始，参数为地址）
mmap()：在进程的虚拟地址空间中（堆和栈中间，称为文件映射区域的地方）找一块空闲的虚拟内存。（分配大于128k）
sbrk()：将地址指针往高地址推。（从当前指针位置开始，参数为指针增量）
mummap()：删除地址空间。

堆的相关数据结构

malloc_chuck

申请的内存chunk在ptmalloc内部用malloc_chunk结构体表示。

malloc_chunk的一些字段

prev_size：如果该 chunk 的物理相邻的前一地址chunk（两个指针的地址差值为前一chunk大小）是空闲的话，那该字段记录的是前一个 chunk 的大小(包括 chunk 头)。否则，该字段可以用来存储物理相邻的前一个chunk 的数据。这里的前一 chunk 指的是较低地址的 chunk。
size：该 chunk 的大小，大小必须是 2 * SIZE_SZ 的整数倍。如果申请的内存大小不是 2 * SIZE_SZ 的整数倍，会被转换满足大小的最小的 2 * SIZE_SZ 的倍数。32 位系统中，SIZE_SZ 是 4；64 位系统中，SIZE_SZ 是 8。该字段的低三个比特位对 chunk 的大小没有影响，它们从高到低分别表示:
- NON_MAIN_ARENA：记录当前 chunk 是否不属于主线程，1表示不属于，0表示属于。
- IS_MAPPED：记录当前 chunk 是否是由 mmap 分配的。
- PREV_INUSE：记录前一个 chunk 块是否被分配。一般来说，堆中第一个被分配的内存块的 size 字段的P位都会被设置为1，以便于防止访问前面的非法内存。当一个 chunk 的 size 的 P 位为 0 时，我们能通过 prev_size 字段来获取上一个 chunk 的大小以及地址。这也方便进行空闲chunk之间的合并。
fd，bk：chunk 处于分配状态时，从 fd 字段开始是用户的数据。chunk 空闲时，会被添加到对应的空闲管理链表中，其字段的含义如下:
- fd：指向下一个（非物理相邻）空闲的 chunk。
- bk：指向上一个（非物理相邻）空闲的 chunk。
- 通过 fd 和 bk 可以将空闲的 chunk 块加入到空闲的 chunk 块链表进行统一管理。
fd_nextsize， bk_nextsize：也是只有 chunk 空闲的时候才使用，不过其用于较大的 chunk（large chunk）。
- fd_nextsize：指向前一个与当前 chunk 大小不同的第一个空闲块，不包含 bin 的头指针。（指向比它大的空闲块）
- bk_nextsize：指向后一个与当前 chunk 大小不同的第一个空闲块，不包含 bin 的头指针。（指向比它小的空闲块）
- 一般空闲的 large chunk 在 fd 的遍历顺序中，按照由大到小的顺序排列。这样做可以避免在寻找合适chunk 时挨个遍历。

chunk相关宏

chunk与mem指针头部的转换
- define chunk2mem(p) ((void *) ((char *) (p) + 2 * SIZE_SZ))
- define mem2chunk(mem) ((mchunkptr)((char *) (mem) -2 * SIZE_SZ))
最小的chunk大小
- define MIN_CHUNK_SIZE (offsetof(struct malloc_chunk, fd_nextsize))（offsetof 函数计算出 fd_nextsize 在 malloc_chunk 中的偏移，说明最小的 chunk 至少要包含 bk 指针。）
define MINSIZE (unsigned long) (((MIN_CHUNK_SIZE + MALLOC_ALIGN_MASK) &~MALLOC_ALIGN_MASK))（满足SIZE_SZ的最小上界）
检查分配给用户的内存是否对齐
- define aligned_OK(m) (((unsigned long) (m) & MALLOC_ALIGN_MASK) == 0)
- define misaligned_chunk(p) ((uintptr_t)(MALLOC_ALIGNMENT == 2 * SIZE_SZ ? (p) : chunk2mem(p)) & MALLOC_ALIGN_MASK)
请求字节数判断
- define REQUEST_OUT_OF_RANGE(req) ((unsigned long) (req) >= (unsigned long) (INTERNAL_SIZE_T)(-2 * MINSIZE))
将用户请求内存大小转为实际分配内存大小
- define request2size(req) (((req) + SIZE_SZ + MALLOC_ALIGN_MASK < MINSIZE) ? MINSIZE : ((req) + SIZE_SZ + MALLOC_ALIGN_MASK) & ~MALLOC_ALIGN_MASK)
- define checked_request2size(req, sz) if (REQUEST_OUT_OF_RANGE(req)) { __set_errno(ENOMEM); return 0;} (sz) = request2size(req);
标记位相关
- define PREV_INUSE 0x1
- define prev_inuse(p) ((p)->mchunk_size & PREV_INUSE)
- size field is or'ed with IS_MMAPPED if the chunk was obtained with mmap()
- define chunk_is_mmapped(p) ((p)->mchunk_size & IS_MMAPPED)
- define NON_MAIN_ARENA 0x4
- define SIZE_BITS (PREV_INUSE | IS_MMAPPED | NON_MAIN_ARENA)+
获取chunk size
- define chunksize(p) (chunksize_nomask(p) & ~(SIZE_BITS))
- define chunksize_nomask(p) ((p)->mchunk_size)
获取下一个物理相邻的chunk
- define next_chunk(p) ((mchunkptr)(((char *) (p)) + chunksize(p)))
获取前一个chunk的信息
- define prev_size(p) ((p)->mchunk_prev_size)
- define prev_chunk(p) ((mchunkptr)(((char *) (p)) - prev_size(p)))
当前chunk使用状态相关操作
- define inuse(p)((((mchunkptr)(((char *) (p)) + chunksize(p)))->mchunk_size) & PREV_INUSE)
- define set_inuse(p)((mchunkptr)(((char *) (p)) + chunksize(p)))->mchunk_size |= PREV_INUSE
- define clear_inuse(p)((mchunkptr)(((char *) (p)) + chunksize(p)))->mchunk_size &= ~(PREV_INUSE）
设置chunk的size字段
- define set_head_size(p, s)((p)->mchunk_size = (((p)->mchunk_size & SIZE_BITS) | (s)))
- define set_head(p, s) ((p)->mchunk_size = (s))
- define set_foot(p, s) (((mchunkptr)((char *) (p) + (s)))->mchunk_prev_size = (s))
获取指定偏移的chunk
- define chunk_at_offset(p, s) ((mchunkptr)(((char *) (p)) + (s)))
指定偏移处chunk使用状态相关操作
- define inuse_bit_at_offset(p, s)(((mchunkptr)(((char *) (p)) + (s)))->mchunk_size & PREV_INUSE)
- define set_inuse_bit_at_offset(p, s)(((mchunkptr)(((char *) (p)) + (s)))->mchunk_size |= PREV_INUSE)
- define clear_inuse_bit_at_offset(p, s)(((mchunkptr)(((char *) (p)) + (s)))->mchunk_size &= ~(PREV_INUSE))

bin

根据空闲的 chunk 的大小以及使用状态将 chunk 初步分为4类：fast bins，small bins，large bins，unsorted bin

数组中的bin

unsorted bin：这里面的chunk没有进行排序，存储的chunk比较杂。
small bin：索引从 2 到 63 的 bin，同一个 small bin 链表中的 chunk 的大小相同。两个相邻索引的 small bin 链表中的 chunk 大小相差的字节数为2个机器字长，即32位相差8字节，64位相差16字节。
large bins：small bins后面的bin，large bins中的每一个 bin 都包含一定范围内的chunk，其中的chunk按fd指针的顺序从大到小排列。相同大小的chunk同样按照最近使用顺序排列。
上述这些bin的排布都会遵循一个原则：任意两个物理相邻的空闲chunk不能在一起。

fastbin

unsorted bin的来源

当一个较大的chunk被分割成两半后，如果剩下的部分大于MINSIZE，就会被放到unsorted bin中。
释放一个不属于fast bin的chunk，并且该chunk不和top chunk紧邻时，该chunk会被首先放到unsorted bin中。

last remainder

在用户使用malloc请求分配内存时,ptmalloc2找到的chunk可能并不和申请的内存大小一致，这时候就将分割之后的剩余部分称之为last remainder chunk，unsort bin也会存这一块。top chunk分割剩下的部分不会作为last remainer。

arena

我们知道一个线程申请的1个/多个堆包含很多的信息：二进制位信息，多个malloc_chunk信息等这些堆需要东西来进行管理，那么Arena就是来管理线程中的这些堆的。

heap_info

程序刚开始执行时，每个线程是没有heap区域的。当其申请内存时，就需要一个结构来记录对应的信息，而heap_info的作用就是这个。而且当该heap的资源被使用完后，就必须得再次申请内存了。此外，一般申请的heap是不连续的，因此需要记录不同heap之间的链接结构。

该数据结构是专门为从Memory Mapping Segment处申请的内存准备的，即为非主线程准备的。

主线程可以通过sbrk()函数扩展program break location获得（直到触及Memory Mapping Segment），只有一个heap，没有heap_info数据结构。

typedef struct _heap_info
{
  mstate ar_ptr; /* 堆对应的 arena 的地址 */
  struct _heap_info *prev; /* 由于一个线程申请一个堆之后，可能会使用完，之后就必须得再次申请。因此，一个可能会有多个堆。prev即记录了上一个 heap_info 的地址。这里可以看到每个堆的 heap_info 是通过单向链表进行链接的 */
  size_t size;   /* size 表示当前堆的大小 */
  size_t mprotect_size; /* 最后一部分确保对齐  */
  /* Make sure the following data is properly aligned, particularly
     that sizeof (heap_info) + 2 * SIZE_SZ is a multiple of
     MALLOC_ALIGNMENT. */
  char pad[-6 * SIZE_SZ & MALLOC_ALIGN_MASK];
} heap_info;

malloc_state

该结构用于管理堆，记录每个arena当前申请的内存的具体状态，比如说是否有空闲chunk，有什么大小的空闲chunk等等。无论是thread arena还是main arena，它们都只有一个malloc state结构。由于thread的arena可能有多个，malloc state结构会在最新申请的arena中。注意，main arena的malloc_state并不是 heap segment的一部分，而是一个全局变量，存储在libc.so的数据段。


struct malloc_state {
    /* 该变量用于控制程序串行访问同一个分配区，当一个线程获取了分配区之后，其它线程要想访问该分配区，就必须等待该线程分配完成候才能够使用。  */
    __libc_lock_define(, mutex);

    /* flags记录了分配区的一些标志，比如 bit0 记录了分配区是否有 fast bin chunk ，bit1 标识分配区是否能返回连续的虚拟地址空间。  */
    int flags;

    /* 存放每个 fast chunk 链表头部的指针 */
    mfastbinptr fastbinsY[ NFASTBINS ];

    /* 指向分配区的 top chunk */
    mchunkptr top;

    /* 最新的 chunk 分割之后剩下的那部分 */
    mchunkptr last_remainder;

    /* 用于存储 unstored bin，small bins 和 large bins 的 chunk 链表。 */
    mchunkptr bins[ NBINS * 2 - 2 ];

    /* ptmalloc 用一个 bit 来标识某一个 bin 中是否包含空闲 chun..*/
    unsigned int binmap[ BINMAPSIZE ];

    /* Linked list, points to the next arena */
    struct malloc_state *next;

    /* Linked list for free arenas.  Access to this field is serialized
       by free_list_lock in arena.c.  */
    struct malloc_state *next_free;

    /* Number of threads attached to this arena.  0 if the arena is on
       the free list.  Access to this field is serialized by
       free_list_lock in arena.c.  */
    INTERNAL_SIZE_T attached_threads;

    /* Memory allocated from the system in this arena.  */
    INTERNAL_SIZE_T system_mem;
    INTERNAL_SIZE_T max_system_mem;
};

深入了解堆实现

malloc_consolidate()

函数实现步骤

1、若 get_max_fast() 返回 0，则进行堆的初始化工作，然后进入第 7 步。

2、从 fastbin 中获取一个空闲 chunk。

3、尝试向后合并。

4、若向前相邻 top_chunk，则直接合并到 top_chunk，然后进入第 6 步。

5、否则尝试向前合并后，插入到 unsorted_bin 中。

6、获取下一个空闲 chunk，回到第 2 步，直到所有 fastbin 清空后进入第 7 步。

7、退出函数。

unlink

unlink 用来将一个双向链表（只存储空闲的 chunk）中的一个元素取出来，可能在以下地方使用

malloc
- 从恰好大小合适的 large bin 中获取 chunk
- 从比请求的 chunk 所在的 bin 大的 bin 中取 chunk
Free
- 后向合并，合并物理相邻低地址空闲 chunk
- 前向合并，合并物理相邻高地址空闲 chunk（除了 top chunk）
malloc_consolidate
- 后向合并，合并物理相邻低地址空闲 chunk
- 前向合并，合并物理相邻高地址空闲 chunk（除了 top chunk）
realloc
- 前向扩展，合并物理相邻高地址空闲 chunk（除了top chunk）
  
  在unlink后，拖链的p的fd跟bk的指针都没有变化，我们可以利用这个泄露地址。
libc 地址
- P 位于双向链表头部，bk 泄漏
- P 位于双向链表尾部，fd 泄漏
- 双向链表只包含一个空闲 chunk 时，P 位于双向链表中，fd 和 bk 均可以泄漏
泄漏堆地址，双向链表包含多个空闲 chunk
- P 位于双向链表头部，fd 泄漏
- P 位于双向链表中，fd 和 bk 均可以泄漏
- P 位于双向链表尾部，bk 泄漏

_libc_malloc

函数实现步骤

1、该函数会首先检查是否有内存分配函数的钩子函数（__malloc_hook）

2、接着会寻找一个 arena 来试图分配内存

3、然后调用 _int_malloc 函数去申请对应的内存

4、如果分配失败的话，ptmalloc 会尝试再去寻找一个可用的 arena，并分配内存

5、如果申请到了 arena，那么在退出之前还得解锁。

6、判断目前的状态是否满足以下条件

+ 要么没有申请到内存

+ 要么是 mmap 的内存

+ 要么申请到的内存必须在其所分配的arena中

7、最后返回内存

_int_malloc

1、它根据用户申请的内存块大小以及相应大小 chunk 通常使用的频度（fastbin chunk, small chunk, large chunk），依次实现了不同的分配方法

2、它由小到大依次检查不同的 bin 中是否有相应的空闲块可以满足用户请求的内存

3、当所有的空闲 chunk 都无法满足时，它会考虑 top chunk

4、当 top chunk 也无法满足时，堆分配器才会进行内存块申请

chunk不同范围申请实现

fastbin
- 得到对应的fastbin的下标
- 得到对应的fastbin的头指针
- 利用fd遍历对应的bin内是否有空闲的chunk块
- 检查取到的 chunk 大小是否与相应的 fastbin 索引一致
- 根据取得的 victim ，利用 chunksize 计算其大小
- 利用fastbin_index 计算 chunk 的索引
- 将获取的到chunk转换为mem模式
- 如果设置了perturb_type, 则将获取到的chunk初始化为 perturb_type ^ 0xff
small bin
- 获取 small bin 的索引
- 获取对应 small bin 中的 chunk 指针
- 先执行 victim = last(bin)，获取 small bin 的最后一个 chunk
- 如果 victim = bin ，那说明该 bin 为空
- 如果不相等，那么会有两种情况
  - 第一种情况，small bin 还没有初始化
    - 执行初始化，将 fast bins 中的 chunk 进行合并
  - 第二种情况，small bin 中存在空闲的 chunk
    - 获取 small bin 中倒数第二个 chunk
    - 检查 bck->fd 是不是 victim，防止伪造
    - 设置 victim 对应的 inuse 位
    - 修改 small bin 链表，将 small bin 的最后一个 chunk 取出
    - 如果不是 main_arena，设置对应的标志
    - 将申请到的 chunk 转化为对应的 mem 状态
    - 如果设置了 perturb_type , 则将获取到的chunk初始化为 perturb_type ^ 0xff
large bin
- 获取large bin的下标
- 如果存在fastbin的话，会处理 fastbin
大循环

如果程序执行到了这里，那么说明与 chunk 大小正好一致的 bin (fast bin， small bin) 中没有 chunk可以直接满足需求，但是large chunk 则是在这个大循环中处理
- 尝试从 unsorted bin 中分配用户所需的内存
  - unsort bin 遍历
  - small request
  - 初始取出
  - exact fit
  - place chunk in small bin
  - place chunk in large bin
  - 最终取出
  - while 最多迭代10000次
- 尝试从 large bin 中分配用户所需的内存
- 寻找较大 chunk
  - 找到一个合适的 map
  - 找到合适的 bin
  - 简单检查 chunk
  - 真正取出chunk
- 尝试从 top chunk 中分配用户所需内存