1.概述前面我们介绍了内核态线性地址空间划分及在内核态运行时如何利用伙伴系统完成连续可用物理页框申请和释放。如何利用小块内存分配器实现高效的动态内存分配和释放。如何利用vmallocvfree完成线性地址连续但物理地址不连续的多个页框的分配和释放。这里我们介绍用户态线性地址空间划分及在用户态运行时如何通过mmap来获得和释放用户态线性地址空间用户态分配的线性地址空间要正常访问必然得通过页表关联到物理页这个过程一般放在后续访问节点触发得缺页异常处理中完成。更复杂的是用户态线性地址空间虽然关联了物理页视mmap映射到内存还是文件关联到文件时还需和文件的区域建立关联。同时无论映射到内存还是文件又可区分为私有映射共享映射。这会使得用户态线性区的管理会比内核态更复杂。我们将在这里分析其运行原理。2.用户态线性地址空间整体上看每个进程的用户态线性地址空间将由以上几个固定部分组成。(1). 代码段映射到可执行程序文件中代码段部分。可执行文件中代码位于此部分。(2). 数据段映射到可执行程序文件中数据段部分。可执行文件中已经初始化的全局和静态数据放在这里。(3).BSS段建立此映射用于在这里放置可执行文件中未初始化的全局和静态变量。这些变量在文件中不占空间。但加载程序运行时需为其分配线性空间一般程序中访问。分配的空间一般采用置0来进行初始化。(4). 用户态的动态内存申请和释放一般通过c库提供的malloc和free来进行mallocfree中针对堆部分空间进行管理完成空间分配和释放。堆这个部分一般是尺寸可变的其尾端可以变大实现堆扩展收缩实现堆区域收缩。(5). 映射区域我们可执行程序中用到的动态库每个动态库被加载时加载程序通过mmap获得线性区域来放置其代码段数据段BBS段。我们代码逻辑中可通过mmap建立文件映射实现文件访问我们代码逻辑中可通过mmap建立匿名映射实现大段线性空间申请这些操作都将在这部分进行。(6). 用户态栈进程在用户态运行时有自己的栈来存储临时数据。进程启动运行时的启动参数环境变量也存储在这部分。值得注意的是无论针对64位还是32位系统其用户态线性区域均由上述各个部分组成。只是64为下用户态线性空间尺寸一般为247B2^{47}B247B32位下一般为3GB3GB3GB3.用户态线性地址空间的两种布局3.1.经典布局此种布局下映射区域部分中每个通过mmap得到的线性区域必须从mm-mmap_base开始向后搜索直到在用户态空间找到可用区域。32位下mm-mmap_base值一般是2302^{30}230。在此种布局下堆区域尺寸受到较明显限制典型的32位系统此布局下堆区域至多可达到1GB。但优势是栈区域可自由扩展直到遇到某个mmap区域为止。3.2.新布局此局部下需要先限制用户态栈区域最大尺寸。这样我们可在栈区域之后某个位置设置mm-mmap_base。此布局下映射区域部分中每个通过mmap得到的线性区域必须从mm-mmap_base开始向前搜索直到在堆区域之后找到某个可用的线性区域。在此种布局下堆区域尺寸受到的限制较小典型的32位系统此布局下堆区域至多可达到约3GB。但劣势是栈区域尺寸固定。在64系统上由于可用的线性地址空间巨大总是采用经典布局。32位上两种布局皆可能采用。4.mmap系统调用实现用户态线性区通过mmap实现线性区分配使用值得注意的是通过mmap获得的线性区可分为四种类型(1). 匿名映射私有映射通过此种方式得到的线性区用于为进程获取用户态缓存空间如用户态栈堆及需分配大块用户态缓存时均需通过此方式得到线性区匿名是相对于文件映射而言的即线性区指向的物理页框内的数据是进程管控的和磁盘等外设上数据没关系(2). 匿名映射共享映射通过此方式得到的线性区除了用于进程自身获取大块用户态缓存还可用于父子进程将实现共享内存通信由于限制在父子进程使用较为受限我们不对其做过多分析(3). 文件映射私有映射通过此种方式得到的线性区一般用于加载动态库文件映射的意思是线性区指向的物理页框内的数据是来自于文件对应区域的数据私有映射的意思是要么通过线性区执行数据的只读访问若通过线性区执行数据写入操作必须另外分配新的页框拷贝老数据到新页框修改进程页表再写入到新页框对应位置相应的线性区映射类型自动转换为匿名映射私有映射(4). 文件映射共享映射通过此种方式可以多进程实时共享文件数据直接修改文件自身文件映射的意思是线性区指向的物理页框内的数据是来自于文件对应区域的数据共享映射的意思是通过线性区执行数据写入操作直接写入到关联页框关联页框被写入后将标记为脏页系统自动负责将脏页内容写回到磁盘文件值得注意的是(1). 系统对文件系统上文件正常下均引入文件页高速缓存文件内每一页的数据一般只会存在一个一个物理页框中系统通过address_space对象实现文件页高速缓存的管理(2). 通过mmap获得用户态线性区时线性区除了上述四种类型可供指定外还可指定其他属性如线性区的权限要求权限一般分为只读读写执行还有其他诸如线性区是否可扩展扩展方向等下面分析mmap主要实现过程(1). 各种限制与参数合法性检测注意下几种不合法场景a. 文件共享映射下要求写权限但文件不支持b. 文件共享映射下文件以append模式访问下要求写权限的c. 文件私有映射下文件可以不支持写但需支持读因为此时并不会实际写文件本身(2). 结合建议地址从遍历所有已经分配线性区选出一个满足尺寸要求的可用线性区(3). 线性区标志集合构造注意下几个情况a. 文件共享映射下要求写时标志集合包含VM_SHARED要求读时标志集合不含VM_SHARED也不含VM_MAYWRITEb. 匿名共享映射下无论读写标志集合包含VM_SHARED(4). 取得可用线性区前一线性区验证是否可与其合并合并下合并后直接结束我们分析不合并后续处理(5). 为新线性区分配vma对象初始化(6). 若是文件映射需设置好vma的vm_ops(7). 若是共享匿名映射实际上转变为特殊文件系统上dev/zero文件的文件映射来处理匿名共享映射一般用于父子进程通信我们不过多分析(8). 新区域的vma需加入进程vma链表进程vma红黑树结构值得注意的是a. 针对以VM_LOCKED方式申请的用户态线性区域在mmap阶段会手动引发缺页异常完成物理页分配映射区域页表设置的工作文件映射下会以文件对应区域内容填充物理页以VM_LOCKED方式得到的物理页不会被页框回收过程所回收b. 非VM_LOCKED下执行mmap我们指示划分出可用用户态线性区域并加入结构并未实际执行物理页分配页表设置等工作5.munmap系统调用实现(1). 各种合法性检测(2). 验证是否存在某个区域包含待释放区域若是则处理区域拆分我们不考虑拆分主要关注释放区域处理(3). 释放区域对应的页表项需清理对应的物理页递减其引用数(4). 释放区域的vma需从进程vma链表进程vma红黑树中移除6.对mallocfree的分析mallocfree是c库提供的用于内存分配内存释放的函数其操作的区域是进程的堆区域针对进程堆区域这一连续可用线性区域在其上构建诸如类似内核伙伴系统固定尺寸内存分配器这样的结构来管理这片可用区域上的内存分配和释放便是mallocfree的任务值得注意的是堆这片线性区域可以扩展可以收缩这得借助于系统调用sys_brk7.缺页异常由于我们初始执行mmap得到的可用的用户态线性区域既没作页表的准备也没作物理页的准备所以初次访问这样的线性地址时将引发缺页异常实际上对线性地址的任何非法访问均引起缺页异常我们可以梳理下缺页异常各种场景及每种场景下处理策略(1). 访问内核态线性地址引发直接映射区域部分一般启动阶段已经完成页表注册一般不会触发缺页异常进程访问vmalloc区域或其他非直接映射区域可能引发先拷贝内核全局页表中对应页表项到进程再检查页表项是否有效无效或其他情况皆为无效访问场景(2). 访问用户态线性地址引发a. 访问的线性地址不属于进程任何现有线性区若访问位置紧靠用户态栈尝试栈扩展来解决否则属于无效访问用户态线性地址的无效访问一般将给引发进程发送段错误信号b. 访问的线性地址属于某个线性区但页表项为空线性区通过mmap分配后进程的页表未同步修改时初次访问线性地址场景c. 访问的线性地址属于某个线性区但页表项非空但显示物理页不存在对匿名映射页框由于页框回收被交换出去后再次访问触发此场景对文件映射页框由于页框回收被回收后再次访问触发此场景d. 访问的线性地址属于某个线性区页表项存在但权限错误对文件私有映射且线性区要求写权限时初次读取线性地址引发的缺页异常处理中页表项并不会设置写权限此后继续对线性地址执行写入触发此场景缺页异常主体处理流程简要描述(1). 访问内核态线性地址引发时(1.1). 内核模式引发且属于no page错误类型将属于内核主线程页表中线性地址对应页表项拷贝到进程页表若拷贝到有效页表项则解决此异常否则进入bad_area_nosemaphore(1.2). 其他场景进入bad_area_nosemaphore(2). 访问用户态线性地址引发时(2.1). 中断上下文引发或当前进程不是用户态进程进入bad_area_nosemaphore(2.2). 内核模式引发且异常地址在异常表中搜索不到处理函数此场景对应系统调用中访问用户态线性地址引发的异常先尝试寻找修复程序进入bad_area_nosemaphore(2.3). 从进程所有已经分配线性区寻找容纳引发访问异常地址所在线性区找不到容纳的就找在其右边最靠近其的a. 若找不到这样的线性区进入bad_areab. 找到一个容纳其的vma进入good_areac. 找到右边最靠近其的一个vma若此vma不支持向下扩展进入bad_area若在用户态引发且异常地址距离用户态栈顶相距超过128依然进入bad_area其他情况通过扩展用户态栈来解决异常缺页异常特定场景处理(1).good_area这里的场景对应的是访问用户态线性地址引发异常且此线性地址落在进程已经分配的某个vma内(1.1). 分析场景a. 若属于写访问但页表项不支持写_1.若隶属的线性区不支持写访问转到bad_area_2.设置写访问标志b. 若属于写访问但页表项不存在_1.若隶属的线性区不支持写访问转到bad_area_2.设置写访问标志c. 若属于读访问但页表项不支持读转到bad_aread. 若属于读访问但页表项不存在若隶属的线性区不支持读转到bad_area(1.2). 在handle_mm_fault中实际解决异常(2).bad_area处理参考bad_area_nosemaphore处理(3).bad_area_nosemaphore处理这里的场景对应的是访问到了无效的线性地址(3.1). 若用户态引发采用给进程发SIGSEGV信号来解决(3.2). 若内核态引发转到no_context(4).no_context处理这里的场景对应的是内核态下访问了无效的线性地址(4.1). 采用引导异常线性地址搜索异常表找到处理程序下设置regs-rip指向处理程序后结束(4.2). 不存在异常处理程序时将使得系统停用(5).out_of_memory处理此场景对应bad_area的handle_mm_fault处理中返回了标志out_of_memory的错误若是用户态访问引发的停止引发异常进程若是内核态访问引发的转到no_context(6).do_sigbus处理此场景对应bad_area的handle_mm_fault处理中返回了标志do_sigbus的错误若是用户态引发的给引发异常进程发SIGBUS信号若是内核态访问引发的转到no_context异常修复处理分析handle_mm_fault过程结合上述背景能走到的handle_mm_fault这里必然是访问了用户态线性地址引发了异常且进程存在包含此线性地址的vma引发此场景存在三种可能1.线性地址对应页表项不存在2.页表项存在但present标志为空3.页表项存在present标志非空但权限错误只能是页表项不支持写不支持读的前面过滤掉了其执行流程可简要描述为(1). 保证页表中各级页表存在(2). 若属于页表项不存在转到do_no_page处理(3). 若属于页表项存在但present未设置若页表项包含file标志转到do_file_page处理若页表项不含file标志转到do_swap_page处理(4). 若页表项存在且present设置预期此时只能是写访问异常转到do_wp_page处理do_no_page处理当我们通过mmap获得线性区此后首次访问线性地址时引发此场景(1). 若vma的vm_ops未设置或vm_ops-nopage未设置匿名映射下会如此转到do_anonymous_page处理(2). 这里应该是文件映射场景执行vma-vm_ops-nopage这个步骤预期完成页框分配文件内容填充等操作存储了文件内容的页框收到文件的基树统一管理来实现文件的页高速缓存机制(3). 针对文件映射下的私有映射的写访问(3.1). 此时此vma将从文件映射转变为匿名映射为此需为其分配一个struct anon_vma然后将vma加入到anon_vma代表的链式结构(3.2). 分配新页框用vma-vm_ops-nopage返回页框内容填充新页框相应的返回页框引用数递减(4). 设置页表项使其指向正确页框使其包含vma的页表标志(5). 文件私有映射写访问时还需设置页表项的可写标志(6). 文件私有映射写访问时还需为新页框设置index代表了页框对应文件内偏移mapping指向新页框隶属的线性区所隶属的anon_vma结构设置其_mapcount为1(7). 其他情况的文件映射只需递增页框的_mapcount即可do_anonymous_page处理这里对应的是匿名映射首次访问时的处理其处理流程为(1). 先是构造一个和vma权限要求一致的页表项但取消页表项的可写标志让此页表项指向一个特殊的全局的称为零页的特殊页框(2). 若是读访问引发的缺页异常设置页表项并返回即可(3). 若是写访问引发的缺页异常a.需为其分配一个struct anon_vma然后将vma加入到anon_vma代表的链式结构b. 分配新页框c. 设置页表项指向新页框按vma权限标志设置设置其dirty位线性区支持写时设置其可写标志位d. 为新页框设置index代表了页框对应线性区的偏移mapping指向新页框隶属的线性区所隶属的anon_vma结构设置其_mapcount为1do_file_page处理暂不分析涉及到页框回收do_swap_page处理暂不分析涉及到页框回收do_wp_page处理结合上面场景文件映射且私有映射映射时支持写权限且初次读访问后续写访问时会执行到这里此时参考文件私有映射初次写访问时额外分配新页框拷贝原内容设置页表vma分配并加入anon_vma链表设置page相关字段处理匿名映射且私有映射映射时支持写权限且初次读访问后续写访问时会执行到这里此时参考匿名私有映射初次写访问时额外分配新页框设置页表vma分配并加入anon_vma链表设置page相关字段处理map组合使用mmap 的两个独立维度可以组合出 4 种模式分别对应不同的技术需求共享映射 (MAP_SHARED)私有映射 (MAP_PRIVATE)文件映射多进程共享同一块文件页缓存写操作回刷磁盘Copy-on-Write读共享文件页写时复制私有页匿名映射多进程共享一块零初始化内存无文件 backing进程独占的零初始化内存最常用的一般内存申请进程间通信IPCIPC 的核心诉求是多个进程看到同一份物理内存。文件映射 共享映射MAP_SHARED 文件 fd最经典的 POSIX 共享内存方式。多个进程 mmap 同一个文件内核会让它们共享同一份页缓存。写操作会回刷到磁盘因此兼具持久化能力。典型用法日志系统、数据库共享缓存区、大规模数据交换。注意通常配合 ftruncate 预置文件大小且需自行处理同步msync和并发锁。匿名映射 共享映射MAP_SHARED | MAP_ANONYMOUS适用于有亲缘关系的进程如父进程 mmap 后 fork子进程继承该映射父子共享同一块物理内存。无文件 backing进程全部退出后内存释放不持久化。为什么不选私有映射做 IPCMAP_PRIVATE 的本质是 Copy-on-Write。任一进程写入都会触发私有页复制导致进程间内存分离失去通信意义。用户态自定义内存分配器分配器的核心诉求是向 OS 申请虚拟地址空间并根据策略管理其生命周期。匿名映射 私有映射MAP_PRIVATE | MAP_ANONYMOUS最常用组合。malloc/free 的实现如 ptmalloc、jemalloc在申请大内存通常是 128KB时底层就是调用这个组合。分配器获得一块进程独占的零初始化内存与其他进程完全隔离。物理内存按需分配Page Fault 时由内核分配回收时可通过 munmap 精确归还避免 brk 无法归还中间块的缺陷。文件映射 私有映射MAP_PRIVATE 文件 fd主要用于加载可执行文件/共享库如 .so、.text 段或需要基于文件内容初始化的内存。Copy-on-Write 特性保证进程间可以共享只读代码页写入时如全局变量修改才私有复制。为什么不选共享映射做一般分配器分配器管理的堆通常是进程私有的。若使用 MAP_SHARED一个进程释放的内存状态会暴露给其他进程破坏隔离性且引入不必要的同步开销。