线程为什么叫轻量级进程？Linux内核线程实现与进程区别全解析

长假前后有几个准备面试的朋友都不约而同地问我同一个问题能不能用一句话讲清楚线程和进程的区别。说实话如果只是背“进程是资源分配的最小单位线程是CPU调度的最小单位”应付面试还行但你要是真去Linux上写多线程程序遇到性能问题、崩溃问题、定位问题的时候这句话根本帮不了你。我写这个系列就是想从头到尾把线程这件事掰开揉碎第一篇先讲清楚线程到底是什么、跟进程到底差在哪、Linux内核又是怎么把线程造出来的。这篇内容不需要你有太多基础只要写过fork、知道进程大概是什么样就能跟着走一遍。看完之后你会明白几个很关键的事为什么线程叫轻量级进程为什么线程有自己的ID但又不是进程ID为什么说线程是调度单位而进程是资源单位以及Linux内核里其实根本没有专门的“线程”数据结构。1. 概念拆解先搞清楚线程到底是个什么“东西”1.1 从进程说起程序、进程、线程的三层关系很多教材上来就讲“线程是进程内部的一条执行路径”这句话没错但有点太抽象了。我是这么理解的程序是放在磁盘上的静态文件一堆指令和数据什么都不干进程是程序被加载到内存之后的运行实例内核给它分配了独立的内存地址空间、文件描述符表、信号处理方式、当前工作目录等一堆资源然后让CPU去执行它。进程就像一个独立的“房间”这个房间里有自己的家具、自己的门、自己的电路。两个进程就是两个完全隔开的房间A房间想用B房间的桌子没门只能通过走廊进程间通信传递东西。那线程是什么线程是进程这个“房间”里面的一条活动路线。一个房间里可以同时有好几个人在干活他们共享这个房间的家具、照明、电路但每个人手里拿的东西是自己的走的步子也是自己的。这些人之间想递个工具直接喊一声就行不用通过走廊绕到外面去。这个类比基本把线程和进程的底层关系说清楚了线程是在进程的地址空间内运行的执行流进程里的资源被所有线程共享但每个线程有自己独立的栈、寄存器上下文和调度状态。1.2 线程的组成哪些是私有的哪些是共享的线程不是凭空冒出来的东西它是内核里一个可调度实体的具体体现。一个线程在Linux里至少包含这些私有内容线程IDTID在Linux里就是内核的pid独立的栈空间存放局部变量、函数调用信息独立的寄存器上下文CPU当前跑在哪个指令、栈指针在哪独立的信号掩码某些信号对这个线程屏蔽还是放行独立的errno每个线程有自己的错误码变量不然两个线程同时出错会互相覆盖线程局部存储TLS用__thread修饰的变量而共享的内容更多内存地址空间代码段、数据段、堆、打开的文件描述符表、信号处理函数、当前工作目录、用户ID和组ID、进程IDtgid。我见过不少新手在这里犯迷糊线程之间共享堆所以new出来的对象大家都能访问但每个线程有自己的栈所以函数里的局部变量互相不干扰。这个“共享堆、私有栈”的模型是理解一切线程同步问题的地基。为什么多线程访问同一个对象需要加锁就是因为堆是共享的为什么每个线程可以安心用局部变量就是因为栈是私有的。1.3 为什么叫“轻量级进程”LWP的由来线程在Linux里有个专门的称呼轻量级进程Lightweight ProcessLWP。我第一次听到这个词的时候觉得挺绕后来才明白它说的是什么意思。传统上用fork()创建一个子进程内核要把父进程的地址空间、文件表、信号处理等整套资源复制或者写时复制一份这个过程开销不小。而创建一个线程Linux里用clone()带特定参数实现不需要复制整套资源只需要新建一个任务描述符、分配一个内核栈、设置好寄存器上下文然后把进程已有的资源引用计数加一就行了。创建线程的成本比创建进程低切换线程的成本也比切换进程低所以叫“轻量级”。但要注意这个“轻量”是相对的不是说你随便创建几万个线程都很轻松后面我会讲到线程数量和开销的真实情况。2. 线程与进程的差异对比不只是“多了一个线程”2.1 资源视角进程是资源盒子线程是盒子里的执行者从资源角度看进程和线程的定位完全不同。内核通过进程来管理资源虚拟内存、文件描述符、信号处理器、挂起的信号、资源限制等。这些资源记录在进程描述符和它指向的各种结构体里。当你启动一个进程时内核会创建一套完整的资源集合当你在这个进程里创建一个线程时内核不会重新创建一套资源而是让新线程指向原有进程的资源同时只给线程自己准备执行所需的最小集合栈、寄存器上下文、调度信息。说得直白一点进程是“资源容器”线程是“容器里的执行单元”。你杀掉一个进程它里面的所有线程全没了你让一个线程调用exit()整个进程所有线程都会退出。这也解释了为什么多线程程序里某个线程段错误会导致整个进程崩溃——地址空间是共享的一个线程踩坏了内存其他线程全在同一个空间里跑谁也别想跑掉。2.2 调度视角内核真正调度的是谁这是很多人观念上最难转过来的弯。在Linux内核里调度器根本不知道什么是“进程”和“线程”的区分它眼里只有一个一个的“任务”task。每个任务对应一个task_struct结构体调度器维护一个可运行任务的队列按优先级、时间片等策略从里面挑一个放到CPU上执行。你写一个单线程进程内核里对应一个task写一个开了四个线程的进程内核里对应五个task四个线程加一个主线程。这五个task在调度器看来是五个独立的调度实体每个都有自己的状态、优先级、时间片。这就是“线程是CPU调度的基本单位”这句话的由来。所以你会发现一个现象单核CPU上一个多线程程序虽然只有一个进程但它的各个线程会轮流占用CPU看起来像是“并行”的其实是调度器在快速切换。而在多核CPU上不同线程可以同时运行在不同核心上这才是真正的并行。2.3 通信和开销为什么线程间通信更快进程间通信IPC为什么麻烦因为地址空间隔离A进程不能直接访问B进程的内存。你得用管道、消息队列、共享内存、Socket这类机制数据要复制来复制去或者经过内核中转开销很大。线程呢线程共享同一个地址空间A线程写一个全局变量B线程直接就能读不需要任何内核介入速度当然快。代价是什么没有内核帮你做隔离和同步了你得自己用锁、条件变量、原子操作来保证正确性。我打个比方进程间通信像是两个封闭房间里的人传纸条纸条要经过走廊、经过管理员内核传递线程间通信像是同房间里的几个人直接说话又快又方便但如果几个人同时说就谁也听不清——所以需要定规矩这个“定规矩”就是同步机制。所以线程的开销优势不是凭空来的它牺牲的是隔离性和安全性。写多线程程序比写多进程程序容易出bug根源就在这里。2.4 关键差异速查表维度进程线程地址空间独立共享资源拥有文件表、信号、目录等全套共享进程的只有栈和寄存器私有调度单位进程内的主线程是task但本质上调度看task每个线程都是独立task是真正的调度单位通信方式管道、消息队列、共享内存、Socket等直接读写共享内存简单但需同步切换开销较大涉及地址空间切换、缓存失效较小同进程线程切换不涉及地址空间切换健壮性一个进程崩溃不影响其他进程一个线程崩溃整个进程退出资源回收进程退出后内核回收全部资源线程退出后它的资源需要回收或detach这张表背下来不难难的是明白这些差异是怎么从内核设计里长出来的。接下来就进入内核实现的部分这是理解一切的钥匙。3. 内核实现原理解析Linux内核是怎么搭建线程的3.1 三种经典线程模型用户级、内核级、混合在说Linux之前先看看教科书上的三种线程实现模型不然你没法理解Linux为什么选择了现在的做法。用户级线程User-Level ThreadULT是早期的一种实现方式。线程的管理完全在用户空间内核毫不知情。线程切换不需要陷入内核速度极快但问题是如果一个线程发起阻塞式系统调用比如read()整个进程都会被阻塞因为内核只看到这一个进程它不知道这个进程内部还有别的线程可以运行。这对现代应用来说太致命了所以用户级线程逐渐被淘汰但它的思想在协程、Go的goroutine里以另一种形式复活了这个我们后面可以单独聊。内核级线程Kernel-Level ThreadKLT是线程由内核管理每个线程都是内核里的一个调度实体。一个线程阻塞时内核可以调度同进程的其他线程运行。缺点就是线程切换要进内核开销比用户级线程大同时线程控制块也要占用内核资源。混合模型则试图结合两者用户级线程对应到若干个内核级线程上多对多映射兼顾灵活性和并发能力。早期的Solaris就是这种模型但实现复杂度太高现在用得也不多。Linux的做法可以看作“内核级线程为主用统一任务模型覆盖进程和线程”也就是接下来要讲的clone()机制。3.2 Linux的实现clone、CLONE_THREAD与tgidLinux早期没有专门的线程系统调用POSIX线程库最初的LinuxThreads实现是靠clone()配合参数模拟出来的。后来内核和glibc不断演进才有了今天的NPTLNative POSIX Thread Library。但核心机制一直是那个线程和进程都是task_struct区别只在于创建时参数不同、资源共享程度不同。fork()是创建一个子进程子进程获得父进程的拷贝写时复制两者拥有不同的进程ID和独立的地址空间。vfork()是更古老的优化子进程共享父进程地址空间且父进程阻塞语义很别扭现在基本不用了。clone()才是万能钥匙它的原型是int clone(int (*fn)(void *), void *stack, int flags, void *arg, ...);关键在于flags参数。传CLONE_VM表示共享内存地址空间传CLONE_FS表示共享文件系统信息当前目录、umask等传CLONE_FILES表示共享文件描述符表传CLONE_SIGHAND表示共享信号处理函数。你把这些flag组合起来用就能控制新任务和旧任务共享哪些资源。那线程用的是哪一套flag大致包括CLONE_VM | CLONE_FS | CLONE_FILES | CLONE_SIGHAND | CLONE_THREAD等。CLONE_THREAD非常关键它把新任务放进同一个线程组里也就是说新任务的tgidthread group ID和创建者的tgid相同而tgid就是传统意义上的“进程ID”。这里有个容易绕晕的地方在Linux里getpid()返回的是tgid而不是内核任务真正的pid。同一个进程里的所有线程getpid()返回值相同这个值就是线程组ID。而每个线程自己的内核pid线程ID要用gettid()或者通过系统调用间接获取。至于tgid这个名字我习惯把它理解成“线程组ID”它就是用户看到的进程号。所以任何一个多线程进程内核里是这样的结构一个tgid相同的线程组里面有多个task_struct每个task_struct有自己的pid内核线程ID共享同一个mm_struct地址空间。3.3 关键数据结构task_struct、mm_struct与files_struct要真正理解线程和进程的关系得认识这几个关键的数据结构。task_struct是内核里的任务描述符每个进程、每个线程都对应一个。它又大又复杂我们只关心几个字段pid内核视角的进程ID每个任务唯一。对线程来说这就是线程ID。tgid线程组ID。主线程的pid等于tgid子线程的pid不同但tgid相同。mm指向内存描述符mm_struct描述这个任务看到的地址空间。files指向打开文件表的指针。然后是mm_struct。如果两个任务的mm指针指向同一个mm_struct那它们就共享地址空间——代码、数据、堆都一样这实际上就是线程。如果指向各自独立的mm_struct它们就是两个进程。看到没有内核判断“你是不是线程”的方式非常简单粗暴共享不共享地址空间。files_struct也一样。进程打开的文件描述符表在内核里是个结构体线程之间共享同一个files_struct所以A线程open()的文件B线程直接用同一个fd就能读。多进程就不行了除非用继承或者显式传递不然文件表是各管各的。这就是为什么我说“内核里没有专门的线程数据结构”线程不是一个特殊的结构体它就是一个普通任务只是在创建时通过clone的flags把资源指针指向了父任务。3.4 从调度器的角度看线程切换为什么快前面说了调度器眼里全是task。那同一个进程的两个线程切换和两个进程的切换有什么区别呢核心在于地址空间要不要切换。进程切换时内核要切换页表每个进程有自己的地址空间也就是要刷新TLB快表让CPU看到新进程的页表映射。这很贵因为新进程跑起来后TLB几乎是空的所有的内存访问都要重新查页表缓存命中率也会下降。线程切换时如果两个线程属于同一个进程它们的mm指向同一个mm_struct页表根本不用切换TLB可以继续用。内核只需要保存和恢复寄存器、栈指针、指令指针等上下文然后更新调度信息就行了。这一步省下的开销在频繁切换的场景下非常可观。但注意这只针对同一进程内的线程切换。不同进程的线程切换或者线程池里线程跑到不同进程的任务上时该切页表还得切。所以“线程切换比进程切换快”这句话要加个前提同进程内线程切换。3.5 线程同步问题的内核根源既然线程共享地址空间那多个线程同时读写同一个变量就会产生竞争。比如两个线程同时执行counter这个操作在机器指令层面通常是三条读内存到寄存器、寄存器加一、写回内存。两个线程可能在任意一条指令之后被打断于是出现丢更新。这里最关键的一点是内核提供的是最底层的原子性和调度保障它不会替你做业务层面的互斥。你必须在用户态用互斥锁、自旋锁、原子变量、读写锁等机制来保证临界区的串行访问。而实现这些锁底层又依赖内核提供的futex快速用户空间互斥锁机制多数情况下锁的竞争在用户态就能解决不用进内核只有真正冲突时才通过futex系统调用让内核介入睡眠和唤醒。所以线程并发控制的整套逻辑是分层的用户态用锁API锁的实现用了原子指令和futexfutex又依赖内核的等待队列。把这条链路理清楚你会发现写多线程代码时的很多“玄学”问题其实都是可以推理的。4. 实操观察在命令行和代码里“看见”线程4.1 用ps和top查看线程LWP、PID和TID的关系理论讲得再多不如实际看一眼。先说ps命令。如果要看进程的线程用-L参数ps -Lf -p pid输出里有一列LWP就是线程ID轻量级进程ID还有一列NLWP表示线程数。你会看到同一个PID下面有好几行每行的LWP不同。这里注意ps -L显示的PID其实是tgidLWP才是每个线程内核里的pid。top也可以看线程。进入top后按H键就会切换成线程视图或者直接top -H -p pid这样能实时看到每个线程的CPU占用率。排查程序CPU飙高时第一步就是打开这个视图找到到底是哪个线程在吃CPU然后才能针对性处理。我自己的习惯是先用ps -T -p pid快速看一眼线程数量和线程ID再用top -H -p pid动态观察CPU占用。两个配合起来基本能判断多线程程序的运行状态。4.2 代码层面的IDgetpid、gettid、pthread_self写代码的时候三个ID函数经常让人搞混。getpid()返回线程组ID也就是用户看到的进程号。同一个进程的所有线程调用getpid()结果完全一样。gettid()返回内核的线程ID就是task_struct里的pid每个线程不同。但注意gettid()没有直接的glibc封装要用syscall(SYS_gettid)调用。pthread_self()返回的是POSIX线程库的线程ID类型是pthread_t这个值和内核TID不一定一样它只是线程库内部用来标识线程句柄的东西在线程之间做比较、做唯一标识用。日常开发中想给每个线程一个稳定、可打印的唯一标识用gettid()最直观因为它就是内核里对应的那个任务ID配合ps -L看到的LWP能对上号。用pthread_self()的话值本身没有直观含义只能用来区分不同的线程句柄。4.3 动手跑一个最小多线程程序光说没用写个最简单的例子看看。下面的代码创建四个线程每个线程打印自己的内核线程ID和进程ID#include stdio.h #include pthread.h #include unistd.h #include sys/syscall.h void *worker(void *arg) { int num *(int *)arg; printf(线程%d: pid%d, tid%ld\n, num, getpid(), syscall(SYS_gettid)); return NULL; } int main() { pthread_t tids[4]; int nums[4] {1, 2, 3, 4}; for (int i 0; i 4; i) { pthread_create(tids[i], NULL, worker, nums[i]); } pthread_exit(NULL); // 主线程等待所有线程结束 }编译运行gcc -o thread_demo thread_demo.c -pthread ./thread_demo你会看到四个线程打印出来的pid全都一样而tid各不相同。再用ps -L -p看看这个进程LWP列会显示五个线程ID四个工作线程加主线程跟程序里面gettid()打印出来的值一一对应。这个实验虽然简单但特别推荐新手跑一遍。它把抽象的“线程是共享资源的独立调度实体”变成了一行行能看到的输出。当你亲眼看到四个线程共享同一个进程号各自又有不同的内核任务号时前面的理论会变得非常好理解。4.4 局部变量、全局变量与堆的“边界实验”接着做一个小实验验证共享和私有的边界。写一个全局变量int global 0;每个线程里声明一个局部变量int local 0;然后每个线程把自己的global加一、local加一打印出来。你会看到每个线程的local永远是自己那一份互不干扰而global如果不用锁多个线程同时加最后的结果可能不是4而是3、2甚至1。原因是global不是原子操作线程之间互相踩踏了。这个实验的价值在于它让你直观地感受“堆/全局区共享 栈私有”带来的后果。很多人第一次跑出这种“吓人”的结果时才开始真正理解锁的必要性。如果你还没做过这个实验强烈建议去试一下比读十篇博客都管用。5. 常见问题与排查心得初学者最容易踩的坑5.1 常见疑点getpid、崩溃、数量上限、切换开销我在各个技术社区看了很多线程相关问题也自己在实际开发里踩过不少总结几个最典型、最容易让人迷糊的点。为什么同一个进程里所有线程getpid()一样因为getpid()返回的是线程组IDtgid这是给用户看的“进程号”。线程自己真正的内核ID要用gettid()。所以在排查问题的时候如果你通过getpid()去匹配线程永远只能看到进程匹配不到具体线程。为什么一个线程崩溃整个进程都退出因为线程共享地址空间。段错误本质上是访问了非法内存地址内核发现这个task访问了非法地址就会向整个线程组发送信号结果整个进程都完蛋。这和进程间隔离的情况完全不同多进程程序里一个子进程崩了父进程还能来处理善后。线程数量有限制吗有。每个进程能创建的线程数量受虚拟内存、栈大小、内核参数vm.max_map_count、ulimit -u用户最大进程数注意这里进程和线程一起算等共同限制。默认线程栈是8MB一个进程如果虚拟地址空间受限32位系统常见线程数量上不去。64位系统下理论上可以创建很多线程但实际受内存和调度开销制约我见过有人把线程栈调到512KB来换取更高并发但这样栈溢出风险也上来了。线程切换真的比进程切换快很多吗同一进程内的线程切换确实快因为不需要切换地址空间。但如果你在多个进程的线程之间来回切换比如线程池服务不同进程的任务上下文切换开销和进程切换差不多。很多性能优化的文章动不动说“多线程比多进程快”其实要看场景。5.2 定位CPU占用高的线程一个完整的排查思路在实际开发中最常见的需求就是“哪个线程在吃CPU”。我给出一个可复用的排查流程。第一步用top -H -p pid找到CPU占用最高的线程ID。比如看到某个LWP是12345。第二步把这个十进制ID转成十六进制printf %x\n 12345得到0x3039。第三步用gdb挂到进程上或者看线程的堆栈。如果是Java进程用jstack配合十六进制线程ID找线程如果是C/C进程用gdb attach pid之后执行thread find 0x3039再bt看堆栈。这套流程可以定位到具体哪一行代码在死循环、哪个函数在忙等。很多线上CPU飙高的问题最后查下来不是业务代码贵而是一个线程在锁自旋里疯狂重试或者某个线程在空轮询。用上面的方法几秒钟就能锁定。5.3 线程相关的常见误区整理误区实际情况线程有自己的地址空间错线程共享进程地址空间只有栈和寄存器私有线程ID就是进程ID不一定内核里每个线程有独立pidgetpid返回tgid一个线程死了不影响其他线程错共享地址空间的线程段错误会拖垮整个进程多线程一定比多进程快不一定涉及锁竞争、缓存伪共享、上下文切换有时更慢线程越多越好错线程切换和同步开销会吃掉红利过载后性能反而下降线程是内核专门实现的结构错Linux没有专门线程结构线程就是一个共享资源的task这个表我还想再强调最后一行Linux里线程就是进程进程其实就是线程组。这句话有点绕但想通了之后很多Linux的怪癖都能理解。比如fork()之后在多线程程序里调用exec、信号处理在多线程程序里的分发逻辑这些都是在“统一task模型”这个前提下展开的。5.4 实操中的几个习惯性建议排查线程问题我个人的几个习惯第一建线程时永远用pthread_attr_t设置栈大小和分离状态不要依赖默认值。默认栈8MB在64位系统下看着很大但如果你创建几千个线程内存直接爆掉。一般按需设置到几百KB到几MB。第二工作线程最好都带名字。在pthread_create之后用prctl(PR_SET_NAME, worker_pool_1)设置线程名top -H里就能直接看到排查时一目了然。很多线上问题定位慢就是因为所有线程都叫默认名字分不清谁是谁。第三用线程局部日志记录线程ID。在多线程程序里打日志一定要把线程ID带上不然几个线程的输出混在一起根本没法排查。结尾系列预告与一点个人体会写到这里这个系列的第一篇也就差不多了。我这几年看下来发现很多人对线程的恐惧其实不是来自锁、条件变量这些API本身而是来自“线程到底是什么”这个根本问题没有建立清晰的模型。内核里没有线程专用结构、线程共享地址空间、线程有自己的调度上下文这三件事想通了后面再学互斥锁、读写锁、条件变量、线程池、并发性能调优都会顺很多。我自己的体会是学习线程相关的内容一定要理论和实操穿插着来。光看书会觉得每个字都认识但什么也没记住光写代码又会踩一堆理解不了的坑。像上面那个简单的多线程程序配上top -H观察一下真实行为比死记硬背十遍“线程是调度的基本单位”都管用。下一篇我打算深入讲线程的同步机制从原子操作到互斥锁再到内核里的futex实现把锁为什么这么设计这件事彻底说透。