Go 并发编程四大件实战：协程池、Pipeline 流水线、令牌桶限流与并发文件哈希（单测全绿）

Go 并发编程四大件实战协程池、Pipeline 流水线、令牌桶限流与并发文件哈希单测全绿goroutine 和 channel 上手很容易但工程里真正反复出现的并发形态其实就四个控制并发度的协程池、多级加工的流水线、突发与均速兼顾的限流器、以及批量任务的并发扫描。这套源码包把四个形态各做成一个生产级模块——泛型 API、表驱动单测、可运行 demo 三件套齐备每个模块的注释里还埋了一个真实工程坑的来龙去脉。一、四大并发件分工模块场景关键能力workerpool固定协程池削峰泛型 API、优雅关闭、panic 隔离、WorkerID 可追溯pipeline生成→加工→合流每个阶段监听 ctx.Done()零 goroutine 泄漏ratelimit令牌桶限流零第三方依赖Wait 支持 ctx 取消filehash并发文件哈希带权信号量控并发、首错即取消二、实测基准Go 1.26.7 / Windows 11 x64go test -count1 ./...四个包全绿0.35~0.43sgo run ./cmd/demo输出 1. workerpool100 个任务 / 8 个 worker sum5050 (want 5050) errs0 cost29ms - 串行预计 200ms池化 6.9 倍 2. pipeline生成 1..20 - 平方 - 三路 fan-in merged 23 values, sum3470 - 与公式 2870600 一致 3. ratelimit每秒 5 个令牌、突发 3连发 8 次 第 3 发 after 0s突发段 第 8 发 after 1s节流段 4. filehash并发扫描目录 SHA256 files10 bytes16541数字都能对得上公式workerpool 100 个任务求和 5050、pipeline 三路合流后 23 个值求和 3470说明没有丢任务、没有重复消费。三、源码里讲透的四个坑结果通道必须与提交并发消费结果通道写满后 worker 会卡在写入上事后才读直接死锁——单测里就是按正确姿势写的stage 的 select 必须同时监听出口写入与 ctx.Done()否则下游退出后上游卡住 goroutine 泄漏;令牌桶 Wait 用「估算等待 timer」而非忙轮询CPU 占用接近 0filepath.WalkDir 先收集清单再并发处理避免目录遍历与哈希计算互相阻塞。四、怎么用三步装 Go 1.211.26.x 实测→go test ./...与go run ./cmd/demo验证环境 → 把workerpool/、ratelimit/等目录整包拷进工程模块名concurrency-kit全局替换成自己的。典型组合拳是爬虫场景里 workerpool 控并发 ratelimit 控节奏日志清洗、批处理走 pipeline备份完整性校验用 filehash 换个哈希算法就行。这四个模型也是 Go 并发面试的高频原型题源码注释可以当答案背。 本文对应的完整源码包四模块单测demo已整理上传点击查看资源包