Python并发编程：线程、进程、协程的选择困境

发布时间：2026/6/9 17:06:03

Python并发编程线程、进程、协程的选择困境为什么我的程序这么慢这是我在处理一个数据处理任务时的困惑。任务很简单从API获取数据处理后存入数据库。但单线程执行太慢了处理1000条数据要几个小时。我知道需要并发但该用线程、进程还是协程这个选择困扰了我很久。今天想分享一下我在Python并发编程中的经验和思考。第一次尝试多线程我的第一反应是用多线程。Python有threading模块看起来很简单。我创建了10个线程每个线程处理一部分数据。理论上应该快10倍。结果让我失望。速度确实提升了但远没有10倍。而且CPU使用率很低大部分核心都在闲置。那时候我还不知道GIL的存在。GIL的真相GIL全局解释器锁是Python最具争议的特性。简单说GIL确保同一时刻只有一个线程执行Python字节码。即使你有8核CPUPython的多线程也无法真正并行。这个发现让我很沮丧。那多线程还有什么用后来我明白了多线程在IO密集型任务中仍然有用。当一个线程等待IO时其他线程可以执行。我的数据处理任务主要是网络IOAPI请求和数据库IO所以多线程确实有帮助。但对于CPU密集型任务多线程基本没用。多进程的尝试为了利用多核CPU我尝试了多进程。Python的multiprocessing模块提供了类似threading的接口但使用进程而不是线程。进程没有GIL的限制可以真正并行。我用多进程重写了代码CPU使用率终于上去了。但多进程也有代价。进程的创建和销毁比线程慢内存占用也更大。而且进程间通信比线程间通信复杂。我的任务需要在进程间传递数据。一开始我用Queue但发现序列化和反序列化的开销很大。后来我改变了设计让每个进程独立工作减少进程间通信。性能有了明显提升。协程的发现然后我发现了asyncio。协程coroutine是一种轻量级的并发方式。它在单线程中运行通过协作式多任务实现并发。对于IO密集型任务协程比线程更高效。它没有线程切换的开销可以支持成千上万的并发任务。我用asyncio重写了数据处理任务。代码变化不大但性能提升明显。而且内存占用比多线程低得多。协程特别适合网络编程。我现在写网络爬虫或API客户端首选asyncio。三种方式的比较经过实践我总结了三种并发方式的特点。多线程适合IO密集型任务简单易用但受GIL限制无法利用多核。多进程适合CPU密集型任务可以利用多核但开销大进程间通信复杂。协程适合IO密集型任务高效轻量但需要异步库支持学习曲线陡。选择哪种方式取决于任务的特点。线程池和进程池直接创建线程或进程通常不是好主意。更好的方式是使用池。concurrent.futures模块提供了ThreadPoolExecutor和ProcessPoolExecutor。它们管理线程或进程的创建和销毁提供了统一的接口。我现在几乎总是用Executor而不是直接用threading或multiprocessing。Executor的接口很简单。提交任务获取Future对象然后等待结果。可以批量提交任务也可以设置超时。而且Executor的接口是统一的。如果需要从线程池切换到进程池只需要改一行代码。异步编程的挑战虽然协程很强大但异步编程有学习曲线。最大的挑战是异步代码是传染性的。如果一个函数是异步的调用它的函数也必须是异步的。这意味着你不能在同步代码中直接调用异步函数。需要用asyncio.run或类似的方法。另一个挑战是不是所有库都支持异步。如果你需要用一个同步库就需要用run_in_executor在线程池中运行。还有一个陷阱是在异步函数中不能做阻塞操作。比如不能用time.sleep要用asyncio.sleep。这些都需要时间适应。混合使用有时候需要混合使用不同的并发方式。比如我有一个Web应用用asyncio处理HTTP请求。但有些任务是CPU密集型的不适合在异步循环中执行。解决方法是用ProcessPoolExecutor在进程池中执行CPU密集型任务然后在异步代码中等待结果。asyncio提供了run_in_executor方法可以在Executor中运行同步函数并返回一个可等待的Future。这种混合方式很灵活可以充分利用不同并发方式的优势。并发的陷阱并发编程有很多陷阱。最常见的是竞态条件。多个线程或进程同时访问共享数据导致数据不一致。解决方法是使用锁。但锁也有问题死锁、性能开销、复杂性。我的原则是尽量避免共享状态。如果必须共享用锁保护。但更好的方式是设计成无共享的架构。另一个陷阱是资源泄漏。线程、进程、文件句柄等资源如果不正确释放会导致资源耗尽。使用上下文管理器和Executor可以帮助避免这个问题。调试并发代码调试并发代码比调试单线程代码难得多。问题可能只在特定的时序下出现很难重现。我的方法是大量使用日志。记录关键的事件和状态帮助理解执行流程。对于死锁问题可以用threading.enumerate()查看所有线程的状态或者用调试器附加到进程。对于竞态条件可以用工具如ThreadSanitizer检测。但最好的方法是设计时就避免这些问题。简单的设计比复杂的调试更有效。性能测试并发不一定带来性能提升。有时候并发的开销超过了收益。我的习惯是先写单线程版本测量性能。然后写并发版本再测量。只有当并发版本确实更快时才使用它。不要为了并发而并发。测试时要注意不同的负载下性能特征可能不同。轻负载下单线程可能更快。重负载下并发才显示出优势。还要注意并发增加了复杂性。这个代价是否值得需要权衡。实际案例让我分享几个实际案例。案例一网络爬虫。我用asyncio aiohttp可以同时发起数百个请求。性能比单线程提升了几十倍。案例二图像处理。我用ProcessPoolExecutor在多个进程中并行处理图像。充分利用了多核CPU。案例三Web服务器。我用Gunicorn gevent可以处理大量并发连接。gevent是基于协程的但接口像线程。案例四数据管道。我用多进程处理数据每个进程负责一个阶段。进程间用Queue传递数据。这些案例展示了不同并发方式的应用场景。并发与并行并发和并行是不同的概念但经常被混淆。并发是指多个任务在同一时间段内执行但不一定同时执行。并行是指多个任务真正同时执行。单核CPU可以实现并发通过时间片轮转但不能实现并行。Python的多线程是并发但不并行因为GIL。多进程和协程都可以实现并发多进程还可以实现并行。理解这个区别有助于选择合适的并发方式。未来的发展Python的并发模型还在演进。Python 3.12引入了sub-interpreters每个子解释器有自己的GIL。这可能让多线程真正并行。asyncio也在不断改进。新版本的Python让异步编程更容易。还有一些第三方库如Trio、Curio提供了不同的异步编程模型。社区也在探索新的并发模式。比如结构化并发让并发代码更容易理解和维护。我相信Python的并发能力会越来越强。选择的建议基于这些经验我的建议是对于IO密集型任务优先考虑asyncio。如果不能用asyncio比如库不支持用多线程。对于CPU密集型任务用多进程。对于混合任务考虑混合使用不同的并发方式。不要过早优化。先写单线程版本确认有性能问题再考虑并发。保持设计简单。避免共享状态减少锁的使用。充分测试。并发代码容易有bug测试很重要。学习的建议如果你想学习并发编程我的建议是从简单的开始。先学会用ThreadPoolExecutor再学习更复杂的。理解基本概念。GIL、事件循环、协程等概念很重要。多实践。并发编程需要实践才能掌握。阅读优秀的代码。看看别人是如何处理并发的。不要害怕犯错。并发编程很难每个人都会犯错。关键是从错误中学习。最后的思考回顾我的并发编程之路从困惑到理解这个过程让我对Python有了更深的认识。并发编程不是银弹。它能解决某些问题但也带来了复杂性。关键是理解不同并发方式的特点根据任务选择合适的方式。希望这些经验能帮到你。并发编程是一个复杂的话题但掌握了它你能解决更多的问题。