Python 3 有一个不太容易被注意到的改进: 异常对象现在有了一个新的属性__traceback__. 这个属性自动保存了 traceback 列表, 当每次这个异常被重新 raise 出来的时候, 会自动在__traceback__中追加一条记录. 这个功能对于异步编程来说非常有帮助: 在另一个线程或者协程中抛出的异常, 被捕获, 传输到其他地方, 再重新抛出来的时候, 不仅最初的 traceback 得以保留, 每次被重新抛出的记录也都会保留下来, 这样异常的 traceback 就可以提供很细致的信息.
说完了好处, 再来说这个新功能导致的问题: exception 对象现在是一个可变的对象了, 每次 raise 都会修改这个对象. 如果将一个 exception 对象抛出多次, 就会保留每次抛出的 traceback, 可能导致的结果包括: 错误的堆栈信息; 意外地破坏了运行数据; 内存泄漏等等.
举例
堆栈信息错误很好理解, 举一个意外破坏运行数据的例子:
- import asyncio
- import unittest
- async def it(raise_, ignore=True):
- yield 1
- if not ignore:
- await asyncio.sleep(0.01)
- try:
- raise ValueError('test2') from raise_
- except Exception:
- import traceback
- traceback.print_exc()
- if ignore:
- pass
- else:
- raise
- await asyncio.sleep(0.1)
- yield 2
- class MyTest(unittest.TestCase):
- def test(self):
- try:
- raise ValueError('testerror')
- except ValueError as e:
- exc = e
- async def task1():
- with self.assertRaises(ValueError):
- async for i in it(exc, False):
- print("task1:", i)
- async def task2():
- async for i in it(exc, True):
- print("task2:", i)
- async def main():
- t1 = asyncio.ensure_future(task1())
- t2 = asyncio.ensure_future(task2())
- await t1
- await t2
- asyncio.get_event_loop().run_until_complete(main())
- if __name__ == '__main__':
- unittest.main()
运行这段代码, 你会很惊讶地发现本来应该很快结束的程序居然卡住了. 原因在于 assertRaises 这个 unittest 库中的函数, 为了在保存单元测试结果的过程中不要占用太多内存, 所以在保存异常时强制清空了异常堆栈中的 locals 变量. 然而因为这个异常同时在两个 Task 中被使用, assertRaises 捕获到的异常堆栈中, 还有尚未退出的协程的堆栈, 清空了这个协程的堆栈会导致这个协程没有办法继续正常执行下去, 进一步导致相应的 Future 没有人设置, 等待这个 Future 的过程就无法正常结束了.
再举一个内存泄漏的例子, 这个例子不在用户代码里, 而在 PyPy3 6.0 版本的解释器里. 在 PyPy3 中, 为了提高运行速度, 关闭一个生成器使用的 GeneratorExit 对象被解释器缓存了起来, 这导致每次调用生成器的 close 方法时, 当前 close 的生成器的 frame 都被保存到了这个 global 对象里, 导致了生成器对象和 frame 对象都无法被 GC 回收, 产生了严重的内存泄漏.
下面这段代码在 PyPy 3 中会迅速耗尽系统内存, 而在 CPython 3 中则没有问题:
- def test():
- yield 1
- while True:
- t = test()
- t.close()
结论
在 Python 3 中, 最佳实践是:
永远不要持久保存一个已经被抛出过的 Exception 对象
每个被捕获的 Exception 对象, 至多被重新 raise 一次 (不管经过怎样的过程)
在需要将同一个异常广播到多个过程时 (例如: 多个过程等待了同一个异步过程), 最好每次都重新复制整个 Exception 对象, 或者为每个过程创建一个新的 Exception 对象. 通过 Python 3 的新语法 raise ... from ..., 可以在新的 Exception 中保留老的 traceback.
第三点的一个特例是 asyncio 中的 Future 对象, 如果一个 Future 被 await 了多次, 而这个 Future 抛出了异常, 就会出现第三种情形, 此时堆栈信息可能会混乱.
来源: https://juejin.im/entry/5b349279e51d4558cb1023a8