这一篇文章, 主要讲的是如何优化 python client 的性能, 不是 Cassandra 本身的性能优化.
Cassandra 本身的性能优化, 主要是对 DB Schema 的设计上面的优化.
那 python client 为什么需要优化呢?
正在进行的一个项目就遇到这种情况, 无论如何优化, 性能就是无法提升. 一直维持在 2000 条 / s 的水平. 这个时候发现:
1. 只使用了单核 cpu
2. 这一颗 CPU 已经 100%
官方其实已经有一些关于性能优化的建议与文章, 但是感觉有的并不实用. 作者根据自己的实际操作的经验, 总结了一下几点.
使用 Docker 作为运行环境
其实这个优化, 是架构上面的. 但是个人认为, 这一点能极大的方便后面的步骤.
最大的原因: 可以比较放心大胆的修改环境配置, 而不用担心改动影响其他的应用.
使用 LibevConnection
这个 C 扩展的安装非常简单, 如下:
# Debian/Ubuntusudo apt-get install libev4 libev-dev # RHEL/CentOS/Fedora:sudo yum install libev libev-devel # Mac OS Xbrew install libev
但是, 如果是先安装 cassandra-driver 再安装上面的 Libev 相关扩展, 就不会起作用. 一定要保证先安装 Libev 相关类库再安装 cassandra-driver
如果先安装了 cassandra-driver 呢?
这个时候基于 docker 的环境优势就出现了 > 重新起一个干净的 docker 环境, 先安装 libev 再安装 cassandra-driver
我们来看看效果吧
没有安装 libev
1.38038516045 2000 / 3833226 19FB9D48-19C2-5926-A393-8875C1C71C3C1.37041091919 4000 / 3833226 3378602E-A7BA-5525-9D5F-F4587969341C1.18457198143 6000 / 3833226 4EA8FD48-7F2F-5659-A905-0691E43B45241.34388303757 8000 / 3833226 6A1B2F89-A4C5-57B0-9C3E-8CF30CBBB1841.11398482323 10000 / 3833226 8531F555-86EE-5627-BE80-8DF0DF2B28821.32416796684 12000 / 3833226 9FE33BF4-FBB1-5059-A3CC-CDF19B1439F61.30097103119 14000 / 3833226 BAE9B586-E217-5868-B7A2-71328A8B54301.08711099625 16000 / 3833226 D4614E70-848A-5AF9-9843-3107A38541DD1.33533000946 18000 / 3833226 EEEC0F1F-8920-5A9E-8004-51FCBCDBCE211.26504683495 20000 / 3833226 08962BA3-1C8D-503A-A51A-890F379222901.12752485275 22000 / 3833226 22ACF7D1-7D32-5A0C-8705-BC2C9C4CC16F1.31155800819 24000 / 3833226 3D553556-2763-5A75-9688-36A2DFB71BD71.2681479454 26000 / 3833226 57E9AE03-E3E5-5A34-A039-E7D779E23D4C1.11450314522 28000 / 3833226 71B18DE5-834C-5E18-8BF1-C7F19A8774F51.28991603851 30000 / 3833226 8C1E0A7E-F002-5C86-B874-249D7F1A5E59
结论:
每 2000 条数据耗时 1.25s 左右
安装了 libev
1.12146306038 2000 / 3833226 19FB9D48-19C2-5926-A393-8875C1C71C3C1.23479604721 4000 / 3833226 3378602E-A7BA-5525-9D5F-F4587969341C1.40026903152 6000 / 3833226 4EA8FD48-7F2F-5659-A905-0691E43B45241.07486104965 8000 / 3833226 6A1B2F89-A4C5-57B0-9C3E-8CF30CBBB1841.26636004448 10000 / 3833226 8531F555-86EE-5627-BE80-8DF0DF2B28821.10501003265 12000 / 3833226 9FE33BF4-FBB1-5059-A3CC-CDF19B1439F61.38248705864 14000 / 3833226 BAE9B586-E217-5868-B7A2-71328A8B54301.28945398331 16000 / 3833226 D4614E70-848A-5AF9-9843-3107A38541DD1.11319279671 18000 / 3833226 EEEC0F1F-8920-5A9E-8004-51FCBCDBCE211.30120897293 20000 / 3833226 08962BA3-1C8D-503A-A51A-890F379222901.40880990028 22000 / 3833226 22ACF7D1-7D32-5A0C-8705-BC2C9C4CC16F1.09090089798 24000 / 3833226 3D553556-2763-5A75-9688-36A2DFB71BD71.24485397339 26000 / 3833226 57E9AE03-E3E5-5A34-A039-E7D779E23D4C1.29466509819 28000 / 3833226 71B18DE5-834C-5E18-8BF1-C7F19A8774F51.16280698776 30000 / 3833226 8C1E0A7E-F002-5C86-B874-249D7F1A5E59
结论:
没有具体计算平均值, 但是可以看到略微降低了一些.
默认的是使用 Cython, 所以实际上已经有一些 C 的优化效果了. 这里只是看到有略微提升
是否使用 PyPy?
PyPy 使用了完全不同的 Python 解释器, 如果使用 PyPy 需要把其他环境重新安装一次. 因此, 如果在你的环境可以达到这一点, 非常建议使用 PyPy
根据官方测试, 使用 PyPy, 性能可以提升 1 倍!
参考:
https://docs.datastax.com/en/drivers/python/2.6/performance.html
使用多进程
上面提到, 单颗 CPU 的使用率已经 100%, 要想明显提升就一定需要使用多核的能力.
如果你像我一样, 是在 jupyternotebook 上面进行开发, 可能要面对, 如果是多进程运行, 在 notebook 上面的状态, 可能就不能显示是 busy 了. 具体原因另外开篇来讲.
使用多进程, 需要注意的是, cluster / session 需要在进程内部来创建, 不能在多个进程之间互相共享. 不光是 Cassandra, 其他的数据库链接也是这样.
使用 Batch Futures
这个直接看官方代码会比较合适.
参考: https://github.com/datastax/python-driver/blob/master/tests/integration/long/test_large_data.py#L72
注意: 原文的 concurrency 只设置成 10. 你可以根据自己的环境来进行调节. 我自己的设置成 2000 了
后记
这一篇文章写得有点随意了. 娃娃还在旁边吵
来源: https://www.flyml.net/2018/03/21/python-cassandra-performance-notes