前言
数据时代, 数据的多源集成和快速检索查询是第一步, 配上数据分析及可视化才能算窥得大数据一角.
创建这个项目的主要目的一是对前期工作的一些总结, 二是提升自己.
这里简单介绍一下 sqlpro 这个项目的核心功能.
这里有我自己整理了一套最新的 python 系统学习教程, 包括从基础的 python 脚本到 web 开发, 爬虫, 数据分析, 数据可视化, 机器学习等. 送给正在学习 python 的小伙伴! 这里是 python 学习者聚集地, 欢迎初学和进阶中的小伙伴!
来微信公众号:"速学 Python", 拿 Python 学习资料
本项目基于 python 的 flask Web 框架. 提供简单的页面 (起初准备用 vue 写前端, 奈何自身能力所限, 遂放弃. 依然基于 flask+jinja2 的 mvt 模式).
对于数据查询引擎部分, 因为需要支持多数据源, 所以选用了 presto.presto 是一个优秀的支持多种数据源联合查询的数据查询引擎.
可视化部分选用了 pyecharts 进行集成. 方便完成多种数据图表的展示, 由于前端能力薄弱, 只开放了一些通用设置, 还需继续完善.
功能特性
动态添加数据源, 支持多数据源联合查询
数据处理统一使用 pandas 库, 方便二次开发
基于 pyecharts 的可视化模块, 图表类型齐全
dashboard 构建及链接分享
data wrangling 功能 (后续支持)
在线数据录入及数据下载 (后续支持)
当前版本主要实现了基本的数据源管理, 数据查询, 数据可视化及数据仪表板等功能. 在后面的迭代过程中会以 data wrangling 作为主要功能, 方便数据的清洗和预处理.
项目展示
总结
本文没有过多的讨论该项目的实现原理, 感兴趣的可以看看源码, 比较简单. 有兴趣的话可以参与进来一起哦.
同时, 该项目也会持续更新, 希望未来可以加入更多实用的功能.
来源: http://www.jianshu.com/p/09d9e980632e