网盘地址: https://pan.baidu.com/s/19-U_XwIUZUENNgmz6VysMQ 密码: j288
备用地址 (腾讯微云):https://share.weiyun.com/90d4d9196a9d86c74aabe8df78cdc624 密码: uq2q3w
项目背景:
1 现在很多平台客户关系管理系统都是使用传统的 CRM, 所有的信息全靠手工录入, 用户寻找上下游企业或者信息只能靠手工去查找并且标注
2 大数据时代的到来, 人工智能, 云计算, 先进的分析, 用机器去替代人工的部分, 从 2016 年趋势看, 机器学习和人工智能 (AI) 将在未来几年内将会彻底改变 CRM
因此我们对 CRM 进行了改造, 主要有如下部分:
1 企业信息商品信息来自互联网, 机器学习去自动统计分析并且分类
2 用户录入的商品信息和新从互联网爬来的商品信息全部通过机器学习计算的模型去分类
3 机器学习自动计算企业和供求信息上下游
4 机器学习每隔一段时间自动去优化计算模型
整个项目基本思路是如何通过爬虫爬取大量数据放到 Hbase, 然后通过 ETL 工具初步转化筛选将数据存到 mongodb, 抽取 mongodb 的数据进行清洗处理算出模型放到 hdfs 后续进来数据通过模型运算出数据的类型项目系统主要包括前端 + 后端 + 机器学习, 前端采用 React Native,Native, 后端采用 Dubbo+Spring+java, 机器学习采用 Spark 进行实现, 本项目机器学习 - spark 代码运行在 mesos 上
来源: http://www.bubuko.com/infodetail-2517110.html