大数据的技术是一个技术群落, 想全部学习短期内是不现实的, 那么我们怎么样科学的有逻辑有规划的来学习, 怎么进行大数据的入门学习呢? 我们得了解大数据行业里, 有哪些岗位, 我们直接从工作岗位的技能需求来倒推我们如何学习大数据, 如何有侧重点的来学习.
第一, 先看看有哪些岗位, 当然大公司会分的比较详细, 中小企企业相对要求会全面一些
先看看如下这幅图, 图没有很详细, 我再做解答
我们从整个数据项目的业务流程出发,(以上所有岗位都对编程有要求, 所以编程基础是必不可少的)
第一, 大数据工程师, 众所周知, 在没有大数据以前, 行业应用已经非常成熟了, 最早大家只关注功能的实现, 接着重视前台的界面, 前端工程师因此火了一段时间, 因为以前数据量不大, 所以在功能上并不重视, 由于移动互联网的发展, 数据量非常庞大了, 这个时候单机服务器不能解决问题, 那么分布式集群就出现了, 大数据工程师的职责就是搭建大数据平台, 所以从上图可以得知, 大数据工程师, 需要有 java 基础 (行业应用大部分是 java 语言编写的), 所以, 今后想从事该岗位的, 那么学习的路线图如下
java 基础 ----Linux----hadoop-----hive,hbase----scala---spark
第二, 算法工程师, 该岗位零基础的小伙伴就请止步吧, 更适用于数学专业的研究生及以上学历, 对数据基础要求比较高.
第三, 数据挖掘工程师, 建议从 python 入手, 毕竟 python 里面有大量的数据科学的包, 也有 pyspark, 直接从 spark 里面调数据, 不用学习 Scala 语言 (spark 的编程语言是 Scala), 学习的路线如下:
python 基础 - python web(强化编程基础)-- 数学基础补充 (线性代数, 概率统计, 离散数学)--python numpy pandas 包 --- 机器学习算法 --- 深度学习
第四, 数据分析师, 该岗位对数学基础要求不高, 但对综合素质要求非常高, 能充分的理解行业行情, 公司运营, 产品运作, 对市场敏锐度较高. 具备一定的编程基础, 建议学习 python, 能熟练使用相关的工具, 如 Excel,sas,spss 等, 能写漂亮的文章做 PPT 就行, 数学基础不好的女生可以建议走该方向.
学习路线: python 基础 - python numpy pandas 包 ---Excel-spss---sas
第五, 大数据可视化, 该岗位需要前端的相关基础, 大数据运维工程师, 也不多做介绍了.
来源: http://bigdata.51cto.com/art/201903/594248.htm