pan red 系统 ini 多说 自动 hdfs ide style
引子
虽然通过《小白学习大数据测试之 hadoop 初探》以及把 hadoop 的基本核心说明白了,但是似乎对于小白来说还是会有点懵逼....那么这次我们就在来看看
大数据粗暴理解
大数据甭管什么,简单粗暴的理解为大!大!大!对,你没看错,不管什么都是大就对了,哈哈哈哈
大数据应用的功能抽象出来基本就是:数据采集,数据存储,数据处理(过滤,拆分,聚合),数据分析,数据应用.说白了就是对从各处采集的数据经过一系列的处理后给出分析,然后应用到不同的场景里或者提供数据报表等.
hadoop 架构演变
此处不多说,很明显是做了拆分,集群的资源管理由 yarn 完成,ta 运行在 hdfs 之上,而 MapReduce 则运行在 yarn 之上(后续在搭建环境的时候需要进行对应配置文件的修改)
大数据测试的难点
需要学习大数据的相关知识和技术(其实我内心是拒绝的...好麻烦),比如:hadoop,hbase(分布式开源数据库),hive(数据仓库),kafka(分布式发布订阅消息系统),spark(大数据处理引擎),yarn,solr(企业级搜索应用),zookeeper(分布式应用程序协调服务),sqoop,flume(分布式日志处理系统)等等.....(别问我这是什么,我只想静静啊~)
需要熟悉大数据处理的逻辑(其实就是上面说的那个过程)
需要熟练掌握代码,嗯,你没看错,是必须的,不管是 python 还是 java 你必须会.因为这里 100% 会用到自动化测试的技术,不会代码何谈自动化?
测试思维的变化.传统测试中很多 bug 是可以通过固定的步骤重现的,但大数据测试里很多 bug 很难重现的,所以必须要调整自己的思维,提前切入测试并利用多技术手段尽可能的发现 bug
好了,脑细胞已经死了很多了,不想多说了,洗洗碎了~ 别忘了关注转发下,小编好有动力继续~
小白学习大数据测试之 hadoop 再次探索
来源: http://www.bubuko.com/infodetail-2471057.html