在开发人员开发 Hadoop 以克服大数据带来的挑战之后的 10 年间, 这些技术的生态系统在不断发展壮大. Apache 软件基金会下面有众多的开源大数据技术项目. 本文介绍一些重要项目, 并顺便了解几个新兴项目.
管理和分析大数据已经变成了重大挑战, 数量急剧增加的信息从社交媒体, 连接到物联网中 "物件" 的传感器, 结构化数据, 非结构化数据以及可以收集的其他一切数据收集而来. 为了应对这项任务, 开发人员已开发了一系列新的开源技术.
旗舰软件 Apache Hadoop 是 Apache 软件基金会的一个项目, 它在上个月迎来了十周年. 这十年已发生了很大的变化. 如今, 另外许多技术也是大数据和 Hadoop 生态系统的一员, 它们大多数都归属 Apache 软件基金会.
开发人员和企业组织在使用诸多项目, 开发大数据技术, 并将它们捐献给开源社区, 以便进一步发展和采用, 其中就包括 Spark,Hive,HBase 和 Storm.
来源: http://www.jianshu.com/p/4d305ca06aa7