当前已经进入大数据时代,大数据技术和产品百花齐放,在各自的应用场景发挥重要作用,Redis 做为高性能的键值数据库与这些技术有着千丝万缕的联系,本文将介绍如何将 Redis 与 Hadoop、ELK 等技术进行结合。
Hadoop 作为大数据时代的分布式计算平台,由于其高可用性、可扩展性、高容错、低成本等特性,已经是大数据系统的标配,但是 Hadoop 中 HDFS 的存储机制使得它无法面向终端用户 (例如利用用户的历史浏览记录为用户推荐新闻、商品等),所以通常是将离线计算的结果导入到面向用户的存储中 (例如 Redis、HBase 等)。
而 Hadoop 支持自定义 OutPutFormat,如果需要自定义的输出,只需要继承 OutPutFormat,整个流程如下所示,只需要在 Reduce 端定义 RedisOutPutFormat 完成映射即可。
作者:carlosfu
百度搜索 "就爱阅读", 专业资料, 生活学习, 尽在就爱阅读网 92to.com, 您的在线图书馆!
来源: http://www.92to.com/bangong/2017/12-06/32144436.html