关于 flare-spork
非常早曾经有个 Pig Spork https://github.com/aniket486/pig 分支. 尝试把 Pig 迁移到 Spark 上. 可是代码非常久没有更新了.
眼下 Pig on Spark 应该是在 Twitter 内部进行着.
flare-spork 是基于 Spork 对 Pig 和 Spark 的衔接. 把 Spark 部分的代码迁移到了 Pig 0.12.0 上, 而且升级了依赖和版本号, 升级为 Scala 2.10.3,Spark 0.9.1, 且兼容 Hadoop 2.2.0.
眼下项目在 GitHub 上, 地址 https://github.com/pelick/flare-spork . 打算參考 Spork 已经做的一些东西. 继续 Pig on Spark 的开发.
GitHub 上的内容已经是 merge 进 Pig 0.12.0 的 Spork 版本号了. 能够编译和执行.
很多其它细节的内容能够參考里面的. 有介绍怎样编译. 有什么改变, 能跑什么样的简单 demo.
来源: http://www.bubuko.com/infodetail-3032105.html