[这个节点归我了！]自己写的一个 unit test Maper, Reducer 的工具
haog · 2015-07-23 06:55:01 +08:00 · 8202 次点击这是一个创建于 3421 天前的主题，其中的信息可能已经有所发展或是发生改变。
https://github.com/gaohao/hhdp
平时写好的hadoop job, 最烦的就是拿到cluster上面测试了，因为除了自己的job还有一群人在跑他们的job，所以就决定在本地测试，而且每次又懒得一个一个写driver, 所以就自己写了个工具来测。
而且我平时接触的数据大部分是avro format，所以也写了一些关于avro的util。
现在基本上是本地unit test完了，再去cluster上跑，出错率也大大降低。
下一步计划是希望可以方便的测试一个workflow。
平时写好的hadoop job, 最烦的就是拿到cluster上面测试了，因为除了自己的job还有一群人在跑他们的job，所以就决定在本地测试，而且每次又懒得一个一个写driver, 所以就自己写了个工具来测。
而且我平时接触的数据大部分是avro format，所以也写了一些关于avro的util。
现在基本上是本地unit test完了，再去cluster上跑，出错率也大大降低。
下一步计划是希望可以方便的测试一个workflow。
Select Language