关于我:
快手大数据架构师,毕业于浙江大学,曾就职于百度、贝壳,目前负责快手 OLAP 平台研发工作,多年底层集群以及 OLAP 引擎研发、分布式系统的优化经验,
热衷开源,hadoop/kylin/druid contributor。
之前对外做过一些大数据方面的 meetup, 都整理到知乎专栏了。
https://www.zhihu.com/people/deng-fang-yuan/activities当前重点 druid 的定制开发,目前内部已经实现 druid 精确去重,物化视图及大量性能优化,并回馈给社区。
目前部分性能是社区版的数倍,甚至数十倍。
目前提交社区的功能:
https://github.com/apache/incubator-druid/pull/6988https://github.com/apache/incubator-druid/pull/7594https://github.com/apache/incubator-druid/pull/8165https://github.com/apache/incubator-druid/pull/8596https://github.com/apache/incubator-druid/pull/6689https://github.com/apache/incubator-druid/issues/6715关于团队:
万台规模 hadoop 集群,多位业内大牛( xlearning 作者,hadoop 等项目 contributor ),技术氛围浓厚
职位描述
1、Hadoop 生态子系统的研发、测试与优化工作,解决实际业务需求与性能问题。子系统包括但不限于 HDFS,HBASE,YARN,SPARK,KAFKA 等。
2、承担数千台规模 Hadoop 集群的管理工作,解决超大规模 Hadoop 集群在应用与运行过程中的出现各种问题,保证集群的高效稳定运行;
3、和开源社区保持交流,从社区引入对公司业务场景有帮助的特性与系统,或将内部研发的功能贡献到社区。
任职要求
1、计算机或相关专业本科及以上学历;
2、思维活跃,熟悉 Hadoop 生态子系统(至少一个),精读过源代码者尤佳,所开发代码被开源社区接受者尤佳;
3、优秀的设计与编码能力,工程质量自我要求高,针对业务需求与问题,可快速设计与实现解决方案;
4、很强的问题分析与解决能力,强烈的责任心,对工作有激情,良好的沟通能力。
工作地点 西二旗 上地十街(原联想北研)
非大数据岗位 也可以找我内推,所有职位信息都在:
https://zhaopin.kuaishou.cn/recruit/e/#/official/social/最后关于薪资:
大家一定很关心,跟头条,拼多多等,是目前薪资头部企业
联系方式:
邮件 dengfangyuan#
kuaishou.com 或知乎私信