· 职位年薪:20-30万
· 所属行业: 互联网/移动互联网/电子商...
· 所属部门:技术部
· 企业性质:私营·民营企业
· 企业规模:50-99人
要求:
1、熟练部署hadoop集群环境以及zookeeper和hbase集群,了解hadoop的机制与原理并能熟练使用hive、sqoop等框架
2、熟练使用linux命令并能熟练编写shell脚本,了解hadoop的容灾机制并能有效处理hadoop的故障,能快速恢复数据
3、了解基本的算法如协同过滤、余弦相似度、贝叶斯等算法,有较强的业务逻辑处理能力
4、能熟练编写mapreduce程序并能有效解决hive的数据倾斜问题,能提出有效的优化方案
5、熟练使用spring、struts等java的开源框架,并能熟练使用多线程,熟练使用mysql、sqlserver、mongodb等
6、至少有3个以上大型数据挖掘项目经验