#yarn hdfs 和 viewfs版本的xgboost
主要修改了一些源码:
- dmlc: hdfs 判断的部分加入了view的判断
- dmlc: yarn Client.java 增加client内存为4g
- --ship 进去的lib64 版本是gcc-4.8.1
- 编译时系统的GLICBC必须是12版本高低都不行 (因为集群是12)
- dmlc yarn 目录先编译, 再在根目录编译xgboost make config=config.mk
- yarn 和 hdfs 的测试例子在demo/distributed-training