怎么在hadoop上跑paddle预估产出embedding
Opened this issue · 2 comments
pipipiapia commented
请提出你的问题 Please ask your question
我用paddlerec训练了dssm动态模型，在paddlecloud gpu上进行用户端的embedding产出，运行非常慢，想改到hadoop上infer，打包的python环境在hadoop上会报动态错误，我的问题是：
1.是不是需要改静态模型训练，静态预估，才能上hadoop；
2.有没有可以用的python包上传hadoop，实在是搞不懂paddle的环境
danleifeng commented
上hadoop是什么意思，hadoop不是指存储吗
pipipiapia commented
上hadoop是什么意思，hadoop不是指存储吗
hadoop可以做分布式计算，双塔的用户塔数据量很大，gpu跑不起来，想用300多的hadoop cpu集群进行预估；之前pslib等有做，不知道原生态的paddle咋搞