【问题征集】生态上,框架如何与硬件厂商配合
onecatcn opened this issue · 3 comments
onecatcn commented
欢迎提问,包括但不限于:
例行发版;
一系列软件栈的适配;
维护、支持和贡献。
wanx7130 commented
一、可否开放图对接能力?
二、自定义pass的能力除了在Inference下开放外,可否在动转静的流程中也开放给后端硬件?
三、多数后端硬件应该都可以支持多stream,可否将gpu现在的多stream处理能力也开放共享给后端其它硬件?
四、GPU多数融合pass融合出来的算子,其他后端硬件也可以支持,可否归一处理硬件的pass处理能力,而非现在的强制按硬件类型区分
五、可否实现transpose消除的能力?当前conv类算子基本都在算子前后插入了nchw->nhwc和nhwc->nchw的转换算子,导致离线推理时整图里的transpose个数较多,而大多时候格式是可以向下传导的,并不必要有这么多的转换
bin1guo commented
-
LLM目前是众多AI开发者关注的热点,为了更方面开发者使用,针对飞桨框架,能否将LLM相关的工具链进行整合,使之LLM的标签更加明显,让用户更便捷的使用飞桨开发大模型相关任务
-
文心模型虽然是闭源模型,为了便于硬件厂商使能和调优,能否给出一个最基础模型供适配和性能测试?
jzhang533 commented
concerns have been addressed in offline discussion.
closing this.