OAID/Tengine

如何加入自己的 NPU 做后端支持呢

chayliu1991 opened this issue · 1 comments

chayliu1991 commented

我们自研的 NPU 芯片，如何借助该框架进行支持

BUG1989 commented
  1. 如果你们的 NPU 芯片 SDK 能提供 graph api，那么参考 TIMVX、TensorRT、NVDLA 的后端实现即可。根据经验，目前 Tengine 提供的示例代码和文档信息量满足开发者独立完成 NPU 后端适配，因为 NVDLA 就是由社区开发者独立完成的；
  2. Tengine 的 Quantization Tools，同时提供了两种场景的量化 specification 的实现，即 TFLite v1.0 的 asymmetric per-tensor 和 NV 的 symmetric per-channel，分别对应 quant_uint8 与 quant_int8 两套代码，虽然有些小 BUG，但是 observer 使用 min-max 跑通 mobilenetv1 是没问题的；
  3. 需要进一步讨论就只能加我的 QQ 小窗了 ：)