您好，请指教
lzcchl opened this issue · 4 comments
您好，作为一个也刚刚开始学习triton C++ backend的小白，我看了官方的recommended的例子和您的例子，我发现您做了一些修改，用了ResponseFactory，请问一下用这个的比原来的例子有什么好处呢？
然后我发现能够学习的代码太少了，可能是我搜索能力不够，请问您是参考了哪些地方的代码呢？我想要通过一些例子进一步去熟悉C++ backend里面的内容。
参考官方 的identity_backbend
同时 recommended 是通过比较高级的封装来对输入batch 进行处理的，那个仓库的代码输出类型不能自由定义，只能uint_8, 我也基于那个仓库捣鼓了一段时间，我觉得不太友好。此demo 相当于step by step 进行的请求处理，理解了流程后就可以换高级的API 接口了。
噢噢，官方的库太分散了，有好多backend，当时没太在意identity_backbend，也不知道这个是干啥的，后面研究一下，哈哈。
您后面说的输出类型不能自由定义我不太明白，因为原本recommoned的例子就是以float为输入的，我想应该是你哪里没有设置正确导致的。
我看目前您的代码里面有些资源没有释放，为了您的代码更加鲁棒，善意的提醒一下。
我看那个cuda例子里面，其实您还是接收了CPU数据，然后中间过程是用cuda处理，然后传出来还是CPU数据，我想如果作为一个图像前处理的pipeline中，应该是GPU输入GPU输出，中间尽量没有数据在cpu与gpu之间拷贝，或者CPU输入但GPU输出一般是必要的，请问您后续是否会往这方面去尝试，这一改动其实对目前的我来说还是有些没有方向的。
共勉，老哥。
recommoned 输入可以任意类型，输出不行。就是一个demo，因为client 接收方是python 可视化就放回cpu, 如果要做 triton pipeline 的话可以持有在GPU ，传给下游模型