Pinned Repositories
grps
【深度学习模型部署框架】支持tf/torch/trt/trtllm/vllm以及更多nn框架，支持dynamic batching、streaming模式，支持python/c++双语言，可限制，可拓展，高性能。帮助用户快速地将模型部署到线上，并通过http/rpc接口方式提供服务。
grps_trtllm
【高性能OpenAI LLM服务】通过GPRS+TensorRT-LLM+Tokenizers.cpp实现纯C++版高性能OpenAI LLM服务，支持chat和function call模式，支持ai agent，支持分布式多卡推理，支持多模态，支持gradio聊天界面。
ai-painter-wx-miniprogram
tensorflow跑在微信小程序上，实现AI识别简笔画，AI绘画。
end2end_ml
end-to-end machine learning\deep learning model.
k8s-yaml
常见kubernetes资源yaml模板
machine_learn
机器学习与深度学习
model-optimizer
各类深度模型的优化器，包括tvm、tf-tensorrt、tensorrt等。
modern_cpp_concurrent
现代c++并发编程（线程管理，线程共享数据，线程同步，原子变量，内存模型与顺序，线程池...）
my_trt_plugin
实现自己的tensorrt算子
recommend
recommend相关算法
zhaocc1106's Repositories
zhaocc1106/ai-painter-wx-miniprogram
tensorflow跑在微信小程序上，实现AI识别简笔画，AI绘画。
zhaocc1106/machine_learn
机器学习与深度学习
zhaocc1106/model-optimizer
各类深度模型的优化器，包括tvm、tf-tensorrt、tensorrt等。
zhaocc1106/k8s-yaml
常见kubernetes资源yaml模板
zhaocc1106/modern_cpp_concurrent
现代c++并发编程（线程管理，线程共享数据，线程同步，原子变量，内存模型与顺序，线程池...）
zhaocc1106/my_trt_plugin
实现自己的tensorrt算子
zhaocc1106/recommend
recommend相关算法
zhaocc1106/linux_server_programming
linux高性能服务器编程
zhaocc1106/awesome_modern_cpp
记录一些优秀的现代（C11以上）c++编程优化，比如现代c++特性，高性能优化、模板编程等等...
zhaocc1106/cuxx-programing
cuda、cublas、cublaslt、cusparse...
zhaocc1106/grps
【深度学习模型部署框架】支持tensorflow/torch/tensorrt/vllm以及更多nn框架、支持dynamic batching、streaming、可限制、可拓展、高性能。帮助用户快速地将模型部署到线上，并通过HTTP/RPC接口方式提供服务。
zhaocc1106/pl0-compile-execution
记录一下大学时期的项目。本项目主要是对PL/0编译程序的研究与改进，并通过本次的任务帮助读者对编译程序的实现建立起一个整体概念。所谓PL/0语言即是Pascal语言的一个子集，它的编译程序是一个编译解释执行程序。所以，我们可以容易的想到，该程序主要包括了编译和解释执行部分，编译形成的目标代码则是一种假想栈式计算机的汇编语言，也成为类PCODE语言。解释执行部分则是把编译形成的目标代码进行解释和执行。本项目PL/0编译程序将用C语言来实现。
zhaocc1106/tensorrt-infer
TensorRT模型加载与推理
zhaocc1106/amirstan_plugin
Useful tensorrt plugin. For pytorch and mmdetection model conversion.
zhaocc1106/big-data
hadoop, spark...
zhaocc1106/cuda-programming
Learning cuda programming
zhaocc1106/DeepMatch
A deep matching model library for recommendations & advertising. It's easy to train models and to export representation vectors which can be used for ANN search.
zhaocc1106/FasterTransformer
reading FasterTransformer codes
zhaocc1106/go-dotweb
golang dotweb框架例子
zhaocc1106/hadoop-learning
Go to learning hadoop.
zhaocc1106/incubator-brpc
Industrial-grade RPC framework used throughout Baidu, with 1,000,000+ instances and thousands kinds of services. "brpc" means "better RPC".
zhaocc1106/jucLearn
常用的java并发编程
zhaocc1106/MTCNN_test
使用tensorflow2重构mtcnn，推理显示人脸框，眼睛、鼻子、嘴角位置，后续加入训练代码
zhaocc1106/my-leetcoding
zhaocc1106/nlp_paper_study
该仓库主要记录 NLP 算法工程师相关的顶会论文研读笔记
zhaocc1106/sort
Repository of sort algorithms in C and CUDA
zhaocc1106/TensorRT-LLM
TensorRT-LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and build TensorRT engines that contain state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT-LLM also contains components to create Python and C++ runtimes that execute those TensorRT engines.
zhaocc1106/tf_custom_op
实现自己的tf算子
zhaocc1106/torch_custom_op
实现自己的torch算子
zhaocc1106/zhaocc1106