/dpdk_engineer_manual

【冲破内核瓶颈,让I/O性能飙升】DPDK工程师手册,官方文档,最新视频,开源项目,实战案例,论文,大厂内部ppt,知名工程师一览表

✨✨✨【DPDK工程师手册】 —— 官方文档,最新视频,开源项目,论文,大厂内部ppt,知名工程师一览表

image

—— 冲破内核瓶颈,让I/O性能飙升。

书籍电子版资料 官方文档 最新视频 大会ppt 开源项目 论文 知名工程师
📕 📜 📀 🎞 🏗 📰 👷

image

📣 【梳理思维,一图定乾坤】DPDK架构图.pdf

🔥 【800页编程指南,含中文】DPDK编程指南.pdf

💪 国人技术,弘扬大厂实力

📕 书籍电子版资料

📜 官方文档

📀 最新视频


2021年DPDK北美峰会 演讲者
Welcome_ DPDK Summit NA 2021Virtual Experience Arpit Joshipura
DPDK on RISC-V Stanislaw Kardach, Semihalf
Getting Past Incubation_ DPDK for Windows Platform Goes Mainstream
Using Virtual Functions with DPDK in OpenShift 4 Ip Sam & Wuxin Zeng, Red Hat
High Density Scalable Cloud Gateway for Cloud Networking Hongjun Ni & Pan Zhang, Intel
Running P4 programs as DPDK applications Cristian Dumitrescu & Han Wang - Intel
Advanced API For Rules Management - RTE Flow Next Evolution Ori Kam, NVIDIA
Tools for Memory Model Simulation Herd7 - Honnappa Nagarahalli, ARM
Transitioning Flow Based ethdev Ops to rte_flow Ajit Khaparde, Broadcom
Closing Remarks - DPDK Summit NA 2021 Arpit Joshipura

2021年亚太DPDK峰会 演讲者
Welcome- DPDK Summit APAC 2021 Jim St. Leger
Dynamic Mempool_ One of the Final Steps to Make DPDK Cloud-Native Jielong Zhou
An Ideal Network IO Virtualization Solution in DPDK Xiuchun Lu, Chenbo Xia
Handling Elephant Flow on a DPDK-Based Load Balancer Hongjun Ni, Yipeng Wang, Chenmin Sun
OvS Tunneling and Connection Tracking Hardware Offload via Rte_flow Xiao Wang, Rosen Xu
Accelerating vHost Data Plane with DMA in the CPU Jiayu Hu
Warp Speed Cryptographic Applications Fan Zhang
Introducing Hardware Content Inspection Accelerator Into the ... Kun Qiu, Harry Chang
Enhance SEBA-Based FTTH vCPE System with SPP vSwitch Tri Trinh, Kentaro Ogawa
Memory Error Detect Enhancement for DPDK Fuzzing Xueqin Lin, Yinan Wang
Using DPDK to Build PCIe Endpoint Framework Jun Yang, Hongjun Chen

2017年DPDK**上海技术峰会 演讲者
A Better Virtio towords NFV Cloud Cunming Liang
Accelerate VM I_O via SPDK and Crypto for Generaic vHost Changpeng Liu,Xin Zeng
Accelerate VM I_O via SPDK and Crypto for Generaic vHost_2 Changpeng Liu,Xin Zeng
OVS-DPDK Practices in Meituan Cloud Huai Huang
A High speed DPDK PMD approach in LXC Jie Zheng
Cloud Data Center, Network Security practices Kai Wang
DPDK in container - Status Quo and Future Directions Jianfeng Tan
F-Stack, a full user space network service on DPDK Hailang Wang
Support Millions users in vBRAS Zhouhui Sun
Telco data plane status, challenges and solutions Hao Lin
Towards Low Latency Interrupt Mode PMD Yunhong Jiang,Wei Wang
Accelerate VPP workload with DPDK Cryptodev Framework Fan Zhang
Data Center Security Use Case with DPDK Haohao Zhang
Intel® 25GbE Ethernet Adapter Advanced Features for NFV, Adaptiv Helin Zhang,Jingjing Wu
Intel® 25GbE Ethernet Adapter Advanced Features for NFV, Adaptiv_2 Helin Zhang,Jingjing Wu
Network performance tuning, lesson learned Fangliang Lou
OPDL- On The Path To Packet Processing Nirvana Liang Ma

🎞 大会ppt

🏗 开源项目


项目 简介
dpdk-burst-replay 注入pcap文件
DTS DPDK测试套件
intel-go/nff-go NFF-Go - GO的网络功能框架(原YANFF)
Pktgen 由 DPDK 提供支持的流量生成器
SPP DPDK 资源管理框架
ansyun/dpdk-ans ANS(加速网络堆栈)是DPDK本地TCP/IP堆栈,也参考FreeBSD实现。ANS提供了一个与Intel DPDK一起使用的用户空间TCP/IP堆栈。
dpdkcap/dpdkcap 基于dpdk的抓包工具
pktgen/Pktgen-DPDK 基于DPDK的包生成器
iqiyi/dpvs DPVS是一种基于DPDK的高性能四层负载均衡器
iqiyi/qnsm QNSM是基于DPDK的网络安全监控框架
rumpkernel/drv-netif-dpdk 用户空间TCP/IP栈的DPDK接口驱动程序
emmericp/MoonGen MoonGen是一个完全可编写脚本的高速包生成器,构建在DPDK和LuaJIT之上。当为每个包执行用户提供的Lua脚本时,它可以在单个CPU核心上使用64字节的包来饱和10gb /s的连接。多核支持允许更高的速率。它还具有精确和准确的时间戳和速率控制。
libmoon/libmoon libmoon是一个使用DPDK和LuaJIT进行快速灵活的包处理的库。
usnistgov/ndn-dpdk NDN-DPDK:高速命名数据网络转发器
vipinpv85/DPDK_SURICATA-4_1_1 用于软件加速的DPDK基础设施。目前正在进行RX和ACL预过滤
wangbojing/NtyTcp 单线程用户态TCP/IP协议栈,epoll实现,包含服务器案例,并发测试案例
tiglabs/jupiter Jupiter是一种基于DPDK的高性能四层网络负载均衡服务。
F-Stack/f-stack F-Stack是一个基于DPDK、FreeBSD TCP/IP栈和协程API的高性能用户空间网络开发工具包。
bytedance/ovs-dpdk 这是Open vSwitch的一个分支,我们专注于基于DPDK的Open vSwitch
napatech/daq_dpdk_multiqueue Snort DPDK DAQ模块,支持多队列-主要用于Napatech网卡

📰 论文

No. Title Translation(参考) Company
1 《Performance optimization of Snort based on DPDK and Hyperscan》 基于DPDK和hypercan的Snort性能优化 **科学院
2 《Metronome: adaptive and precise intermittent packet retrieval in DPDK》 DPDK中自适应、精确的间歇数据包检索 罗马托尔维加塔大学
3 《NDN-DPDK: NDN Forwarding at 100 Gbps on Commodity Hardware》 在商品硬件上以100 Gbps的NDN 转发 未知
4 《Accretion of Suricta with DPDK for Traffic Monitoring using Optimized Detection System IDS/IPS》 基于优化检测系统IDS/IPS的Suricta与DPDK的增加 拉迈雅理工学院
5 《Leveraging Programmable Dataplanes for a High Performance 5G User Plane Function》 利用可编程数据平面实现高性能5G用户平面功能 印度理工学院
6 《StackMap Low-Latency Networking with the OS Stack and Dedicated NICs》 StackMap:低时延使用OS Stack和专用网卡组网 庆应义塾大学
7 《Implementing and Comparing Static and Machine-Learning Scheduling Approaches using DPDK on an Integrated CPU/GPU》 在集成CPU/GPU上使用DPDK实现和比较静态和机器学习调度方法 林雪平大学
8 《Assessing Soft- and Hardware Bottlenecks in PC-based Packet Forwarding Systems》 评估基于pc的报文转发系统的软硬件瓶颈 慕尼黑工业大学
9 《The Path to DPDK Speeds for AF XDP》 The Path to DPDK AF XDP的速度 Intel
10 《Network Function Virtualization Using Data Plane Developer’s Kit》 使用数据平面开发工具的网络功能虚拟化 美满电子科技
11 《SoftNIC: A Software NIC to Augment Hardware》 扩充硬件的软件网卡 加州大学伯克利分校
12 《Network Functions Virtualisation》 网络虚拟化功能 AT&T
13 《NetVM: High Performance and Flexible Networking using Virtualization on Commodity Platforms》 在商品平台上使用虚拟化的高性能和灵活的网络 乔治华盛顿大学
14 《Stateless Network Functions: Breaking the Tight Coupling of State and Processing》 无状态网络功能:打破状态和处理的紧密耦合 IBM
15 《Performance Contracts for Software Network Functions》 软件网络功能执行合同 瑞士洛桑联邦理工学院
16 《Re-architecting Congestion Management in Lossless Ethernet》 无损以太网拥塞管理的重新架构 北京国家信息科学与技术研究中心
17 《BMC: Accelerating Memcached using Safe In-kernel Caching and Pre-stack Processing》 使用安全内核缓存和栈前处理加速Memcached 索邦大学
18 《RedLeaf: Isolation and Communication in a Safe Operating System》 安全操作系统中的隔离和通信 加利福尼亚大学尔湾分校
19 《A Simpler and Faster NIC Driver Model for Network Functions》 一种更简单、更快的网络功能网卡驱动模型 瑞士洛桑联邦理工学院
20 《Towards including batch services in models for DPDK-based virtual switches》 在基于dpdk的虚拟交换机的模型中包含批处理服务 HAL
21 《Latency optimization and analysis through the use of a high-speed packet IO framework for high-bandwidth data processing》 延迟优化和分析,通过使用高速分组IO框架进行高带宽数据处理 德根多夫理工学院
22 《A new model for DPDK-based virtual switches》 一种基于dpdk的虚拟交换机模型 HAL
23 《FlowMon-DPDK: Parsimonious per-flow software monitoring at line rate》 FlowMon-DPDK:基于线路速率的简单的每流量软件监控 诺基亚贝尔实验室
24 《Intel® DPDK Boosts Server Appliance Performance》 英特尔®DPDK提升服务器设备性能 Intel
25 《Virtual Switch Acceleration with OVS-TC and Agilio 40GbE SmartNICs》 基于OVS-TC和Agilio 40GbE SmartNICs的虚拟交换机加速 Netronome
26 《网络功能虚拟化技术研究进》 清华大学
27 《面向网络功能虚拟化的高性能负载均衡机制》 **科学院
28 《NFV实验平台的技术方案及搭建过程介绍》 东南大学
29 《(Intel DPDK) with VMware vSphere》 VMware
30 《Mellanox DPDK Quick Start Guide》 Mellanox DPDK快速入门指南 Mellanox

👷 知名工程师

  • Jim St. Leger —— 英特尔开源战略和营销总监

  • Edwin Verplanke —— 英特尔解决方案架构师

  • Harini Ramakrishnan —— Microsoft 的项目经理

  • Georgii Tkachuk —— 英特尔性能工程师

  • Honnappa Nagarahalli —— Arm 首席软件工程师

  • Yasufumi Ogawa —— NTT 服务系统实验室的研究工程师

  • Jingjing Wu —— 英特尔软件工程师

  • Jill Lovato —— Linux 基金会通信高级经理

  • Trishan de Lanerolle —— Linux 基金会技术项目经理

  • Jielong Zhou —— 蚂蚁集团

  • Yong Wang —— 中兴通讯硬件工程师

  • Xiuchun Lu —— 英特尔网络平台事业部工程师

  • Chenbo Xia —— 英特尔网络平台事业部工程师

  • Hongjun Ni —— 英特尔高级软件工程师

  • Yipeng Wang —— 英特尔高级软件工程师

  • Chenmin Sun —— 英特尔高级软件工程师

  • Jianfeng Tan —— 英特尔软件工程师

  • Hailong Wang —— 腾讯高级工程师

  • Cunming Liang —— 英特尔平台方案架构师

  • Changpeng Liu —— 英特尔资深工程师

  • Xin Zeng —— 英特尔资深工程师

  • Huai Huang —— 美团技术专家

  • Fangliang Lou —— 中兴通讯架构师

  • Liang Ma —— 英特尔资深工程师

  • Helin Zhang —— 英特尔技术经理

  • Jingjing Wu —— 英特尔资深工程师

  • Fan Zhang —— Intel 资深工程师,博士

  • Haohao Zhang —— 腾讯安全平台部高级工程师

  • Wei Wang —— Intel软件工程师

  • Hao Lin —— 太一星晨架构师

  • Zhaohui Sun —— 北京派网软件有限公司首席执行官

  • Jie Zheng —— United Stack网络虚拟化工程师

  • Kai Wang —— Yunshan资深工程师

金主爸爸


安利术语:零声,专注于C/C++,Linux,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,TCP/IP,协程,DPDK, SPDK, bpf/ebpf等等相关技术分享。本repo由零声的小伙伴推动以及所有提交patch的小伙伴(后面鸣谢部分)参与,共同完成。内容来源于互联网,本repo仅限于整理总结。