个人作品集，包括3D视觉，目标检测，语义分割，图像修复，生成，风格迁移等方向
1、turin机器人无序抓取轴承套圈
（1）套圈检测及点云恢复，位姿估计
识别多个候选套圈
| 位姿估计 |
|---|
 |
p.s. 红色检测框表示待抓取套圈，与下文仿真抓取的套圈一致。
（2）路径规划和避障效果。引导操纵机器人实现任意姿态套圈抓取和放置。同时设计了长杆手抓完成深框抓取。
| 仿真效果 |
|---|
 |
p.s. 因客户现场禁止带手机，无法展示现场真实效果。夹爪模型因供应商原因做了简化处理。
2、fanuc机械人抓取大型轴承套圈
p.s. 红色表示当前最高层套圈优先抓取，绿色表示其余层，基于策略决定下一个抓取的套圈（高亮显示）。
| 低亮度套圈 | |
|---|---|
 |
 |
| 杂乱场景下 | 识别倾斜严重无法抓取的套圈（蓝色框） |
 |
 |
| 点云恢复，获得待抓取套圈的位姿 |
|---|
 |
| 工厂真实使用效果展示 |
|---|
 |
清晰流畅视频点击链接下载 https://github.com/xuanandsix/myworks/blob/main/images/grab/grab.mp4
1、轴承滚子计数及混料检测
实例分割获得轴承滚子个数及面积尺寸，判断数目是否正确，是否混入其他型号。
| 计数及混料检测 |
|---|
 |
2、工业零部件缺陷检测
（1）电池产品部分缺陷检测效果展示
| 脏污 | 表皮破损 | 起泡 | 裂纹 |
|---|---|---|---|
 |
 |
 |
 |
（2）轴承套圈产品各表面部分缺陷检测效果展示
p.s. 蓝色框为产品表面检测区域，红色框为缺陷检测结果且部分包围框做了外扩
| 亮斑 | 磕碰 | 未超精 | 油污 |
|---|---|---|---|
 |
 |
 |
 |
| 车削、暗斑 | 暗斑 | 擦伤 | 工件停止 |
|---|---|---|---|
 |
 |
 |
 |
（3）凸轮产品表面部分缺陷检测效果展示
| 磕伤 | 毛刺 | 压伤、磕伤 | 毛刺、锈 |
|---|---|---|---|
 |
 |
 |
 |
(4) 检测系统真实使用效果
| 检测系统 |
|---|
 |
3、UV打印机视觉定位
双摄像头下视觉定位各种类型手机壳
| 左侧摄像头 | 右侧摄像头 |
|---|---|
 |
 |
对检测区域进行语义分割确定打印区域
| 随机展示部分分割结果 | ||||
|---|---|---|---|---|
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
| 打印效果实物展示 |
|---|
 |
4、常用商品抠图
支持30+种常用商品抠图
| 马克杯 | T恤 | 抱枕 | 部分遮挡严重下的T恤 |
|---|---|---|---|
 |
 |
 |
 |
5、移动端抠图算法
使用更轻量的网络，混合精度训练，结合模型剪枝缩小尺寸，知识蒸馏恢复精度。
检测包括猫头、狗头、人头、猫、狗、人、人脸、汽车、文字9类。 对卡通风格同样适用(第1行2列展示)，紧贴头部的饰品被视为身体的一部分（第2行3列）
 |
 |
 |
 |
 |
 |
 |
 |
 |
与服务端大模型性能对比
| 目标检测模型 | 存储大小 | mAP(0.5-0.95) |
|---|---|---|
| 服务端大模型 | 378M(float32) | 81.09% |
| 移动端模型 | 1.1M(float16) | 73.00% |
抠图包括对猫头、狗头、人头、猫、狗、人体进行分割。包括宠物头、宠物身体、人头、人身体四个语义分割模型。同样对抠图后的头部进行关键点检测用于素材对齐，包括宠物头和人头两个关键点检测。
 |
 |
 |
 |
 |
 |
与服务端大模型性能对比
| 语义分割模型 | 存储大小 | mIOU |
|---|---|---|
| 服务端大模型 | 167M(float32) | 96.3% |
| 移动端模型 | 628K(float16) | 95.0% |
6、品牌LOGO检测
实现500+类品牌LOGO检测
正常业务场景下效果展示
 |
 |
 |
 |
 |
 |
复杂业务场景下效果展示
 |
 |
 |
 |
 |
 |
7、智慧餐盘识别检测
| 餐厅真实使用效果展示 |
|---|
 |
1、宠物头及人头特定风格迁移
支持10种宠物头风格迁移和10种人头风格迁移
 |
 |
对人头风格图进行动画操作，生成不同姿态表情效果
 |
2、全景人像风格迁移
支持2种全景人像风格迁移
 |
 |
 |
 |
3、背景超分及人脸质量增强
支持人脸修复
 |
 |
 |
支持对不包括人脸的场景或动漫风格超分辨率
 |
 |
4、图像生成 文生图
| LoRA微调 | |||
|---|---|---|---|
| 美式黑白线条 |  |
 |
 |
| 复古卡通 |  |
 |
 |
| 插画风格 |  |
 |
 |
| 饥荒游戏风格 |  |
 |
 |
| 特定人物多风格 |  |
 |
 |