PaddlePaddle/PaddleMIX

🏅️飞桨大模型套件快乐开源常规赛

shiyutang opened this issue · 25 comments

活动说明

飞桨套件快乐开源常规赛活动旨在让众多开发者能参与到大模型套件的建设工作中,包括不限于新增基础功能、论文复现、代码升级等,本次活动可以帮助大家在贡献中学习大模型的相关知识,我们有专门的mentor指导大家任务的完成,让大家升级打怪不缺帮手。让我们共同成长为成为飞桨大模型套件的重要contributors吧!🎉🎉

在套件快乐开源常规赛活动中,我们同步发布启航计划,启航计划会结合技术研讨和任务发布两种活动形式互相促进。任何愿意参与大模型社区贡献,对增长在大模型方向知识感兴趣的开发者都可以报名😊。

如果你对PaddleMix尚不熟悉但也很想参与? 没关系,我们为你准备了热身打卡活动上手,完成任务的还也获得我们为你准备的精美的飞桨周边~ 欢迎参与呀。

活动价值

完成任务的贡献者可以获得:

  1. 技术提升:学习大模型的最新动态和方向,让自己的技术实力得以提升;
  2. 荣誉奖励:
    a. 成为极具影响力的大模型套件的重要contributor。
    b. 获得开源贡献证书、社区曝光度、奖状徽章等;
    c. 快乐开源奖品。
  3. 优秀的开源贡献者可以获得实习内推机会,成为飞桨模型套件方向实习生;

任务攻克排行榜(Issue解答、代码开发)

开发者github id 完成命题任务的数量 (:dart:)
co63oc 🎯 🎯 🎯 🎯 🎯 🎯 🎯

任务列表

命题任务:

命题任务是我们总结整理大模型套件的需求得出,每个任务上标注了任务难度,大家可以选择参与。欢迎对这些需求感兴趣的开发者参与到这些任务的开发✌️✌️。在开发过程中,你能进行包括任务分解、代码撰写等工作,还会有飞桨的研发全程和你一起解决可能遇到的问题。还等什么,快来参与吧。🎉🎉

  • 做任务流程:

    1. 在本条Issue页面进行报名。
    2. 加一下飞桨套件研发的微信:transy-k,加入到大模型开发者总群,在完成任务中有任何问题都可以进行反馈,会有模型套件方向的RD进行解答。
    3. 完成任务后,在任务对应跟踪Issue页面进行回复完成,RD验收通过后即视作完成,并在当天更新在排行榜。
  • 任务达成标准:完成尽可能多的任务,完成情况每天都会更新到任务攻克总榜(Issue解答、代码开发),完成命题任务的数量由:dart:认证

  • 任务列表

任务名称 难度 任务描述 tracking issue 报名
cogVLM模型复现向前推理 🌟 CogVLM 是一个强大的开源视觉语言模型,利用视觉专家模块深度整合语言编码和视觉编码,在10项权威跨模态基准上取得了SOTA性能 PaddleMIX#249 @Zero-Ding
AudioLDM2模型复现前向推理 🌟 AudioLDM2支持文本到音频和文本到语音的生成 PaddleMIX#250 @NKNaN @challengewly
新增模型vits-svc模型 🌟🌟 vits-svc支持是歌声转换和歌声克隆 PaddleMIX#251 @jingsongliujing @unicornshell
新增 StableDiffusionXL Reference Control支持 🌟 文生图任务 PaddleMIX#252 @jiongjiongli @Kaedeharai
新增Mixture Canvas pipeline 🌟 文生图任务 PaddleMIX#253 @Kaedeharai @Turingg
新增grounding_dion微调能力 🌟🌟 Grounding_dino是开放集合的目标检测模型,paddlemix已实现前向推理 PaddleMIX#254 @Atlantisming @jiangziyan-693
新增人像美肤模型 🌟 人像美肤模型可用于对图像中的人体皮肤进行处理,实现匀肤(处理痘印、肤色不均等)、去瑕疵(脂肪粒、斑点、痣等)以及美白等功能。模型仅对裸露的皮肤进行修饰美化,不影响其他区域。当前Paddle仓库中缺少关于人脸美肤的能力,因此需要开发者进行添加 PaddleMIX#255 @YangWulve @Hhankyangg @jiangziyan-693 @wyyang23
fastdeploy版的sd15模型添加gradio界面 🌟 FastDeploy是一款面向全场景、易用且灵活、高效的AI推理部署工具,它支持云端和边缘端的部署,并为开发者提供超过160种文本、视觉、语音和跨模态模型。PPDiffusers中的StableDiffusion模型已经能够与FastDeploy兼容,实现推理操作,然而当前阶段,仍缺少一个可交互的Gradio调用界面,因此需要开发者进行相应的界面添加 PaddleMIX#256 @sanbuphy
新增音乐生成(Music Generation)gradio应用(@LokeZhou 🌟🌟 为音乐生成应用新增gradio demo,参考Gradio应用介绍image-to-music_AI应用 PaddleMIX#257 @sanbuphy
新增音频生成图像(Audio-to-Image Generation) 🌟 为音乐生成应用新增gradio demo,参考Gradio应用介绍image-to-music_AI应用-飞桨AI Studio星河社区 PaddleMIX#258 @sanbuphy @wyyang23
PaddleMIX ppdiffusers中升级LoRA部分代码 🌟 lora代码升级 PaddleMIX#259 @isLinXu @shiofjsaio @rhmaaa @co63oc(已完成)
PaddleMIX ppdiffusers中升级embeddings代码 🌟 models模块代码升级 PaddleMIX#260 @isLinXu @shiofjsaio @zoey333 @co63oc(已完成)
PaddleMIX ppdiffusers中升级adapter代码 🌟 models模块代码升级 PaddleMIX#261 @isLinXu @shiofjsaio @co63oc(已完成)
PaddleMIX ppdiffusers中升级attention相关代码 🌟 models模块代码升级 PaddleMIX#262 @isLinXu @shiofjsaio @unicornshell @co63oc(已完成)
PaddleMIX ppdiffusers中models模块升级自编码器相关代码 🌟🌟 models模块代码升级 PaddleMIX#263 @co63oc(已完成)
PaddleMIX ppdiffusers中models模块升级unet相关代码 🌟🌟 models模块代码升级 PaddleMIX#264 @co63oc(已完成)
PaddleMIX ppdiffusers中升级prior模块 🌟 models模块代码升级 PaddleMIX#265 @co63oc(已完成)
PaddleMIX ppdiffusers中models模块升级controlnet代码 🌟 models模块代码升级 PaddleMIX#266 @Olive-2019 @co63oc(已完成)
Custom Diffusion 训练支持 🌟🌟 PaddleMIX ppdiffusers新增custom_diffusion训练流程 PaddleMIX#267
Kandinsky2.2 训练支持 🌟🌟 PaddleMIX ppdiffusers新增kandinsky2_2训练流程 PaddleMIX#268 @Tsaiyue
wuerstchen 训练支持 🌟🌟 PaddleMIX ppdiffusers新增wuerstchen训练流程 PaddleMIX#269
instruct_pix2pix 训练支持 🌟🌟 PaddleMIX ppdiffusers新增instruct_pix2pix训练流程 PaddleMIX#270
Checkpoint Merger 🌟 PaddleMIX ppdiffusers新增 checkpoint merger pipeline PaddleMIX#271 @zade23
StableDiffusion Pipeline 升级 🌟🌟 PaddleMIX ppdiffusers升级 StableDiffusion Pipeline PaddleMIX#377

【报名】 意向:
1.大模型方向:AudioLDM2模型复现前向推理

【报名】 意向:
1.大模型方向:PaddleMIX ppdiffusers中升级embeddings代码、LoRA部分代码、attention相关代码、adapter代码

【报名】 意向:
1.大模型方向:PaddleMIX ppdiffusers中升级embeddings、LoRA、attention、adapter。

【报名】 意向:

  1. 大模型方向:新增人像美肤模型

【报名】 意向:
大模型方向:cogVLM模型复现向前推理

请报名的开发者添加我的个人微信transy-k,进入PaddleMix开发者群,获取研发们的专属指导。
@YangWulve @Zero-Ding @shiofjsaio @isLinXu @NKNaN

另外欢迎报名快乐开源的开发也参与启航计划:PaddlePaddle/Paddle#58497

【报名】 意向:
1.大模型方向:新增grounding_dion微调能力

【报名】 意向:
大模型方向:
新增人像美肤模型

【报名】 意向:
大模型方向:

  1. 新增音乐生成(Music Generation)gradio应用
  2. 新增音频生成图像(Audio-to-Image Generation)
  3. fastdeploy版的sd15模型添加gradio界面

【报名】 意向:
大模型方向:

新增模型vits-svc模型

@isLinXu @Atlantisming @sanbuphy @Hhankyangg
请报名的开发者添加我的个人微信transy-k,进入PaddleMix开发者群,获取研发们的专属指导。另外欢迎报名快乐开源的开发也参与启航计划:PaddlePaddle/Paddle#58497 报名启航计划可以发送简历到ext_paddle_oss ext_paddle_oss@baidu.com

【报名】 意向:
大模型方向:
新增模型微调,人像美肤模型

【报名】 意向:大模型方向:

  1. 新增人像美肤模型
  2. 新增音频生成图像

【报名】 意向:
大模型方向:
lora代码升级

【报名】 意向:
大模型方向:
新增 StableDiffusionXL Reference Control支持

【报名】 意向: PaddleMIX ppdiffusers中升级embeddings代码

【报名】 意向:
大模型方向:Kandinsky2.2 训练支持

【报名】 意向:
大模型方向:PaddleMIX ppdiffusers中models模块升级controlnet代码

【报名】 意向:
大模型方向:新增Mixture Canvas pipeline

【报名】 意向:
大模型方向:Custom Diffusion 训练支持

【报名】 意向:
大模型方向:Custom Diffusion 训练支持

【报名】 意向:
大模型方向:
#267 PaddleMIX ppdiffusers新增custom_diffusion训练流程

【报名】 意向:

  1. 大模型方向:新增人像美肤模型
  2. 大模型方向:instruct_pix2pix 训练支持
  3. 大模型方向:新增Mixture Canvas pipeline

【报名】 意向:
大模型方向:新增Mixture Canvas pipeline