📣PaddleMIX 快乐开源活动

旨在鼓励更多的开发者参与到飞桨大模型套件的开源建设中，帮助社区修复 bug 或贡献 feature，共建飞桨。

🔥热身任务

跑通 Stable-Diffusion 的训练推理流程，通过完成本任务，可以收获对时下火热的文生图SD模型的hands on感受与理解，也可以快速上手PaddleMIX。

• 【PaddleMIX 热身打卡】跑通 Stable-Diffusion 训练推理 #273

🌈命题任务

命题任务是我们总结整理大模型套件的需求得出，每个任务上标注了任务难度，大家可以选择参与。欢迎对这些需求感兴趣的开发者参与到这些任务的开发✌️✌️。在开发过程中，你能进行包括任务分解、代码撰写等工作，还会有飞桨的研发全程和你一起解决可能遇到的问题。还等什么，快来参与吧。🎉🎉

认领方式

请大家以 comment 的形式认领任务，如：

【报名】：1、3、12-13

多个任务之间需要使用中文顿号分隔，报名多个连续任务可用横线表示，如 2-5
PR 提交格式：在 PR 的标题中以 【PPMix No.xxx】 开头，注明任务编号

看板信息

统计信息

排名不分先后 @mikemikimike (1) @sunnychenxiwang (1) @nemonameless (1) @luyao-cv (2) @yyh-rain-song (2) @cheng221 (1) @WFLiu0327 (1) @yangrongxinuser (3) @swagger-coder (1) @WAYKEN-TSE (1) @PolaKuma (1)

任务列表

多模态理解

mentor: @luyao-cv (1-10) @nemonameless (11-18)

做多模态理解任务推理的可以参考基于PaddleMIX的实现MiniCPM-V-2_6多模态模型推理：https://aistudio.baidu.com/projectdetail/8582824

序号	任务名称	任务类型	任务描述	难度	优先级	认领人/状态/PR号
1	Qwen2-VL训练下游任务案例文档	文档完善	添加Qwen2-VL训练下游任务的案例文档参照 ms-swift qwen2-vl最佳实践	🌟	P0	@yangrongxinuser @janfytan
2	添加LLaVA、Qwen2-VL模型单测	单测	提交test_llava.py和test_qwen2vl.py单测，脚本参照 文件	🌟	P0	@yangrongxinuser @little1d @guixxiic @mikemikimike #925
3	Qwen2-VL LoRA训练	模型训练	支持Qwen2-VL-2B的LoRA训练	🌟🌟	P0	@FrankShi9 @sunnychenxiwang #847
4	LLaVA-OneVision 模型推理	模型复现	llava-onevision-qwen2-0.5b-ov、llava-onevision-qwen2-7b-ov和llava-onevision-qwen2-7b-ov-chat推理对齐	🌟🌟	P1	@nemonameless #796
5	LLaVA-Video-7B-Qwen2推理	模型复现	LLaVA-Video-7B-Qwen2 推理对齐	🌟🌟	P1	@XavierZXY @baixiaochun123
6	Ovis-1.6系列模型推理	模型复现	Ovis1.6-Gemma2-9B推理对齐	🌟🌟🌟	P1	@yangrongxinuser @baixiaochun123
7	Aria 模型推理	模型复现	Aria推理对齐	🌟🌟🌟🌟	P1	@yangrongxinuser @mikemikimike #892 @baixiaochun123
8	POINTS-Qwen-2-5模型推理	模型复现	POINTS-Qwen-2-5-7B-Chat推理对齐	🌟🌟	P3	@wwwuyan @baixiaochun123
9	Molmo 模型推理	模型复现	Molmo-7B-D-0924推理对齐	🌟🌟	P3	@baixiaochun123 @yangrongxinuser
10	MiniCPM-V 2.6 推理	模型复现	MiniCPM-V-2_6推理对齐	🌟🌟🌟	P0	@JiehangXie @luyao-cv #825
11	Emu3 多模态理解和生成推理	模型复现	Emu3-Chat和Emu3-Gen 均推理对齐	🌟🌟🌟	P0	@yyh-rain-song #866
12	Janus 多模态理解和生成推理	模型复现	Janus推理对齐	🌟🌟🌟	P0	@cheng221 #839
13	InternLM-XComposer2.5模型推理	模型复现	InternLM-XComposer2.5-7B 推理对齐	🌟🌟	P1	@little1d
14	DocOwl2模型推理	模型复现	DocOwl2 推理对齐	🌟🌟	P2	@Eimy-san @fangfangssj
15	cambrian-8B推理	模型复现	8B模型推理对齐	🌟🌟	P2	@kineast
16	Mono-InternVL推理	模型复现	Mono-InternVL-2B 推理对齐	🌟🌟	P2	@ZHOU05030 @BaolanChen @baixiaochun123
17	Chameleon模型推理	模型复现	chameleon-7b推理对齐	🌟🌟🌟	P2	@kanze1
18	DeepSeek-VL 推理	模型复现	7B模型和1.3B模型推理对齐	🌟🌟🌟	P3	@xu8117

多模态生成

mentor：@westfish (19-26)

序号	任务名称	任务类型	任务描述	难度	优先级	认领人/状态/PR号
19	PPDiffusers推理页文档	文档完善	完善inference页面文档，补齐pipelines	🌟	P0	@WFLiu0327 #815
20	SD3单测	单测	完善SD3单测tests/pipelines/stable_diffusion_3	🌟🌟	P0	@WFLiu0327
21	FLUX推理	模型复现	FLUX推理对齐，可参考diffusers-flux	🌟🌟🌟	P0	@little1d
22	SD3.5适配	模型复现	SD3.5推理适配，支持stable-diffusion-3.5-large	🌟🌟	P0	@javey-q @zade23
23	SD3特色应用	特色应用	基于SD3构建特色创意应用applications/SD3，提供gradio和ipynb	🌟🌟🌟	P0	@fxy1699
24	Cogview3推理	模型复现	Cogview3-plus推理对齐，可参考diffusers-cogvidw3	🌟🌟	P1	@zade23 @baixiaochun123
25	Kolors推理	模型复现	Kolors推理对齐，可参考diffusers-kolors	🌟🌟	P1	@Sylence8
26	Latte推理	模型复现	Latte推理对齐，可参考diffusers-latte	🌟🌟	P1	@Eimy-san @KDZZZZZZ

数据工程

mentor: @lyuwenyu (27, 30, 31) @LokeZhou (28, 29)

序号	任务名称	任务类型	任务描述	难度	优先级	认领人/状态/PR号
27	datacopilot首页文档	文档完善	通过了解多模态大模型的数据处理流程，和使用datacopilot的体验，写一篇适合新手入门的tutorial	🌟	p0	@yangrongxinuser #823 #834
28	ExplainableVQA推理	模型复现	ExplainableVQA推理对齐	🌟🌟	p0	@Victor-Bayim
29	sam2推理	模型复现	sam2推理对齐，并接入appflow	🌟🌟	p0	@nizne9
30	QuRating推理	模型复现	QuRating推理对齐，接入datacopilot	🌟🌟🌟	p1	@BaolanChen
31	SQ-LLaVA推理	模型复现	SQ-LLaVA推理对齐，接入datacopilot	🌟🌟🌟	p1	@SCUcookie

音频方向

mentor: @luyao-cv (32-35)

序号	任务名称	任务类型	任务描述	难度	优先级	认领人/状态/PR号
32	whisper-large-v3推理	模型复现	whisper-large-v3推理对齐	🌟🌟🌟	p0	@mori0umi
33	suno/bark 推理	模型复现	suno/bark推理对齐	🌟🌟🌟	p0	@mori0umi
34	GPT-SoVITS推理	模型复现	GPT-SoVITS推理对齐	🌟🌟🌟	p0	@mori0umi
35	Diffsinger推理	模型复现	Diffsinger推理对齐	🌟🌟🌟	p0	@swagger-coder #853 #860

新增任务

mentor: @luyao-cv (36-37, 44) @westfish (38) @nemonameless (39-43, 45-50)

序号	任务名称	任务类型	任务描述	难度	优先级	认领人/状态/PR号
36	MiniCPM-V 2.6 完善	技术文档	1. 参考，接入视频推理脚本 2. 参考模型文件，写一份推理文档说明。	🌟	p0	@mikemikimike @luyao-cv #843
37	Qwen2vl 代码解析+使用流程	技术文档	1. 完成 Qwen2-VL 多模态模型的详细代码解析 2. 编写完整的环境配置 3. 提供模型训练与推理的示例代码 合入到此处：paddlemix/examples/qwen2_vl	🌟	p0	@yangrongxinuser #832 @sunnychenxiwang
38	SD3 代码解析+使用流程	技术文档	1. 完成 Stable Diffusion 3.0 核心架构解析 2. 提供完整的训练流程文档，参考，ppdiffusers/examples/dreambooth/README_sd3.md 3. 编写模型推理与部署指南，参考ppdiffusers/deploy/sd3 合入到此处：ppdiffusers/examples/stable_diffusion_3	🌟	p0	@javey-q @yangrongxinuser #859
39	mPLUG-Owl3推理	模型复现	1B模型 推理对齐	🌟🌟🌟	p3	@sunnychenxiwang @WAYKEN-TSE #865
40	LongVA-7B推理	模型复现	LongVA-7B 推理对齐	🌟🌟🌟	p3	@Neo-WY
41	LongLLaVA-9B推理	模型复现	LongLLaVA-9B推理对齐	🌟🌟🌟	p3	@PolaKuma #904
42	SmolVLM-Instruct推理	模型复现	SmolVLM-Instruct推理对齐	🌟🌟🌟	p3	@morezz
43	Show-o推理	模型复现	show-o-512x512推理对齐	🌟🌟🌟🌟	p3	@Neo-WY @yyh-rain-song #868
44	多模态理解任务模型汇总	文档完善	整理paddlemix已有的模型名、模型大小、是否支持训练等，合入到paddlemix/examples/README.md，参考：https://github.com/hiyouga/LLaMA-Factory （Supported Models）	🌟	p3	@PolaKuma #852 @Sylence8
45	vila-u-7b-256推理	模型复现	vila-u-7b-256推理对齐	🌟🌟🌟	p3	@ZHOU05030
46	jina-clip-v2推理	模型复现	jina-clip-v2推理对齐	🌟🌟	p3	@BaolanChen
47	deepseek-vl2-tiny推理	模型复现	deepseek-vl2-tiny推理对齐	🌟🌟🌟🌟	p0	@WAYKEN-TSE
48	megrez-3b-omni推理	模型复现	megrez-3b-omni推理对齐	🌟🌟🌟🌟	p0
49	‼️mar推理	多模态生成经典模型复现	mar推理对齐	🌟🌟🌟	p0
50	HoVLE-HD推理	模型复现	HoVLE-HD推理对齐	🌟🌟🌟	p0