【Hackathon 6th Fundable Projects No.4】Paddle 框架旧执行器功能退场 Tracking Issue #63510
Description
一、BackGround
飞桨 Paddle 自 2.0 版本以来，进行了多个重大机制改造。包括：高可复用算子库 PHI、全新的动态图体系、全新的静态图执行引擎等。随着新机制的发布使用，旧机制和功能代码需要进行退场和移除，保持架构清晰和代码库的条理性，为内外部开发者提供更好的二次开发环境。这就包括了 Operators 算子库的清理、旧动态图机制代码的清理、旧静态图执行引擎的清理。
2.0 版本后静态图虽然是非默认形态，但以 Interpreter 为中心的内核执行器正式取代了旧的 ParallelExecutor 执行器，提供了更优调度策略的新执行器。因此飞桨考虑虑将此系列旧执行器进行退场处理。
二、Task
任务描述详细见RFC：
| 序号 | 任务描述 | 认领人/状态/PR号 |
|---|---|---|
| 1 | 移除旧执行器单元测试✅ | @ccsuzzh  #63543 |
| 2 | 完成ParallelExecutor编译模块迁移✅ |
@ccsuzzh #63758 #6782 |
| 3 | 移除ExecutionStrategy ✅ |
@ccsuzzh #63132 #65077 #6694 |
| 4 | CINN 中旧执行器代码退场✅ | @ccsuzzh #63473 |
| 5 | 移除ParallelExecutor执行器相关代码 |
@ccsuzzh #64822 #64818 #65189 #6694 #65340 #65462 #65894 #66293 |
| 6 | 移除AsyncExecutor执行器相关代码✅ |
@ccsuzzh #63923 |
三、Details
任务一：移除旧执行器单元测试✅（整体进展：27/27）
| 处理方式 | 单测文件统计 | PR链接 |
|---|---|---|
| 部分删除 | cinn_launch_context_test.cc✅ | #63470 |
| 直接删除 | share_varinfo_into_cinn_pass_test.cc✅ | #63470 |
| 部分删除 | test_reference_count_pass_last_lived_ops.cc✅ | #63758 |
| 直接删除 | parallel_executor_test_base.py✅ | #63543 |
| 部分删除 | seresnext_net.py✅ | #63543 |
| 直接删除 | seresnext_test_base.py✅ | #63543 |
| 直接删除 | test_fuse_all_reduce_pass.py✅ | #63543 |
| 部分删除 | test_fuse_elewise_add_act_pass.py✅ | #63543 |
| 直接删除 | test_fuse_optimizer_pass.py✅ | #63543 |
| 直接删除 | test_fuse_relu_depthwise_conv_pass.py✅ | #63543 |
| 直接删除 | test_ir_inplace_pass.py✅ | #63543 |
| 直接删除 | test_ir_memory_optimize_pass.py✅ | #63543 |
| 直接删除 | test_ir_memory_optimize_transformer.py✅ | #63543 |
| 直接删除 | test_mix_precision_all_reduce_fuse.py✅ | #63543 |
| 直接删除 | test_parallel_executor_run_cinn.py✅ | #63543 |
| 直接删除 | test_parallel_executor_seresnext_base_cpu.py✅ | #63543 |
| 直接删除 | test_parallel_executor_seresnext_base_gpu.py✅ | #63543 |
| 直接删除 | test_parallel_executor_seresnext_with_fuse_all_reduce_cpu.py✅ | #63543 |
| 直接删除 | test_parallel_executor_seresnext_with_fuse_all_reduce_gpu.py✅ | #63543 |
| 直接删除 | test_parallel_executor_seresnext_with_reduce_cpu.py✅ | #63543 |
| 直接删除 | test_parallel_executor_seresnext_with_reduce_gpu.py✅ | #63543 |
| 直接删除 | test_parallel_executor_transformer_auto_growth.py✅ | #63543 |
| 直接删除 | test_parallel_executor_transformer.py✅ | #63543 |
| 部分删除 | test_program_prune_backward.py.py✅ | #63543 |
| 部分删除 | test_py_func_op.py✅ | #63543 |
| 部分删除 | test_standalone_executor.py✅ | #63543 |
| 部分删除 | test_weight_decay.py✅ | #63758 |
任务二：完成ParallelExecutor编译模块迁移✅
- 完成
CompiledProgram的兼容，与ParallelExecutor彻底解绑 - 移除
build_strategy中无用的属性 - Docs仓库同步更新
任务三：移除ExecutionStrategy ✅
- 移除Python端
ExecutionStrategy - 移除C++端
ExecutionStrategy - Docs仓库同步更新
任务四：CINN 中旧执行器代码退场✅
- 【Hackathon 6th Fundable Projects 3 No.61-62】Remove fluid operator cinn_instruction_run #63470
- 【Hackathon 6th Fundable Projects 4 No.4】 clean parallel executor in cinn #63473
任务五： 移除ParallelExecutor执行器相关代码
-
ParallelExecutorpybind代码退场 -
ParallelExecutor和SSAGraphExecutor及其派生类代码退场 - 移除OpHandle组件
- 【Hackathon 6th Fundable Projects 4 No.5】remove fetch_op/fetch_async_op/grad_merge_all_reduce_op handle -part #65340
- 【Hackathon 6th Fundable Projects 4 No.5】remove rpc_op_handle/fetch_barrier_op_handle/gather_op_handle -part #65462
- 【Hackathon 6th Fundable Projects 4 No.5】remove reduce_op_handle/all_reduce_op_handle -part #65894
- 【Hackathon 6th Fundable Projects 4 No.5】remove scale_loss_grad_op_handle -part #66293
- remove memory optimize pass #66558
- Docs仓库同步更新
任务六： 移除AsyncExecutor执行器相关代码✅
-
AsyncExecutor相关代码退场
看板信息
| 任务方向 | 任务数量 | 提交作品 / 任务认领 | 提交率 | 完成 | 完成率 |
|---|---|---|---|---|---|
| Fundable Projects No.4 | 6 | 6 / 6 | 100.0% | 6 | 100.0% |
统计信息
排名不分先后 @ccsuzzh (6)