Qwen3.5-35B-A3B VLM 训练速度很慢，如何利用 grouped_mm / Megatron EP 加速？

[ChaosCodes]

环境

• GPU: 8× A800 80GB (单机)
• 模型: Qwen3.5-35B-A3B（VLM，包含 vision encoder）
• ms-swift: 4.0.0.dev0（从 main 分支安装）
• megatron-core: 0.15.0
• PyTorch: 2.7
• 训练类型: full（全参数微调），VLM SFT
• 数据: 自定义 VLM 数据集（~826K 样本，单图 + 文本）

相关 Issue / PR

• Qwen3.5-397B-A17B训练速度很慢 #8101 — Qwen3.5-397B-A17B 训练速度很慢（同样的问题，官方回复说 linear attention 目前用 transformers 实现，正在切 megatron-core）
• [megatron] qwen3.5 use megatron-core #8126 — [megatron] qwen3.5 use megatron-core（正在开发中的 PR，将 Qwen3_5MoeGatedDeltaNet 切换到 megatron-core 实现）
• [Bug] Qwen3.5-35B-A3B LoRA SFT: loss=0, token_acc=0 #8142 — Qwen3.5-35B-A3B LoRA SFT loss=0 bug
• qwen3.5 moe模型 megatron训练时报错IndexError #8129 — Qwen3.5 megatron 训练报错 IndexError

问题描述

我们在 8×A800 上对 Qwen3.5-35B-A3B 做 VLM SFT，速度非常慢。我们尝试了两个框架：

1. verl FSDP2（baseline）

设置	值
并行方式	FSDP2 (fully_shard)
micro_batch_size	4
global_batch_size	256
gradient_accumulation	8
max_length	2048
attn_implementation	eager
s/step	~750s
tokens/s	~699

2. ms-swift + DeepSpeed ZeRO-3 + grouped_mm

NPROC_PER_NODE=8 swift sft \
    --model Qwen3.5-35B-A3B \
    --tuner_type full \
    --experts_impl grouped_mm \
    --per_device_train_batch_size 1 \
    --gradient_accumulation_steps 32 \
    --deepspeed zero3 \
    --max_length 2048

设置	值
micro_batch_size	1（mbs=4 + ZeRO-2 OOM）
global_batch_size	256
gradient_accumulation	32
s/step	~1504s（step 1）
tokens/s	~348
显存/卡	~78GB

ms-swift + ZeRO-3 比 verl FSDP2 还慢了约 2 倍，有 memory pressure 导致 cache flush。

对比参考

同样的 8×A800 环境，Qwen3-VL-8B（dense）可以达到 ~57,268 tokens/s，Qwen3.5 只有其 1/82。

想请教的问题

1. PR [megatron] qwen3.5 use megatron-core #8126 进度：看到 @Jintao-Huang 在 Qwen3.5-397B-A17B训练速度很慢 #8101 提到会将 Qwen3_5MoeGatedDeltaNet 切成 megatron-core 实现。请问这个 PR 预计什么时候 merge？merge 后是否直接支持 VLM（带 vision encoder）的训练？

2. grouped_mm 效果：我们开了 --experts_impl grouped_mm，但在 ZeRO-3 全参数微调下速度反而更慢。ZeRO-3 下 grouped_mm 是否能正常加速？

3. Megatron EP 路径：examples/models/qwen3_5/mcore.sh 使用了 expert_model_parallel_size=4 + moe_grouped_gemm + moe_shared_expert_overlap。这条路径在 8×A800 单机上做 VLM 全参数微调是否可行？需要 megatron-core 0.16 吗？

4. 当前可用的优化：在等 [megatron] qwen3.5 use megatron-core #8126 merge 之前，有没有什么立即可用的加速方法？比如 SWIFT_PATCH_CONV3D=1、或者特定的 deepspeed 配置？

5. flash attention：Qwen3.5 的 linear attention（GatedDeltaNet）是否有 flash attention 或类似的优化实现？目前在 verl 中被迫使用 eager，这可能是速度慢的一个重要原因。

期望

希望能在 8×A800 上将 Qwen3.5-35B-A3B 的训练吞吐提升到至少 2000-5000 tokens/s 的水平（目前只有 ~700 tokens/s）。

感谢！

[Jintao-Huang]

稍等 在排查了

[ga546]

稍等 在排查了
I have the same problem. Is there a solution? Thank you very much.

[Jintao-Huang]

Try uninstalling fla. In my testing, it's faster without installing fla.

[KeuntekLee]

Try uninstalling fla. In my testing, it's faster without installing fla.

What about flash_attn? Does it impact on Qwen3.5 series?

[ga546]

Try uninstalling fla. In my testing, it's faster without installing fla.

Thanks for your reply. I tried it, and it does get faster, but the speed difference compared to the Qwen3-VL-32B is still significant. With the same amount of data and the same GPU, it's about four times slower.

[Jintao-Huang]

I'm still testing and will provide a benchmark.

[Jintao-Huang]

https://github.com/fla-org/flash-linear-attention/blob/d792da6dd544d28980205817b20535500c3f243e/fla/modules/l2norm.py#L162

It seems that this function is being invoked, leading to kernel recompilation whenever the sequence length varies.

[Jintao-Huang]

fla-org/flash-linear-attention#758

[Jintao-Huang]

After fixing it locally, the speed is back to normal.

PYTORCH_CUDA_ALLOC_CONF='expandable_segments:True' \
NPROC_PER_NODE=4 \
CUDA_VISIBLE_DEVICES=4,5,6,7 \
megatron sft \
    --model Qwen/Qwen3.5-35B-A3B \
    --save_safetensors true \
    --merge_lora true \
    --dataset 'AI-ModelScope/LongAlpaca-12k' \
    --load_from_cache_file true \
    --add_non_thinking_prefix true \
    --split_dataset_ratio 0.01 \
    --tuner_type lora \
    --lora_rank 8 \
    --lora_alpha 32 \
    --target_modules all-linear \
    --expert_model_parallel_size 4 \
    --moe_permute_fusion true \
    --moe_grouped_gemm true \
    --moe_shared_expert_overlap true \
    --moe_aux_loss_coeff 1e-6 \
    --micro_batch_size 1 \
    --global_batch_size 16 \
    --recompute_granularity full \
    --recompute_method uniform \
    --recompute_num_layers 1 \
    --num_train_epochs 1 \
    --group_by_length true \
    --finetune true \
    --freeze_llm false \
    --freeze_vit true \
    --freeze_aligner true \
    --cross_entropy_loss_fusion true \
    --lr 1e-4 \
    --lr_warmup_fraction 0.05 \
    --min_lr 1e-5 \
    --output_dir megatron_output/Qwen3.5-35B-A3B \
    --eval_steps 200 \
    --save_steps 200 \
    --max_length 8192 \
    --dataloader_num_workers 8 \
    --dataset_num_proc 8 \
    --no_save_optim true \
    --no_save_rng true \
    --sequence_parallel true \
    --attention_backend flash \
    --padding_free false

[KeuntekLee]

@Jintao-Huang Can u share ur local fixes for workaround?

[Jintao-Huang]

My fix was to remove the NB parameter from this file. Alternatively, you can use l2norm_fwd_kernel1 and l2norm_bwd_kernel1 as a workaround.

https://github.com/fla-org/flash-linear-attention/blob/d792da6dd544d28980205817b20535500c3f243e/fla/modules/l2norm.py#L85C5-L85C7

[Jintao-Huang]

According to the issue discussion, this can also be resolved by installing the FLA main branch.

fla-org/flash-linear-attention#758