Qwen3.5-35B-A3B-MXFP4模型深度解析AMD MI300平台上的高效量化方案【免费下载链接】Qwen3.5-35B-A3B-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen3.5-35B-A3B-MXFP4Qwen3.5-35B-A3B-MXFP4模型是AMD针对MI300/MI350/MI355硬件平台专门优化的35B参数大型语言模型采用了先进的MXFP4量化技术在保持模型性能的同时大幅降低了存储和计算需求。这个模型基于通义千问的Qwen3.5-35B-A3B-FP8模型通过AMD-Quark量化工具进行深度优化专为AMD硬件生态系统设计。 为什么选择Qwen3.5-35B-A3B-MXFP4硬件专有优化AMD MI300系列硬件支持专门针对AMD MI300/MI350/MI355架构优化ROCm 7.0.0兼容性完全支持AMD的ROCm计算平台PyTorch 2.9.1集成与现代深度学习框架无缝集成量化技术突破MXFP4量化方案权重和激活值均采用4位浮点量化动态激活量化根据输入动态调整量化参数静态权重量化预训练模型的权重已优化固化 技术架构详解模型核心参数Qwen3.5-35B-A3B-MXFP4采用混合专家MoE架构具体配置如下参数类别配置值说明隐藏层大小2048模型隐藏维度注意力头数16多头注意力机制专家数量256MoE架构专家总数每token专家数8每个token激活的专家数量最大序列长度262,144支持超长上下文词汇表大小248,320丰富的词汇表达能力量化配置细节模型在config.json中详细定义了量化参数quantization_config: { global_quant_config: { input_tensors: { dtype: fp4, is_dynamic: true, qscheme: per_group, group_size: 32 }, weight: { dtype: fp4, is_dynamic: false, qscheme: per_group, group_size: 32 } } } 性能表现评估GSM8K基准测试结果根据README.md中的评估数据模型在数学推理任务上表现出色基准测试原始FP8模型MXFP4量化模型恢复率GSM8K (flexible-extract)89.3993.25104.32%令人惊喜的是MXFP4量化后的模型性能不仅没有下降反而提升了4.32%这证明了AMD-Quark量化技术的优越性。️ 快速部署指南环境要求操作系统: Linux推理引擎: SGLang或vLLM 0.16.0rc2ROCm版本: 7.0.0PyTorch: 2.9.1Transformers: 5.3.0使用vLLM进行推理从README.md中可以看到最简单的部署方式lm_eval \ --model vllm \ --model_args pretrainedamd/Qwen3.5-35B-A3B-MXFP4,tensor_parallel_size4,max_model_len262144,gpu_memory_utilization0.90,max_gen_toks2048,trust_remote_codeTrue,reasoning_parserqwen3 \ --tasks gsm8k \ --num_fewshot 5 \ --batch_size autoDocker容器部署使用AMD提供的预配置容器docker pull rocm/vllm-dev:nightly_main_20260211 量化技术深度解析MXFP4量化优势存储效率提升相比FP16MXFP4将存储需求降低75%计算速度提升4位运算在AMD硬件上获得更好的性能精度保持通过精细的量化策略保持模型能力量化排除策略模型在config.json中定义了详细的量化排除列表确保关键组件保持精度lm_head层保持原精度视觉模块的关键层特定注意力机制组件 应用场景数学推理与科学计算得益于出色的GSM8K表现该模型特别适合数学问题求解科学计算辅助工程问题分析多模态理解支持图像和文本输入可用于图像描述生成视觉问答任务多模态内容理解长文本处理262,144的最大序列长度支持长文档分析代码理解与生成复杂对话系统 性能优化技巧内存优化配置在generation_config.json中可以看到推荐的推理参数{ temperature: 1.0, top_k: 20, top_p: 0.95 }并行策略张量并行支持tensor_parallel_size4配置内存优化gpu_memory_utilization0.90平衡性能与内存 模型文件结构项目包含完整的模型文件model.safetensors-00001-of-00014.safetensors到model.safetensors-00014-of-00014.safetensors- 分片的模型权重model.safetensors.index.json- 权重索引文件tokenizer.json和tokenizer_config.json- 分词器配置preprocessor_config.json- 预处理器配置 技术亮点总结硬件专有优化为AMD MI300系列GPU深度优化量化精度保持MXFP4量化不损失性能甚至有所提升超长上下文支持262K tokens的超长序列多模态支持集成视觉处理能力开源友好Apache 2.0许可证支持商业使用 使用建议对于想要在AMD硬件上部署大型语言模型的用户Qwen3.5-35B-A3B-MXFP4提供了即用型解决方案开箱即用的量化模型性能保证经过严格基准测试验证社区支持基于活跃的Qwen社区持续更新AMD持续优化和维护这个模型代表了AMD在AI推理优化方面的最新成果为开发者在AMD硬件平台上部署高效的大型语言模型提供了理想选择。无论是学术研究还是商业应用Qwen3.5-35B-A3B-MXFP4都展示了量化技术在现代AI部署中的巨大潜力 【免费下载链接】Qwen3.5-35B-A3B-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen3.5-35B-A3B-MXFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考