图像生成模型的部署绕不开一个老问题模型在单机跑通不等于线上能用。Qwen-Image 作为关注度很高的开源图像生成模型生成质量确实能打但把它真正做成服务时最痛的往往不是效果而是延迟。Baseten 公开的优化结果把 Qwen-Image 的推理延迟降了 42.3%做法是用 SGLang 推理框架加英伟达 B300 GPU。这篇不是要复述那个数字而是要拆开看这个 42.3% 到底是怎么算出来的、在你自己环境里能不能复现、以及从 SGLang 部署到延迟验证的一整套流程该怎么走。如果你正在做图像生成模型的服务化部署或者正准备选推理框架和 GPU这篇文章会很有用。先给一个判断42.3% 是一次组合优化不是框架或硬件单独带来的。想复现这个量级的降幅必须把 Qwen-Image 的运行链路拆开看模型本身有多大、推理框架怎么调度、硬件的显存和带宽够不够。这三层都会影响最终延迟。下面按实际落地顺序分析。1. 延迟降低 42.3%本质是把三层瓶颈同时松开了1.1 一个组合数据的含义先说结论标题里的 42.3% 不是某个参数从 1 改成 100 得到的。它更像三层收益叠加的结果。硬件层B300 相比上一代显存容量和内存带宽明显提升模型权重和中间状态更容易留在 GPU 上。框架层SGLang 的连续批处理和 RadixAttention 机制减少了重复计算和缓存浪费。工程层Baseten 作为托管推理平台可能在启动参数、并发调度、请求排队上做了生产化配置。这种三层叠加意味着什么意味着你在本地复现时如果只看单点比如只换框架不换硬件绝对看不到 42.3%。如果你的目标是降延迟就要接受一个事实优化是系统性的不是一条命令能解决的。但反过来也有一个好消息即使你没有 B300也不代表 SGLang 的优化思路不能用。SGLang 的调度和缓存收益跟硬件型号关系不大在普通 GPU 上一样能体现出来只是幅度会小一些。1.2 图像生成延迟的构成图像生成服务的延迟通常由三段时间组成输入处理和 Prompt 编码。模型推理主体也就是扩散采样步的迭代。解码、后处理和结果返回。对 Qwen-Image 这类基于 DiT 架构的模型第二阶段通常占大头。所以在优化时主要目标就是让第二阶段跑得更快。第二阶段快不快主要看三点显存是否够大、计算访存比是否合理、批处理调度是否能充分占用 GPU。B300 解决的问题是前两点显存更大、带宽更高。SGLang 解决问题的是第三点把请求调度得更连续减少 GPU 空转。两块合起来降幅才有可能到 42.3%。如果只看其中一块可能连 20% 都很难到。这也能解释为什么很多人同时去搜 SGLang、B300 和 Qwen-Image。这三个词本来就属于一条链路分开看容易误判优化空间。2. Qwen-Image、SGLang、B300各自在链路里承担什么角色2.1 Qwen-Image被服务的目标模型Qwen-Image 是阿里通义团队开源的图像生成模型采用 Flow Matching 目标训练。它包含一个 20B 参数级别的主模型和一个较小的多模态 VAE。输入支持文本输出是图像中文和英文的提示词都能处理默认生成分辨率通常在 1024×1024 左右。这类模型部署起来有一个特点模型大、显存敏感、生成过程长。20B 参数即使在某些量化方案下也要占用相当可观的显存。再加上生成时的中间激活如果单卡显存不够就要做张量并行而张量并行又会引入通信开销。所以 Qwen-Image 的延迟优化很多时候不是在压代码而是在压数据搬运。更准确地说Qwen-Image 这类扩散模型对内存带宽非常敏感。每个扩散采样步都要读取一遍全部权重带宽越高每步耗时越低。这也是为什么同一个模型在不同 GPU 上的延迟差异可能非常悬殊。2.2 SGLang推理框架负责把 GPU 喂饱SGLang 是一个专门面向生成模型的推理框架。它和 vLLM 类似都支持连续批处理、分页缓存、张量并行和并行采样。但 SGLang 有个比较突出的点RadixAttention也就是树状前缀缓存。它会把多次请求中相同的前缀缓存复用起来减少重复计算。对 Qwen-Image 这类模型SGLang 的价值还体现在多模态输入处理和批量生成调度上。图像生成任务通常包含多轮扩散步每步之间的状态是连续的。框架如果能把多个请求的采样步放进一个稳定的批处理队列GPU 利用率会明显提升。很多人在问“sglang 和 vllm”哪个好。我的看法是不要只看 benchmark要先看你部署的模型在哪个框架里支持更完整。SGLang 对新模型的支持通常跟进比较快但这不等于它在所有场景里都比 vLLM 快。后面第 7 章会专门展开。2.3 B300硬件底座决定延迟天花板英伟达 B300 属于 Blackwell Ultra 系列。和上一代产品相比B300 的显存容量和内存带宽提升非常明显。对大规模模型推理来说显存容量决定能不能装下模型带宽决定每步计算时能不能及时拿到数据。图像生成模型恰恰对内存带宽很敏感。DiT 的每个扩散步都要访问大量权重和中间特征如果带宽不够计算单元就会一直等数据GPU 利用率上不去。B300 的大带宽相当于把数据搬运时间压缩了这对 Qwen-Image 的 20B 模型来说非常关键。需要说明的是B300 的收益不是所有模型都同等明显。如果你的模型很小、带宽需求不高换 B300 带来的延迟改善可能很有限。做选型时先看模型对哪种资源敏感再看 GPU 规格。2.4 Baseten把引擎和硬件组装成服务的平台Baseten 是模型推理托管平台。用户把模型和依赖打包好平台负责拉起服务、管理 GPU、接流量、做扩缩容。从标题和公开信息看Baseten 在内部用 SGLang 作为引擎并在 B300 上托管 Qwen-Image然后给出延迟下降 42.3% 的对比数据。从用户视角看这种托管平台的价值是你不需要自己装框架、调驱动直接拿到可用端点。从学习视角看如果你想理解 42.3% 是怎么来的还是需要自己在本地跑一遍。因为平台环境是黑盒你看不到日志和参数细节。只有本地复现你才能真正理解每个优化项的作用。3. 复现前的环境准备先过硬件、软件、模型三层检查3.1 硬件条件没有 B300 也能测但预期要分开先给一个参考判断表。这里的数值是通用参考不同版本和量化方案会有差异。资源项最低可跑接近生产对比说明GPU 显存24GB 起步80GB 以上20B 模型加中间激活24GB 会比较紧GPU 型号普通数据中心卡B300 或同级影响带宽和单步耗时内存32GB 起步64GB 以上模型加载和请求缓存都吃内存磁盘模型体积的两倍以上预留更大空间包含权重、缓存和输出多卡互联无要求NVLink 优先张量并行时卡间通信很关键如果你有 B300 或同类大显存 GPU环境最接近 Baseten 的场景。实际使用中显存 80GB 以上、内存带宽高的卡跑 Qwen-Image 20B 模型会比较从容。如果没有 B300只有普通 24GB 或 48GB 的卡也可以跑但要注意两点第一要用更保守的并行策略。显存不够时通常需要张量并行或多卡切分这会增加通信开销。第二不要期待复现 42.3% 的降幅。你的硬件带宽和缓存上限不同优化收益会缩水。我一般会建议先在本地用一张卡把流程跑通再考虑是否租用更高规格 GPU 做正式对比。流程通了思路就通了。3.2 软件依赖框架版本比功能列表重要参考常见部署方式Qwen-Image 用 SGLang 部署时依赖大致包括CUDA 环境和 NVIDIA 驱动驱动版本要匹配 GPU 代际B300 需要较新的驱动。Python 3.10 或更高建议独立虚拟环境。SGLang 及其配套加速库。与模型匹配的 Transformers 或专用加载组件。Hugging Face 账号或本地权重缓存用于拉取模型权重。这里有个容易被忽略的点不同 SGLang 版本对模型的支持程度不一样。Qwen-Image 可能在某个版本之后才有完整支持。安装前先确认 release 文档里是否明确写了 Qwen-Image或者看官方示例有没有对应的启动文件。不要一上来就装最新版。先看你用的模型