OpenMOSS 发布开源图像模型 MOSS-Image,主打长文本渲染与可编辑布局

OpenMOSS2026年10月16日

2026年10月16日,OpenMOSS 公开了 MOSS-Image 的代码和权重。这套系统有一个从零预训练的 5B 文生图生成器,也可以先把短需求写成布局再画。评测里的长文本平均 1339.8 个字符,六组平均覆盖率是 96.3,高于同表 Qwen Image 2512 的 64.9;61 条短设计请求上,带规划的完整系统得 1698.70,排在 GPT Image 2 之后。

MOSS-Image文生图开源权重版式控制文字渲染

一分钟看懂

  1. MOSS-Image 用 5B 文生图生成器接上可选规划,把短需求画成带长文字和明确位置的图。
  2. 240 道长文本的六组平均覆盖率是 96.3;61 条短请求的完整系统对战得 1698.70,排第二。
  3. 96.3 只看文字有没有出现,不核顺序;1698.70 来自团队自测,不能和 1807.34 相减。

长文本平均覆盖率 96.3,61 条短请求对战排第二

先看两组不能相减的数字。长文本基准 LongLongTextBench(LLTB)上,MOSS-Image 的六组平均覆盖率是 96.3,同表开源权重模型 Qwen Image 2512 是 64.9,高出 31.4 个百分点。短请求对战 RealLayoutArena(RLA)上,带规划的完整系统得 1698.70,排在 GPT Image 2 的 1844.35 后面。

海报、信息图和界面稿会同时卡住两件事:字要写对,元素还要落在该在的位置。闭源系统已经在做信息图、界面和知识卡。开源权重模型也能生成这些图,密集文字和复杂版式仍然容易散。画面看起来像,字不一定能读,内容不一定写全,位置也不一定说得通。

项目页上的一组生成示例,包含城市夜景、插画和带中文的手写题
项目页的生成示例。其中有一张带中文算式的手写题,其余是照片和插画。这是展示图,不是 LLTB 的 240 道评测题,也不能用来核对 96.3。

报告的署名单位包括 MOSI、SII、复旦大学和上海交通大学。MOSS-Image 把这件事拆成两块。一块是从零预训练的 5B 单流扩散 Transformer,负责按已经写明的文字和位置出图。另一块是推理时才运行的意图规划,负责把一句很短的需求补成内容和版式。两块接在一起用。规格写得很细,字和位置仍可能画错。生成器会写字。用户没写明的信息层次,要由规划这一步先定下来。

5B 只计生成器,散文和 JSON 进同一条通路

这里的 5B 只计入扩散生成器。冻结的文本编码器 Qwen3.5-9B,以及冻结的图像压缩模块 FLUX.2 VAE,都不在这 5B 里面。联合骨干有 42 个块,隐藏维度 3072,24 个注意力头,每头 128 维,前馈隐藏维度 8192。

自然语言和显式布局共用这一条文本条件通路。散文提示从这里进去,写成 JSON 的文字、物体和边界框也从这里进去。同一个生成器两边都能跟。一份 JSON 写进提示,仍不保证每个框都被正确执行。

第三训练阶段把单条样本的文本条件上限放在 4096 个 token。这个上限按套用对话模板之后的文本 token 计算,不能折成固定的字符数。最终检查点取第 310000 步的指数滑动平均权重。最终画布的像素面积上限没有公布。

提示里的显式换行,会让每一行要写的字在去噪较早阶段先定下来。以零为中心的绝对边界框坐标,在训练没见过的分辨率上,比缩放到单位区间的相对坐标更稳。

约 50 亿张图筛到约 30 亿张,字幕以英文为主

图来自 ReLAION、OmniCorpus、DataComp 以及其他公开图文数据。用 SSCD 去重,再用内部检测器去掉 AI 生成图,图像数量从大约 50 亿张降到大约 30 亿张,然后按各来源原来的比例混合。两个规模都是约数。

准备阶段在来源自己已经做过的过滤之外,不再追加一套启发式剔除。ReLAION 的成人内容和水印检查,仍然算来源阶段做过的过滤。水印、模糊人脸和压缩痕迹被写进文字监督,留在训练里。更早的一次过滤试验用的是 24 层多流模型。1,183,622,445 条记录留下 513,110,382 条,占 43.35%。同一试验里,额外过滤把 OneIG 文字分从 0.5243 降到 0.1180。正式预训练因此保留了更宽的图。那次试验的模型也不是最终的 5B。

训练字幕以英文为主,没有专门再标一套中文字幕。字幕模型 gemma4 把图写成短句、中等段落或详细描述,训练时按领域策略抽样。一部分图还会加上边界框、类别、转写文字和字体属性,换行被保留下来。

优化器是混合的 Muon–AdamW:符合条件的矩阵用 Muon,其余参数用 AdamW。1B 规模的早期消融里,去噪损失到 0.41 时,混合优化器用 257K 步,AdamW 用 385K 步,少 33.2%;到 0.403 时是 939K 步对 1317K 步,少 28.6%。这组步数来自 1B 消融,不能当成 5B 正式训练少了多少步。

短需求由 GPT-6 写成布局规格

规划模块在推理时调用 GPT-6,按海报、信息图、用户界面选择任务模块,再输出 JSON。JSON 里写明要逐字出现的文字、元素、边界框、字体和空间关系,并检查约束有没有守住、内容有没有写全、版式是否一致、文字是否放得下。参考图只参与这一步的计划,不进入扩散生成器。

这一步可以关掉。LLTB 和布局基准 7Bench 测的是关掉规划之后的骨干。MOSI 接口里的提示增强默认关闭,请求里写上 prompt_enhance 才会打开。关掉之后,生成器直接读取散文提示,或者直接读取 JSON 布局。

96.3 统计文字有没有出现,不核对顺序

LLTB 有 240 项文学文本任务,中文和英文各 120 项,各自再分短、中、长三档。完整目标平均 1339.8 个字符,中位数 1250,范围从 444 到 2863,合计 321545 个字符;去掉空白是 285792 个字符。这些字符数和覆盖率用的单位不同。覆盖率按英文词和中文字做多重集召回。

每个模型在每项任务上生成 4 张图,4 张全部计分,不挑最好的一张。组内按目标单位数加权,再对六个语言和长度组等权平均,得到 Mean-6。这个指标不检查文字顺序,也不直接惩罚多识别出来的内容。编辑距离和整句精确匹配都不在这个分数里。

Mean-6 上,MOSS-Image 是 96.3。在同表列出的开源权重模型里,这是最高的一项,比 Qwen Image 2512 的 64.9 高 31.4 个百分点。最长英文是 97.1,最长中文是 92.4。最长中文低于最长英文。

更短的 LongTextBench 上,收集到的总分挤在 96.05 到 98.85 之间,MOSS-Image 是 97.63。那套题的目标平均只有 120.3 个字符,高分挤在一起,区分度有限。那些对照分来自各家公开报告。LLTB、7Bench 和 RLA 是团队自己跑的,还没有独立实验室按同一套题重跑。

MOSS-Image 与 Qwen Image 2512 的长文本六组平均覆盖率
按技术报告的同表数字整理。96.3 和 64.9 都是六组等权的文字覆盖率,不能当成逐字校对正确率,也不能代表中文长文本单独的成绩。

对上的框平均重合 0.88,全部目标算进去是 0.68

7Bench 看框有没有落在指定位置,测的是骨干,不走提示增强。检测目标的平均重合度 IoU 是 0.88,布局排序分 Layout AUC 是 0.70。同表的 Ideogram 4 是 0.44 和 0.20。两项的更高分都属于 MOSS-Image。IoU 为 1,表示预测框和目标框完全重合。

把没检测出来的目标也算回去之后,口径会变。576 个目标实例里,445 个有正重叠,检测率 0.7726。全目标平均重合度是 0.6788;只在有正重叠的对象上平均,是 0.8786;Layout AUC 是 0.7031。前面的 0.88 和 0.70,是 0.8786 和 0.7031 的四舍五入。0.88 没有把没对上的目标算进平均。

Ideogram 自己的报告写过大约 0.69 的 7Bench 平均重合度。团队用公开的 FP8 检查点重跑,得到全目标 0.2433、检出对象 0.4449、Layout AUC 0.2046。两边的流程不同。0.69 和这次重跑的 0.2433 不能当成同一个分数。

从文字意图、边界框草图到按框生成的画面
项目页上的布局说明图。左图是带边界框的规格,右图是按文字、草图和成图三步示意。它说明位置可以写进输入,不能当成 7Bench 的实测分数。

61 条短请求上,完整系统得 1698.70

RLA 有 61 条简短中文请求,由人工挑选的设计参考改写而来:海报 20 条,信息图 20 条,用户界面 21 条。评分者看不见模型名字,成对比较指令有没有跟上、渲染好不好、空间是否清楚。平局和两边都差各算半胜,再按 Bradley–Terry 拟合成 Elo。Elo 是这一场对战拟合出的相对强弱,分高表示更常被选中。评分者人数和评分者之间的一致性没有公布。

MOSS-Image 得 1698.70,95% 区间从 1655.96 到 1741.43,排第二。GPT Image 2 是 1844.35,Seedream 5.0 Pro 是 1661.16,带提示增强的 Qwen Image 3.0 Pro 是 1614.84,Nano Banana Pro 是 1590.19。主系统组有 11 个参与者、1420 票,任务对覆盖率 31.1%。MOSS-Image 在 457 票里 293 胜、100 平、64 负,偏好分 75.1%。75.1% 只按胜、平、负折算,Elo 还会计入对手强弱。各对手被看到的次数也不均匀。置信区间按各票相互独立来计算,没有处理同一任务或同一评分者的重复投票。

五种提示策略是另一场拟合:短请求 1081.70,详细描述 1509.21,直接扩展 1541.45,自然语言布局 1506.20,JSON 布局 1622.87。这一组有 9 个参与者、1533 票,覆盖率 38.6%。五种里 JSON 布局最高。这些分和 1698.70 来自两次拟合,不能相减。

各方改用同一份已经增强好的自然语言提示,并且不再各自加一轮提示增强时,MOSS-Image 骨干得 1807.34,区间从 1727.44 到 1887.24,高于 ERNIE Image 的 1748.51 和 SenseNova-U1 的 1689.23。这一组共 576 票,覆盖率 19.6%。MOSS-Image 在 128 票里 98 胜、18 平、12 负,偏好分 83.6%。这批提示来自较早一版布局规划,已经改写成散文。1807.34 和端到端的 1698.70 也是两次拟合。

另外还有一套 GPT-6 量规分。端到端比较里,MOSS-Image 是 94.93,GPT Image 2 是 97.72。共享增强提示下,MOSS-Image 是 87.62,SenseNova-U1 是 79.51。量规分和 Elo 的刻度不同。

短设计请求端到端对战的 Elo
按技术报告端到端比较整理。1698.70 的 95% 区间是 1655.96 到 1741.43。图中只画了同时列出的五个分数,主系统组共有 11 个参与者。这场 Elo 不能和共享提示下的 1807.34 相减。

Base 与 SFT 可以下载,参考图改稿做不到

家族有两个检查点,架构和采样接口相同,权重采用 Apache-2.0。MOSS-Image-Base 是基座。MOSS-Image-SFT 在 Base 上用策展数据做了微调。策展数据有多大、训了多少步,以及这两份权重是否对应第 310000 步的检查点,都没有公布。项目页的示例是边长 1024、50 步、guidance scale 3.0、无条件分支跳过第 22 层、种子 42。

项目页用同一类白板提示对比两个检查点。SFT 的文字分组更整齐,行距也更清楚。

同一类白板画面下,Base 与 SFT 的文字排列
项目页用同一类白板提示对比两个检查点。SFT 的分行和标题更整齐。白板上写着自由编辑,技术报告写明当前骨干不能编辑已有图像,板书不能当成已经实现的功能。

ComfyUI 0.42.0 及以上带有现成模板。模板默认加载微调后的 SFT,使用 int8 单文件;显存够可以换成 bf16。Base 用来和 SFT 对照,也用来做 LoRA 的起点。文本编码器是 Qwen3.5-9B,图像压缩用 FLUX.2 的 VAE。文生图模板会把一句短需求扩写成完整描述。布局模板默认关掉这段扩写,画好的框会原样进入 JSON;打开扩写之后,框可能被丢掉。模型在自己的 GPU 上跑,不按张向 ComfyUI 付积分。

MOSI 平台的默认模型编号是 moss-image-base-1.0,固定快照是 moss-image-base-1.0-2026-10-09。平台标明限时免费、0 积分,支持 4000 字符、文字渲染、负向提示和布局生图。提示增强默认关闭。4000 字符和训练接口的 4096 个 token 使用不同单位。免费结束之后的价格没有公布。

当前骨干只做文本生成图像。它不能直接接收参考图,也不能编辑一张已经生成的图。要改海报,就改布局提示,再整张重新生成。报告里的例子是:台风信息图的第二、三板块对调,水汽上升改到对流发展前面,七格结构、蓝色调和标题条还认得出来;城市海报的三行主标题从 KRASNOYARSK 换成 CALIFORNIA,大字里的照片、浅底和红色点缀还留着。