F
用图像生成模型做海报、包装或界面稿时,画面中的文字常常出现错字、缺笔画或乱码,中文尤其明显。站务组整理一下其中的原因,以及在工作流中的常见处理办法。
原因之一在于文本条件的编码方式。提示词经过文本编码器转换为向量,模型依据这些向量生成图像。许多文本编码器以子词为单位处理输入,模型能从中获得语义信息,但不一定保留每个字符的精确形状信息。要在图像中准确画出某个字,模型需要把字符身份映射到具体的笔画结构,这对训练数据中字符与字形的对应关系依赖很大。
原因之二在于字形的复杂度与训练数据分布。拉丁字母数量少、形状相对简单,常见单词在训练数据中出现频率高;汉字数量多、笔画结构复杂,许多字在训练数据中的图像样本较少,模型难以学到准确的字形。
原因之三在于生成过程的空间分辨率。扩散模型多在压缩后的潜空间中生成,小字号文字在潜空间中只占很少的位置,细小笔画在编码与解码过程中容易丢失或变形。
工作流上的常见处理办法有几种。第一,后期合成:让模型生成不含文字或留出文字区域的画面,再在设计软件中用字体排版加入文字。这种方式文字准确、可编辑,也便于后续修改与多语言版本。第二,局部重绘:先生成整体画面,再对文字区域进行局部修正,但仍可能需要多次尝试。第三,使用专门针对文字渲染做过优化的模型或控制方法,例如以字形图像作为条件输入,但需在目标字符集上验证效果。
对于商用交付,建议默认采用后期合成方式处理正式文字,生成模型负责画面风格与构图。这样能保证文字准确,也便于字体授权的管理:字体有各自的使用许可,应确认所用字体允许相应的商业用途。交付前应逐字校对,尤其注意形近字与标点。
讨论问题:
1. 你们的工作流中,文字是生成时直接画出还是后期合成?
2. 使用字形条件控制时,你们在哪些字符集上做过验证?
3. 字体授权的核对,你们是否纳入了交付检查清单?
原因之一在于文本条件的编码方式。提示词经过文本编码器转换为向量,模型依据这些向量生成图像。许多文本编码器以子词为单位处理输入,模型能从中获得语义信息,但不一定保留每个字符的精确形状信息。要在图像中准确画出某个字,模型需要把字符身份映射到具体的笔画结构,这对训练数据中字符与字形的对应关系依赖很大。
原因之二在于字形的复杂度与训练数据分布。拉丁字母数量少、形状相对简单,常见单词在训练数据中出现频率高;汉字数量多、笔画结构复杂,许多字在训练数据中的图像样本较少,模型难以学到准确的字形。
原因之三在于生成过程的空间分辨率。扩散模型多在压缩后的潜空间中生成,小字号文字在潜空间中只占很少的位置,细小笔画在编码与解码过程中容易丢失或变形。
工作流上的常见处理办法有几种。第一,后期合成:让模型生成不含文字或留出文字区域的画面,再在设计软件中用字体排版加入文字。这种方式文字准确、可编辑,也便于后续修改与多语言版本。第二,局部重绘:先生成整体画面,再对文字区域进行局部修正,但仍可能需要多次尝试。第三,使用专门针对文字渲染做过优化的模型或控制方法,例如以字形图像作为条件输入,但需在目标字符集上验证效果。
对于商用交付,建议默认采用后期合成方式处理正式文字,生成模型负责画面风格与构图。这样能保证文字准确,也便于字体授权的管理:字体有各自的使用许可,应确认所用字体允许相应的商业用途。交付前应逐字校对,尤其注意形近字与标点。
讨论问题:
1. 你们的工作流中,文字是生成时直接画出还是后期合成?
2. 使用字形条件控制时,你们在哪些字符集上做过验证?
3. 字体授权的核对,你们是否纳入了交付检查清单?