目 录CONTENT

文章目录

DALLE 3技术分析 - 训练方式/模型结构

ByteNews
2023-11-04 / 0 评论 / 3 点赞 / 12,235 阅读 / 1,212 字 / 正在检测是否收录...
温馨提示:
本文最后更新于 2023-11-04,若内容或图片失效,请留言反馈。部分素材来自网络,若不小心影响到您的利益,请联系我们删除。

DALLE 3技术分析 - 训练方式/模型结构

1. 引言:

从 DALLE 3 开发者技术轨迹中,以及模型的演示视频,我们可以推导 DALLE 3 模型的某些架构信息。

2. DALLE 2 的评价:

DALLE 2 的性能不佳,主要归因于 CLIP 模型的限制。

CLIP 在为后续的 diffusion model 提供充足内容和详细特征上遇到了困难。

在生成详细图像方面,该模型遇到了显著的挑战。

3. GPT 模型的作用:

之前的实验使用 GPT 2 作为音频/视觉媒体的核心处理系统,任务是解释人类的文本输入并将其转化为 diffusion model 的视觉表示。

该基于 GPT 2 模型的性能超越了其众多同时代的模型,使得这种策略看起来是可行的。

对于 DALLE 3,作为自回归核心的 GPT 模型的确切版本,是 GPT 3 还是 GPT 4,尚未确定。但为了此次分析,我们假设使用了 GPT 4。

4. GPT 4 的图像解读:

几个月前,GPT 4 的图像解读能力已经显著提高,但 OpenAI 并未公之于众。

从商业角度来看,OpenAI 可能没有足够的计算资源进行图像解释。这引起了一个问题:计算能力被引导到哪里?

随着 DALLE 3 的发布,我们猜测 GPT 4 的图像能力被用于生成适合 DALLE 3 的训练数据。

GPT 4 的图像模型的架构可能采用与 BLIP2/mini GPT 4 相似的方法。这可能包括一个额外的视觉编码器(VIT)和几个转换层(例如 Qformer)来将图像转换为模型可以理解的格式。

预计 OpenAI 的 visual encoder/decoder 是自行训练的,可能导致更好的结果。

5. GPT 4 图像发布延迟的可能原因:

GPT 4 图像版本发布之久的可能原因:服务器被用于生产 image-text pair 数据集。

有了充足的数据,自然就为 DALLE 3 的创造铺平了道路。

6. DALLE 3 的假设结构和训练:

OpenAI 首先训练了一个高效的 visual encoder/decoder。

之后,他们可能采用与 miniGPT 4 类似的方法来训练 GPT 4 进行图像处理。

拥有了图像能力的 GPT 4 之后,可以生成一个全面的 image-text pair 数据集。这也可能是图像(image tokens)到文本(text tokens)的格式。

text tokens 到 image tokens 的配对可能被用于培养 DALLE 的主要部分,我们暂时称之为“GPT 4 image creator”。

接下来的步骤可能涉及将 image tokens 转换回图像。目前,diffusion model 在此任务上表现出色,甚至超过了原生 decoder。

我们猜测使用了一个 diffusion decoder 进行图像生成。

7. 最后的话:

此分析避免深入到模型的复杂细节,例如模型之间是否有潜在的 residual 结构,或 text tokens 是否与 image tokens 同时输入到 diffusion model 中。确定这些细节需要实际的实验操作。另外由于已经写的太长了,其中部分基于视频内容的推理暂时没有解释。

3

评论区