DALL-E

。]]

DALL-E是一个可以通过文本描述生成图像的人工智能程序，於2021年1月5日由OpenAI發布。

簡介
DALL-E通过120亿参数版本的GPT-3 Transformer模型来理解自然语言输入（例如“五边形形状的绿色皮革钱包”或“一只悲伤水豚的等距视图”）并生成相应的图片。它既可以生成现实的对象（例如“带有蓝色草莓图像的彩色玻璃窗”），也能够生成现实中不存在的对象（例如“具有豪猪纹理的立方体”）。它的名字是2008年動畫電影WALL-E（瓦力）和20世紀西班牙加泰隆尼亞畫家萨尔瓦多·达利（）之混成词。

《麻省理工科技评论》认为OpenAI的目标之一是“让语言模型更好地掌握人类用来理解事物的日常概念”。

历史
DALL-E模型最初于2021年1月5日由OpenAI发布。OpenAI称DALL-E 2是一个“可以从文本描述中生成原创、逼真的图像和艺术”的模型。

CLIP模型
DALL-E是与CLIP（Contrastive Language-Image Pre-training，对比图文预训练）模型一起开发并向公众发布的。，其使用了Transformer架构。第二版的GPT-2于2019年发布。2020年又再次扩大规模发布了拥有1750亿个参数的GPT-3。

DALL-E会根据提示生成多个图像，之后由CLIP模型对这些图像进行排序。，它的训练集是从网络上抓取的图像与描述，而不是诸如ImageNet之类的经过整理的标记图像数据集。

DALL-E展现了多种能力。《Input》、NBC、《自然》等的报道文章中都提到了DALL-E生成的“穿着芭蕾舞裙遛狗的小白萝卜插图”。 而它生成的“鳄梨形状的扶手椅”也同样受到关注。另一方面，DALL-E还展现出了足以解决瑞文氏标准推理测验（通常用于测量人类智力的视觉测试）的视觉推理技能。

另外透過增加API提示，可以生成符合特定用途或風格的圖片，用以中性化或達成特殊目的。例如文字與圖片相互配合的語言遲緩治療工具，因為對象多為學齡前幼兒，所以必須將圖片濾除太過成人導向的部分。。

剑桥大学机器学习教授尼尔·劳伦斯（Neil Lawrence）认为DALL-E这类模型有能力存储关于我们这个世界的信息，并以人类认为非常自然的方式进行推广。佐治亚理工学院交互计算学院副教授马克·里德尔（Mark Riedl）则认为DALL-E的演示结果表明它能够协调地融合概念，这是人类创造力的关键要素，同时他指出DALL-E绘制的插图比过去几年其他的Text2Image（由文本生成图像）系统要出色许多。

DALL-E模型在没有特定提示的情况下也能够推断合适细节的能力也受到了关注。技术博客ExtremeTech注意到，DALL-E绘制的“穿着圣诞毛衣的企鹅”不仅会生成企鹅穿着毛衣的图像，而且还会生成与主题相关的圣诞老人帽。另一个技术博客Engadget则注意到模型生成的“一幅一只狐狸冬天坐在田野里的画”中出现了适当放置的阴影。

参见

• 深度学习
• OpenAI
• Transformer模型
• GPT-3
• 扩散模型
• Midjourney

参考文献