OpenAI DALL*E3来了,集成了ChatGPT,生成图片的效果太爆了

干货分享6个月前发布 Youzhizhan
940 0


最后,OpenAI的DALL-E系列Vincent AI工具迎来了最新版本的DALL-E3,最后一个版本的DALL-E2于去年4月推出。

OpenAI表示,”DALL-E3比以前的系统更了解细微差别和细节,使用户更容易将他们的想法转化为非常准确的图像。」

OpenAI DALL*E3来了,集成了ChatGPT,生成图片的效果太爆了

真的是OpenAI说的吗?眼见为实。 下面我们来看看DALL・E3和DALL・E2的生成效果对比。 同样的提示是”一幅描绘篮球运动员扣篮的油画,伴随着爆炸的星云”。 左侧的DALL-E2在细节,清晰度和亮度方面明显不如右侧的DALL・E3。

OpenAI DALL*E3来了,集成了ChatGPT,生成图片的效果太爆了

除了爆发性的图像生成效果外,DALL・E3这次最大的特点就是与ChatGPT的集成。 它本机构建在ChatGPT上,并使用ChatGPT创建,扩展和优化prompts.In 这样,用户不需要在提示上花费太多时间。

具体来说,通过使用ChatGPT,用户不必绞尽脑汁想出详细的提示来指导Dall・E3。当输入想法时,ChatGPT会自动为DALL-E生成量身定制的详细提示3.At 同时,用户也可以使用自己的提示。

至于集成ChatGPT的效果是什么?OpenAI CEO山姆奥特曼激动地展示了DALL-E3的连续生成成果,堪称一部完整的”故事片”。

OpenAI DALL*E3来了,集成了ChatGPT,生成图片的效果太爆了

超级向日葵刺猬长什么样

OpenAI DALL*E3来了,集成了ChatGPT,生成图片的效果太爆了这种刺猬被称为”拉里”和更多的同类。

OpenAI DALL*E3来了,集成了ChatGPT,生成图片的效果太爆了

拉里的父母是这样的。

OpenAI DALL*E3来了,集成了ChatGPT,生成图片的效果太爆了

拉里很好。

OpenAI DALL*E3来了,集成了ChatGPT,生成图片的效果太爆了

Larry终于安然入睡。

ChatGPT集成不是DALL-E3的唯一新功能。 它还可以生成更高质量的图像,更准确地反映提示内容。DALL-E将文本提示转换为图像。即使对于DALL-E2,特定的措辞也经常被忽略,从而导致错误。但OpenAI研究人员表示,最新版本可以更好地理解上下文并处理更长时间的提示better.In 此外,它可以更好地处理一直困扰图像生成模型的内容,例如文本和图像。

OpenAI DALL*E3来了,集成了ChatGPT,生成图片的效果太爆了

提示:这幅插图描绘了一颗由半透明玻璃制成的人的心脏,站在暴风雨的大海中的基座上。一缕阳光穿透云层,照亮心灵,露出其中的小宇宙。地平线上刻着一行醒目的大字”寻找你内心的宇宙”。

可以看到提示中的每一个细节都如上图所示。半透明的纹理,画面底部的波涛汹涌,阳光和厚厚的云层,心中的宇宙场景,以及难倒许多图像生成模型的文字显示,DALL-E3成功地完成了这些任务。

那么,DALL-E3可以成为一个Midjourney”杀手”吗?Twitter用户@MattGarciaEth对两者生成的图片进行了多次比较。你认为哪一个更好?

OpenAI DALL*E3来了,集成了ChatGPT,生成图片的效果太爆了提示是”一个鳄梨坐在治疗师的椅子上说,”我只是觉得里面空空如也”,中间有一个坑大小的洞。治疗师,一个勺子,潦草的笔记。」

OpenAI DALL*E3来了,集成了ChatGPT,生成图片的效果太爆了

提示是”这幅插图描绘了一颗由半透明玻璃制成的人类心脏,站在暴风雨的大海中的基座上。一缕阳光穿透云层,照亮了心灵,揭示了其中的小宇宙。地平线上刻着一行醒目的大字”寻找你内心的宇宙”。

OpenAI DALL*E3来了,集成了ChatGPT,生成图片的效果太爆了

提示是”一个中年亚洲妇女的黑发散落着银丝,看起来支离破碎,错综复杂地镶嵌在一块碎瓷上。飞溅的油漆图案在瓷器上闪烁,光泽和哑光的蓝色,绿色,橙色和红色和谐地交织在一起,捕捉了她在运动和静态的超现实并置中的舞蹈。她的肤色如瓷器般轻盈,为她的造型增添了神秘的气质。”(Twitter@nickfloats,上图为DALL-E3的生成结果,下图为Midjourney的生成结果)

目前,DALL-E3处于研究预览版。OpenAI计划错开DALL-E3的发布。 它将于10月份首先发布给ChatGPT Plus和ChatGPT Enterprise用户,然后在秋季发布给research laboratories及其API服务。然而,该公司没有透露何时或是否计划发布免费的公共版本。

DALL-E系列研究

我们将为您简单梳理和介绍Dall・E系列OpenAI文本生成图像的研究,也方便读者了解Dall-E系列背后的技术。

2021年1月6日,OpenAI博客发布了两个连接文本和图像的神经网络:DALL-E和CLIP。DALL-E可以直接根据文本生成图像,而CLIP可以完成图像和文本类别的匹配。这两项研究的发布引起了社会的极大关注。

根据博客,DALL-E可以将自然语言表达的大量概念转换为适当的图像。 可以说它是GPT-3的120亿参数版本,可以根据文本描述生成图像。

OpenAI DALL*E3来了,集成了ChatGPT,生成图片的效果太爆了

DALL-E例子。给出一个句子”鳄梨形状的椅子”,你可以得到一个不同形状的绿色鳄梨椅子的图像。

两个月后,DALL-E的论文和代码被公开。

OpenAI DALL*E3来了,集成了ChatGPT,生成图片的效果太爆了

  • 项目地址:https://github.com/openai/DALL-E
  • 论文地址:https://arxiv.org/abs/2102.12092

2022年4月7日左右,DALL-E迎来了升级版–DALL-E2。与DALL・E相比,DALL-E2在生成用户描述时具有更高的分辨率和更低的延迟images.In 此外,新版本还增加了一些新功能,例如编辑原始图像。

OpenAI还公布了DALL-E2的研究论文”Hierarchical Textual content-Conditional Picture Era with Clip Latents”。

OpenAI DALL*E3来了,集成了ChatGPT,生成图片的效果太爆了

论文地址:https://cdn.openai.com/papers/dall-e-2.pdf

不幸的是。OpenAI可能不会像以前那样公布DALL・E3背后的技术细节。

关注安全和版权问题

OpenAI表示,它已经在DALL・E3上投入了大量工作,包括制定强大的安全措施以防止创建”有害”图像。OpenAI表示,它与外部”红色团队”成员(一个故意试图破坏系统以测试系统安全性的团队)合作,并依赖输入分类器(一种教学语言模型忽略某些单词的方法,以避DALL-E3也无法生成公众人物的图像。

OpenAI研究员Sandhini Agarwal表示,她对DALL-E3的安全措施”高度自信”,并表示该模型正在不断改进。OpenAI还在一封电子邮件中表示:DALL-E3拒绝以活着的艺术家的风格生成图像,这与DALL・E2不同。

艺术家们已经起诉了DALL-E的竞争对手Ai和Midjourney以及艺术网站DeviantArt,指责他们使用他们的版权作品来训练文本到图像模型。也许为了避免诉讼,OpenAI将允许艺术家从文本到图像AI模型的未来版本中删除他们的艺术作品,而不是用于培训。创作者可以提交他们拥有版权的图像,并在网站上填写表格以要求将其删除。

通过这种方式,DALL・E的未来版本可以阻止类似于艺术家形象和风格的结果。

[ad]
© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...