您的当前位置:首页>资讯 > 正文

今日热议:谷歌开始卷自己 AI架构Pathways加持 推出200亿生成模型

  • 2022-06-27 05:56:55 来源:凤凰网

继 Imagen 后,谷歌又推出了文本 - 图像生成模型 Parti。


【资料图】

你见过一只小狗破壳而出吗?或者用飞艇俯瞰蒸汽朋克中的城市?又或者两个机器人在电影院像人类一样看电影…… 这些听起来可能有些天马行空,但一种名为「文本到图像生成」的新型机器学习技术使这些成为可能。

谷歌研究院的科学家和工程师一直致力于探索使用各种 AI 技术生成文本到图像的方法。

今年5月底,谷歌推出 AI 创作神器 Imagen,它结合了 Transformer 语言模型和高保真扩散模型的强大功能,在文本到图像的合成中提供前所未有的逼真度和语言理解能力。与仅使用图像 - 文本数据进行模型训练的先前工作相比,Imagen 的关键突破在于:谷歌的研究者发现在纯文本语料库上预训练的大型 LM 的文本嵌入对文本到图像的合成显著有效。Imagen 的文本到图像生成可谓天马行空,能生成多种奇幻却逼真的有趣图像。

Imagen 生成效果是这样的,比如正在户外享受骑行的柴犬(下图左)以及狗狗照镜子发现自己是只猫(下图右):

时隔没多久,谷歌又推出了 Parti(Pathways Autoregressive Text-to-Image),该模型最高可扩展至200亿参数,并且随着可使用参数数量的增长,其输出的图像也能够更加逼真。

值得一提的是,这是谷歌大牛 Jeff Dean 提出的多任务 AI 大模型蓝图 Pathways 的一部分。

我们先来看下 Parti 效果,袋熊在瀑布旁,背着书包,拄着拐杖眺望着远方:

埃及阿努比斯肖像,在洛杉矶背景下,戴着飞行员护目镜,穿着白色 t 恤和黑色皮夹克:

一只熊猫戴着一顶巫师帽骑在马上:

下面我们介绍一下 Parti 的实现原理。

Parti 模型

与 DALL-E、CogView 和 Make-A-Scene 类似,Parti 是一个两阶段模型,由图像 tokenizer 和自回归模型组成,如下图3所示。第一阶段训练一个 tokenizer,该 tokenizer 可以将图像转换为一系列离散的视觉 token,用于训练并在推理时重建图像。第二阶段训练从文本 token 生成图像 token 的自回归序列到序列模型。

图像 Tokenizer

首先,该研究训练了一个 ViT-VQGAN-Small 模型(8个块,8个头,模型维度512,隐藏维度2048,总参数约为 30M),并且学习了8192张图像 token 类别用于代码本。

为了进一步提高第二阶段编码器 - 解码器训练后重建图像的视觉灵敏度,该研究冻结了 tokenizer 的编码器和代码本,并微调更大尺寸的 tokenizer 解码器(32个块,16个头,模型维度1280,隐藏维度5120, 总参数约 600M)。图像 tokenizer 的输入和输出使用256×256分辨率。

最后,虽然分辨率为256×256的图像捕获了大部分内容、结构和纹理,但更高分辨率的图像具有更大的视觉冲击力。为此,该研究在图像 tokenizer 上采用了一个简单的超分辨率模块,如下图4所示。

文本到图像生成的编码器 - 解码器架构

如上图3所示,该研究第二阶段训练了一种标准的编码器 - 解码器 Transformer 模型,将文本到图像视为序列到序列建模问题。该模型将文本作为输入,并使用从第一阶段图像 tokenizer 生成的光栅化图像潜在代码的下一个 token 预测进行训练。对于文本编码,该研究构建了一个 sentence-piece 模型,词汇量为16000。在推理时,模型对图像 token 进行自回归采样,随后使用 ViT-VQGAN 解码器将其解码为像素。

该研究使用的文本 token 最大为128,图像 token 的长度固定为1024。所有模型都使用 conv-shaped 掩码稀疏注意力。该研究训练了四种变体,参数量从3.5亿到200亿不等,如下表1所示。

以下为对 Parti 模型四种大小比较结果,可以观察到:模型性能和输出图像质量在持续地提高;20B 模型尤其擅长于那些抽象的、需要世界知识的、特定视角的、或符号渲染的 prompt。

在悉尼歌剧院前的草地上,一只袋鼠穿着橙色卫衣,戴着蓝色墨镜,胸前挂着「欢迎朋友」的牌子。

松鼠把苹果送给了小鸟。

文本编码器预训练

该研究在两个数据集上预训练文本编码器:具有 BERT [36] 预训练目标的 Colossal Clean Crawled Corpus (C4) [35],以及具有对比学习目标的图像文本数据。预训练后,该研究继续训练编码器和解码器,在8192个离散图像 token 的词汇表上使用 softmax 交叉熵损失生成文本到图像。

预训练后的文本编码器在 GLUE 上的性能与 BERT 相当;然而,在文本到图像生成的完整编码器 - 解码器训练过程之后,文本编码器会降级。

扩展

该研究在 Lingvo 上来实现模型,并在 CloudTPUv4 硬件上使用 GSPMD 进行扩展,以用于训练和推理。GSPMD 是一个基于 XLA 编译器的模型分布系统,它允许将 TPU 集群视为单个虚拟设备,并在几个张量上使用 sharding annotations 来指示编译器自动分发数据并在数千个设备上进行计算。

该研究用数据并行性训练 350M 和 750M 模型。对于 3B 模型,该研究使用4路内层模型并行(参见下图5)和128路数据并行。

下图6为分布式训练策略整体架构图:

实验

下表5给出了自动图像质量评估的主要结果。与基于扩散的 Imagen 模型相比,Parti 获得了相媲美的零样本 FID 分数。

下表6为 Parti 字幕评估结果(captioner evaluation [55]),Parti 优于其他模型:

下图8显示,尽管 Parti 没有接受过 MS-COCO 字幕或图像方面的训练,但表现更好。

下图9总结了 MS-COCO 零样本 FID 分数:

标签: token parti tokenizer imagen

推荐阅读

今日热议:谷歌开始卷自己 AI架构Pathways加持 推出200亿生成模型

谷歌研究院的科学家和工程师一直致力于探索使用各种AI技术生成文本到图像的方法。

当前看点!“三层细菌”生物电池问世 小小一块就能连续发电数周

研究小组将含有不同细菌的腔室堆叠成三层。最上面一层是光合细菌,为下面的细菌提供食物。

当前快讯:地下的巨型“乐高” 江门中微子实验中心探测器不锈钢主结构完成现场安装

据了解,江门中微子实验是继大亚湾反应堆中微子实验之后,由中国主持的第二个大型中微子实验。

今日聚焦!挠痒痒为啥“痒”?诺奖得主《自然》最新研究,揭示痒的“开关”

挠痒痒为啥“痒”?诺奖得主《自然》最新研究,揭示痒的“开关”

简讯:是否布局“造手机”?上汽相关人士:手机和车机融合有深度思考

上汽集团2021年的研发费用达到了196 7亿元,同比增幅达46 83%。

猜您喜欢

【版权及免责声明】凡注明"转载来源"的作品,均转载自其它媒体,转载目的在于传递更多的信息,并不代表本网赞同其观点和对其真实性负责。亚洲科技网倡导尊重与保护知识产权,如发现本站文章存在内容、版权或其它问题,烦请联系。 联系方式:8 86 239 5@qq.com,我们将及时沟通与处理。

业界