蔽技术通过呈现缺少一个单词的自然语言句子来训练机器学习算法
这艾伦人工智能研究所(AI2)由最著名的微软联合创始人保罗·艾伦创建，发表了一种人工智能的新研究，这种人工智能能够根据作为标题呈现给机器的概念生成基本(尽管显然是荒谬的)图像。这项技术暗示了机器学习的发展，可能会为更智能、更有能力的人工智能铺平道路。
研究所的新发表的研究麻省理工学院最近强调的，建立在开放人工智能展示的GPT-3系统技术的基础上。使用GPT-3，机器学习算法是使用大量基于文本的数据来训练的，这本身就建立在谷歌的BERT。
简而言之，BERT的掩蔽技术通过呈现缺少一个单词的自然语言句子来训练机器学习算法，从而要求机器替换这个单词。以这种方式训练人工智能可以教会它识别语言模式和单词用法，结果是一台能够相当有效地理解自然语言并解释其含义的机器。
在此基础上，训练发展到包括一个带有标题的图像，其中有一个丢失的单词，例如一个动物的图像，带有描述动物和环境的标题——只有动物的单词丢失了，迫使人工智能根据句子和相关图像找出正确的答案。这教会了机器识别视觉内容与字幕中的单词之间的关系模式。
这就是AI2研究的切入点，该研究提出了一个问题视觉语言BERT模型知道如何绘画吗?'
该研究所的专家建立在上述视觉文本技术的基础上，教人工智能如何根据对文本标题的理解生成图像。为了使这成为可能，研究人员引入了一种扭曲的掩蔽技术，这一次掩蔽图像的某些部分与字幕配对，以训练一个名为X-LXMERT的模型，这是LXMERT使用多个编码器学习语言和视觉数据之间联系的模型系列。
