当前位置: 首页 > 新闻资讯 > 如何攻击大规模预训练语言模型

如何攻击大规模预训练语言模型

来源: https://www.xzl99.com 发布时间: 2022-05-09 05:37:29 小编: 九九下载啦

但超级响应算法的伟大之处在于,你可以快速调整它,几乎就像启动 GPT-3来得到你想要的结果。想在你的 TikTok 在推荐内容中注入一些新的亚文化元素,通常只需要找到一些相关的视频(你可以很容易地在 YouTube 在上面找到它们,或者通过推荐不同的朋友和你的内容找到它们) 并赞美它们。

这背后的能量来自GPT,一个由OpenAI提出的预训练自然语言模型的核心理念是先用无标签文本训练生成语言模型,然后根据具体任务通过标签数据微调模型。

GPT黄金线雕是一款采用了全球顶尖科技抗衰老的成分,并且将这种成分和纳米黄金相融合,不仅可以促进肌肤再生、淡化斑点皱纹,还能够雕

本文讲述了如何攻击大规模预训练语言模型以获取训练集中包含的信息,并讨论了这种攻击暴露的问题和应对方法。虽然预训练模型是一个黑盒子,但仍有攻击方法可以利用模型生成文本来找到训练数据中未显示的一面。下图是一组前缀token诱导GPT-2生成不应显示的信息。

如今,基于长文本训练的语言模型,如BERT、GPT,培训的文本单位一般是几百到几千字,所以长度在这个范围内的文本处理问题不大, GPT一千字以内的文本可以生成得非常流畅。

在另一个维度上,每个人都探索过模型的训练。它所需要的计算能力不再是摩尔时代的速度,而是每三个多月翻一番。显然,我们已经进入了计算能力霸权的时代,GPT-3 正如我前面所说,让我们来看看计算机视觉领域。最近的方向是自我训练。当我们想要得到一个非常有效的模型时,我们需要使用 2000 多块 TPU core 训练 6 天,根据网上报价,训练一个模型需要 13 万美元,这对学术界来说也是一个巨大的挑战。

通过利用大量的互联网文本数据和成千上万的书籍进行模型训练,GPT-3 模型模仿人类自然语言到了不可思议的地步,非常真实,因此成为迄今为止最令人印象深刻的语言模型。

以上就是如何攻击大规模预训练语言模型的所有内容,喜欢的小伙伴请记住我们的网址:九九下载啦 - https://www.xzl99.com/

热门资讯
新游推荐