DeepMind RETRO
美国
人工智能GPT-3替代大语模型(LLMS)开发人员工具

DeepMind RETRO 翻译站点

通过从数万亿个代币中检索语言模型来改善语言模型

标签:
爱站权重:PC 百度权重移动 百度移动权重

Retro通过与先前的代币相似性基于从大型语料库检索到的文档块来改善自动回归语言模型。尽管使用了25×少于较少的参数,但带有2万亿美元的令牌数据库,取回增强变压器(Retro)在堆上获得了可比的性能。经过微调后,复古性能转化为下游知识密集的任务,例如问答。

资料来源:https://www.deepmind.com/publications/improving-language-models-by-by-retrieving-from-trimnions-tokens of-Tokens

原文:

RETRO enhances auto-regressive language models by conditioning on document chunks retrieved from a large corpus, based on local similarity with preceding tokens. With a $2$ trillion token database, the Retrieval-Enhanced Transformer (Retro) obtains comparable performance to GPT-3 and Jurassic-1 on the Pile, despite using 25× fewer parameters. After fine-tuning, Retro performance translates to downstream knowledge-intensive tasks such as question answering.

Source: https://www.deepmind.com/publications/improving-language-models-by-retrieving-from-trillions-of-tokens

数据统计

数据评估

DeepMind RETRO浏览人数已经达到215,如你需要查询该站的相关权重信息,可以点击"爱站数据""Chinaz数据"进入;以目前的网站数据参考,建议大家请以爱站数据为准,更多网站价值评估因素如:DeepMind RETRO的访问速度、搜索引擎收录以及索引量、用户体验等;当然要评估一个站的价值,最主要还是需要根据您自身的需求以及需要,一些确切的数据则需要找DeepMind RETRO的站长进行洽谈提供。如该站的IP、PV、跳出率等!

关于DeepMind RETRO特别声明

本站GPT 案例导航提供的DeepMind RETRO都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由GPT 案例导航实际控制,在2023年3月9日 下午10:24收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,GPT 案例导航不承担任何责任。

相关导航