Megatron NLG
美国
人工智能GPT-3替代大语模型(LLMS)

Megatron NLG 翻译站点

最大,最强大的整体变压器语言NLP模型的三倍,与OpenAI的GPT-3的大小相比

标签:
爱站权重:PC 百度权重移动 百度移动权重

Microsoft和Nvidia介绍了由DeepSpeed和Megatron提供支持的Megatron-Tring自然语言生成模型(MT-NLG),该模型是最大,最强大的单片变压器语言模型,训练有5300亿个参数。 MT-NLG是Turing NLG 17B和Megatron-LM的继任者。该模型的规模是同类最大的三倍。它可以以很高的精度执行自然语言任务,包括预测,阅读理解,常识推理,自然语言推理和单词含义含义歧义。

该模型经过基于NVIDIADGX SuperPod的Selene SuperCuputer培训,并包括混合精确训练。超级计算机上有560个DGX A100服务器。具有全脂树扩展名的HDR Infiniband用于连接这些服务器。每个DGX A100包括八个A100,每个A100均包含通过NVLINK和NVSWWITCH连接的80GB张量核心GPU。

资料来源:https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-speed-and-megatron-train-train-train-megatron-tring-nlg-530b-the------------------------------------------------------强大的生成语言模型/

原文:

Microsoft and NVIDIA present the Megatron-Turing Natural Language Generation model (MT-NLG), powered by DeepSpeed and Megatron, the largest and robust monolithic transformer language model trained with 530 billion parameters. MT-NLG is the successor to Turing NLG 17B and Megatron-LM. The scale of this model is three times that of the largest of its kind. It can do natural language tasks with high accuracy, including prediction, reading comprehension, common sense reasoning, natural language reasoning, and word meaning disambiguation.

The model is trained on the Selene supercomputer, built on NvidiaDGX SuperPOD, and includes mixed-precision training. There are 560 DGX A100 servers on the supercomputer. HDR InfiniBand with full-fat tree extension is used to connect these servers. Each DGX A100 includes eight A100s, each with an 80GB Tensor Core GPU connected via NVLink and NVSwitch.

Source: https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/

数据统计

数据评估

Megatron NLG浏览人数已经达到275,如你需要查询该站的相关权重信息,可以点击"爱站数据""Chinaz数据"进入;以目前的网站数据参考,建议大家请以爱站数据为准,更多网站价值评估因素如:Megatron NLG的访问速度、搜索引擎收录以及索引量、用户体验等;当然要评估一个站的价值,最主要还是需要根据您自身的需求以及需要,一些确切的数据则需要找Megatron NLG的站长进行洽谈提供。如该站的IP、PV、跳出率等!

关于Megatron NLG特别声明

本站GPT 案例导航提供的Megatron NLG都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由GPT 案例导航实际控制,在2023年3月9日 下午10:30收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,GPT 案例导航不承担任何责任。

相关导航