BLOOM
美国
人工智能GPT-3替代大语模型(LLMS)

BLOOM 翻译站点

大型科学语言开放科学开放式多语言

标签:
爱站权重:PC 百度权重移动 百度移动权重

一组超过1000名AI研究人员创建了一个比GPT-3大的多语言大语模型,并且他们免费提供。

培训始于2022年3月11日。但实际上,语料库和数据集的准备工作较早。具有这些特征的模型并未在一夜之间实现。 4个月后,我们有。

而且这并不容易:
- 法国的Jean Zay超级计算机上的80千兆字节的384张图形卡。
-Bloom的参数1760亿,比GPT-3多10亿。
-70层 - 每层注意力为112个注意力 - 隐藏的维度为14336 - 2048代币序列长度。
- 不利比里的位置嵌入 - GELU激活函数。

培训对所有人都开放,我们已经能够遵循它。 Bloom接受了各种语言(英语,西班牙语,意大利语…)甚至编程代码的培训。

每个资源都可以使用并记录

####大科学

正如他们在博客上解释的那样,Big Science是Huggingface,Genci和Idris推广的公开合作。该研究研讨会汇集了许多从属关系的学术,行业和独立研究人员,其研究兴趣涵盖了AI,NLP,社会科学,法律,道德和公共政策中的许多研究领域。

原文:

A group of over 1000 AI researchers has created a multilingual large language model bigger than GPT-3—and they're giving it out for free.

The training started on March 11, 2022. But in fact, the preparations of the corpus and the datasets started much earlier. A model with these characteristics is not achieved overnight. 4 months later, here we have it.

And it hasn’t been easy:
- 384 graphic cards of 80 gigabytes each on the Jean Zay supercomputer in France.
- BLOOM has 176 billion parameters, one billion more than GPT-3.
-70 layers – 112 attention heads per layers – hidden dimensionality of 14336 – 2048 tokens sequence length.
- ALiBi positional embeddings – GeLU activation function.

The training has been open to everyone and we have been able to follow it. BLOOM has been trained in various languages (English, Spanish, Italian…) and even programming codes.

Every resource is available and documented

#### Big Science

As they explain on their blog, Big Science is an open collaboration promoted by HuggingFace, GENCI and IDRIS. This research workshop brings together academic, industry, and independent researchers from many affiliations and whose research interests span many research fields in AI, NLP, social science, legal, ethics, and public policy.

数据统计

数据评估

BLOOM浏览人数已经达到278,如你需要查询该站的相关权重信息,可以点击"爱站数据""Chinaz数据"进入;以目前的网站数据参考,建议大家请以爱站数据为准,更多网站价值评估因素如:BLOOM的访问速度、搜索引擎收录以及索引量、用户体验等;当然要评估一个站的价值,最主要还是需要根据您自身的需求以及需要,一些确切的数据则需要找BLOOM的站长进行洽谈提供。如该站的IP、PV、跳出率等!

关于BLOOM特别声明

本站GPT 案例导航提供的BLOOM都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由GPT 案例导航实际控制,在2023年3月9日 下午10:31收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,GPT 案例导航不承担任何责任。

相关导航