世界上最大的AI大模型：馬斯克的Grok-1正式開(kāi)源

馬斯克是真男人啊，不僅SpaceX發(fā)射基地可以隨意參觀、連設(shè)計(jì)圖紙都公開(kāi)了。SpaceX剛剛發(fā)射完沒(méi)幾天，連他的AI大模型Grok-1也正式開(kāi)源了，文章結(jié)尾有下載地址。

Grok-1是當(dāng)前世界上參數(shù)最大的、開(kāi)源大語(yǔ)言模型。296GB的大小，3140億參數(shù)，遠(yuǎn)超OpenAI GPT-3.5的1750億。基礎(chǔ)模型基于大量文本數(shù)據(jù)進(jìn)行訓(xùn)練，沒(méi)有針對(duì)任何具體任務(wù)進(jìn)行微調(diào);3140億參數(shù)的MoE模型，在給定token上的激活權(quán)重為25%;2023年10月，xAI使用JAX庫(kù)和Rust語(yǔ)言組成的自定義訓(xùn)練堆棧從頭開(kāi)始訓(xùn)練。

開(kāi)源就是開(kāi)放源代碼，說(shuō)白了就是開(kāi)放專利，公開(kāi)技術(shù)!但需要有足夠的GPU才能運(yùn)行。可能需要一臺(tái)擁有628GB GPU內(nèi)存的機(jī)器。英偉達(dá)Tesla A100 80G(原版PCIE)京東售價(jià)16萬(wàn)，平民玩家根本玩不起，僅8塊GPU就接近百萬(wàn)。其他硬件配置就更不用說(shuō)了。

前幾年馬斯克公布了特斯拉的多項(xiàng)專利，中國(guó)的新能源汽車如雨后春筍迅猛發(fā)展。這次會(huì)有什么會(huì)爆炸式發(fā)展呢?

預(yù)計(jì)全球Ai企業(yè)將迎來(lái)快速發(fā)展，馬斯克開(kāi)源Grok—1,將會(huì)同時(shí)造福中國(guó)Ai企業(yè)，助力中國(guó)Ai技術(shù)發(fā)展!

馬斯克之前說(shuō)過(guò)：科技創(chuàng)新才是推動(dòng)人類進(jìn)步的關(guān)鍵，而專利保護(hù)只會(huì)阻礙這個(gè)進(jìn)程。他希望通過(guò)公開(kāi)這些專利設(shè)計(jì)，鼓勵(lì)更多人加入科技創(chuàng)新行列，共同推動(dòng)人類社會(huì)進(jìn)步。

國(guó)外地址：

GitHub - xai-org/grok-1: Grok open release

國(guó)內(nèi)地址：

grok-1: synchronize from: https://github.com/xai-org/grok-1