刘洋的博客分享 http://blog.sciencenet.cn/u/outcrop 管中窥豹,盲人摸象

博文

马斯克开源大型语言模型 Grok-1

已有 3277 次阅读 2024-3-18 09:10 |个人分类:计算机应用技术|系统分类:海外观察

人工智能领域迈出的重要一步,科技企业家埃隆·马斯克领导下的xAI公司近日宣布将其大型语言模型Grok-1的权重和架构开源。这一举措旨在促进更广泛的研究合作,并为AI社区提供强大的工具,以进一步探索和推进自然语言处理技术。

Grok-1模型现已在Apache 2.0许可证下发布,这意味着任何个人或组织都可以自由地使用和修改模型,用于各种用途,包括商业项目。源代码已在GitHub上的xai-org/grok存储库中公开,供研究人员和技术爱好者访问和贡献。

该模型是一个拥有3140亿参数的专家混合模型,包含8个独立的“专家”网络。这种设计允许模型在处理输入时只激活25%的权重,从而提高了计算效率。Grok-1的这些权重是基于2023年10月预训练结束时的状态,这意味着它们尚未针对任何特定的对话场景进行微调或优化。

通过开源Grok-1,马斯克和xAI公司希望能够激励AI社区共同解决自然语言处理中的一些最紧迫挑战,如理解复杂语境、生成连贯对话以及提高模型的创造力和逻辑推理能力。此外,由于Grok-1是在没有特定任务微调的情况下发布的,研究人员可以自由地探索不同的微调技术,以适应他们自己的研究方向或应用场景。

开源大型语言模型如Grok-1对于推动AI技术的民主化至关重要。它不仅为研究人员提供了强大的基础模型,还为小型团队和独立开发者提供了与大公司竞争的机会。马斯克此举被广泛视为对AI领域的一次积极贡献,有望加速创新并推动人工智能技术的发展。

随着Grok-1的发布,AI社区现在可以开始利用这个模型,无论是为了学术研究,还是为了开发新的应用程序和服务。马斯克和xAI公司通过这一开放的姿态,展现了他们对技术进步和共享知识的坚定承诺(以上文本由星火大模型SparkDesk-v3.5总结)。

开源项目github: https://github.com/xai-org/grok-1

模型数据下载:magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce



https://blog.sciencenet.cn/blog-1750-1425770.html

上一篇:岭南探石寻矿之金山地质博物馆(增城)
下一篇:研究生读研期间不妨多做点“杂”事
收藏 IP: 43.128.115.*| 热度|

1 杨正瓴

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

IP: 60.166.5.*   | 鐠э拷 鐠э拷 +1 [6]閻滃鐪�   2013-4-13 07:53
娴犳槒鈧礁绗€閻ㄥ嫭顒濈猾璇插触閺傚洤銇婇張澶嬪壈娑斿绨¢敍灞界瑖閺堟稐绗夐弬顓熷⒖閸忓懌鈧拷
IP: 112.226.145.*   | 鐠э拷 鐠э拷 +1 [5]閺嬫绉村畡锟�   2013-4-7 10:02
閸戠姳閲滅€圭偘绶ラ柈钘夌发婵傛枻绱濈€涳缚绡勬禍锟�
閸ョ偛顦�  閿涳拷 Best wishes.
2013-4-8 21:181 濡ょ》绱欓崶鐐差槻濡ら棿瀵岄敍锟� 鐠э拷 鐠э拷 +1 |
IP: 1.202.187.*   | 鐠э拷 鐠э拷 +1 [4]閼煎啴缂氶崘锟�   2013-4-6 23:52
娑撳﹣閲滅粈鍏煎珦閹靛秶鐓¢柆鎾叉崲閼颁礁绗€閻ㄥ嫸绱濋惇瀣╃啊娴g姷娈戦崡姘瀮閿涘苯鍟撻惃鍕亰婵傛垝绨¢敍灞肩瑓閸愬啿绺惧В蹇曠槖闁€燁洣閻绱濇0姗€鍏橀懛顏勭箒閸嬫矮绔撮柆宥忕礉鐠嬨垼闃块懓浣哥瑎閵嗭拷
閸ョ偛顦�  閿涳拷 Good luck.
2013-4-8 21:171 濡ょ》绱欓崶鐐差槻濡ら棿瀵岄敍锟� 鐠э拷 鐠э拷 +1 |
IP: 112.226.154.*   | 鐠э拷 鐠э拷 +1 [3]鐏忓繑婀搹锟�   2013-4-6 12:37
閸欏倻鍙庨懓浣割樆閻ㄥ嫭鏋冪粩鐘插晸閿涘本婀侀弮璺衡偓娆忓絺閻滈绡冮弰顖炴晩閻拷
閸ョ偛顦�  閿涳拷 閹存垳婊戦崘娆庤厬閺傚洣绡冮張澶愭晩閻ㄥ嫭妞傞崐锟� :-)
2013-4-8 21:171 濡ょ》绱欓崶鐐差槻濡ら棿瀵岄敍锟� 鐠э拷 鐠э拷 +1 |
IP: 159.226.89.*   | 鐠э拷 鐠э拷 +1 [2]閽佹稓绮ㄩ弸锟�   2013-4-6 07:06
娴犲﹤銇夌€涳箑鍩屾禍鍝籵mpared to 閻ㄥ嫮鏁ゅ▔鏇礉閹存垹婀呮總钘夘樋閺傚洨灏為柈鑺ユЦ闁挎瑨顕ら惃鍕暏濞夋洖鏅╅敍灞芥嚈閸涳拷
閸ョ偛顦�  閿涳拷 鐎涳附妫ゅ銏狀暔 :-)
2013-4-6 10:461 濡ょ》绱欓崶鐐差槻濡ら棿瀵岄敍锟� 鐠э拷 鐠э拷 +1 |
IP: 218.97.247.*   | 鐠э拷 鐠э拷 +1 [1]閻滃绨茬€癸拷   2013-4-6 03:26
婵傝姤鏋冮敍宀冮樋鐠嬨垹鍨庢禍顐磼

濮f棁绶濈€电钖勬稉宥嗙濡ゆ熬绱濋幋鏍偓鍛偓婊呯€诲В鏂衡偓婵囨Ц娑撳秴鐨稉顓炴禇娴f粏鈧懎鍟撻弬鍥╃彿閻ㄥ嫰鈧氨姊鹃妴鍌欑瑝娴犲懓瀚崇拠顓°€冩潏鎯ь洤濮濄倧绱濈亸杈箾娑擃厽鏋冪悰銊ㄥ牚娑旂喓绮$敮鍝ュП缁鎶€闁挎瑨顕ら妴鍌涘灉娑撯偓閼割剛绱潏鎴滄叏閺€鍦规禒鑸垫濮f棁绶濆▔銊﹀壈缁鎶€闂傤噣顣介敍灞煎瘜鐟曚礁鍨介崚顐g垼閸戝棗姘ㄩ弰顖滄箙閻琚遍懓鍛Ц閸氾箑鍙块張澶嗏偓婊冨讲濮f梹鈧€鈧縿鈧焦鐦潏鍐嚠鐠炩剝妲搁崥锔跨閼风繝浜掗崣濠呫€冩潏鐐煙瀵繑妲搁崥锔筋劀绾喓鈧拷
閸ョ偛顦�  閿涳拷 閸忓崬濯� :-)
2013-4-6 10:461 濡ょ》绱欓崶鐐差槻濡ら棿瀵岄敍锟� 鐠э拷 鐠э拷 +1 |

1/1 | 閹槒顓�:6 | 妫f牠銆� | 娑撳﹣绔存い锟� | 娑撳绔存い锟� | 閺堫偊銆� | 鐠哄疇娴�

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2025-2-4 02:07

Powered by ScienceNet.cn

Copyright © 2007-2025 中国科学报社

返回顶部