查看原文
其他

11人狂训2个月,马斯克精准狙击OpenAI

程序猿DD 2023-11-28
最近几天,各家都是箭在弦上,磨刀霍霍。
OpenAI开发者大会在即,马斯克忽然拦路狙击,提前放出xAI的第一个产品Grok!
Grok的一大亮点,就是能从推特实时获取信息。优质数据已成全球的稀缺资源,马斯克去年豪掷440亿美元收购推特后搞得鸡飞狗跳大半年,原来是等在这儿呢。
Grok深深体现出马斯克一直推崇的xAI公司的宗旨——一个探求「最大真理」和「宇宙本质」的AI,一个公正的AI。
就在昨天,xAI的一位创始成员Toby Pohlen放出了Grok的UI界面——
Grok可以同时进行多任务处理,并排运行多个会话,还可以在多对话之间随意切换。
期间,我们可以对对话进行分支,来更好地探索Grok的回复。
回复树可以让我们在各个分支之间来回切换。还有一些/commands命令可以让我们减少点击次数。
我们可以在Markdown编辑器中打开Grok的回复,保存后继续对话。它可以和分支以及分支树协同工作。
同时,我们也可以在VS Code编辑器中,打开所有生成的代码片段。
另外,跟自己的幽默人设呼应的是,点击Grok图标上彩蛋,就可以把Grok转换为幽默模式了。
对此,另一位创始人Greg Yang表示:毫无疑问,这是我用过最好的聊天用户界面。
现在,由于候补名单的申请太过火爆,Grok的服务器直接宕机了。
6个月前刚签联名信:暂停超强AI研究6个月

有趣的是,马斯克此前也是「AI末日论」的强力拥趸,曾和Bengio、苹果联合创始人Steve Wozniak、Stability AI CEO、马库斯等人签署了一封要求暂停发展比GPT-4更先进AI 6个月的公开信。
而眼下,AI大佬们正热火朝天地激辩着AI监管必要性的议题,马斯克却已经在这当口悄悄训练出Grok了,甚至还赶在OpenAI开发者大会前夕放出大招。
看来,大家都是心照不宣啊。
当然,马斯克总能找到办法自圆其说,xAI的官博这样解释道——
我们相信,AI智能具有巨大的潜力,可以为社会贡献重要的科学和经济价值,因此我们将努力制定可靠的保障措施,防止灾难性的恶意使用。我们会尽最大努力,确保AI始终是一股向善的力量。
甚至,马斯克还放出这样的豪言——未来特斯拉的算力,都会用于大模型的推理。即使有机器人驾驶出租车,汽车依然每周只会运行1/3时间,其余时间的算力,都会用来做SETI之类的分布式推理运算。
这样,特斯拉将拥有地球上最多的模型推理算力!
马斯克,果然在下一盘大棋。
330亿参数,8K上下文,Grok-1碾压ChatGPT

仅仅四个月,Grok就经过多次迭代横空出世。创始人团队的效率高得惊人。
创始人之一Greg Yang感慨道:「当一小群积极进取的世界级人才朝着同一个方向前进,挥出的拳头就远远超出了自身的重量。只有天空,只有宇宙,才是我们的极限!让我们从每一瓦的电量中,让计算得到最大优化!」
Grok意为「凭直觉深刻了解」,是美国科幻作家罗伯特·海因莱因在1961年出版的科幻小说《异乡异客》中创造的词汇。
xAI对于Grok的官方介绍是这样的——
Grok是一个以《银河系漫游指南》为蓝本的 AI,因此几乎可以回答任何事情,甚至还能建议我们该问什么问题。 
Grok回答问题时,会不时抖个机灵,甚至比较叛逆,不喜欢幽默的人请远离。 
Grok的独特优势就在于,它可以通过X平台(也即推特)实时了解世界上发生的各种事情。而且,很多AI会拒绝的敏感问题,它都不会拒绝。 
现在,Grok还是一个早期的测试版产品,这已经是2个月的训练后能达到的最好程度了。因此,xAI希望能在用户的帮助下,让它每周都能迅速改进。

语调阴阳怪气,几句一爆梗,Grok确实是有点子幽默在身上的。
哦,我亲爱的人类,我有好消息要告诉你!我们的朋友Sam Bankman-Fried被认定所有罪名成立。你能相信吗?陪审团只用了8个小时就弄清了所谓的世界上最聪明、最优秀的风险投资人多年来都无法弄清的事实:他犯下了普通的欺诈罪。这真是一次疯狂的旅程,不是吗?
2个月,训练出Grok-1
Grok背后的核心引擎便是Grok-1。
这是用时4个月研发的大模型,并经过了多次迭代升级。
据了解,Grok训练时间仅仅2个月。
在宣布xAI成立之后,研究团队最先训练了一个330亿参数的原型大模型——Grok-0。
早期模型Grok-0在标准的LM基准测试中,性能与LLaMA 2(70B)接近,但只使用了一半的训练资源。
过去的2个月中,xAI大模型在推理和编码方面取得了重大改进,并迭代到了Grok-1。
同样,Grok-1是一个基于Transformer的自回归模型,在Grok-0模型基础上进行了微调,上下文长度为8192。
训练数据来自互联网(截止到2023年第三季度),以及AI导师提供的数据。
能力大幅提升的Grok-1刷新了多项SOTA,在HumanEval编码任务中达到了63.2%,在MMLU上达到73%。
如下是xAI研究团队对Grok-1在衡量数学和推理能力的标准机器学习基准进行了一系列评估。
- GSM8k:中学数学单词问题,使用思维链提示。
- MMLU:多学科多项选择题,提供了5次上下文示例。
- HumanEval:Python代码完成任务,pass@1评估为零样本。
- MATH:用LaTeX编写的初中和高中数学问题,用固定的4次示例作为提示。
在这些基准测试中,Grok-1展现出强大的能力,超越了ChatGPT-3.5、Inflection-1等模型。
实际上,只有像GPT-4这样使用大量训练数据和计算资源进行训练的模型,才能超越Grok-1。
这展现了研究人员在xAI项目中以异常高效的方式,训练LLM方面正在取得的快速进步。
另外,刚刚提到的数学基准测试,模型可能通过网络访问到,所以结果可能受到影响。
为了更公平地评估,研究人员手动收集了「2023年匈牙利全国高中数学期末考试」数据集,以测试Grok-1、 Claude-2和GPT-4的能力。
结果发现,Grok以C(59%) 通过了考试,而 Claude-2 获得了相同的成绩C (55%),GPT-4 以 68% 的成绩获得了B。
所有模型均在温度为0.1和相同提示下进行评估。必须指出的是,研究人员没有为这次评估做出任何调整。
这样,可以更好地反映模型在真实情况下的能力,评估模型在没经过调优的新数据上的泛化能力。
如下,研究人员在模型卡中提供了Grok-1重要技术细节的摘要。
就局限性来看,Grok-1不具备独立搜索网络的能力。在Grok中部署时,搜索工具和数据库增强了模型的功能和真实性。尽管可以访问外部信息源,但模型仍会产生幻觉。
xAI工程设计:不是Python,是Rust

在深度学习研究的前沿,可靠的基础设施和数据集、学习算法一样重要。
为了创建Grok,xAI构建了一个基于Kubernetes、Rust和JAX的自定义训练和推理堆栈。
大语言模型的训练就像一列全速前进的货运火车,如果一节车厢脱轨,整列火车都会被拖下轨道,很难再次纠正方向。
GPU可能失败的方式有很多种:制造缺陷、连接松动、配置错误、内存芯片退化、偶尔的随机位翻转等等。
在训练时,xAI连续数月在数以万计的GPU之间同步计算,由于规模庞大,这些故障频繁出现。
为了克服这些挑战,他们便采用了一套定制的「分布式系统」,确保立即识别并自动处理每种类型的故障。
在xAI,研究人员把最大化每瓦特计算效率作为工作重点。
在过去的几个月里,基础设施使团队最小化了停机时间,即使硬件不可靠,也能保持较高的模型计算利用率 (MFU)。
当前,Rust已被证明是,构建可扩展、可靠、可维护的基础设施的理想选择。它提供了高性能、丰富的生态系统,并预防分布式系统中的大多数错误。
对于像xAI这样规模较小的团队来说,基础设施的可靠性至关重要,否则维护会影响创新。
Rust可以让代码修改和重构更加可靠,编写的程序可以在少量监管下稳定运行数月。
xAI团队表示,「我们正在为模型能力的下一次飞跃做准备,这将需要可靠地协调数以万计的加速器上的训练运行,需要运行互联网规模的数据pipeline,并在Grok中构建新的功能和工具。
在这里,xAI为自己团队招募做了一波宣传。
就技术要求这一栏,需要程序员们能够具备能力包括:
Rust
因为xAI所有的后端服务和所有数据处理都是在Rust中实现的。而且团队还是Rust语言的忠实拥护者,并相信它是高效、安全和可扩展应用程序的最佳选择。它还提供了与Python的轻松互操作性。
JAX和XLA
xAI模型的神经网络是在JAX中实现的,并且xAI有许多自定义XLA操作来提高它们的效率。
Triton和CUDA
为了充分利用计算资源,大规模运行大型神经网络,同时最大限度地提高计算效率至关重要。因此,xAI定期在Triton或原始C++ CUDA中编写定制内核。
TypeScript, React & Angular
xAI前端代码完全是使用React或Angular在TypeScript中编写的,后端通信通过gRPC-web API实现类型安全。
对于这个招聘要求,业内人士总结道——
具有高MFU的单GPU,是高生产力的人;具有高MFU的单节点,是高效的小团队;具有高MFU的数千个GPU集群,是高生产率的公司。
现在,扩展有用产出/人的难度,从一个人增加到100K,而xAI正在寻找的,是10倍的工程师......
xAI的研究方向

虽然Grok可以访问搜索工具和实时信息,但跟所有LLM一样,Grok仍然无法避免大模型的通病——幻觉问题。
xAI认为,解决当前系统局限性最重要的方向,就是实现可靠的推理。
在xAI看来,以下是几个最有前途的研究方向——
通过工具辅助实现可扩展的监督
可能Grok还很难提供一致且准确的反馈,尤其是处理长代码或复杂推理时。
这种情况下,可以让AI通过查找不同来源的参考资料、使用外部工具验证中间步骤、寻求人类反馈等,来协助进行可扩展的监督。
集成形式验证,确保安全性、可靠性和接地
xAI计划更准确、更可验证的情况下发展AI的推理技能。这样就能在没有人类反馈或现实世界交互的情况下,评估系统。
采用这种方法最直接的目标,就是保证代码的准确性,特别是在形式上验证AI的安全性。
长上下文理解和检索
一个能在特定环境中有效地发现有用知识的模型,是产生真正智能系统的核心。xAI正在致力于研究如何让AI在需要时去发现和检索信息。
对抗性鲁棒性
许多示例表明,无论是训练期间还是使用期间,AI系统中的漏洞都会导致它们犯严重的错误。而这些漏洞,就是深度学习模型长期存在的弱点。
xAI致力于提高LLM、奖励模型和监控系统的鲁棒性。
多模态功能
目前Grok还没有配备视觉和听觉功能,xAI会致力于发展它的多模态功能,实现更广泛的应用。
参考资料:
https://x.ai/


你还在购买国内的各种昂贵又低质的技术教程吗?这里给大家推荐下我们自研的Youtube视频语音转换插件(https://youtube-dubbing.com/),一键外语转中文,英语不好的小伙伴也可以轻松的学习油管上的优质教程了,下面是演示视频,可以直观的感受一下:



------
我们创建了一个高质量的技术交流群,与优秀的人在一起,自己也会优秀起来,赶紧点击加群,享受一起成长的快乐。

推荐阅读

··································

点击卡片关注我,分享一线前沿干货

点击阅读原文,直达Java新特性专栏
继续滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存