少即是多,10 亿参数“小巨人”xLAM-1B 在特定任务中击败 GPT-3.5 Turbo
阅读提醒: 【新智元导读】只有 10 亿参数的 xLAM-1B 在特定任务中击败了 LLM 霸主:OpenAI 的 GPT-3.5 Turbo 和 Anthropic 的 Claude-3 Haiku。上个月刚发布的苹果智能模型只有 30 亿参数,就连阿尔特曼都表示,我们正处于大模型时代的末期。那么,小语言模型(SLM)会是 AI 的未来吗?大语言模型的 Scaling Law 被一些人视为「金科玉律」,但另
【新奥门特免费资料大全】 【澳门今天晚上开什么特马】 【澳门彩霸王精准一肖一码】 【新奥天天免费资料单双】 【香港一码中奖 资料】 【向佐怒斥李胜利:离中国香港远一点】 【澳门一肖一码100精准】 【2024香港特马资料免费看】 【2O24管家婆一码一肖资料】 【2024澳门管家婆生肖图】 【7777788888新管家婆网】

【新智元导读】只有 10 亿参数的 xLAM-1B 在特定任务中击败了 LLM 霸主:OpenAI 的 GPT-3.5 Turbo 和 Anthropic 的 Claude-3 Haiku。上个月刚发布的苹果智能模型只有 30 亿参数,就连阿尔特曼都表示,我们正处于大模型时代的末期。那么,小语言模型(SLM)会是 AI 的未来吗?

大语言模型的 Scaling Law 被一些人视为「金科玉律」,但另一些人却不以为意。前阵子,香港大学马毅教授就公开宣称,「如果相信只靠 Scaling Law 就能实现 AGI,你该改行了」。

确实有很多模型不是单纯靠资源的堆砌,而是凭借创新能力脱颖而出。验证了一条不同于 Scaling Law 的道路 —— 少即是多。

xLAM-1B 就是如此,只有 10 亿参数,但是在功能调用任务中表现优于更大规模的模型,包括 OpenAI 的 GPT-3.5 Turbo 和 Anthropic 的 Claude-3 Haiku。

它也因此被称为「Tiny Giant」—— 小巨人!

凭借远超预期的卓越性能,这个小模型或许会改变端侧 AI 的格局。

西方将这种以弱胜强的故事称之为「David-versus-Goliath」(大卫迎战歌利亚),这源于一个圣经故事 —— 大卫与巨人歌利亚作战时还是个孩子,他不像歌利亚那样穿着盔甲,他捡了一块石头,放在投石器里。把石头甩出去,击中歌利亚的额头,击倒了这个巨人。

科技媒体 Venturebeat 在报道这个小模型时,就将之比喻为人工智能领域的「大卫迎战歌利亚」时刻。

我们最关心的一点是,xLAM-1B 是如何做到的?

简言之,这得益于在数据处理上的创新方法。其背后团队开发了 APIGen,这是一套自动化流程,可以生成高质量、多样化且可验证的数据集,用于训练 AI 模型在函数调用任务中的表现。

论文地址:https://arxiv.org/pdf/2406.18518

小而强大:高效 AI 的力量

xLAM-1B 最令人欣喜的在于,它不占地儿。因为模型规模小,所以适合设备上的应用。这对企业人工智能的影响是巨大的,它有可能使 AI 助手功能更强大、反应更灵敏,并且能在计算资源有限的智能手机或其他设备上本地运行。

训练数据的质量和多样性是支撑 xLAM-1B 强大性能的关键。APIGen 自动数据生成流水线利用 21 个不同类别的 3673 个可执行 API,对每个数据点进行了严格的三阶段验证:格式检查、实际函数执行和语义验证。

各种 AI 模型在不同评估指标下的性能对比图。GPT-4-0125-Preview 在总体准确性方面遥遥领先,而 xLAM-7B 等较小的模型在特定任务中表现出了竞争力,这对大模型总是表现更好的说法提出了挑战

这种方法代表了人工智能发展战略的重大转变。

虽然许多公司都在竞相建立越来越大的模型,但 xLAM-1B 所使用的方法表明,更智能的数据处理可以带来更高效、更有效的人工智能系统。

通过关注数据质量而非模型大小,xLAM-1B 提供了一个很好的例子,它可以用比竞争对手少得多的参数执行复杂的任务。

颠覆 AI 现状:从 LLM 到 SLM

这一突破的潜在影响绝不仅限于 xLAM-1B 这个模型的推出。

通过证明更小、更高效的模型可以与更大的模型竞争,xLAM-1B 正在挑战人工智能行业的主流观点,作为小语言模型(SLM)的新军,和一统江湖的大语言模型(LLM)开战。

科技公司一直在争相建立最大的大语言模型。例如,今年 4 月,Meta 公司发布了拥有 4000 亿参数的 Llama 3,它所包含的参数数量是 2022 年 OpenAI 最初的 ChatGPT 模型的两倍。

尽管尚未得到证实,但 GPT-4 估计拥有约 1.8 万亿个参数。

不过,在过去几个月里,包括苹果和微软在内的一些最大的科技公司都推出了小语言模型。

这些模型的大小仅为 LLM 对应模型的一小部分,但在许多基准测试中,它们在文本生成方面可以与 LLM 相媲美,甚至更胜一筹。

6 月 10 日,在苹果公司的全球开发者大会上,发布了拥有约 30 亿参数的苹果智能模型。

4 月底,微软发布了其 Phi-3 SLM 系列,拥有 38 亿到 140 亿个参数。

在一系列测试中,微软最小的模型 Phi-3-mini 与 OpenAI 的 GPT-3.5(1750 亿个参数)不相上下,其表现也优于谷歌的 Gemma(70 亿个参数)。

测试通过向模型提出有关数学、哲学、法律等方面的问题,评估了模型对语言的理解能力。

更有趣的是,拥有 70 亿个参数的微软 Phi-3-small 在许多基准测试中的表现都明显优于 GPT-3.5。

波士顿东北大学研究语言模型 Aaron Müller 并不惊讶 SLM 在某些功能上可以与 LLM 相提并论。

Müller 说,「这是因为一味增加参数数量并不是提高模型性能的唯一方法,在更高质量的数据上进行训练也能产生类似的结果。」

例如,微软的 Phi 模型是在经过微调的「教科书质量」数据上训练出来的,这些数据的风格更加一致,比 LLM 通常依赖的来自互联网的高度多样化文本更容易学习。

同样,苹果公司也在高质量、更复杂的数据集上训练 SLM。

Müller 表示,更重要的是,SLM 可以使语言模型的使用平民化。

迄今为止,人工智能的开发一直集中在几家有能力部署高端基础设施的大公司手中,而其他规模较小的公司和实验室则不得不支付高昂的费用来获得授权。

由于 SLM 可以在价格更低廉的硬件上轻松训练,因此资源有限的人更容易获得 SLM。

SLM 的兴起正值 LLM 之间的性能差距迅速缩小,科技公司希望能在 Scaling Law 之外,探索其他性能升级途径。

在 4 月份的一次活动中,OpenAI 的首席执行官 Altman 表示,他相信我们正处于大模型时代的末期。「我们将以其他方式让模型变得更好。」

也就是说,经过精心策划的 SLM 向构建可解释性人工智能更近了一步。

对于像苏黎世联邦理工学院计算机科学研究员 Alex Warstadt 这样的研究人员来说,SLM 还能为一个长期存在的科学问题提供新的见解:儿童是如何用很少的文字数据就学会语言和思维的。

Warstadt 和包括东北大学 Müller 在内的一批研究人员一起组织了 BabyLM 挑战赛,参赛者要在小数据上优化语言模型训练。

SLM 不仅有可能揭开人类认知的新秘密,还有助于改进生成式人工智能。

在儿童 13 岁时,他们已经接触了约 1 亿个单词,在语言方面比聊天机器人更胜一筹,但他们只能获得 0.01% 的数据。

Warstadt 说,虽然没人知道是什么让人类如此高效,但「在小规模上进行高效的类人学习,当扩展到 LLM 规模时,可能会带来巨大的改进」。

重塑 AI 的未来:从云到设备

xLAM-1B 展现出的端侧 AI 的发展潜力,很可能标志着人工智能领域的重大转变 —— 挑战「模型越大越好」的观念,让人工智能在消耗有限资源的条件下也能持续生长。

目前,由于所涉及模型的规模和复杂性,许多先进的人工智能功能都依赖于云计算。

如果像 xLAM-1B 这样的较小模型也能提供类似的功能,就能让更强大的人工智能助手直接在用户的设备上运行,从而提高响应速度,并解决与基于云的人工智能相关的隐私问题。

随着边缘计算和物联网设备的激增,对更强大的设备上人工智能功能的需求也将激增。

xLAM-1B 的成功可能会催生新一轮的人工智能开发浪潮,其重点是创建为特定任务量身定制的超高效模型,而不是「样样通」的庞然大物。

这可能会带来一个更加分布式的人工智能生态系统,在这个生态系统中,专业模型在设备网络中协同工作,可能会提供更强大、反应更快、更能保护隐私的人工智能服务。

这一发展还能使人工智能能力民主化,让较小的公司和开发人员无需大量计算资源就能创建复杂的人工智能应用。

此外,它还可以减少人工智能碳足迹,因为较小的模型在训练和运行时所需的能源要少得多。

xLAM-1B 给业界带来的冲击有很多,但有一点是显而易见的:在人工智能的世界里,大卫刚刚证明了他不仅可以与歌利亚竞争,还有可能将其淘汰。人工智能的未来可能不再被巨头所操控的云端,而是在你自己手中。

参考资料:

  • https://venturebeat.com/ai/salesforce-proves-less-is-more-xlam-1b-tiny-giant-beats-bigger-ai-models/

  • https://x.com/SFResearch/status/1807811770267971984?t=j_LOjgVPy41ZpjwkoXmRiQ&s=19

本文来自微信公众号:新智元(ID:AI_era)

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,所有文章均包含本声明。

【2024年澳门正版资料】 管家婆2024正版资料图 【新澳2024年精准资料32期】 双色球开奖结果 开奖号码 【2024年新澳开奖结果】 2024年正版管家婆最新版本 【2024新澳门天天开好彩大全资料】 澳门最准的资料免费公开 【新澳门2024年资料版本】 【一肖一码一一持一子】 【跑狗图正版高清新一代论坛】 【13262CC马会传真论坛】

佛菩萨阿罗汉的根本区别佛自觉觉他觉行圆满菩萨自觉觉他 阿罗汉自觉也就是说,三者之中佛的境界最高,已功德圆满菩萨次之,罗汉最低 罗汉,是阿罗汉的简称,小乘佛教修行的最高果位就叫。

菩萨和佛是觉悟程度高低的差别菩萨是因位正在修行的圣者佛是果位已经圆满的圣者一切行菩萨道,修行佛法的众生,在成佛之前都可以称作菩萨通过修行,觉证如来本性,得究竟无上菩提,就是佛了佛已经完全断除了见思。

他们都属于修行人,只不过境界有高低,用小朋友的话来理解,仏就是100分的,菩萨就是90100分的相比仏而言,菩萨还有一丢丢妄想菩萨的爱是妈妈的爱,无私给予仏的爱犹如太阳,光芒普照大地,不管你是谁,都会均匀的。

1在佛教中的地位不同 佛高于菩萨罗汉这是实践的第一个果实从罗汉到菩萨,再从菩萨到佛成佛是所有佛教徒的最高目标菩萨在佛陀之下,在罗汉之上这是实践的第二个成果菩萨已经看透了“五蕴皆空”因为。

佛祖和菩萨的区别特点不同信仰不同类别不同菩萨是有很大的善心,且舍己救人,解救人世间的危难,而佛祖是通过自身的觉悟去度化身边的人,最终达到圆满的境界传说菩萨是能行走在人间的,而佛祖是不能现身在人间的。

首先说,佛和菩萨都不是神仙都是觉悟了的人所以本也就没什么区别只是称谓不同而已也就如教授,专家,博士后的不同称谓是一样的他她们都是经过不懈的追求,不停的探究,不断的实修实证把佛祖大彻大悟后首。

1二者的含义不同,佛,意思是“觉者”佛又称如来应供正遍知明行足善逝世间解无上士调御丈夫天人师世尊菩萨是“菩提萨_”之略称,又作菩提索多冒地萨怛缚,或扶萨,意译作道众生觉有。

佛和菩萨的区别地位不同觉悟程度的高低不同形象不同1地位不同 地位高于菩萨罗汉,是修行所能达到的第一等果位从罗汉修炼到菩萨,之后再从菩萨修炼到佛,成佛是所有佛教修行者的最高目标2觉悟程度的高低。

佛和菩萨的区别是地位不同觉悟程度的高低不同形象不同追求不同本义不同1地位不同 佛地位高于菩萨罗汉,是修行所能达到的第一等果位从罗汉修炼到菩萨,之后再从菩萨修炼到佛,成佛是所有佛教修行者的最。

菩萨与佛有什么区别? 二楼答的不对,若以愿力分别,那么地藏菩萨的愿力如何!? 三楼答的也不全对,等觉菩萨补位菩萨,比如观世音菩萨地藏菩萨弥勒菩萨,是否也有无明!? 领悟万物无我之后,发现只有自在,然后又老是忘记万。

【新澳天天开奖资料大全最新54期】 澳门王中王100%期期准确 【新澳门48049六开彩资料大全】 2024年澳门正版资料免费大全 【精准王中王免费提供】 澳门944c资料免费大全二四六 【打开澳门网站资料大全】 新澳门正版资料免费大全2024 【2004新澳精准资料免费提供】 【澳门一肖一码100】 【资料大全正版资料2024年】 【澳门六门彩网金牛版】