大模子的第一章程——Scaling Law麻豆 肛交，发现者不是2020年的OpenAI，而是2017年的百度？！
近期，一则音问刷爆了外网AI圈。
百度早于Open AI，发表Scaling Law有关论文有筹商
11月27日黎明，Meta有筹商员Jack Morris在外交媒体发文称：“大多数东说念主不知说念，对于Scaling Law的原始有筹商来自2017年的百度，而不是2020年的OpenAI。”
该推文中提到的论文就来自于百度在2017年发布的一篇论文《DEEP LEARNING SCALING IS PREDICTABLE， EMPIRICALLY》。
论文展示了在机器翻译、谈话建模、图像惩办和语音识别等四个边界中，跟着查验集边界的增长，深度学习泛化过失和模子大小呈现出幂律增长（scaling）模式。只不外其时有筹商者使用的是 LSTM，而不是Transformer；也还莫得将这一发现崇拜定名为“Law”。但论文的其中一位作家Gregory Diamos往常在百度的先容如故LLM Scaling Law Researcher。
这项有筹商还有后续，2019年，百度的上述团队再次发表了一篇论文《Beyond human-level accuracy: computational challenges in deep learning》（迥殊东说念主类水平的准确性： 深度学习的打算挑战）。
巧的是，OpenAI 在2020年发表的，为东说念主所熟知的的论文《Scaling Laws for Neural Language Models》恰恰引述了百度的这项有筹商。
图片起源：OpenAI 论文《Scaling Laws for Neural Language Models》
是以归根溯源，Scaling Law的有筹商从起源看，是完全绕不开百度的。或者说百度才是Scaling Law的最早发现者，从某种意念念上，为群众生成式AI的爆发奠定了基础。
此前曾在Open AI责任，参与了GPT-3等伏击情势开导的AI巨匠Gwern Branwen曾较早凝视到了Scaling Law 。他也常常拿起：百度的这篇论文如实被严重冷落了。
Anthropic首创东说念主爆猛料，2014年百度责任时代就发现Scaling Law
无独到偶，Anthropic首创东说念主Dario Amodei在本月中旬与Lex Fridman的播客节目中也明确提到，2014年与吴恩达在百度有筹商AI的时候，他就还是发现了Scaling风景。
在有筹商语音神经网罗时，Dario和团队发现，“跟着你给它们提供更多数据，跟着你让模子变大，跟着你查验它们的时代越来越长，模子的领略开动越来越好。其时我并莫得精准地推测，但我和同事们都极度非崇拜地嗅觉到，给这些模子的数据越多、打算越多、查验越多，它们的领略就越好。”
对于Dario，大部分东说念主更了解的是2016年他加入Open AI并指导团队开导了 GPT-2 和 GPT-3。以及他在2021年与妹妹共同创立Anthropic，并发布Claude。
但Dario最早踏足AI圈却是从百度开动的，博客中他也表示，“ 2014 年底，我在百度与吴恩达同事时初度进入东说念主工智能寰宇，到当今差未几恰恰是 10 年。“
一张在业界广为流传的图也展示了百度吸纳过群众一大宗顶尖的AI东说念主才。
举例，2014年，吴恩达加入百度并在有筹商院首席科学家，担任百度公司首席科学家，负责百度有筹商院的疏浚责任，尤其是Baidu Brain谋略。 2014年5月19日，百度文书任命吴恩达博士为百度首席科学家，全面负责百度有筹商院。
百度首创东说念主李彦宏在近期媒体专访中被问及此事时，也初度公开共享了其中的细节，“吴恩达来的事理其实也比拟简便，他其时在Google，作念Google brain，想买更多的GPU，Google说不成，太贵了。咱们说你来，粗犷买，那他就来了。他来了之后，像Dario Amodei，他蓝本是斯坦福的学生，那你来加入百度，Dario Amodei来了之后说Jim Fan可以，我找他来进行实习。”
h成人动漫可能百度的立场一直比拟低调求实，李彦宏也从差别外骄慢百度的东说念主才储备，就像绝大多数的东说念主都不知说念Scaling Law的有筹商是从百度开动的相似。
李彦宏也在专访中表示，“一代一代的东说念主，就把优秀的东说念主才粗略引诱过来。固然这些东说念主自后铸成大错，又离开了百度，我认为也没问题，东说念主才的这种流动对扫数这个词行业是健康的。他找到他的下一站，对于百度来说也培养了一批极度优秀的东说念主才。外界因为某一个东说念主的离开会有报说念，然则这个东说念主要是在这儿呆着的话，就莫得报说念，并不是因为这个东说念主不优秀。其实当前在百度里面，有许多许多极度优秀的东说念主在作念AI，只不外因为他们莫得离开，所之外界不知说念，莫得报说念。”
李彦宏指导百度在2023年1月就竖立了深度学习有筹商院，开动鼎力参加AI。基于对于AI东说念主才绝不惜啬地相沿和对AI时期标的的强项有筹商，百度才粗略在2019年发布第一代的文心大模子，果然与OpenAI的GPT-1处于归拢时代。这也才教授了百度在2023年景为群众第一家推出身成式AI产物的群众科技大厂。
当前，文心大模子不仅是国内智力最强的大模子，亦然使用量最世俗的基础模子。数据显示，百度文心大模子日均调用量还是跳跃15亿次，相较一年前初度线路的数据，增长 30 倍。24年Q3财报电话会上，李彦宏表示，百度将于2025年头发布新版文心大模子。
【免责声明】【告白】本文仅代表作家本东说念主不雅点麻豆 肛交，与和讯网无关。和讯网站对文中叙述、不雅点判断保执中立，差别所包含实质的准确性、可靠性或好意思满性提供任何昭示或暗意的保证。请读者仅作参考，并请自行承担一皆包袱。邮箱：news_center@staff.hexun.com
【免责声明】本文仅代表第三方不雅点，不代表和讯网立场。投资者据此操作，风险请自担。 -->