智东西(公众号:zhidxcom) 编译|依婷 剪辑|Panken
智东西11月14日音讯,据外媒The Information报谈,一位参与责任的里面东谈主士称,谷歌最近一直在为普及其聊天机器东谈主家具Gemini的性能而尽力,该公司但愿模子性能普及的速率不错与前年特别,这促使参议东谈主员专注于其他格式来拼凑获取遵守。
这种情况和OpenAI的遭受访佛。此前有报谈称,OpenAI模子性能普及速率有所放缓,该公司正改换技艺政策来搞定问题。
回到谷歌自己,上述东谈主士称,谷歌在进入了大量算力和素质数据,如来自网页的文本和图像后,并莫得杀青一些高管所期待的性能普及。当参议东谈主员使用更多的数据和算力来素质模子时,昔时版块的Gemini大模子纠正速率更快。
谷歌的资历是scaling law(缩放定律)受到考验的另一迹象。很多参议东谈主员觉得,唯有使用更专科的AI芯片来处理更多的数据,模子就会以疏导的速率纠正。但现在来看,这两个身分似乎远远不够。
这个问题成为谷歌的心头大患。因为在设备者和客户数目方面,Gemini模子过期于OpenAI的GPT模子,而谷歌一直但愿它在算力资源方面的上风,不错助力它在模子性能方面超越OpenAI。与此同期,两家公司齐在设备由现存技艺版块提供因循的新家具,这些家具不错匡助软件模范员和其他办公东谈主员,在处理繁琐及复杂责任时,杀青自动化。
“咱们对在Gemini上看到的进展很中意,在符合的时机咱们会败露更多音讯。”谷歌发言东谈主称,公司正在重新议论若何处理素质数据并在数据上大量投资。这位发言东谈主说,谷歌还告捷地加速了模子的反映速率,这“关于以谷歌的限制提供AI就业很热切”。
在OpenAI,参议东谈主员发明了推理模子等新技艺,以弥补在模子素质阶段,使用传统scaling law技艺导致的性能普及放缓问题。谷歌似乎也在效仿。最近几周,DeepMind在其Gemini部门内组建了一个团队,该团队由首席参议科学家Jack Rae和前Character.AI不竭首创东谈主Noam Shazeer劝诱,旨在设备访佛OpenAI推理模子的才能。
设备Gemini的参议东谈主员也一直专注于对模子进行手动纠正。参与这项责任的东谈主说,纠正责任包括更动它们的“超参数(hyperparameters)”,大略是决定模子若何处理信息的变量,比如,模子在素质数据中不同观点或模块之间诞生商酌的速率。参议东谈主员在称为“模子调优(model tuning)”的经过中测试不同的超参数,以磨真金不怕火哪些变量会带来最好放胆。
上述东谈主士说,谷歌在其传统格式中遇到的一个问题是,它在用于设备Gemini的数据中发现了疏导信息的副本。他们说,这可能挫伤了Gemini的默契。对此,谷歌发言东谈主回话称,此类问题对团队来说并不清新。
另外,该东谈主士还知道,谷歌参议东谈主员曾尝试使用AI生成的数据(也称为合成数据),以及音视频动作Gemini的素质数据来纠正模子性能,但莫得产生权贵遵守。
结语:巨头遇到瓶颈,“AI泡沫”也曾AGI?一周时分,OpenAI和谷歌这两大AI巨头接连被爆出模子性能普及逐渐问题,且现在来看两家公司齐莫得找到灵验解法,scaling law的灵验性受到挑战。
从公司个体来看,两巨头的技艺高出地位将靠近极大挑战;从行业来看,技艺瓶颈长期无解可能会导向悲不雅派所说的“AI泡沫”。
宇宙离AGI还有多远?还要看这些巨头公司们多久冲突技艺瓶颈。
源流:The Information