对话Meta韩俊霖:解锁原生多模态AI预训练的最佳实践
但在现有实践中,面对一些关键决策,如模态之间在训练时如何互相影响、数据配比和不同模态数据的引入顺序、架构设计等,行业大多依靠经验和直觉,摸索着前行。
多模态预训练,才是大模型的下一条路?Yann LeCun、谢赛宁参与
论文标题:Beyond Language Modeling: An Exploration of Multimodal Pretraining。
多模态预训练,才是大模型的下一条路?Yann LeCun、谢赛宁参与
来源:市场资讯(来源:机器之心)机器之心编辑部基础模型时代,大模型能力的爆发,很大程度上源于在海量文本上的预训练。然而问题在于,文本本质上只是人类对现实世界的一种抽象表达,是对真实世界信息的有损压缩。
美团盯上原生多模态!路子还很野:把图像语音都当成Token来预测
从谷歌、OpenAI到国内的字节、MiniMax,大家在实践中逐渐形成共识——不走原生多模态,已经不够、不行了。
AI算力为什么“吃铜”
一、论文核心信号(杨立昆,2026.3)论文《Beyond Language Modeling》释放关键判断: AI正从语言模型走向世界模型(理解视觉、空间、物理、动作)未来算力需求将是今天的10–100倍算力百倍增长 → 电力与铜需求同步百倍级扩张二、AI为何“吃铜”?
AI巨头杨立昆新论文:未来百倍级增长的,不只是算力,还有铜需求
几天前,arXiv 上挂出一篇论文,题目叫 Beyond Language Modeling: An Exploration of Multimodal Pretraining。
美团盯上原生多模态!路子还很野:把图像语音都当成Token来预测
来源:市场资讯(来源:量子位)Token,这下真成了智能世界的基本单位。不是被定义出来的“词元”,而是被一套全新的统一Token架构,直接压进了现实建模的最底层。过去一年,几乎所有头部大模型玩家,都在忙着重写多模态的底层架构。
“AI教母”李飞飞:AI的下一场革命,根本不在大语言模型!
在祖国77周年华诞前,芯片巨头 AMD 宣布以 82 亿美元(全股票交易方式,华尔街又叫“paper money”)正式收购“AI教母”李飞飞创立的人工智能初创公司 World Labs。
超越概率拟合:一种面向外部结构化记忆的语言建模架
超越概率拟合:一种面向外部结构化记忆的语言建模架构Beyond Probabilistic Fitting: A Language Modeling Architecture with External Structured Memory作者:刘阳,宗璇日期:2026-1
Meta携手NYU突破多模态训练边界:AI模型实现文本和视觉的统一
当我们谈到人工智能的未来时,大多数人首先想到的可能是那些能够对话的大语言模型。但是,如果我们把目光投向更远的未来,会发现真正智能的系统需要像人类一样,既能理解文字,又能看懂图像和视频。