transformer真的是天才的发明

天才的架构创造了无尽的财富密码 看完这篇 你应该也能了解Transformer模型是怎样运转的

企鹅讲大模型

机器人要自我进化，先得看见人类如何犯错

为什么机器人学习人的动作这么难？答案其实藏在操作失误后的学习中。以倒水为例。水快倒满的时候，人会本能把手腕压低，如果没控制住压多的话，就会让上升的水面晃起来，甚至溅出水。发现情况后，人就会谨慎：视线盯住杯口，手腕角度放缓，把倒水速度降下来。

创业邦

为什么现代大模型大多采用 Decoder-only 架构？

GPT 之后，主流大语言模型（LLM）几乎清一色采用 Decoder-only 架构，而曾经主导 NLP 领域的 Encoder-only（如 BERT）和 Encoder-Decoder（如 T5、BART）架构逐渐退居二线。本文将从多维解析技术演进背后的逻辑。

奔跑的蜗牛

建议收藏！搞懂这50个大模型面试题，AI求职路上不踩坑（四）

31.链式法则（Chain Rule）如何应用于大语言模型中的梯度下降？链式法则用于计算复合函数的导数，是深度学习中反向传播算法的数学基础。在大语言模型（如Transformer）中，前向传播过程中每一层的输出都是前一层输入的非线性变换叠加，即模型整体可视为嵌套的复合函数。

开心的AI频道

Transformer 从零开始

资料：① The Illustrated Transformer - Jay Alammar② Building Transformer Models - Jason Brownlee③ Transformer - Dive into Deep Learning从零开始2025-

GoCoding

Nvidia都在点赞的LoopWM世界模型，竟然来自一家中国初创FaceMind

它与参数规模、训练数据规模正交，意味着即便在参数预算有限的情况下，模型仍可能通过更合理的内部计算过程获得能力提升。

机器之心Pro

Google团队发布，一文概览Transformer模型的17大高效变种

在NLP领域transformer已经是成功地取代了RNN，在CV领域也出现了应用，比如目标检测和图像加注，还有RL领域。

数据派THU

阿里安全使用NVIDIA加速库的大模型工程落地实践

【1】图二. 引用自:Samyam Rajbhandari， Jeff Rasley， Olatunji Ruwase， Yuxiong He. ZeRO: Memory Optimizations Toward Training Trillion Parameter Models . arXiv: 1910.02054v3 ， 2020-05-13.

芯东西

KV Cache少100倍、Decode快10倍：大模型正在重写 Attention

Attention 的核心矛盾已经从“算得动”变成“记得起、读得快”。上下文进入几十万甚至百万 Token 后，传统 Attention 的 KV Cache 和 HBM 带宽压力迅速放大，Decode 阶段越来越受内存而不是纯算力限制 DeepSeek 的路线是“层层压缩”。

大众宽客