编者语：后台回复“入群”，加入「智驾最前沿」微信交流群随着自动驾驶系统从模块化走向端到端，Transformer正逐渐被引入到端到端架构中，试图解决传统模型在复杂语义理解、全局路径推理以及行为预测上的局限。但我们必须清晰认识到，Transformer ...

Transformer杀手来了？KAIST、谷歌DeepMind等机构刚刚发布的MoR架构，推理速度翻倍、内存减半，直接重塑了LLM的性能边界，全面碾压了传统的Transformer。网友们直呼炸裂：又一个改变游戏规则的炸弹来了。

在人工智能技术的快速发展中，Transformer架构自2017年谷歌团队发表《Attention Is All You ...

Transformer 架构的伟大之处，不仅在于提出了注意力机制，更在于提供了一套 “模块化” 的设计框架 —— 通过组合编码器（Encoder）和解码器（Decoder），可以衍生出多种结构变体。从 BERT 的 “纯编码器” 到 GPT 的 ...

【导读】Transformer杀手来了？KAIST、谷歌DeepMind等机构刚刚发布的MoR架构，推理速度翻倍、内存减半，直接重塑了LLM的性能边界，全面碾压了传统的 ...

当整个 AI 视觉生成领域都在 Transformer 架构上「卷生卷死」时，一项来自北大、北邮和华为的最新研究却反其道而行之，重新审视了深度学习中最基础、最经典的模块——3x3 卷积。他们提出的 DiC (Diffusion CNN)，一个纯卷积的扩散模型，不仅在性能上超越了广受欢迎的 Diffusion Transformer ...

在2025年世界人工智能大会（WAIC）上，上海的AI创业公司RockAI以其独特的技术创新引发了广泛关注。这家公司通过推出最新的Yan2.0Preview大模型，向传统的Transformer架构发起了挑战，展现了非Transformer架构在自主 ...

Transformer的灵感来自于RNN中的编码器-解码器架构。 但是，Transformer模型完全基于attention机制，而不是使用递归。 除了提高RNN的性能，Transformer还提供了一种新的架构来解决许多其他任务，如文本摘要、图像字幕和语音识别。 那么，RNN的主要问题是什么呢？

Transformer架构的主要核心特征是它们维护编码器- 解码器模型。 如果我们开始将用于语言翻译的Transformer视为一个简单的黑盒，那么它将接受一种语言（例如英语）的句子作为输入，并输出其英语翻译。

Transformer已满8岁，革命性论文《Attention Is All You Need》被引超18万次，掀起生成式AI革命。 Transformer，八岁了！ 开创如今这场生成式AI革命的论文 ...

Transformer架构作为当前大语言模型的主流架构，因为拥有特殊的注意力机制，存在输出长度较短的缺点。为了解决这个问题，业界提出RWKV、Mamba等解决方案。 其中，Albert Gu提出的Mamba架构受到广泛关注。Mamba是一个简化的端到端神经网络架构，无需注意力机制。最近Albert Gu又提出了一个新的端到端网络H-Net，无需分词器。