编者语：后台回复“入群”，加入「智驾最前沿」微信交流群随着自动驾驶系统从模块化走向端到端，Transformer正逐渐被引入到端到端架构中，试图解决传统模型在复杂语义理解、全局路径推理以及行为预测上的局限。但我们必须清晰认识到，Transformer ...

早在ChatGPT名动全球之前的2022年初，这家公司就开始全心押注非Transformer架构大模型，从最底层重构AI模型的运行逻辑。 在RockAI展台上自学新动作的机器狗、会玩游戏的灵巧手，都运行着RockAI最新推出的Yan 2.0 ...

在人工智能技术的快速发展中，Transformer架构自2017年谷歌团队发表《Attention Is All You ...

Transformer 架构的伟大之处，不仅在于提出了注意力机制，更在于提供了一套 “模块化” 的设计框架 —— 通过组合编码器（Encoder）和解码器（Decoder），可以衍生出多种结构变体。从 BERT 的 “纯编码器” 到 GPT 的 ...

本文将从功能原理、技术细节到实际作用，系统解析这些 “幕后模块”：为什么 FFN 能让注意力的输出更 “有用”？残差连接如何让模型 “越 deep 越聪明”？归一化又为何能让训练 “稳如泰山”？ 如果把 Transformer ...

当整个 AI 视觉生成领域都在 Transformer 架构上「卷生卷死」时，一项来自北大、北邮和华为的最新研究却反其道而行之，重新审视了深度学习中最基础、最经典的模块——3x3 卷积。他们提出的 DiC (Diffusion CNN)，一个纯卷积的扩散模型，不仅在性能上超越了广受欢迎的 Diffusion Transformer ...

“其实我已经不需要发论文，也已经很久不再自己动手写代码做实验了，但是为了这篇论文我重新下场做实验。主要动力是希望把事情搞清楚。”亚马逊云上海人工智能研究院院长张峥告诉 DeepTech。

Transformer架构的主要核心特征是它们维护编码器- 解码器模型。 如果我们开始将用于语言翻译的Transformer视为一个简单的黑盒，那么它将接受一种语言（例如英语）的句子作为输入，并输出其英语翻译。

Transformer的灵感来自于RNN中的编码器-解码器架构。 但是，Transformer模型完全基于attention机制，而不是使用递归。 除了提高RNN的性能，Transformer还提供了一种新的架构来解决许多其他任务，如文本摘要、图像字幕和语音识别。 那么，RNN的主要问题是什么呢？

这次原生记忆能力的展现，让大家看到了 RockAI 的与众不同。他们并非停留在简单的模型训练与参数堆叠层面，而是在坚持「难而正确」的技术路径上，以「记忆」为核心重新定义大模型的能力边界，带来了惊人的使用体验。

【导读】Transformer杀手来了？KAIST、谷歌DeepMind等机构刚刚发布的MoR架构，推理速度翻倍、内存减半，直接重塑了LLM的性能边界，全面碾压了传统的 ...