在人工智能技术迅猛发展的背景下，语言模型已成为我们生活中不可或缺的组成部分。卡内基梅隆大学与CartesiaAI的研究团队近日发布了一项具有革命性的研究成果，提出了全新的H-Net架构，能够让AI系统直接处理原始字节级数据，摆脱传统分词器的依赖。这项 ...

在人工智能飞速发展的今天，语言模型已经成为我们日常生活中不可或缺的一部分。不过，你可能不知道的是，现在的AI系统在理解文本时都需要一个叫做"分词器"的预处理步骤，就像我们在做菜前需要把食材切成小块一样。然而，这种传统做法存在不少问题。来自卡内基梅隆大 ...

金融界2025年7月12日消息，达闼机器人股份有限公司近日获得国家知识产权局授予的“分词方法及装置”专利（公告号CN114676697B），该专利申请于2022年3月。这一技术的突破将为自然语言处理（NLP）领域带来新的发展机遇，助力企业在人工智能应用中实现更高效的数据处理。

从 ChatGPT 到文心一言，大模型已成产品革新的关键。但要真正理解它们的能力，产品经理必须掌握底层的语言处理机制。这篇文章将拆解 Tokenizer 与 Embedding 的核心逻辑，用产品视角解析 AI 如何“读懂”语言。 当我们向 ...

Transformer架构作为当前大语言模型的主流架构，因为拥有特殊的注意力机制，存在输出长度较短的缺点。为了解决这个问题，业界提出RWKV、Mamba等解决方案。 其中，Albert Gu提出的Mamba架构受到广泛关注。Mamba是一个简化的端到端神经网络架构，无需注意力机制。最近Albert Gu又提出了一个新的端到端网络H-Net，无需分词器。

最近一直在研究三大视频平台的机制，了解推荐、审核机制也能更好的做视频的整体工作。此文将今日研究的一些成果做一些记叙。 抖音：行为预测主导的去中心化推荐 抖音采用深度学习模型+去中心化推荐机制，通过神经网络预估用户行为，机器判断比传统的用户标签更灵活。

过去分词与过去式有什么区别 ...

动态分词机制：无需预设词汇表，模型直接从字节序列中学习，自动组合字节为单词、词对甚至四元组；这种机制避免了传统分词方法对人工规则或固定词典的依赖，使得AU-Net能够灵活适应不同语言结构和新词生成。

这项由以色列理工学院数据与决策科学学院的Itay Nakash、Nitay Calderon、Eyal Ben David、Roi Reichart以及英特尔子公司Habana Labs的Elad ...