大模型时代，算力需求与日俱增，动辄千亿参数的大语言模型对硬件提出了严峻挑战。近日，关于模型压缩与量化技术的话题再次引发关注。本文将深入探讨这些核心技术，揭示它们如何让大模型“轻装上阵”，并在AI领域掀起新的变革。 模型压缩与量化的核心价值 大模型的能力提升往往伴随着参数规模的爆炸式增长。例如，一个700亿参数的模型在FP16精度下就需要1.4TB的显存，这对于普通GPU来说是难以承受的。即使能够运 ...

同样是DeepSeek，为什么你用的和别人聊的“不是一回事”？最近总有人问，DeepSeek的模型效果好像有点“飘忽不定”，时而惊艳，时而平平。先别急着下结论！今天我们就来揭开一个“公开的秘密”：你遇到的很可能不是同一个DeepSeek。没错，它其实 ...

云端算力，特别是数据中心GPU市场，在未来五年仍将保持强劲增长。预计数据中心GPU市场将从2024年的873.2亿美元增长到2030年的2280.4亿美元，年复合增长率达13.7% ...

An open-source project for executing LLM workflows from training to quantization, deployment, and agent integration. - jiaxi408/llm-forge ...

随着 人工智能 技术的飞速发展，大模型领域持续涌现创新。近日，智谱AI发布的GLM-4.5系列模型引发广泛关注。尤其令人瞩目的是，技术人员Simon Willison成功在旧款MacBook ...

这项由阿里巴巴DAMO院的赵奕然、刘朝群等研究团队开展的研究发表于2025年3月的arXiv预印本平台，研究编号为arXiv:2503.00865v1。对这项研究感兴趣的读者可以通过访问https://babel-llm.github.io/babe ...

大模型“烧钱”又“吃资源”？压缩与量化技术才是让它轻装上阵的关键一招。本文手把手拆解核心原理与常见手法，帮你厘清技术演进脉络，打好基础理解一切模型优化策略的关键一步。 大语言模型的能力提升往往伴随着参数规模的爆炸 —— 从 GPT-3 的 1750 ...

这项由清华大学计算机科学与技术系、软件学院，以及深圳国际研究生院的研究团队完成的突破性工作，发表于2025年7月，论文题目为《Task-Specific Zero-shot Quantization-Aware Training for Object ...

ACORN将过滤功能直接集成到搜索过程中，允许在文档摄入后在查询时灵活定义过滤器。该公司表示，在基准测试中，ACORN为过滤向量搜索提供了高达五倍的性能提升，同时不影响准确性。

昆仑万维已开源 多模态统一模型Skywork UniPic ，和GPT-4o呈现出类似的图像一体化能力，在单一模型里实现 图像理解、文本到图像生成、图像编辑 三大核心能力的深度融合。 一句话总结一下Skywork UniPic的模型特点，就是既可以像视觉模型 （VLM） 一样理解图像，也可以像扩散模型一样生成图片，用户还只需“动动嘴”，就可以指导模型完成图像编辑。 在GenEval 指令遵循 ...

苹果公司近日正式发布了《Apple Intelligence Foundation Language Models Tech Report 2025》技术报告，这是继去年首次公开其 AI 基础模型技术细节后的重要更新。而且，就在不久前 Meta ...

🔥🔥机器视觉边缘计算的成熟应用，适配RK瑞芯微/Ascend昇腾系列芯片，提供模型训练、模型量化源代码🔥🔥 - AIDrive-Research ...