Daily LLM Papers

生成式 AI 重构推荐系统

Engram：大语言模型的可扩展条件记忆模块

Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

流形约束超连接：大模型稳定训练与扩展的新范式

mHC: Manifold-Constrained Hyper-Connections

通义深度研究：开源AI研究新范式

通义 DeepResearch：开源 AI 智能体的新纪元阿里巴巴通义实验室在开发自主信息搜索和推理代理模型方面的进展，集中于三个相关的项目：Tongyi DeepResearch、WebDancer 和…

腾讯AI Lab的“角色中心”：十亿虚拟角色如何驱动AI生成数据

Scaling Synthetic Data Creation with 1,000,000,000 PersonasPersona Hub 是一个包含 10亿个多样化角色（persona） 的集合，这些角色是从海量网络数据中自动整理出来的。这些角色约占世界总人口的13%。Persona…

推理加速：RASD 和 REFRAG 深度解析

REFRAG (REpresentation For RAG) 和 RASD (Retrieval-Augmented Speculative Decoding) 都是旨在提高大型语言模型 (LLM) 推理效率的方法，但它们关注的方面和实现机制有所不同： 核心目标和解决的问题：REFRAG：主要目标是解决RAG应用中长上下文输入带来的显著系统延迟和对键值 (KV)…

美团入局大模型：LongCat-Flash如何高效驱动智能体？深度解析MoE架构、零计算专家与数据飞轮

LongCat-Flash-ChatLongCat-Flash 模型在架构设计、训练策略和推理部署方面引入了多项创新技术，使其在计算效率和智能体能力方面均表现出色。模型架构创新和技术要点LongCat-Flash 采用了一种新颖的 Mixture-of-Experts (MoE) 架构，其核心创新包括： 零计算专家 (Zero-computation…

深度解析Intern-S1如何颠覆科研AI

本期论文：INTERN-S1: A SCIENTIFIC MULTIMODAL FOUNDATION MODELIntern-S1 在多个方面展现了显著的创新，这些创新主要体现在其模型架构、数据策略以及训练系统和算法优化上，旨在弥合开放源代码与闭源模型在科学理解和推理能力上的差距，并向通用人工智能（AGI）迈进。以下是 Intern-S1 的主要创新点： …

超越自回归：并行文本生成技术如何加速大模型推理

原文：A Survey on Parallel Text Generation: From Parallel Decoding to Diffusion Language…

大语言模型链式思维推理：是假象还是真实能力？

作者： Chengshuai Zhao、Zhen Tan、Pingchuan Ma、Dawei Li、Bohan Jiang、Yancheng Wang、Yingzhen Yang 和 Huan Liu (亚利桑那州立大学) 来源：…

Seed Diffusion Preview: 来自字节 Seed 团队的高速推理代码语言模型

Seed Diffusion Preview 技术报告Seed Diffusion模型将扩散（Diffusion）方法应用于代码生成，并实现了显著的高速推理，其核心在于将连续域的扩散概念巧妙地适配到离散的文本数据上，并通过一系列优化策略来加速其迭代生成过程。以下是其主要实现方式： 离散状态扩散（Discrete-state…

Qwen团队：组序列策略优化算法GSPO

原文：Group Sequence Policy Optimization本来源介绍了组序列策略优化 (GSPO)，是一种用于训练大型语言模型的新型强化学习算法。该算法通过基于序列似然定义重要性比率并执行序列级剪辑、奖励和优化来解决现有算法（如 GRPO）在训练巨型模型时遇到的不稳定性问题。文章指出，GRPO 的不稳定性源于其令牌级重要性采样权重的错误应用，导致高方差训练噪声和模型崩溃。GSPO…

AI 智能体的上下文工程：来自Manus 经验分享

Manus 博客原文：AI代理的上下文工程：构建Manus的经验教训Manus 项目通过语境工程（Context Engineering）解决了AI智能体开发和运行中的多项关键挑战，并积累了宝贵的经验，这些经验对未来的AI智能体开发具有重要启示。以下是Manus项目通过语境工程解决的主要挑战及其具体做法： …

Google 提出的新模型架构 MoR，Transformer 之外的一条新路径

Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation这篇研究论文介绍了Mixture-of-Recursions…

vLLM凭什么这么快？揭秘大模型推理的内存与调度黑科技

vLLM 的速度优势并非简单的增量式改进或对个别算子的优化，而是源于对大语言模型推理这一根本问题的系统性重构。它将经典的操作系统设计哲学——如虚拟内存、分页管理和动态进程调度——创造性地应用于一个全新的领域，从而建立了一套全新的、为高吞吐量服务而生的架构蓝图。通过 PagedAttention，vLLM 将 GPU…

ZeroSearch: 激发LLM模型的搜索能力

本期论文：ZeroSearch: Incentivize the Search Capability of LLMs without SearchingZEROSEARCH 是一个新颖的强化学习（RL）框架，旨在提升大型语言模型（LLMs）的搜索能力，而无需与真实的搜索引擎交互。该框架巧妙地结合了强化学习、监督微调（SFT）和课程学习机制来优化 LLMs 的检索和推理能力。以下是…