陈丹琦ACL学术报告来了！详解大模型「*」数据库7大方向3大挑战，3小时干货满满

---

清华姚班校友陈丹琦，在acl 2025上做了场最新演讲！

话题还是近期非常热门的研究方向——

像GPT-3、PaLM这样的（大）语言模型，究竟是否需要依靠检索来弥补自身缺陷，从而更好地应用落地。

在这场演讲中，她和其他3位主讲人一起，共同介绍了这个主题的几大研究方向，包括训练方法、应用和挑战等。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

图片

演讲期间听众的反响也很热烈，不少网友认真地提出了自己的问题，几位演讲者尽力答疑解惑。

图片

至于这次演讲具体效果如何？有网友直接一句“推荐”给到评论区。

图片

所以，在这场长达3个小时的演讲中，他们具体讲了些什么？又有哪些值得一听的地方？

大模型为何需要“*”数据库？

这场演讲的核心主题是“基于检索的语言模型”，包含检索和语言模型两个要素。

从定义上来看，它指的是给语言模型“*”一个数据检索库，并在进行推理（等操作）时对这个数据库进行检索，最后基于检索结果进行输出。

这类*数据存储库，也被称之为半参数模型或非参数模型。

图片

之所以要研究这个方向，是因为如GPT-3和PaLM这类（大）语言模型，在表现出不错的效果同时，也出现了一些让人头疼的“bug”，主要有三个问题：

1、参数量过大，如果基于新数据重训练，计算成本过高；
2、记忆力不行（面对长文本，记了下文忘了上文），时间一长会产生幻觉，且容易泄露数据；
3、目前的参数量，不可能记住所有知识。

在这种情况下，外部检索语料库被提出，即给大语言模型“*”一个数据库，让它随时能通过查找资料来回答问题，而且由于这种数据库随时能更新，也不用担心重训的成本问题。

介绍完定义和背景之后，就是这个研究方向具体的架构、训练、多模态、应用和挑战了。

在架构上，主要介绍了基于检索的语言模型检索的内容、检索的方式和检索的“时机”。

具体而言，这类模型主要会检索token、文本块和实体词语（entity mentions），使用检索的方式和时机也很多样性，是一类很灵活的模型架构。

图片

在训练方式上，则着重介绍了独立训练（independent training，语言模型和检索模型分开训练）、连续学习（sequential training）、多任务学习（joint training）等方法。

图片

至于应用方面，这类模型涉及的也就比较多了，不仅可以用在代码生成、分类、知识密集型NLP等任务上，而且通过微调、强化学习、基于检索的提示词等方法就能使用。

应用场景也很灵活，包括长尾场景、需要知识更新的场景以及涉及隐私安全的场景等，都有这类模型的用武之地。

当然，不止是文本上。这类模型也存在多模态扩展的潜力，可以将它用于文本以外的任务上。

图片

听起来这类模型优点很多，不过基于检索的语言模型，当下也存在一些挑战。

陈丹琦在最后“收尾”的演讲中，着重提到了几点这个研究方向需要解决的几大难题。

其一，小语言模型+（不断扩张的）大数据库，本质上是否意味着语言模型的参数量依旧很大？如何解决这一问题？

例如，虽然这类模型的参数量可以做到很小，只有70亿参数量，但*的数据库却能达到2T……

图片

其二，相似性搜索的效率。如何设计算法使得搜索效率最大化，是目前非常活跃的一个研究方向。

图片

其三，完成复杂语言任务。包括开放式文本生成任务，以及复杂的文本推理任务在内，如何用基于检索的语言模型完成这些任务，也是需要持续探索的方向。

图片

当然，陈丹琦也提到，这些话题是挑战的同时，也是研究机遇。还在寻找论文课题的小伙伴们，可以考虑是否把它们加进研究列表了~

值得一提的是，这次演讲也不是“凭空”找出的话题，4位演讲者贴心地在官网放出了演讲参考的论文链接。

从模型架构、训练方法、应用、多模态到挑战，如果对这些话题中的任何一部分感兴趣，都可以去官网找找对应的经典论文来看：

图片

现场解答听众困惑

这么干货满满的演讲，四位主讲人也不是没有来头，在演讲中他们还耐心地对听众提出的问题进行了解答。

网易人工智能

网易数帆多媒体智能生产力平台

233 查看详情

我们先来康康主讲人都是谁。

首先是主导这次演讲的普林斯顿大学计算机科学助理教授陈丹琦。

图片

她是计算机科学领域近来最受关注的华人青年学者之一，也是08级清华姚班校友。

在信息学竞赛圈，她颇具传奇色彩——CDQ分治算法就是以她的名字命名。2008年，她代表中国队斩获一枚IOI金牌。

而她的那篇长达 156 页的博士毕业论文《Neural Reading Comprehension and Beyond》，更是一度火爆出圈，不光获得当年斯坦福最佳博士论文奖，还成为了斯坦福大学近十年来最热门毕业论文之一。

现在，陈丹琦除了是普林斯顿大学计算机科学助理教授，也是该校从头搭建NLP小组的联合负责人、AIML小组成员。

她的研究方向主要聚焦于自然语言处理和机器学习，并且对在实际问题中具有可行性、可扩展性和可泛化性的简单而又可靠的方法饶有兴趣。

同样来自普林斯顿大学的，还有陈丹琦的徒弟钟泽轩（Zexuan Zhong）。

图片

钟泽轩是普林斯顿大学的四年级博士生。硕士毕业于伊利诺伊大学香槟分校，导师是谢涛；本科毕业于北京大学计算机系，曾在微软亚研院实习，导师是聂再清。

他的最新研究主要聚焦于从非结构化文本中提取结构化信息、从预训练语言模型中提取事实性信息、分析稠密检索模型的泛化能力，以及开发适用于基于检索的语言模型的训练技术。

此外，主讲人还有来自华盛顿大学的Akari Asai、Sewon Min。

图片

Akari Asai是华盛顿大学主攻自然语言处理的四年级博士生，本科毕业于日本东京大学。

她主要热衷于开发可靠且适应性强的自然语言处理系统，提高信息获取的能力。

最近，她的研究主要集中在通用知识检索系统、高效自适应的NLP模型等领域。

图片

Sewon Min是华盛顿大学自然语言处理小组的博士候选人，读博士期间，曾在Meta AI兼职担任研究员长达四年，本科毕业于首尔国立大学。

最近她主要关注语言建模、检索以及二者的交叉领域。

在演讲期间，听众也很热情地提出了众多问题，例如为啥要用perplexity（困惑度）来作为演讲的主要指标。

图片

主讲人给出了细心解答：

在比较参数化的语言模型时，困惑度（PPL）经常被用到。但困惑度的改善能否转化为下游应用仍然是一个研究问题。

现已有研究表明，困惑度与下游任务（尤其是生成任务）有很好的相关性，并且困惑度通常可提供非常稳定的结果，它可以在大规模评估数据上进行评估（相对于下游任务来说，评估数据是没有标签的，而下游任务可能会受到提示的敏感性和缺乏大规模标记数据的影响，从而导致结果不稳定）。

图片

还有网友提出了这样的疑问：

关于“语言模型的训练成本高昂，而引入检索可能会解决这个问题”的说法，你只是将时间复杂度替换为空间复杂度（数据存储）了吗？

主讲人给出的解答是酱婶的：

我们讨论的重点是如何将语言模型缩减到更小，从而减少时间和空间的需求。然而，数据存储实际上也增加了额外的开销，这需要仔细权衡和研究，我们认为这是当前的挑战。

与训练一个拥有一百亿以上参数的语言模型相比，我认为目前最重要的是降低训练成本。

图片

想找这次演讲PPT，或是蹲具体回放的，可以去官网看看~

官方网址：https://acl2025-retrieval-lm.github.io/

以上就是陈丹琦ACL学术报告来了！详解大模型「*」数据库7大方向3大挑战，3小时干货满满的详细内容，更多请关注其它相关文章！

# 自然语言  # 聊城网站建设内容介绍  # 宁波定制网站优化多少钱  # 莆田网站seo外包  # 新乡正规网站建设价格  # 湖南营销推广选择专业  # 沈阳网站百度快照优化  # 盘县网站优化报价  # 碑林seo网站优化公司  # seo免费学习  # 孝南抖音seo推广  # 提出了  # 模型  # 华盛顿  # 也很  # 主讲人  # 研究方向  # 网易  # 普林斯顿  # 这类  # 来了  # perplexity  # 数据库 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 本届人工智能大会上的这个“镇馆之宝”，来自长宁企业西井科技！  “踩油门，也要会踩刹车” 互联网企业高管谈人工智能发展  日媒关注中国推进鸟类识别 AI 普及，除监测保护外还可预防传染性疾病  云深处科技绝影 Lite3 与 X20 四足机器人亮相  上影节直击 | AI技术降低了短片拍摄门槛？金爵奖评委不赞同  九号公司主导制定短途交通和送物机器人领域首个国际标准，标志着零的突破发布  OpenAI首席执行官引用《道德经》 呼吁就AI安全问题合作  中国移动主导创立元宇宙产业联盟，包括科大讯飞、芒果TV等在内，共24家成员  成功孵化首个大型模型解决方案的重庆人工智能创新中心  有 ARM 和 X86 两个版本，香橙派游戏掌机细节曝光  “三夏”农忙保障用电，无人机高空巡视高压线  懒人必备的家居清洁好物，石头自清洁扫拖机器人G20  关于开展“与AI共创未来”——2025年全国青少年人工智能创新实践活动的通知  将上下文长度扩展到256k，无限上下文版本的LongLLaMA来了？  ChatGPT 可以设计机器人吗？  世界水下机器人大赛：9国青年携手逐梦深蓝  “一般智力”与工艺学批判是认识AI的重要入口 | 社会科学报  1.6亿美元收购Singularity AI，昆仑万维布局通用人工智能  警惕！AI或致虚假信息泛滥  丰田汽车研究院推出生成式人工智能汽车设计工具  干货满满，2025昆山元宇宙国际装备展等你来打卡！  上海发布“元宇宙关键技术攻关行动方案”，加快 AIGC 等突破  GPT-4使用混合大模型？研究证明MoE+指令调优确实让大模型性能超群  微软必应聊天现已在Chrome和Safari浏览器上可用，但仍有许多限制存在  助力人工智能产业高质量发展 龙岗区算法训练基地正式启用  日新月异，脑机接口技术都有哪些新应用？  微软大牛加入ZOOM，AI人才大战打响  全球首款AI裸眼3D平板 国产的售价破万  Meta推出VR订阅服务Quest +：每月免费玩两款游戏，7.99美元/月  消息称字节机器人团队已有约50人，计划年底扩充到上百人  人工智能时代的科幻译者怎么办？“做好翻译工作的高端10%”｜文化观察  塑造全能智能管家：华为小艺AI加成应对大模型挑战  GPT-4 模型架构泄露：包含 1.8 万亿参数、采用混合专家模型  Midjourney 5.2震撼发布！原画生成3D场景，无限缩放无垠宇宙  音乐制作元工具AudioCraft发布开源AI工具  百度文心一言App上架苹果商店，人工智能创作引发热议  OpenAI 已全面开放 GPT-3.5 Turbo、DALL-E 及 Whisper API  可按用户语气自动回复消息，Zoom 推出基于生成式 AI 的新功能  全新小艺搭载AI大模型，有效提升学生和职场人士的工作效率  “思享荟”沙龙热议AIGC与元宇宙 复旦大学赵星畅谈深度数字化  报道称亚马逊正在测试AI生成产品评价摘要  谷歌推出 SAIF 框架，倡导安全环境下探索和发展人工智能  人工智能的变革之路：通过OpenAI的GPT-4漫游  组建团队，字节跳动要造机器人？  拓普龙7188ML：轻便壁挂式工控机箱，为人工智能应用场景提供有力保障  清华系面壁智能开源中文多模态大模型VisCPM ：支持对话文图双向生成，吟诗作画能力惊艳  开创全新虚拟现实体验的Pimax Crystal VR头显  网易云音乐和小冰推出AI歌手音乐创作软件，首发内置12名AI歌手  WHEE安装教程  技术如何使人变得懒惰？ 

 2023-07-23