11月12日，由中国人民大学高瓴人工智能学院联合小米集团技术委员会举办的“大模型：前沿技术与未来应用”学术论坛顺利召开。线下会场与线上直播间共150余位师生参会。

人大高瓴人工智能学院执行院长文继荣教授、小米集团技术委员会AI实验室王斌主任出席会议并致辞。哈尔滨工业大学社会计算与信息检索研究中心准聘副教授冯骁骋，小米集团技术委员会AI实验室大模型算法负责人刘伟，北京智源人工智能研究院王业全，北京大学王选计算所长聘副教授穆亚东，北京大学助理教授王奕森，中国科学院计算技术研究所副研究员敖翔，小米集团技术委员会邓巍、栾剑、周珏嘉，中国人民大学高瓴人工智能学院准聘副教授陈旭、李崇轩、准聘助理教授林衍凯等专家学者受邀参会。会议由人大高瓴人工智能学院长聘副教授严睿、准聘副教授陈旭、准聘助理教授林衍凯和小米集团技术委员会秘书长周珏嘉分别主持。

中国人民大学高瓴人工智能学院执行院长文继荣教授向莅临的各位专家表示感谢。他表示，大模型是人工智能当下非常火爆的研究技术，学院非常重视大模型相关研究，目前高瓴人工智能学院也有多位教师在大模型领域进行科研探索，且陆续产出了技术成果。小米集团技术委员会AI实验室王斌主任强调了大模型在工业界应用和落地的重要性。小米集团在大模型方面也投入了大量资源，同时也积极寻求与高校的合作及共同发展。

论坛上，中国人民大学高瓴人工智能学院陈旭准聘副教授分享了题为“When Large Language Model based Agents meet User Behavior Simulation”的报告。报告首先分析了人工智能领域两种不同的学习范式：从真实世界数据中学习和环境模拟。目前的科学研究大都基于少量的公开数据集，但很多和人相关的问题（可解释推荐算法、算法公平性研究等）难以得到解决，以此引出了基于模拟的研究在用户行为分析领域的重要性。随后，陈旭介绍了大模型在用户行为模拟中的优势和潜在挑战，以及他们在Agent和System层面的设计和实验结果，并对未来的相关方向和挑战进行了总结和展望。

哈尔滨工业大学冯骁骋副教授分享了题为“检索增强的大语言模型”的报告。报告中，冯骁骋教授首先对大语言模型的定义和发展历史进行了回顾，特别强调了ChatGPT作为OpenAI在2022年推出的里程碑式产品，其对话式交互的特点，以及它对通用人工智能的加速作用。接着，他指出了当前大语言模型面临的关键问题，包括知识更新的局限性、模型幻觉问题、知识边界的不断扩展等。冯教授还详细讲解了大语言模型在解决复杂问题中的应用，如通过检索增强、知识编辑等方法提升模型的实用性和准确性。他通过具体案例展示了大语言模型如何在不同领域，如问答任务、知识冲突解决等方面发挥其重要作用。最后，冯骁骋教授总结指出，大语言模型不仅是继数据库和搜索引擎之后的全新“知识表示和调用方式”，而且其结合知识增强的方法，未来有望实现更高效的自我更新与应用扩展。

小米技术委员会AI实验室的大模型算法负责人刘伟报告的主题为“小米大模型思考和实践”，他重点介绍了小米在大型语言模型领域的最新进展和实践经验。刘伟的报告从“大语言模型是什么”开始，深入解释了大语言模型的定义、特点以及在不同类型任务中的应用。他特别强调了大模型在参数规模、多任务和应用方面的重要性。此外，刘伟还提到了小米大模型的实践过程，包括模型的设计、开发和应用，以及在各种实际场景中的效果。报告中，刘伟特别指出了大语言模型带来的人机交互、知识存储和获取方面的革命性变化。他通过案例展示了小米大模型如何在提高信息获取效率和任务完成效率方面发挥重要作用。刘伟还讨论了大模型的演化方向和未来可能的发展趋势。他认为，结合人工智能和大数据，小米大模型将在未来多个领域发挥更大的作用，从而推动整个行业的进步。

北京智源人工智能研究院王业全分享的主题为：“FLM-101B: An Open LLM and How to Train It with $100K Budget如何使用70万预算从头训练千亿语言大模型”。王老师首先从项目的概况入手，介绍了FLM-101B项目的主要目标和成果。他强调了项目在成本效益、评测效果、社区反响以及模型架构与规划等方面的重大突破。FLM-101B是首个利用生长技术训练出的千亿级模型。接着，王老师详细介绍了FLM-101B的技术细节，包括其独特的模型架构、数据获取和处理流程，以及创新的训练方法。他特别提到了Mu-Scaling技术和生长技术在模型训练中的应用，从而显著提高了训练效率，降低了训练成本。此外，王老师还分享了FLM-101B在实际应用中的表现，包括在多语言处理、自然语言理解等方面的应用前景。他指出，FLM-101B不仅在技术上取得了突破，也在实际应用中展现了巨大潜力。

北京大学助理教授王奕森带来了一场题为“Theoretical Understanding of Self-Supervised Learning”的精彩报告。王老师的报告重点关注自监督学习领域，尤其是在理论上的深层次理解。他首先介绍了自监督学习的基本概念和其在机器学习领域中的重要性。接着详细阐述了自监督学习中的主要挑战和问题，比如模型的泛化能力，以及如何通过无监督的方式有效地训练模型。接下来，王老师深入讲解了自监督学习的几种主要方法，包括对比学习和掩码自编码器（MAE）等，并且通过具体的实验数据和案例，展示了这些方法的效果和潜力。他强调，理解这些方法的理论基础对于推动自监督学习的发展至关重要。最后，王老师对自监督学习的未来趋势进行了展望，指出了该领域面临的新的机遇和挑战，以及如何结合其他学习范式，比如多模态学习，以进一步提升模型的性能和应用范围。

下午论坛，来自中国人民大学高瓴人工智能学院的准聘副教授李崇轩分享了题为“时光倒转万物生：扩散模型与视觉内容生成”的报告。报告从扩散模型的原理到应用上展开，介绍了目前扩散模型的发展现状。首先，李崇轩老师为我们介绍了有关扩散模型的参数学习算法，即通过正向扩散过程来逐步添加噪声，进而通过反向扩散过程来逐步学习去噪/生成数据。然而，这种学习方式的瓶颈在于采样效率低下，如何设计高效采样算法成为了重要的研究问题。于是，他详细讲述了几种高效采样算法的方式以及理论支撑，为我们打开了扩散模型原理的大门。之后李老师介绍了当前扩散模型的一个典型应用场景——视觉内容生成，代表工作有来自OpenAI 的DALL E-2，通过简单的文字输入模型即可创作图像，以及DragGAN，利用拖拉的方式可以轻松的对图像进行调整。

来自北京大学王选计算所的长聘副教授穆亚东带来了关于“多模态大模型的研究进展”的报告，他首先介绍了近年来视觉领域内的一系列里程碑，从2006年的ImageNet到2012年的AlexNet，再到2015年的ResNet，视觉领域研究一片繁荣。在近期一系列基于Transformer的基础模型介绍中，针对“视觉领域的下一步如何发展”的疑问，他给出了一个可能的答案：具身智能，即通过语言作为媒介、视觉作为感知来对机器人进行控制，使其能够完成一系列的复杂任务。接着，穆亚东老师介绍了几篇领域内的相关工作，带领观众领略了多模型大模型的前沿研究成果以及丰富的应用场景。

随后，中国科学院计算技术研究所的副研究员敖翔带来主题为“大模型在金融行业落地的前景与思考”的报告，报告主要分为三个部分，一是大语言模型基本介绍：他详细介绍了近期大模型方向的发展历程、中美大模型发展对比。同时，敖翔老师也呼吁关注大模型可能引发的安全风险，并就一系列国内外相关政策活动进行展开。二是金融行业大模型应用现状：在这一部分，敖翔老师探讨了大模型如何在金融行业中被应用，包括人机交互、量化分析两个方向的应用案例。三是金融领域大模型未来展望：就大模型技术如何进一步革新金融行业可能面临的挑战，以及如何更好地整合技术以提高效率和精确性进行了一系列的阐述。

中国人民大学高瓴人工智能学院准聘助理教授林衍凯带来了关于“大模型工具学习”的报告。林老师认为，创造和使⽤⼯具是⼈类智能的关键特性，并认为未来在大模型的加持下，工具学习将成为可能。他从统一的工具学习框架视角下，为我们讲述了关于大模型工具学习的基本概念，并介绍了自研的开源的工具学习框架BMTools(Github两千星标)。此外，林衍凯老师就大模型如何习得工具学习能力，为我们介绍了几个典型的工作WebGPT、WebCPM和WebShop，以及参与开源的ToolBench项目，为大模型工具学习提供了统一的评估基准。最后，林衍凯老师还指出大模型推理能力对工具学习的影响，并就现有大模型推理增强技术为我们介绍了复杂推理支持下的工具学习。

最后，来自小米集团的邓巍老师为我们带来了“端侧视觉大模型探索与实践”的报告，他从视觉大模型现状、端侧视觉大模型探索、端侧视觉大模型实践三个维度一步步展开现在视觉大模型的研究进展以及小米集团为此付出的实践。在介绍视觉大模型现状时，他从技术趋势、用户需求及市场趋势、数据安全与隐私保护、竞争态势四个全面概括了现有视觉大模型发展环境。同时也分享了小米在视觉领域的探索，包括对UNet模型结构优化、采样步数优化、Int4量化等方面的努力。此外，他还分享了小米在相册编辑和相册搜索两方面的实践经历。最后，他对视觉大模型未来进行展望，认为端到端的图像理解、生成、编辑大模型可能是视觉大模型的下一步发力点。

在报告后的圆桌讨论阶段，各位专家学者从工业界和学术界不同的角度出发，针对未来大模型的发展展开了激烈讨论，给出了各自独到的见解。

来源：高瓴人工智能学院