导读漫长的30年间，数度从主流方向的超然出走，是Bengio的制胜秘诀。这种不盲从主流的风格体现在他研究生涯的方方面面。90年代末期，神经网络被打入冷宫，Bengio的论文多次遭拒，连学生们也开始担心，和他一起研究神经网络会导致毕业后找不到工作。“那场有关神经网络的文化沙漠可能‘劝退’了很多研究者，但我有点固执，坚信我们应该坚持下去。”而时过境迁，如今神经网络早已成为主流，审稿人的看法也发生了翻天覆地的变化。此时，Bengio却已经开始研究新方向，寻找新问题。“我认为不能把所有鸡蛋放在一个篮子里，我们应该探索更多不同的方法。在过去的七年里，我一直在努力探索当前神经网络方法的局限性，这样才能让未来的人工智能具备当前缺乏的能力。”谈及现如今Scaling

报告主题：Fast-DetectGPT高效零样本机器生成文本检测报告日期：4月9日（周二）14:30-15:30主题简介：大语言模型如ChatGPT和GPT-4在各个领域对人们的生产和生活带来便利，但其误用也引发了关于虚假新闻、恶意产品评论和剽窃等问题的担忧。本文提出了一种新的文本检测方法——Fast-DetectGPT，无需训练，直接使用开源小语言模型检测各种大语言模型生成的文本内容。Fast-DetectGPT将检测速度提高了340倍，将检测准确率相对提升了75%，成为新的SOTA。在广泛使用的ChatGPT和GPT-4生成文本的检测上，均超过商用系统GPTZero的准确率。Fast-DetectGPT同时做到了高准确率、高速度、低成本、通用，扫清了实际应用的障碍！报告嘉宾：鲍光胜，西湖大学张岳教授实验室的博士二年级学生。主要的兴趣在可信赖自然语言生成技术，包括模型的可控性、可解释性、安全和推理。在相关领域发表多篇顶会和期刊论文，包括ICLR24、ACL23、ACL21、EMNLP23、AAAI21和TASLP23。在读博之前，鲍光胜曾在微软（中国）和阿里巴巴工作多年，参与微软个人助手Cortana的研发工作。相关论文：https://arxiv.org/abs/2310.05130扫描下方二维码或点击「阅读原文」报名

Sutskever领导，超级对齐旨在构建一个能够与人类水平相媲美的自动对齐研究器。其目标是尽可能地将与对齐相关的工作交由自动系统完成。其中一个重要手段就是可扩展监督（Scalable

李梦佳华尔街之梦，从银行家到神经网络Q：能描述下你早年的生活和成长经历，从何时开始接触科研的呢？A：早年我在弗吉尼亚州的（小镇）上长大，上的公立小学，但考上了一所很有竞争力的高中，也就是Thomas

导读超级智能是一把双刃剑，有助于解决许多重要问题，同时也可能削弱人类的权力并威胁我们的安全。为了治理这些风险，急需建立新的治理机构并解决AI模型的对齐问题。OpenAI于今年7月首次提出超级对齐的概念，并宣布投入20%的计算资源，花费4年的时间全力打造一个超级对齐（Superalignment）系统，意在解决超级智能的对齐问题。图：OpenAI官网宣布开始构建超级对齐系统随着OpenAI官方团队的介绍和多方解析不断发布，超级对齐的面貌也逐渐清晰地呈现在大家的面前，本文结合现有资料详细介绍超级对齐的概念、为什么要实现超级对齐以及如何实现超级对齐，希望这一愿景能够促进发展符合人类目标和价值观的安全AI，并不断吸纳更多研究者加入这一行列。什么是超级对齐1.1

系统流畅的性能所欺骗，以为他们很聪明，但实际上并非如此。这些系统非常擅长「提取记忆」。但是，他们并不理解世界的运行原理。这种基于自回归的生成存在一个主要的缺陷。不妨想象所有可能答案的集合（token

线下参会报名本届大会采用线下与线上模式融合欢迎在官网免费注册线下参会https://2023.baai.ac.cn

的数据集时说。“这些数据事实上很容易获取，有来自捐赠者的1万美元预算，我们这群人真的做到了。”但是，公众可以获得的东西并不总是公众想要的，也不总是允许公众合法看到的。除了诸如猫和消防车的

年才能读完这些单词。这与我们观察到的人类智能大相径庭。我们认为很难的下象棋、写作文等事情对于机器又十分简单。而擦桌子、洗碗这样的事对于机器来说又很困难。吴：是的。我们距离

大模型正在引发人工智能研究与应用范式产生重大变革，越来越多的顶级团队和杰出人才纷纷加入这一技术浪潮。作为AI大模型科研先锋，智源研究院聚集了来自高校院所和创新企业的一大批大模型领域卓越学者与工程师，共同致力于推动我国大模型的创新发展。为加速我国大模型领域的人才培养，让更多人能够迅速融入到这一重要的技术变革浪潮，智源研究院联合我国大模型领域的顶尖学者与工程师，为大模型研究与应用开发人员提供系统化的培训课程。2022年12月，智源研究院面向大模型应用开发人员首次推出“大模型训练营”线上课程。经过两天的培训，600名尚未接受过AI知识系统学习的技术人员成功独立开发出一系列文本和图像生成以及对话机器人应用，超过97%的学员对课程给予了“非常满意”的评价。在“大模型训练营”结束后，有更多技术人员表达了希望深入了解大模型前沿研究和技术进展的需求。2023年，我们将前期课程进行优化升级，与国内外大模型领域优势机构联手，推出首个系统化、体系化的大模型培训课程——“大模型前沿讲习班”。讲习班主要面向从事大模型科研与应用的学者、工程师，以及相关专业的学生，课程内容涵盖了语言、视觉、多模态等基础模型前沿研究进展，模型训练、优化和应用部署的关键技术，以及大模型应用开发实践等，系统地介绍大模型前沿技术与应用的各个方面。“首期讲习班焦点亮相讲习班第一季第一期（S01E01）将在2023年4月1日至2日线下召开，我们邀请了具有深厚学术背景和丰富实践经验的权威专家联合授课。旷视科技主任研究员张祥雨，微软亚洲研究院高级研究员吴晨飞，南京航空航天大学教授李丕绩，以及哈尔滨工业大学教授张伟男将分别讲授《迈向“大”和“统一”的视觉神经网络架构设计新思路》、《多模态理解、生成和对话》、《大模型技术之朝花夕拾》、《人机对话关键技术研究》四堂前沿课程。授课专家将从多领域交叉视角诠释当前大模型关键技术与前沿进展，旨在帮助学员们开阔科研视野，掌握前沿动向并提高实践能力。授课时间课程大纲授课专家4月1日上午1.

值得一提的是，梅特卡夫还提出了“梅特卡夫定律”（Metcalfe's

的大潮下，这部分高质量、分布性广的数据是最为缺乏的。第一个开源数据集将在4月15日预发布，5月1日正式发布，期待大家一起共建共享！即刻报名加入志愿者行列吧！小助手实测

要点速览：ChatGPT的诞生，源于研究者「暴力美学」的手段。如果大胆预测，ChatGPT能火几年，我猜可能是2到3年的时间，到2025年大概又要更新换代了。工业界相较于学术界拥有巨大优势。这种「AI

SutskeverOpenAI的联合创始人和首席科学家，2005年毕业于多伦多大学，2012年获得CS博士学位。2012年至今，他曾先后就职于斯坦福大学，DNNResearch，Google

要点摘录我坚信，实现AGI程序的源代码，一个人就能编写，规模是几万行。而不是Chrome三千万或者Twitter两千万那种量级。推理是：人的DNA信息量不到1GB，而大脑只有40MB，其中还有冗余和不精密的部分。十年内我们也能拥有匹配的硬件完成这项工作。职业生涯早期，当我有个聪明的想法却没成功时，会非常沮丧。但现在，我已经很擅长把自己的新奇念头打倒——想办法摧毁它们，而不是当成宝贝来呵护。我是个重细节的人，即使是谈火箭，目标也不会说成“殖民火星”，而会讲讲怎么用螺栓把零件固定在一起。所以，创造更多“人力”，应用在日常事务中，例如告诉AI，你想制作一部电影或漫画书，就能直接在云上运行——这就是我对AGI的愿景。现在世界有80亿人，比5千万人口生活在山洞时好得多。随着AI进入社会，将大大提升社会价值与进步总和。AI会极大地影响经济。我觉得AGI实现的可能性到2030年会提升到60%。往后说，2050年会有95%。Sam

本文为2022年最受智源社区小伙伴喜爱的文章，根据文章质量和热门程度等维度计算得出。还有AI大佬的全年总结盘点总结，也一并推荐给你。虎年除旧，兔年迎新，藉此机会、智源编辑组全员谨祝大家新春快乐！2022智源社区20篇最热文章推荐2022

近年来，在独立分布假设的前提下，机器学习模型的表现越来越好。但在实际应用场景中，数据本身却具有很强的异质性和差异性，这就对模型的泛化能力产生了较高的要求。为了解决分布外泛化问题，稳定学习应运而生。12月28日，智源《稳定学习年度研究进展》系列报告在线上展开，本次报告邀请了崔鹏、禹含、林勇、何玥、刘家硕、张奇、陈瀚雄、王啸、张兴璇9位学者，就稳定学习（Stable

【20】标题：斯坦福新作：AI在实际社会中交互学习推荐理由：PNAS收录了斯坦福大学一篇文章，此研究着眼于社会情境学习这一目前人工智能（AI）的重要挑战，并在视觉问答任务的实验中，性能提高了

No.69智源社区预训练组预训练研究观点资源活动周刊订阅《预训练周刊》已经开启“订阅功能”，扫描下面二维码，进入《预训练周刊》主页，选择“关注TA”，即可收到推送消息。关于周刊本期周刊，我们对2022年的预训练周刊中报道论文进行了重点汇总，包括了本年度的热点论文及领域综述等。视觉多模态话题包括各种通用模型、图文生成，机器人等；自然语言话题包括全年各个大厂的预训练和微调大模型等；生命科学话题介绍了本年在蛋白质预训练方面的进展；基础研究话题包括了Pathways、foundation

AI模型能力与融入生活的速度日新月异，它懂语言、会写代码、能绘图画、演奏音乐，甚至具有身体，然而潜在伦理问题与安全⻛险也初露端倪。人类重视核电、航天这些能力强大工具的安全性，但对AI模型却尚未如此。尽管研究正在增⻓，但尚无应对未来⻛险的总体计划，以及有效的实践总结，甚至为取得技术优势也会以牺牲安全为代价。是打开黑箱、对⻬价值，还是限制能力？本次研讨会以「模型技术安全与治理」为主题，邀请同行分享经验，探讨共识，达成协作。在青源Workshop第12期「模型技术安全与治理」主题研讨活动上，智源研究院付杰、安远AI谢旻希、方亮、Dartmouth刘睿博、USC赵洁玉、GMU

是一款照片编辑应用程序，可以根据用户的自拍生成艺术化身，它登上了app商店排行榜的榜首。它的成功带来了一定程度的争议，因为用户，尤其是女性，发现这个app使她们的图片变得更加性感。视觉艺术家在线社区

的工具，该算法设计了更高效的算法来乘以称为矩阵的数字块——一种对计算机图形学、物理模拟和机器学习本身有用的运算。它找到了人类数学家几十年来一直忽视的捷径。该公司还展示了

2022大规模预训练模型训练营于12月10-11日线上召开，本次培训注重实用，适合有基本编程经验，但尚不了解机器学习的学生、软件工程师参与。参与培训不需要具备丰富的数学知识、准备大量数据，或者拥有昂贵的电脑，只需要基本的Python编程经验，即可尝试将最新AI大模型研究应用于实际问题。通过两天快速培训，学员将具备基础技能，可以自己尝试开发当下备受关注的图片生成与对话机机器人类型应用。01你将获得快速了解人工智能前沿尤其是大模型基础知识；完成一个功能强大的应用案例；获得学员证书，获得智源研究院实习或工作机会；获得与导师科研合作机会；结实优秀的同学，共同学习进步；活动期间免费3090

2022年12月10-20日，由北京智源人工智能研究院主办的「2022大模型创新论坛」将线上召开，论坛包含训练营、峰会、创业大赛、黑客马拉松、闭门研讨会、创新应用榜单6个环节，邀请关注AI大模型技术与应用创新的研究员、产业专家、创业者、投资人、学生共同参与，围绕当前学术、产业、投资、公众、媒体等最关注的相关话题展开讨论。

2.0还包括一个高阶Diffusion模型，将图像分辨率提高了4倍。下面是我们的模型将低分辨率生成的图像(128x128)升级为高分辨率图像(512x512)的示例。Stable

神经科学领域的人，以及人工智能领域的人，在两个学科方面都受过同样训练的人。所以我们要做的就是团结起来，重新团结，重新团结起来。核心思想就是汲取神经科学中的养分，将它们应用到AI当中。Q：白皮书强调了

我认为，这是个非常困难的项目，将需要一些时间。但我认为，没有其他公司能够基于这一愿景执行。我认为它将令人惊奇，它基本上代表着劳动力。如果你认为交通运输是一个巨大的市场，那就试试劳动力市场吧，很疯狂。

AI是一个封闭的收费商业模型，他们使用二次元分享社区的数据训练数据的模型，使得社区插画师分享者愤怒，产生强烈冲突。AI创造力行动：小朋友与AI的共创中国传媒大学副教授、阿派朗创造力乐园联合创始人

Gibson，该环境下的各种元素是可以交互的，提供了物理上的真实性，使机器人可以完成移动操作任务。具身智能可以从模拟环境中学到视觉信息和交互信息。目前，机器视觉和机器人领域的研究逐渐从静态的互联网

AI本身是一种商业化形式，我们是一个盈利实体，但有一个基础使命，即在保持研发和学术独立性的同时，如何将其产品化，使其触达10亿用户？这一点上又和扩散模型息息相关。02什么是Stable

导读：像人一样，算法容易受到偏见的影响，这些偏见会使他们的决策“不公平”。在决策过程中，公平是指根据个人或群体的固有或后天特性，对个人或群体不存在任何偏见或偏爱。随着偏见在现实世界中愈加凸显，机器学习中的公平问题近年来成为研究热点。在北京智源大会特邀报告环节，美国国家科学院和工程院双院院士、哥德尔奖获得者、Differential

导读：“通用智能的发展依赖于构建能够自行生成算法的AI，只有这样才能让AI摆脱人类的手工规划，真正地走向自主发展的道路。”对于如何实现通用智能，前OpenAI研究经理、英属哥伦比亚大学副教授Jeff

导读：近日，MetaAI发布了NLLB-200模型，宣布在200多种语言（其中有70%是低资源语言）上实现了任意互译。其中的亮点在于：研究者让大多数低资源语言训练数据量提升了多个数量级，相当于规模提升百倍甚至千倍；实现了200+语言翻译的平均新SOTA。

【导读】青源会成立于2021年6月。自成立以来，青源会为海内外人工智能青年科研和技术人员建立了宽松、活跃的交流平台，促进AI青年科研人员开心探索智能本质。2022年5月至6月，青源会举办了青源学术年会及一系列学术研讨活动，邀请自然语言处理、智能信息检索与挖掘、计算机视觉、智能体系结构与芯片、机器学习数理和基础理论、AI+科学，以及人工智能伦理治理等七个方向近百位研究者共同参与讨论。研究者对领域内的热点研究、重大挑战，以及未来发展方向提出了专业意见。本文对青源会近期一系列活动中所探讨的重点内容和观点进行了整理汇总，形成《青源会2022年人工智能重要方向进展与未来展望报告》。我们期待，这份内容能够为人工智能领域青年学者、学生的学习和研究，提供参考。下载方式：点击阅读原文或在公众号回复“青源报告”下载。一、报告主要内容本报告同分为7个章节，分别对自然语言处理、智能信息检索与挖掘、计算机视觉、智能体系结构与芯片、机器学习数理和基础理论、AI+科学，以及人工智能伦理治理等领域近年的领域进展、面临的问题和挑战，以及未来的发展方向进行了详细的介绍。二、报告目录目前，青源学术年会论坛回放视频已上线，观看视频可扫描以下图片中的二维码：

上世纪七十年代，秀丽隐杆线虫开始被研究者用作模式生物。秀丽线虫、果蝇、鱼、小鼠等模式生物的研究，为探索生物大脑运作机理提供了模板，也为类脑智能的研究铺平了道路。来自布兰迪斯大学、南加州大学、中国科学技术大学、香港城市大学、北京大学等的专家，和智源研究院的研究员们一起，就神经计算和生物智能的最新研究趋势发表了洞见。整理：熊宇轩、杨依帆编辑：李梦佳

LeCun的“蛋糕理论”中将强化学习比作蛋糕上的樱桃，监督学习比作糖霜，而自监督学习比作是蛋糕坯子，强调了自监督学习的基石作用。自监督学习无需人为的数据标注，从而可以利用近乎无限的数据进行学习。

导读：强人工智能的发展是近年来关注的话题。让AI从人类的感知和行为，而非单纯的标注数据中学习，成为许多研究者关注的重点。其中，如何利用人类习得的日常生活经验，启发构建能够适应不同环境，与外部世界交互的人工智能这成为一些领域探索的新路。被誉为强化学习之父的Richard

“别为宣传而烦恼。我并不用Twitter、Facebook等社交平台，也许这反而为我带来了一些信誉。”“我喜欢放慢脚步，并不喜欢盲目参与到竞争中。我建议你们在一定程度上避免追逐热点。”“你可能需要在某个问题上耕耘5年甚至更久，不要想着在一两年内就做出著名的工作。”——这些是当今最有影响力的计算机科学家之一、机器学习奠基人、美国三院院士Michael

预训练之后，哪些NLP问题仍待解决？情感计算是如何应用于抑郁线索分析？如何处理NLP中的可解释性问题？在本次智源大会自然语言处理专题论坛上，清华大学教授刘洋，华为语音语义首席科学家刘群，中国科学院自动化研究所研究员陶建华，哈尔滨工业大学教授刘挺，复旦大学教授黄萱菁等就领域内关键技术和问题进行了深入解读。

上不过多考虑标签，快速地让决策边界靠近图像流形。接着，在第二个阶段，网络重点关注训练样本的标签，此时决策边界开始产生一些凹槽，从而调整决策边界的形状细节。同时，随机初始化的深度神经网络在第一个

导读：在自然界当中，群体智能广泛存在，诸如蜂群、蚁群以及鱼群的聚集。而从宏观上说，人类社会的不断发展和演化也是一种群体智能现象，绝大多数文明成果都是人类个体在长期群体化、社会化的生产生活中逐渐演化形成的产物。群体智能研究正是新一代人工智能的重要方向。在2022北京智源大会首日的特邀报告环节，中国科学院院士梅宏发表了题为「如何构造人工群体智能」的主旨演讲。梅宏院士介绍了群体智能研究的历史与最新进展，并讨论了如何构造基于「探索-融合-反馈」机制的群体智能模型，举例说明了群体智能规律在自组装、拼图、知识图谱构建等任务中的应用。（注：本文由第三方整理，未经本人审阅）01群体智能研究前世今生

导读：可解释性，是深度学习科研人员一直以来面临的问题。而未曾想，在漫长的历史岁月中，中医们也在面临着类似的问题。中医没有基于现代统计学的临床数据做支撑，在诊断过程中，医生们不得不以黑盒的方式做诊断，用望闻问切的数据作为输入，把最后的诊疗方案作为输出，中间则是根据实际临床数据做拟合。

AI：https://www.wired.com/story/karl-friston-free-energy-principle-artificial-intelligence/[5]

北京智源大会始自2019年，每年邀请包括图灵奖得主在内的200多位全球人工智能领域顶尖学者、专家共同探讨学术、技术和产业最新进展，吸引超过3万专业观众注册，超过30个国家和地区200万人次参与。作为国际性、权威性、专业性和前瞻性的“内行AI盛会”，智源大会已成为人工智能专业从业者不可错过的大型活动。每一年，AI的前沿进展都如雨后春笋般喷薄而出——大模型未来如何发展？更快、更强的AI芯片何时诞生？AI与科学的联姻，还将会诞生什么举世瞩目的新发现？生命如何启发人工智能拓展新前沿？如何应对技术变革中的伦理与可持续发展挑战？元宇宙大热背后，从概念到场景化落地还有多远？这些问题仍亟需全球学术界和产业界共同探索。

“我是一个数学家，对我来说，一切都是线性代数，但世界也正在看到这一点,”Jack

2004年，刘群在北京大学获得博士学位，并回到计算所继续从事机器翻译研究。2005年，他在计算所评上了研究员职称。从这以后，刘群开始以自己名义正式招收博士研究生，并组建了一支充满活力的研究团队。

她力量近年来，“她”力量正在科学家群体中快速升温。在一年一度的妇女节到来之际，智源社区选取了五位颇具代表性的女性科学家，进行了深度访谈。在她们中，有人选择食物图像识别，对选择的科研方向热爱到底；有人享受不确定的科研乐趣，在统计+生物学研究上更向前一步；有人也曾在读博和带娃的困难中迷茫，用理想温暖10年科研路；有人以科幻电影为启发，走上人机交互之路；还有人从Facebook大厂回国，做更有温度的AI研究。从她们的故事里，我们得以一览当代女性科研工作者的独特风采。导读：初识伍昱，可能最先会被她温婉、柔美的外表所吸引，而她的履历上却赫然写着保送北大元培实验班、加拿大多伦多大学计算机硕士、Facebook

她力量近年来，“她”力量正在科学家群体中快速升温。在一年一度的妇女节到来之际，智源社区选取了五位颇具代表性的女性科学家，进行了深度访谈。在她们中，有人选择食物图像识别，对选择的科研方向热爱到底；有人享受不确定的科研乐趣，在统计+生物学研究上更向前一步；有人也曾在读博和带娃的困难中迷茫，用理想温暖10年科研路；还有人从Facebook大厂回国，做更有温度的AI研究。从她们的故事里，我们得以一览当代女性科研工作者的独特风采。导读：数学博士，在美国加州伯克利大学担任访问学者，还有近十年的中科院计算所研究员经历……见面前，我在脑中为兰艳艳描绘出了一幅“学术、忙碌、雷厉风行”的精英女科学家形象。但当长发的她，身穿着淡紫色的毛衣微笑地走进采访间时，我感受到了扑面而来的知性气息。

她力量近年来，“她”力量正在科学家群体中快速升温。在一年一度的妇女节到来之际，智源社区选取了五位颇具代表性的女性科学家，进行了深度访谈。在她们中，有人选择食物图像识别，对选择的科研方向热爱到底；有人享受不确定的科研乐趣，在统计+生物学研究上更向前一步；有人也曾在读博和带娃的困难中迷茫，用理想温暖10年科研路；还有人从Facebook大厂回国，做更有温度的AI研究。从她们的故事里，我们得以一览当代女性科研工作者的独特风采。“如果给所有女性科研工作者一个建议，是什么？”

她力量近年来，“她”力量正在科学家群体中快速升温。在一年一度的妇女节到来之际，智源社区选取了五位颇具代表性的女性科学家，进行了深度访谈。在她们中，有人选择食物图像识别，对选择的科研方向热爱到底；有人享受不确定的科研乐趣，在统计+生物学研究上更向前一步；有人也曾在读博和带娃的困难中迷茫，用理想温暖10年科研路；还有人从Facebook大厂回国，做更有温度的AI研究。从她们的故事里，我们得以一览当代女性科研工作者的独特风采。导读：初识复旦大学计算机学院陈静静，人们可能会着眼于她取得的令人瞩目的学术成绩——复旦大学计算机科学技术学院青年副研究员、上海高层次海外人才、浦江人才计划入选者、ACM