查看原文
其他

机器学习泰斗Michael I. Jordan与张宏江共话青年成长之路:研究者要对复杂时代有所贡献

智源社区 智源社区 2023-11-24
“别为宣传而烦恼。我并不用Twitter、Facebook等社交平台,也许这反而为我带来了一些信誉。”


“我喜欢放慢脚步,并不喜欢盲目参与到竞争中。我建议你们在一定程度上避免追逐热点。”


“你可能需要在某个问题上耕耘5年甚至更久,不要想着在一两年内就做出著名的工作。”


——这些是当今最有影响力的计算机科学家之一、机器学习奠基人、美国三院院士Michael I. Jordan对青年学者发自肺腑的寄语。他的脚踏实地、专注沉稳的治学风格在此次对话中可见一斑。在此前的人生中,他的重要贡献包括指出了机器学习与统计学之间的联系,并推动机器学习界广泛认识到贝叶斯网络的重要性。


2022年6月1日,Michael I. Jordan、智源研究院理事长张宏江,以及两位青源会会员宾夕法尼亚大学副教授苏炜杰和斯坦福大学助理教授雷理骅在“2022北京智源大会|青源学术年会”上展开了一场对话。在讨论中,Michael I. Jordan和张宏江博士在研究趋势、科研心态、学生培养等方面为青年科学家们给出了自己的建议,并讨论了如何开展跨学科研究、如何看待当下的晋升和评价体系、如何提升研究「品味」等问题,对青年科学家在人格修炼、学术修养、社会责任感等方面提出了期望。

整理:熊宇轩
编辑:李梦佳

放慢脚步,不盲目参与竞争


Q1 (苏炜杰):能否预测机器学习领域会出现的下一个热门话题会是什么?根据我的经验,机器学习在决策问题中的重要性日益凸显,青年研究者也需要学习一些经济学知识。请问你们怎么看?

  

Michael I. Jordan(后文简称MJ)我们并不能未卜先知。我认为盲目追逐热点也并不明智。我经常试图做些与别人差异甚远的事。有些热点是大家共同关注的,这非常有利于这些问题的解决。但也许有一些非常有趣的问题被忽视了。我喜欢放慢脚步,与我的学生按照自己的节奏开展工作,并不喜欢盲目参与到竞争中。

  

甚至,我会建议你们在一定程度上避免追逐热点。深度神经网络固然很好,但研究者甚众,想要在此领域脱颖而出也并非易事,很难寻找到新的问题。此外,大公司在这一领域也具有一定优势。


无论是否会成为热点,但我确实认为应该思考决策、不确定性量化、分布变化、对数据收集和分享的经济激励、多方决策场景下的竞争机制。这些都是现实世界中客观存在的重要问题,有深远的影响,目前的研究工作也相对较少。


张宏江:盲目追逐热点往往会误导你的注意力,青年学者应该专注于自己热爱的领域。同时,当大的浪潮到来之后,也要理解产生这些热点问题的原因,这样才能做出更有影响力的工作。


苏炜杰:据我的经验,对于初级研究者而言,只想追逐热点问题会让你的研究十分艰难,因为在同一方向上始终有人领先于你。我们应该跟从内心的指引,而不是盲目追逐热点。况且,我们也很难预测下一个热点问题是什么。




Q2(苏炜杰):生活是多变的。有时我们可能不得不改变自己的研究计划,甚至是研究领域。可能是因为出现了一些激动人心的新问题,也可能是因为旧的问题已经被解决。我们应该如何应对研究计划的改变?应该避免哪些困境?如何保持兴趣和热情?

  

MJ:研究者们需要考虑自己终生追求的事业,但也需要明白:你不可能只做一件事情。在我的生涯中,至少花费了30%的时间学习新事物,它们可能在未来与我有关。我看过很多视频,甚至读过一些有趣的本科生水平的书籍。我并不期望它们能立刻让我产生研究思路。可能过了5年、10年,我才会看到它们与我现在思考问题的联系。

   

我是一名统计学家,而大多数从事机器学习的人并非如此,他们认为统计学过时了,无关紧要。但我投入了数十年的时间研究缺失变量模型、因果推断、不确定性量化、高维回归和稀疏等问题。这些课题后来都流行了起来,由机器学习研究者发扬光大。我时刻准备着从事这些研究,对它们有一定的了解,有浓厚的研究兴趣。


更重要的是,我们还要学会跳出学术界,始终记得自己不仅仅是「数学家」,也是解决现实社会中涌现出的现实问题的「问题解决者」。我们可能要构建预测、分配、经济、交通、商业、法律、娱乐等领域的系统,解决其中的优化、经济、计算、平台等问题。


目前,有很多人工智能学者从事脑科学、心理学等方面的研究,这些从科学角度出发的研究非常棒!但是对于包括我在内的该领域90%的从业者来说,我们更多地扮演工程师的角色,我们要明确有哪些重要的现实问题有待解决。高斯、冯·诺依曼等伟大的数学家也致力于解决现实问题。


此外,人工智能技术往往并不是放之四海皆准的,需要针对不同的场景、约束条件、数据量、数据类型、目标等情况进行设计。我们不能简单粗暴地应用技术,需要更加了解要解决的问题本身,有的放矢。因此,我从事过应用数学、控制论、统计学、优化、经济学的相关工作,对这些领域都有一定的了解。


张宏江:「问题解决者」这个说法很好。有的问题来源于课本,有的问题来源于科学论文,而有的问题则来源于现实应用。在我的职业生涯中,我热衷于从应用的角度看问题,并试图定义问题。在新一代的华人研究者群体中,不乏很优秀的「数学家」,他们可以很好地解决已经被定义好的问题,提升准确率和性能。

  

然而,发现问题和定义问题才是更重要的。我们可以通过观察、阅读、与人交流,根据当前解决的问题、交互的应用来定义新的问题。切记,不要轻视「简单」的应用,在没有了解其背后的奥秘时就忽略它们。如今,注意力模型大行其道,而视觉领域的人早在20年前就开始研究注意力机制,当时却只有很少的人认为它会成功。


苏炜杰:这与我个人的研究经历也相符。我的一些重要工作的灵感偶然来源于两个不同的领域甚至学科。历史上,一些重要的思想也是由此产生的。


如何平衡研究和社交宣传,青年学者不宜过度分心



Q3 (苏炜杰):古语有云「酒香不怕巷子深」,这种文化鼓励研究者们保持低调。然而,现代社会节奏如此之快,每天都有成千上万的论文产出,保持低调也许会让自己的论文被忽视。因此,一些研究者开始在社交平台上宣传自己的工作,但也会耗费一些时间和精力。青年学者应该如何平衡潜心研究和宣传社交?

  

MJ:不要为宣传而烦恼。从某种程度上说,我并不相信所谓的宣传。我本人并不使用Twitter、Facebook等社交平台,也许这反而为我带来了一些信誉。

  

我们都同处于学术网络中,有的人会在你工作的基础上展开新工作。这不仅仅是由于很多人读到了论文中的奇思妙想,更是因为有些人看到了论文中扎实的部分,并以此为基础展开了自己的工作。当然,做学术也需要开放。你可以参加一些会议,与从事类似工作的人取得联系,并与他们合作。


你可能需要在某个问题上耕耘5年甚至更久,不要想着在一两年内就做出很著名的工作。只有在某些问题上坚守,推动其发展,让别人看到实实在在的成果,才会为你带来一定的学术声誉。


如果你不只是为了出名,或增加论文引用量,那就要知道,更重要的是让你的工作成为他人工作的基础,因此同行的小圈子才更重要。我认为引用量通常不能说明什么。一篇论文引用量高,可能是因为它首次讨论了某些问题,但它不一定提出了很严谨的观点。甚至,一篇论文的引用量高可能是因为其中有某些错误,大家将其作为反例。


不要太在意所谓的引用量。相反,你需要注意世界上有多少认真研究同样的问题的人知晓你的工作。当他们开展下一步工作时,是否会用到你的工作?反过来,你也可以以他们的工作为基础,这样就建立了一定的学术联系。而我认为,这一过程可能需要花费5年时间。


如果你想投身于工业界,那就更不需要关注论文引用量了。大家都知道「龟兔赛跑」的故事,稳扎稳打5年或10年,回过头来,你会发现自己取得了如此大的进步。同时,也会因为工作做得扎实、经得起时间的检验而收获意想不到的关注。青年学者不应过于分心于社交媒体,应该更加关注在你的领域里严谨治学的那一群人。


张宏江:在人工智能时代,有很多公司会大张旗鼓地宣传他们的工作。但是青年研究者不应该因此过于分心。研究者们不该在每个课题上浅尝辄止,不断切换自己的研究课题。要做到不忘初心,在自己热爱的领域持续耕耘,不断地积累,持续发表学术成果,在学术会议等场合向自己的同行倡导这些工作。如果做出了好工作,研究社区中的同行才会认可你,你才能够建立学术声誉。


MJ:如今,我有了一定的名气,这是因为我身处于一个非常棒的领域。但是,在之前长达20年的职业生涯中,我并不为人所知,只是一名普通的年轻教授,没有发表著名的论文,只有朋友和同行知道我做的工作还不错。同样的例子还有很多,世界上有很多科学家都是如此。然而,我并不认为持之以恒20年做研究令人困扰,因为我热爱这项事业,乐在其中。


张宏江:Hinton也是如此,他用很多年研究神经网络。在深度学习火爆之前,除了同样坚守神经网络研究的人,很少有人知道他的工作。只有持之以恒才能成功!



Q4(苏炜杰):机器学习研究的问题很广泛,经常会有新概念被提出。但是其中的基本内容大同小异。根据我的经历,有的学生希望与老师一起做一些「全新」的工作。然而,对于学生数量非常有限的青年学者,也可能得到糟糕的结果,请问您怎么看待这个问题?


MJ:以软件开发为例,如果你是一名指导4-5名学生的青年学者,这也足够开始构建一些软件或平台。UC Berkeley AMP实验室开发出了著名的通用并行框架Spark,它在数据分析、分布式计算领域占据了主导地位。而该实验室的规模并不大。如果教授们想要构建人工智能系统,并不一定要成立初创公司或加入大企业,从学术的角度来说,即使是一个较小的研究组也有可以完成这件事。如果你喜欢从事偏数学的理论研究,也可以同时开展系统和数学两方面的工作,螺旋式上升。对于应用研究而言,你还可以与相关领域的专家合作,构建一些数据集。无论如何,青年学者应该记住贵在坚持,在某个领域内坚守5年。

跨学科研究,建功立业的好课题


Q5(雷理骅):我们经常讨论跨学科的研究,但是目前跨学科研究的效率足够高吗?两位对人工智能、统计学、计算机科学、经济学等领域的跨学科研究者有何建议?

  

MJ:我认为目前跨学科研取得了巨大的成功。机器学习在医疗健康、计算化学等领域得到了广泛应用,在交通等商业领域也具有应用前景。学界和工业界的人士都参与到了合作研究中,其中一部分是机器学习从业者,另一部分是领域专家。在我的学生时代,机器学习还只是计算机领域的事,当时的算法也相对简单。因果推理、马尔科夫模型、图模型、非确定性量化等技术都是统计学和计算机科学专家合作的结晶。


经济学也融入到了跨学科研究中,目前研究者们已经用到了一些经济学度量方法。博弈论、拍卖设计都是经济学和统计学结合的经典范例,如果再加上计算机科学,将迸发出巨大的能量。在收集数据、构建模型的过程中,我们有时需要考虑激励和竞争,设计拍卖、合约机制。在大规模的商业匹配市场中,商人和消费者构成了二部图。


经济学、计算机科学、统计学的结合取得了巨大成功,我们很高兴看到相关应用技术的诞生。在不确定性量化方面,雷理骅和我针对共形推理和共形预测做了一些工作。这一技术很早就已经被提出,但当时鲜为人知。直到最近,人们猛然间意识到这一技术的作用,它可以根据神经网络或其它大型复杂系统的输出进行不确定性量化。


合作的关键之处在于,当计算机科学家看到一些统计学文献时,会发现这些方法有很好的证明,可以解决一些小规模的任务,但很难应用到大规模场景。此时,就需要与新一代的统计学家合作,让他们严谨地拓展这些方法,使其适用于大规模任务。从某种意义上说,市场天然地具有扩展性,它们是去中心化的,市场之间共享的信息量较为有限,目前用到的算法还很简单,需要引入计算机科学从而更好地利用其中的数据和不确定性。


我目前与阿里巴巴蚂蚁金服、亚马逊等公司开展了合作。这些公司面对的最困难的问题例如:如何根据用户的偏好、政府规定等数据设计有效的定价机制。解决此类问题需要计算科学家、经济学家、统计学家、运筹学家、控制论学家、律师等人的通力合作。尽管这种例子在学术界可能还不多,但是这种跨学科合作切实解决了公司的实际问题。


张宏江:2022北京智源大会设有「AI for Science」专题论坛,这也是智源研究院重点发力的领域。我们有从事新药研发、患者预后跟踪、材料设计等应用研究的团队。这些研究具有巨大潜力,需要科学家、数据分析师、领域专家的协作。近年来,这些领域取得了一些突破,催生了一些新的公司。经典的微分方程方法需要耗费巨大的计算资源,深度学习在这些领域的作用日益凸显。正如 Michael所说,工业场景下自然需要科学家和特定学科的应用专家合作。


对于青年学者而言,跨学科研究是建功立业的好课题。但需要注意的是,将两个二流的研究结合在一起无法得到一流的成果,研究者需要精通一到两个领域。仅仅对两个领域都略懂皮毛并简单地做加法是无法取得成功的。


数学让你在一生中拥有好的研究品味



Q6(雷理骅):无论是在学术界还是工业界,研究的「品味」都十分重要,这可能指的是解决问题的思维模式,或者从不同领域寻找灵感。如何提升研究品味?

  

苏炜杰:每个人都有自己的「品味」。从长远来看,只有时间会告诉你怎样的品味才是最棒的。对于我来说,我本科阶段接受了代数、几何、拓扑学等方面的纯数学训练,这对我的研究「品味」有很大的影响。我起初认为自己应该成为一个数学家,但在本科的最后一年开始做一些偏应用的工作。然而,时至今日,我的研究兴趣在很大程度上仍受到数学的驱动,我喜欢尽可能简单的思路,看到事物背后最本质的原理。


雷理骅:我曾经在Michael的组里从事研究工作,我经常思考未来的研究方向以及如何对某些事务做出改进,这很有趣也有一定的影响。我的研究背景偏应用,起初我对医学统计感兴趣,后来接触到了市场、贸易、经济学,在本科阶段从事微观经济学研究。在我攻读统计学博士的过程中,我与各种领域的科学家、社会学家、工业界的人士交流,他们能提出很具体的好的研究问题。这样一来,科学家们就可以发现现有的解决方案还存在哪些不足,需要研发怎样的方法来提升。


关键之处在于,如何根据科学家们具有的模糊的先验知识转化为实际改进统计推理的方法。而且,我们同时还不能牺牲数据科学自由探索的特性。我认为,跟上科学家们的脚步,是提升研究品味的好方法。


MJ:我也认为数学会让你在一生中具有很好的研究「品味」,具有很好的数学上的洞察力。假设有充分条件「若 x 则 y」,这有助于我们理解y。但好的数学家会进一步追问:如果z成立时y也成立呢?x是唯一能够得到y的方式吗?使y成立的最大集合是什么?通过回答上述问题,你就可以构建相对抽象的概念。因此,我非常欣赏出色的数学家,当且仅当接受了大量训练才能做到这些。


学习数学不是为了「炫技」,而是为了将复杂的问题独立成相对简单的问题。找出某些问题成立的条件,从而保证将问题尽可能简化。计算机科学和统计学领域中的很多工作都是如此。值得一提的是,「缺失成分分析」是非常有用的,这些成分可能与人类行为、物理现象有关,该方向还有很大的研究空间。经济学家很擅长找到这样的原理,例如供需关系,定价策略。此外,机制设计也是十分复杂的问题,该方向与计算机科学和机器学习的关系十分密切。


张宏江:要想拥有好的研究「品味」,要学会将问题适度简化,寻找到问题的核心因素。此外,我们还要具有更加开放和包容的心态。在疫情爆发之前,我经常在全世界旅游,每当人们问我是否想念中国菜,我都会说只要是可口的食物我都喜欢。开放的心态对于养成良好的研究「品味」十分重要


建立更合理的评价和晋升体制


Q7(雷理骅):许多青年研究人员感到外部的一些评价机制也许有一定的偏向。如果我们一味跟风别人的研究,就很难取得真正的突破。但是如果不紧跟趋势,又很难晋升,研究方向也很难吸引学生。如何在二者之间寻求平衡?

  

MJ:在这方面,中美两国有很大的差异。至少从结构上来说,美国一些好大学的评价和晋升机制可能更健康一些,只需要6-10名在领域内具有崇高声望的人知晓你的工作,对你的贡献有很高的评价就可以让你晋升。他们不会将论文数以及发表论文的刊物或会议作为硬性指标。现在,越来越多的美国的优秀大学采取了这种评价和晋升机制。上述晋升方式建立在以学术声誉为基础的信任之上,为你写推荐信的人需要足够客观公正。这样就可以建立一个信任网络。


我的一些中国的合作者被要求在特定的会议/刊物上发表论文,他们感到了很大的约束,这也会阻碍中国的发展。我们需要反过来思考他们为什么会提出这样的机制。这样的制度可能会让一些中国的青年教师仅仅以达到「过关」的最低标准为目标,这并不是一件好事。


张宏江:中国顶尖大学在评价机制上也已有所改变,大趋势是向好的。在清华、北大这样的顶尖高校里,青年学者的晋升道路和职业生涯是令人鼓舞的。当然,其它高校的评价机制可能会统计论文数,并设置一个「评价矩阵」。中国的青年学者不应只追求满足评价机制的要求,不要将时间浪费在提升论文数量和引用量上,应该力求做出伟大的工作。在清华、在北大、在智源,你并不需要玩这种「游戏」。


20年前,当我在微软亚洲研究院工作时,有人问我如何评价研究人员?我说:「如果他们足够优秀,我们自然会看到这一点」。他们直摇头,认为这并不足够有说服力,他们希望通过论文数这种模式来评价研究人员。当然,论文数量也是重要的。但一篇优秀的论文,可能比许多篇普通论文加起来更重要。一方面,我们需要对这种评价机制进行改革;另一方面,在中国,如果你所处的单位足够优秀,你也不需要在这方面过于担心。


MJ:这也可能是因为计算机科学、统计学等学科在很长一段时间内在中国的重要程度不够高,而现在它们的地位在逐步提高。以前制定规则的人可能来自于机械、物理等领域,而再过10到20年,计算机科学和统计学领域的学者可能会拥有更多话语权。那时,请记住要让优秀的工作更容易脱颖而出。

研究者要对复杂的时代有所贡献



Q8(雷理骅):研究者都想做出突破性的贡献,但是这也意味着我们要应对非常具有挑战性的问题,例如:深度学习理论。冒险解决这些问题是否明智?


MJ:我们不仅要将自己定位为「问题解决者」,还要尽力为社会做出贡献,成为有用的人。许多学者沉醉于小的学术社交圈,享受科研的思路,享受我们对学生带来的影响。但实际上,我们都希望这些努力都会对社会有所影响。


正如蒸汽机、现代医学为人类带来了巨大的帮助,计算机也在某种程度上帮助了很多人。但同时,计算机科学也带来了一些麻烦,很多人在解决问题时并没有使用统计学知识,他们仅仅使用了一些很简单的公式,只为了让论文得以发表,这样并不好。


我们的目标应该是做出与社会相关的工作,解决真正有意义的问题。有的研究者并没有发表很多成果,但他们的工作影响了医疗、教育、气候等关键问题,那么他们的人生和职业生涯也很有价值。


我们不能故步自封。我花费30%的时间阅读新书,获得新知。其余还有一半的时间在思考可以做出什么对社会有贡献的事情。研究者们不应只计较自己的得失,更应该对现代生活、对社会、对复杂的时代有所贡献,让世界变得更好


张宏江:大约两年前,我受邀与清华的青年教师座谈。会上,他们向我提出了同样的问题。纵观中国的计算机科学发展史,目前你们身处于最好的时代。不要为自己的研究生涯过度担心,环境一直在改善。青年科学家要对社会产生积极的影响,这对你们所处的研究领域也是大有助益的,有助于学生的成长和制度的构建




推荐阅读


智源大会自然语言处理论坛精华观点 

梅宏院士:如何构造人工群体智能?| 智源大会特邀报告回顾

图灵奖得主Adi Shamir最新理论,揭秘对抗性样本奥秘 | 智源大会特邀报告回顾

继续滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存