查看原文
其他

复旦陈静静 | 把握当下,坚持热爱,与食物图像识别结缘的科研之路

戴一鸣 智源社区 2023-01-22


她力量

近年来,“她”力量正在科学家群体中快速升温。


在一年一度的妇女节到来之际,智源社区选取了五位颇具代表性的女性科学家,进行了深度访谈。在她们中,有人选择食物图像识别,对选择的科研方向热爱到底;有人享受不确定的科研乐趣,在统计+生物学研究上更向前一步;有人也曾在读博和带娃的困难中迷茫,用理想温暖10年科研路;还有人从Facebook大厂回国,做更有温度的AI研究。


从她们的故事里,我们得以一览当代女性科研工作者的独特风采。


导读:初识复旦大学计算机学院陈静静,人们可能会着眼于她取得的令人瞩目的学术成绩——复旦大学计算机科学技术学院青年副研究员、上海高层次海外人才、浦江人才计划入选者、ACM China上海新星奖获奖者,累计发表学术论文 30 余篇,获得ACM Multimedia 2016最佳学生论文奖、Multimedia Modeling 2017 最佳学生论文奖等荣誉,还担任多个国际知名期刊审稿人,以及国际会议领域主席/程序委员会委员。

不同于外界对于学术研究者“严肃”、“一板一眼”的刻板印象,她开朗乐观,拥有一个“丰富多彩”的求学、科研、教学经历——从本科时期在武汉求学,到北上天津读研,再到南下香港读博,博士后到新加坡,最后回国任教。研究课题则从图像识别着手,深入食物图像识别任务,最后拓展到通用多模态检索任务。

为什么会做出这么多次的选择,每次选择的背后,难道不担心自己选错了路?入错了行?

对此,陈静静说:“不做好高骛远的幻想,脚踏实地做好当下的选择,热爱自己选择的路。”这也是她作为青年学者,在职业和人生发展道路上的主题。

采访:李梦佳
撰稿:戴一鸣

01


北上天津到南下香港的求学之路

陈静静本科就读于武汉理工大学,放弃了保研本校的机会,毅然选择考研,成功北上天津,在天津大学读研究生。

为何选择天津大学?她认为年轻时应该多欣赏不同的风景,开阔视野;武汉和天津,一南一北,在人文地理风貌上有着天壤之别。去香港城市大学攻读博士,则是接受了硕导的建议,慕名向杨宗桦教授提出的学业申请。

对此,陈静静的想法是,熟悉的地方没有风景,偶尔也需要换换环境,使生活点缀一些新鲜感,体验多姿多彩的人生。

香港的博士研究生涯,为陈静静的学业发展提供了新的思考和基础。学生和博导的关系,更像是同事之间的平等相处的状态。导师不会僵硬地限制学生的研究课题,而是期望学生有很强的自主性和探索意识。此外,实验室没有考勤等规定,学生需要自己对课题负责,在没有外力督促监督的情况下,自我规划,高效完成任务。

“每到一处新的地方,都会新生的感觉,生活重新充满了挑战和新鲜感,所以我比较喜欢在不同的城市(生活)。”


02


失之东隅,收之桑榆:从被拒稿到获最佳论文奖

从研究生到博士后,陈静静的三位导师对她都有着非常重要的影响。其中,操晓春老师启蒙了她对科学研究的兴趣,受他的影响,陈静静坚定了攻读博士的选择。而蔡达成老师则更多指导她如何高效地与他人合作科研,以及指导学生。

陈静静说,博导杨宗桦老师,对她有着方方面面的重要影响。特别是,杨老师影响了她对于科研和论文的看法。

“我刚开始读博的时候,杨老师跟我说,你首先需要明确的是:科学研究和写论文不能画等号。科研是允许失败的,但论文是总结好的发现,文章不可能尽善尽美,我们要sell(销售)好其中可取的优点。”

陈静静记忆犹新的是,杨老师要求她认真追求科研本身,而不是追求论文。“论文只是(做科研)一个附带的产物。”陈静静回忆道。

回忆起获得ACM Multimedia 2016最佳学生论文的过程,陈静静十分感慨。在读博期间,她曾向某顶会投稿,但是在初审就被拒稿,并且审稿人并没有给出明确的建设性意见。

杨宗桦老师宽慰她说:“工作的价值,不会因个别人的评价而否定,你要尊重自己的成果,并且要有信心。”如果一个工作成果达到了投稿条件,说明作者本人以及导师对这个工作已经认可。这种情况下,不要因为审稿人偏颇的意见,影响自己对文章的信心。

后来,这篇经过修改和完善的文章改投ACM Multimedia会议,获得了当年的最佳学生论文奖。

陈静静在ACM Multimedia 2021 现场

陈静静说:“这件事使我学会给自己的工作做一个客观公正的评价,而不仅仅将自己的工作价值,完全寄托于别人评价。”

此外,杨老师还在学生迷茫的时候提出了非常重要的建议,对他们的人生产生了重大影响。陈静静谈到,自己以前犹豫过是否选择高校从事教育行业。

当时处于人工智能概念炙手可热的时代,大公司的薪资也非常诱人。博士期间,她面试了一些企业,获得了不菲的offer。但内心依然非常犹豫:尽管去工业界,可以收入不菲,但内心还是倾向于坚持自己的选择,当老师继续做科研。

在与博导的沟通中,杨老师建议:先去做一年博后,用一年多的时间去明确自己的想法,时间会给出答案。

带着内心的疑惑,陈静静到新加坡国立大学开始博后生涯。在这个阶段,工业应用和学术研究同时开展:一方面她需要完成一个健康管理的App项目;而另一方面则是科研。因此她有机会体验到工业界的工作模式,同时还能开展研究工作。一年下来,博后经历让她明白了自己所热爱和坚持的是什么,于是下决心回国继续科研道路。

她认为,人生中的每一步,很难规划地尽善尽美,计划往往赶不上变化快,几乎不可能坚持原有的计划。因此,只要把当前的决定做好,选择每一个自己认为当下最好的选择就可以了。

另外,据陈静静讲,杨宗桦老师非常淡薄名利,对申请Fellow等头衔并不十分看重。他认为这些头衔更多是在“名”上面的结果。杨老师改论文非常细致,连表达习惯、示例图、表格、标点符合以及论文引用都会非常仔细地修改,从而培养起学生良好的习惯。

工作归工作,在课余时间,杨老师还强调工作与生活的平衡——工作的时候要极其努力,但玩的时候要非常开心地去玩。他经常带着组里的博士生们一块去爬山,酒吧喝酒等。陈静静认为,整个博士求学期间是最快乐的时光。

03


与食物图像识别结缘的学术生涯

食物图像识别,需要根据给定的图像,识别出其中的食物成分,由于这一任务相比一般图像识别更难,因此相对冷门。为什么不跟大多数人一样,从较为深度算法开始做起?陈静静提到,当初选择食物图像识别研究,有一定的巧合性。

从硕士开始,她首先选择的是图像识别研究。博士刚开始的时候,也没有确定好研究的方向,只是根据导师的建议,先从事图像检索。一段时间后,认为没有办法做出一些突破性的成果,也没有明显的进展,于是根据导师的另一个建议,开始食物图像识别和菜谱检索的方向。

那时是2014年,深度学习方兴未艾。研究人员惊叹于深度学习强大性能的同时,也在考虑将其应用在传统图像识别效果不好的任务上。而衣服识别、食物识别这些任务,恰恰是传统图像识别的弱项——传统的特征提取方法,无法提取或学习到好的特征,因为衣服是非刚性物体,无法检测出一些关键点,而食物(特别是中餐),很多时候没有固定的形状。

从中国菜的食物识别开始,陈静静发现可探究的非常多。首先,在数据集方面,食物识别上已经有西餐、快餐、日料等数据集,唯独没有中餐。其次,中餐的食物识别非常难,但非常受欢迎,所以她选择中餐作为切入点。

最后,食物图像识别需要大量的标注数据,如菜品名称,原料等,全部做一遍标注几乎不太可能完成。于是她想到,网上有很多菜谱和图像成对出现的情况,通过训练一个检索模型,输入一个菜品图像,就能够找到最接近的菜谱,找到原料和营养成分等,最后做成了一个跨模态的菜谱检索系统。

食物图像识别具有一定的挑战性
来源:http://vireo.cs.cityu.edu.hk/jingjing/papers/chen2016deep.pdf


基于原料识别的菜谱检索方法

来源:
http://vireo.cs.cityu.edu.hk/jingjing/papers/chen2016deep.pdf

食物图像识别的应用场景很多,包括饮食监控记录和营养分析等。正好在陈静静的博士老师那边,有一个项目要做居民的饮食管理,于是这一研究应用在了App中。后来还发展到为孕妇等特殊人群进行饮食分析和推荐的应用上。

陈静静认为,女性科研工作者研究食物或服装图像识别,具有一定的优势。比如在服装搭配、烹饪等方面,女性会有自己的直觉(sense),这相当于是一种先验知识,在需要领域经验的任务上更有优势一些。另外,女性本身对衣着、彩妆搭配等更感兴趣一些,具有更强的研究驱动力。

到了博后,她依然专注于这一领域,并和很多系统开发者合作,构建更为落地的系统,最后还集成到了一些App中,给当地居民使用。到回国后,她基于食物图像检索的研究基础,扩大到了通用的跨模态检索领域,不仅仅去做食物,而是涵盖了文-视频、图-文检索等多种任务。此外,她还进行了一系列多媒体分析模型安全相关的研究工作。

用弹幕攻击视频检测模型的框架(陈静静为共同作者)
来源:http://vireo.cs.cityu.edu.hk/jingjing/papers/chen_attack.pdf

从完成新加坡国立大学的博后项目后,陈静静来到复旦大学,也开始了教学生涯。她说,虽然教学需要花很多时间和精力来准备,但如果做得好,成就感很强。

例如,在给本科生准备的课程中,有一门计算机视觉相关的选修课,只有30人的报名名额。备课过程中,陈静静调研了一些国外有名的计算机视觉公开课程,根据课程大纲和PPT内容,自己整理出了大纲和一套PPT。但第一次上课,教室就爆满了。开放更多名额后,有50多人选课,还有很多系外的学生来旁听。

看到课程如此受欢迎,陈静静也非常感动。她在课程中认真介绍了计算机视觉的发展过程,向学生也布置了小的project(项目),令陈静静惊讶的是,学生们的完成效果超出预期,学生们能够将问题抽象处理,用新颖的方法去解决,并自主完成了数据收集处理、查阅文献、展示好结果等,做得都非常成功,甚至有学生走上了研究道路,出国深造。

陈静静认为,好好做教学这件事情,其实非常重要。看到过去培养过的学生,能够对科研产生浓厚的兴趣,最终奠定科研和职业生涯的基础,是一件非常有成就感的事情。

陈静静和学生们

04


给年轻人的建议

访谈之余,陈静静对于年轻的学生和研究者,提出了自己的一些建议。

1.女性科研工作者要坚持自我发展

可能在传统的价值观念中,女性应该在家庭上要投入更多的时间。因此,在职业和家庭的时间分配、子女教育等方面会面临挑战。如果要解决的的话,一方面一定是要去争取家人的支持,需要让丈夫和自己的父母能够提供帮助,承担更多的家庭责任。

一定不能去放低自己的科研和工作上的要求,或者改变自己的信念,陈静静这样强调。女性的价值不仅仅是体现在家庭上。在工作和科研上的价值,也是非常大的,不要放弃自我发展的机会。

2.想要入门AI,需提前做准备

现在人工智能依然火热,很多非计算机领域的学生都对研究很有兴趣。陈静静建议,要提前学习相关的基础课程,有机会的话,尽可能早地联系学校的实验室,了解老师们正在做什么,跟着一块开会,可以学到很多东西。

3.尊重自己内心的选择

职业发展选择上,可以参考别人的建议,但要自己做主。不能因为是别人的要求,就去做那样的选择。

“在做选择的时候,以热爱为主,其他都是次要的。”她这样说道。

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存