车万翔：ChatGPT时代，NLPer 的危与机
要点速览：
ChatGPT的诞生，源于研究者「暴力美学」的手段。
如果大胆预测，ChatGPT能火几年，我猜可能是2到3年的时间，到2025年大概又要更新换代了。
工业界相较于学术界拥有巨大优势。这种「AI 的马太效应」会造成胜者通吃的局面。更加危急的是，任务、甚至研究领域之间的壁垒被打破了，所有的问题都可以转化为一个「Seq2Seq」问题，计算机视觉等领域的研究者也会逐渐涌入该领域。
与搜索引擎时代类似，如果将 OpenAI 比作当年的 Google，国内也一定会出现 ChatGPT 时代的「百度」。在这之前，许多机构和企业都有机会放手一搏，做出自己的大模型。相较于其它领域的研究者，NLPer 的真正优势可能在于更加了解语言。
车万翔
车万翔博士，哈尔滨工业大学计算学部长聘教授、博士生导师，人工智能研究院副院长，社会计算与信息检索研究中心副主任。国家级青年人才，黑龙江省“龙江学者”青年学者，斯坦福大学访问学者。现任中国中文信息学会计算语言学专业委员会副主任兼秘书长；国际计算语言学学会亚太分会（AACL）执委兼秘书长；中国计算机学会高级会员、曾任YOCSEF哈尔滨主席（2016-2017年度）。在ACL、EMNLP、AAAI、IJCAI等国内外高水平期刊和会议上发表学术论文100余篇，其中AAAI 2013年的文章获得了最佳论文提名奖，论文累计被引6,000余次（Google Scholar数据）。扫描下方二维码填写表单，获取更多相关岗位机会
从NLPer视角大胆预测：ChatGPT还能火多久
基于规则的小规模专家知识（1950-1990） 浅层机器学习算法（1990-2010） 深度学习算法（2010-2017） 大规模预训练模型（2018-2023）
ChatGPT正是遵循着这样一条路，时间线上有一个有趣的预测，每一个阶段的发展的时间，大概是上一个阶段发展时间的一半，基于规则发展了40年，浅层学习做了20年，之后深度学习做了10年，所以预测大规模训练模型发展的时间是5年，恰好到2022年底2023年初，产生了ChatGPT，以及GPT-4即将发布，标志着一个时代的结束。如果大胆预测，ChatGPT能火几年，我猜可能是2到3年的时间，到2025年大概又要更新换代了。当然这是半开玩笑的说法。
ChatGPT效果惊艳的原因：
暴力美学的胜利
ChatGPT的核心技术
细数语言技术的四个阶段，以 Bert 为代表的预训练语言模型主要解决了语义匹配的问题；ChatGPT 相对较好地解决了推理任务；下一阶段，自然语言处理算法需要考虑语用问题，对于同样的语言输入，模型需要理解不同语气、表情、语音、语调所蕴含的不同意义。
具体技术进展方面，ChatGPT 的核心技术主要包含以下四点：
大规模预训练模型：涌现出推理能力；
Prompt/Instruction Tuning：通过 Prompt 统一各种任务，在众多类型任务的标注数据上精调语言模型，处理未见任务；
在代码上进行继续预训练：涌现出逐步推理能力，代码分步骤、分模块解决问题，代码语言模型需要更长的上下文；
基于人类反馈的强化学习 RLHF：结果更符合人类预期，利用真实用户的反馈。这些技术的融合形成了惊艳的效果。
NLP学术界如何应对
ChatGPT的挑战
更多内容 尽在智源社区