精彩回顾 | 语料标注与检索技术沙龙干货盘点~

沙龙嘉宾合影

都说秋天适合思念，其实更适合“闭关修炼”！经过语言资产管理与技术沙龙的第一期的沉淀，各位翻译er们在第二期语料标注与检索技术沙龙中有没有新收获呢？接下来，就由小编带大家快速回顾下本期沙龙的干货吧`~

外交学院的张启雯同学为大家介绍了AntConc和ParaConc两款语料工具的基础功能和基本操作。张同学首先为大家讲解了AntConc的功能，如上下文关键词检索、文件查看、定位、N元模式、关键词单、词云等。AntConc的高级检索支持多个单词的检索，还可以使用通配符检索，根据语境进行检索。需要注意的是同时检索多个单词需要确保每个单词单独成行哦~ 在语境检索中，如果想要更精确地定位所查询单词的语境和位置，可以选择设置单词的区间，就能达到一定的检索效果啦。词单可以统计某一语料库中的单词出现的次数，根据一定的筛选条件可以对单词进行排序。而词云则可以实现关键词检索结果可视化。

接下来，张同学又对ParaConc的功能做了简单介绍，包括简单检索、排除、分析语言现象等。提问：小伙伴们还记得“排除”的用处是什么吗？当然，各位翻译er们可以在课余时间多多练习，操作的同时别忘了看看BFSU ParaConc的说明文档哦~

北京语言大学的王琳同学以Sketch Engine为例向大家展示了如何建设个人语料库。首先，王同学对Sketch Engine主页面做了简要介绍，接着又详细讲解了其主要功能，如Select Corpus, Word Sketch, Word Sketch Difference, Concordance, Wordlist等。Sketch Engine涵盖90多种语言，包括600多个语料库。点击该软件的主界面的Select Corpus可以选择常用语言，Word Sketch则用于在选定的语料库中查找单词的搭配等，Word Sketch Difference可以比较同一单词的不同形式、对比两个子语料库、比较两个单词的搭配，Concordance包括检索单词、检索表达、高级检索等功能，Wordlist则用于统计单词出现的频率。

接着，王同学又为大家演示了如何运用Sketch Engine创建个人语料库。只需三步，即可完成个人语料库的创建，首先点击“创建语料库”，然后点击“上传文件”，最后点击“compile”就大功告成啦！注：单语、双语语料库的操作相似哦~ 同时，该软件也可用于从网络上爬取数据，在创建语料库的第二步点击“web search”，输入关键词就可以实现啦，你学会了吗？

在“预览内容模式”这一部分，余同学以字幕文件srt、ass格式为例，运用库酷打开这些格式的文件，进行文件格式转换（导出时选择自己需要的文件格式即可）。“批量处理模式”支持多种格式文件，也可以随时查看自己的转换记录。语料检索不仅支持单语搜索，还支持双语搜索。我们可以运用单语搜索查找英文表述、词语搭配、前缀搭配（如anti-）、术语查询；双语搜索支持垂直领域的检索，但是在进行双语搜索之前要务必确保语言对一致、语料已对齐。库酷语料工具支持的语种和文件格式都非常多，大家可以在日常实践中多多运用~

厦门云译科技有限公司语料技术部主管王伟榕为大家介绍了语料生产理念和语料生产中的关键技术。秉持着“多”、“快”、“好”的语料生产理念，厦门云译科技有限公司自主研发了支持80多种语言、覆盖20个垂直细分领域的神经网络机器翻译引擎。

接着，王主管又强调了语料生产环节审核的严格性，必须满足合法性要求。之后详细介绍了语料生产中的关键技术：语料开源搜寻、语料采集、语料处理、语料管理。语料来源搜寻的目标是含有双语平行语料的网站、文件或其他来源，搜寻方法主要有两种：按类别搜寻（根据网站分类定向搜寻）、按语言搜寻（根据网站语言批量搜寻，采集对象为网页存档）。语料采集将根据采集对象的类型，指定相应的采集方案，将待提取语料数据的文件采集下来，采集方案有三种：直接下载、定制爬虫抓取（主要针对页面结构一致性高，对所需语料数据可总结出有限的解析方案的网站）、通用爬虫抓取（主要针对页面结构一致性低、解析所需语料较为困难的网站）。语料处理是指语料的清洗过滤，分为三步：语料提取（从各种格式文件中提取文本语料）、语料对齐、平行语料过滤（这一步可解决清理带噪声的平行语料库的问题）。此外，王主管还提出了语料过滤的指标，分别为Zipproach、词对齐两个公式归一化、基于翻译模型、基于语言模型。其中语言模型可以过滤不符合语法的数据和表达不够流畅的数据。语料管理部分，王主管结合云译语料管理平台向我们简要介绍了其系统界面、语料管理、语料详情、术语详情、语料质检等功能。

最后，王主管指出，完善的语料生产理念、过硬的语料生产技术、优秀的语料管理体系三者相辅相成，缺一不可。

各位嘉宾分享后，同学们依旧热情高涨，纷纷提问，如库酷软件可以从哪里下载？AntConc自带参考语料库怎么打开？嘉宾也一一作了解答。如果大家想了解语料标注与检索技术的更多知识，欢迎加入我们的圈子和社群共同学习！还可以获取本次活动回放与资料~

为感谢各位小伙伴的关注和支持，在此次沙龙活动中，主办方翻译技术名师课堂为大家提供了丰富的奖品，中奖名单在这里~

奖品一：100元课程代金券

奖品二：150元课程代金券

奖品三：200元课程代金券

终极大奖：语料库与术语库技术工作坊课程（价值399元）

其他伙伴是不是羡慕了呢？别着急！翻译技术名师课堂还将不断推出系列公益讲座、沙龙活动。关注我们：