ccf问答匹配比赛(下):如何只用“bert”夺冠

ccf问答匹配比赛也结束了一段时间了,这篇算是一个下篇吧,总结一下后期优(夺)化(冠)的心路历程。标题中的“bert”指的是bert-base系列模型,包括bert/RoBERTa/NEZHA/MacBERT/ERNIE等,而取这个有点“标题党”的标题的主要原因,也是对答辩看到有些团队使用的bert+xgb这种“大力出奇迹”做法吐个槽。

前言

上一篇中,笔者对比赛做了简单说明,提出了四种baseline(QA Pair/QA Point/PET/Concat),并做了部分尝试(focal loss/对抗训练/梯度惩罚/kfold/post training),没看过的同学可以先看上篇,这里只简单再介绍一下:

赛题

本次赛题的任务是:给定IM交流片段,片段包含一个客户问题以及随后的经纪人若干IM消息,从这些随后的经纪人消息中找出一个是对客户问题的回答。

  • 数据示例
    $$
    \begin{array}{c|c|c|c|c}
    \hline
    \text{对话id} & \text{客户问题} & \text{经纪人回复id} & \text{经纪人回复内容} & \text{回复标签} \\
    \hline
    1 & \text{您好,请问这个户型有什么优缺点} & 1 & \text{你是想看看这套房子是吗} & 0 \\
    \hline
    & & \text{2} & \text{在的} &\text{0} \\
    \hline
    & & \text{3} & \text{此房房型方正 得房率高 多层不带电梯4/6楼
    } &\text{1} \\
    \hline
    \end{array}
    $$
  • 评测标准

f1:2 * (精度 * 召回) / (精度 + 召回)

QA pair

由于回答列表是不连续的,所以不考虑问答之间的顺序关系,将其拆分为query-answer pair,然后进行判断。
pair

QA Point

考虑对话连贯性、相关性,将所有回答顺序拼接后再与问题拼接,组成query-answer list,模型对一个问题的所有答案进行预测。此外,我们还给模型增加了“大局观”,即新增一个任务来预测全局所有回答中是否存在label为 1 的回答。
point

Pattern-Exploiting Training (PET)

此方案通过增加一个pattern,将任务转换为MLM任务,然后通过pattern的得分来判断对应的类别。
如本次比赛可以添加一个前缀pattern:“间接回答问题”/ “直接回答问题”,分别对应label 0 / 1,pattern的得分只需看第一个位置中“间”/“直”两个token的概率谁高即可。对于unlabel data,可以不增加pattern 进行mlm任务,这也在一定程度增加了模型的泛化能力。此外,通过多个不同pattern进行融合也能进一步提高其性能。
pet

Concat

由于bert 中不同的transformer 层提取到的语义粒度不同,而不同粒度的信息对分类来说起到的作用也可能不同,所以可以将所有粒度的语义信息拼接后作为特征进行分类。
concat

focal loss

由于针对性回答与非针对性回答在数量上有不小差距,大约3:1,所以也想到尝试在loss上进行调节。
最终结果是没有多少提升,猜测样本不均衡的问题影响是非常小的,所以将Binary-Crossentropy训练后的模型在train data上进行了predict,并借鉴之前focal loss中的方式分析了一下,画出对应的难易样本分布。根据图形上的分布结果,也证实了之前的猜测。
focalloss

对抗训练

对抗训练主要尝试了FGM 方法对Embedding进行扰动,线下对比提升大约一个点上下。
线下测试结果:

$$
\begin{array}{c|c}
\hline
\text{without adt} & \text{with adt} \\
\hline
\text{0.831} & \text{0.838} \\
\end{array}
$$

post training

上一篇中,提到post training 做的效果不好,然而pet 的效果又很好,两者比较矛盾,所以我也重新阅读了几篇关于优化bert 与post training 相关的论文,重新思考了一下,这篇就从重新做post training开始。

Post Training

post training一般包括两部分:Domain-Adaptive training 和 Task-Adaptive training,通过在同领域与任务数据上继续预训练,可以让模型更适应任务,有利于提高模型在下游的性能。而bert 在训练时主要有两个任务:mlm 与nsp ,接下来针对每个任务进行讨论。

MLM

在post training 阶段尝试进一步优化的只找到刘知远老师的Train No Evil: Selective Masking for Task-Guided Pre-Training,论文里的思路是通过建立一个二分类模型,来有针对性的选择token 来进行mask,不过由于这个方法比较麻烦,需要三个中间模型,所以没有尝试,不过这个论文给出了一个结论:在继续预训练的过程中,优化mask 策略,是可以进一步提高下游性能的。
让我们回归一下bert 的mask 策略即后续的改进:
$$
\begin{array}{c|c|}
\hline
\text{model} & \text{mask sstrategy} \\
\hline
\text{bert} & \text{random mask} \\
\hline
\text{RoBERTa} & \text{dynamic mask} \\
\hline
\text{RoBERTa-wwm-ext} & \text{whole word mask} \\
\hline
\text{ERNIE} & \text{entity/phrase mask} \\
\hline
\text{SpanBERT} & \text{n-gram mask}\\
\hline
\end{array}
$$

这里笔者思考后认为,不同的mask 策略本质区别是对更多的“固定搭配”进行同时mask,从而降低模型对局部、浅层信息的过拟合,增加任务的难度,提高模型的泛化能力。
所谓“固定搭配”,不仅仅包含词,或者说是更广义的“词”。字的固定搭配可以构成词,进一步固定搭配又可以形成短语。比如考虑“好好学习,天天向上”,“08北京奥运会”,如果只mask 其中一部分,是比较“容易”通过剩余的部分来还原的。
既然“固定搭配”是更广义的词,这里我们就可以来挖掘这些“固定搭配”了。最简单的方式就是新词/短语挖掘,而新词/短语挖掘最常用的方法是计算左右熵和紧密度,不过这种方式计算量较大,这次比赛笔者舍弃了这种方式,采用借鉴苏神的博客最小熵原理(二):“当机立断”之词库构建中的思路,用PMI表征紧密度,用相邻两个字之间的紧密度判断两者是否存在“固定搭配”,最终未被切分的为一个整体。最后将挖掘出的新词通过jieba 过滤掉已在词库内的,并只保留长度2~5的新词,添加到jieba的词库内。这里选择用jieba 做分词工具的原因是因为笔者用的是NEZHA,而NEZHA在训练时使用的就是jieba 处理的数据,这里与他保持一致,而长度选择上,主要借鉴spanBert中的结论。
最后挖掘了2736个新词,而如果是实际工作中,则可以进一步将积累的词也加入。
new_words
以上的方式中全程没有人为参与,所以新词的质量是无法保证的,即存在词的边界不准确。而此时的全词mask 退化为n-gram mask,依然是一种有效的提升方案。

nsp

原始bert 在训练时,句子级别的任务为nsp,而RoBERTa 中给出的结论是句子级别的任务没什么用,所以取消了句子级别的任务;而albert 中则将句子级别的任务切换为sop,而SpanBERT中则切换为sbo。这里笔者认为下游任务是句子级别的分类任务,所以句子级别的任务是有用的,不过由于nsp 会引入大量噪音,所以这里选择sop/aop:在qa pair格式的样本下互换qa(sop),在q a-list格式的样本下,保持query 在最前面,只shuffle a-list(aop)。

$$
\begin{array}{c|c|c}
\hline
& \text{without sop/aop} & \text{with sop/aop} \\
\hline
\text{qa pair} & \text{0.784} & \text{0.79} \\
\hline
\text{q a-list} & \text{0.799} & \text{0.802} \\
\hline
\end{array}
$$

model-adaptive

由于样本的组织方式有qa pair 和 q a-list两种方式,而task 相关的数据是相对较小的,所以这里笔者认为两个阶段的样本组织方式相同的情况下,性能会更好,即:用qa pair格式post training后的模型,来微调qa pair格式的baseline,q a-list格式post training后的模型微调q a-list格式的baseline。

更新次数

这里参考邱锡鹏老师的How to Fine-Tune BERT for Text Classification?,实验时每10 个epochs保存一次模型,最后通过在下游任务上的表现,得出与论文中基本一致的结论:更新10K steps左右模型在下游的表现是最好的。
update

最终结果

$$
\begin{array}{c|c|c}
\hline
\text{post-train/fine-tuning}& \text{pair} & \text{point} \\
\hline
\text{pair} & \text{0.79} & \text{0.794} \\
\hline
\text{point} & \text{0.786} & \text{0.802} \\
\hline
\end{array}
$$

此时我们认为已经将bert的能力最大化了,于是这里也尝试了在bert 后面接一些复杂的分类层(cnn/rnn/dgcnn/..),发现都无法进一步提高,所以也证实了之前的判断。

融入知识

既然从“内部”已经无法进一步提高bert的能力,所以此时尝试融入外部知识来增强。而融合的方式主要尝试了两种:

  • 最底层注入
    在Embedding 层融入外部的embedding。优点:更多的交互

  • 最顶层注入
    在transformer output 层融入外部Embedding。优点:更灵活,不局限外部知识的形式(可以是Embedding,也可以说是其他特征,如手工特征)。

在知识选择上,首先想到的是Graph EMbedding,参考VGCN-BERT: Augmenting BERT with Graph Embedding for Text Classification,我们重跑了一下论文的代码,发现无法重现其中的结论,而我对Graph Embedding也不熟,所以放弃了这个方案。
然后尝试简单的embedding,即用gensim 在task data上训练了一版词向量(dims=100),作为外部知识来实验。
线下测试结果:
$$
\begin{array}{c|c}
\hline
\text{model} & \text{score} \\
\hline
\text{bert} & \text{0.831} \\
\hline
\text{external-embedding bottom} & \text{0.82} \\
\hline
\text{external-embedding top} & \text{0.83} \\
\hline
\end{array}
$$

可以看到,两种方式都是无法进一步提高的,主要原因可能是:1.词向量的质量较差;2.词向量也是bert的“内部”知识;3.融入的方式或者调参没做好。

对比学习

在模型上,还能通过增加新的任务来尝试提高性能。而今年比较热的一个思路就是对比学习,所以这里尝试通过增加一个对比学习任务来提高性能。
对比学习的主要思路是拉近到正样本之间的距离,拉远到负样本之间的距离。

对比学习主要又分为两种:监督对比学习和分监督对比学习。监督对比学习中,将相同label的样本看做是正例,其他的为负例;而非监督对比学习中,则通过对每个样本构造一对view,view之间互为正例,其他的为负例。

非监督对比学习

非监督对比学习中,通过互换QA位置,同时随机mask 15% 的token,来构造一对view。

  • 对应的loss:

  • 对应的模型:

监督对比学习

这里主要follow Supervised Contrastive Learning for Pre-trained Language Model Fine-tuning,修改对应loss.

  • loss

  • model

实验结果

  • 线下结果:

$$
\begin{array}{c|c}
\hline
\text{model} & \text{score} \\
\hline
\text{bert} & \text{0.831} \\
\hline
\text{self-supervised contrastive learning} & \text{0.80} \\
\hline
\text{supervised contrastive learning} & \text{0.824} \\
\hline
\end{array}
$$

  • 非监督对比学习结果可视化

  • 监督对比学习结果可视化

可以看到,两种方式都没有带来提升,而可视化图中可以看到,非监督对比学习的效果并不好,存在大量重叠但颜色不同的点,说明对比学习任务的结果不好,这里的原因猜测主要有两点:1.模型的设计与调参时有问题,batch size(32)太小,没有BN 层等,都有可能是性能不好的原因;2.构造view 的方式过于简单粗暴,由于样本长度大多较短,随机mask 后即有可能引入错误的label 信息,又可能引起view 间语义的gap过大,无法互为正例。
监督学习效果图中,不同label的数据被分到了不同的簇中,说明对比学习的还是相当不错,不过由于此次比赛中的label 代表的是“是否是针对问题的回答”,label 相同但内涵不同,所以强行将相同label的样本聚合,并不能带来提升。

数据增强

数据增强主要尝试了两种方式:EDA 和伪标签。

EDA

EDA主要包括四种方式:随机替换、随机删除、随机重复和随机互换。
由于词向量质量较差,所以操作时选择从当前句子中随机选取一个词作为“同义词”进行操作。
操作比例为10%,每个样本构造四个样本。
用训练过的模型对数据进行过滤,保留置信度高(>0.7)的样本。

伪标签

用训练过的模型在test data 上进行预测,对预测结果按0.5 为阈值计算置信度并进行排序,保留前30%的样本加入训练集。 这里没有单纯按置信度过滤样本,是因为模型预测结果大多数大于0.95或小于0.05,而过多的测试数据进入训练集,会导致模型最终的结果是在拟合训练集中的label,而无法带来提高(充分学习后的模型在训练数据上的预测结果自然是训练时的label)。

实验结果

  • 线上结果

$$
\begin{array}{c|c}
\hline
\text{without DA} & \text{with DA} \\
\hline
\text{0.802} & \text{0.806} \\
\hline
\end{array}
$$

自蒸馏

借助知识蒸馏,我们尝试了自蒸馏方案:即Teacher 与 Student 为同一个模型,Teacher模型先学习一遍后,对训练样本打上soft labels,Student 同时学习true labels 与 soft labels.

  • soft labels:
    $$
    q_i = \frac{exp(\frac{z_i}{T})}{\sum_j exp(\frac{z_j}{T})}
    $$

  • 线下测试结果:
    $$
    \begin{array}{c|c}
    \hline
    \text{without KD} & \text{with KD} \\
    \hline
    \text{0.831} & \text{0.84} \\
    \hline
    \end{array}
    $$

shuffle 解码

对于q a-list 的模型,可以在预测时,对answer list 进行全排列,然后将结果投票,一来可以将answer label之间的影响降低,二来可以在非常小的成本下融合,也算是一种trick。不过此次比赛的数据对顺序比较敏感,shuffle后大多数情况下会降低模型的性能,所以最终融合后结果没提升反而降低了。

模型融合

为了提高模型的稳定性与泛化能力,我们进行了模型融合。融合时,我们期望模型间能“和而不同”:每个单模型的性能之间差异小(都要接近最优单模型),且模型之间差异尽量大(架构或者优化方案上差异尽量大)。根据以上策略,对QA Pair 与 QA Point两种模型进行融合。

实验总结

  • 能work的方案
    $$
    \begin{array}{c|c}
    \hline
    \text{task-adaptive training} & \text{+1.5%~3%} \\
    \hline
    \text{加入新词} & \text{+0.5%~1%} \\
    \hline
    \text{加入sop/aop} & \text{+0.1%~0.3%} \\
    \hline
    \text{model-adaptive} & \text{+0.5%~0.7%} \\
    \hline
    \text{对抗训练} & \text{+0.5%~0.9%} \\
    \hline
    \text{EDA} & \text{+0.3%~0.5%} \\
    \hline
    \text{模型融合} & \text{+0.5%~0.7%} \\
    \hline
    \end{array}
    $$

  • 不能work的方案
    $$
    \begin{array}{c|c}
    \hline
    \text{external-embedding bottom} & \text{-0.2%~0%} \\
    \hline
    \text{external-embedding top} & \text{-0.1%~0%} \\
    \hline
    \text{self-supervised contrastive learning} & \text{-0.4%~-0.2%} \\
    \hline
    \text{supervised contrastive learning} & \text{-0.1%~0%} \\
    \hline
    \text{focal loss} & \text{0%} \\
    \hline
    \text{shuffle trick} & \text{-0.15%~0} \\
    \end{array}
    $$

  • 线下有效但未提交
    $$
    \begin{array}{c|c}
    \hline
    \text{自蒸馏} & \text{+0.5%~1%} \\
    \hline
    \text{伪标签} & \text{+0.1%~0.3%} \\
    \hline
    \end{array}
    $$

对于PET ,在post training后的效果并不是很好,不过由于没有时间了,所以没有继续优化。这里提一下可以优化的点:1.可以增加解码空间;2.增加多个pattern 进行融合的方式尝试优化。笔者本人是比较喜欢PET 这个思路的,统一了两个阶段,所以可做的事还有很多。

比赛结果

比赛最终的线上成绩在A/B 榜均是第一,答辩阶段也得到了第一。

  • A榜得分:
  • B榜得分:
  • 答辩得分:

代码

比赛相关思路的代码开源在github上:
ccf_2020_qa_match
欢迎大家尝试使用,有问题或者想法可以提issue,一起讨论。

最后

本文主要总结了此次ccf 问答匹配中的实验思路,而其中提出的四种baseline ,可以横向推广至所有的文本分类相关的任务中,而优化相关的方案,则可以应用在所有bert-base 模型上。 从最初打算“白嫖”一份数据,到最终拿到第一,算起来这应该是笔者第一次参加NLP的比赛,所以很幸运也很惊喜。
Enjoy!

关于头图

答辩头图

重新认识矩阵
辞旧迎新