辞旧迎新

在新年这个重要的时间节点上,总应该做些总结与计划,来辞旧迎新,然而我总是懒惰加拖延,到了今天初八才正式开写,所以新的一年,第一个flag就是:希望能找到良药医治一下我的拖延症 - -!

辞旧

2020年是神奇的一年,这一年里发生了很多意想不到的事,用网友们的话讲就是这一年总忙着见证历史了。而需要见证的历史太多,大多数我都没关注,所以只记录一下我自己”见证”的历史。
首先是过年回家,刚到家我就去县里的药店屯了口罩和感冒药,之后就是持续至今的新冠,而由于新冠初期,大家对其认识很少,所以限制出行,而我也就因此度过了高中以来在家最久的一次”寒假”–整整三个月,直到四月初,才买到了机票回来上班。
在家的三个月,对我最大的帮助可能就是心灵治愈了,人间烟火气,最抚凡人心
虽然在家陪父母,但是后期还是需要正常打卡的,所以我也顺便研究了一下藏文语言模型和文本纠错,也就是这个时期,让我更坚定的想要一台自己的服务器,来实验想法。于是,回到北京后,我就开始调研硬件相关,然后自己动手搭了一台服务器,这里还要感谢一下银翔老哥,帮我报销了2080Ti的钱,哈哈。
有了服务器,我就开始放弃幻想,拥抱transformer, 开始了看论文与写demo 的路程,期间参考bert4keraskeras-bert, 实现了一下Bert,不过中间有次实验结果有些奇怪,为了查问题,API基本上改成bert4keras一致了。后面一些相transformer相关的实验代码基本也都在toolkit4nlp
这里还有一个小插曲,王萌老哥带我打了一个脑科学的比赛,我们俩花了一天最后拿了个铜牌,这也让我了解到在很多领域,对机器学习和深度学习还是运用的相当少的,一方面是因为任务形态的原因,一方面也是这些领域接受新事物比较缓慢可能,所以我认为与机器学习做交叉,还是有很多事可以做的。
接着就到了十一月,由于看到群里有人讨论小学生解数学题的比赛,就去看了datafountain,然后就写了房产行业问答匹配比赛的baseline:ccf_2020_qa_match, 其实比赛到这就结束了,我就去看论文了,然而有时候事情就是这么奇妙,很多群里的同学看到我的baseline 邀请我去组队,后来与南大的”钞人小哥”刘猛组队,最终拿了第一还。不过答辩时发现,在看论文与做实验的纬度上,我们应该也是第一了- - !无论如何,也要感谢一下刘猛小哥,不是他邀请我,我也不会拿到这个金牌。毕竟baseline 我写过不少,但是真的认真打到最后还是第一次~~

总结一下,去年发生了新冠,直到现在大家还是备受困扰,我个人度过了最爽的一个年假,在NLP 上也有了实足的进步,不过也有很多年初的计划没有完成,比如每周一篇blog,看完花书等。

迎新

凡事预则立,不预则废。所以,flag还是要立的,新的一年,希望自己更少一点浮躁,做事能更多一点踏实。

  • 经典论文还有很多没读,最新的论文又源源不断,所以希望新的一年能找到适合自己的读论文节奏。
  • 一周一篇blog 可能太困难了,希望能一年写三十篇吧就
  • 感情上也要更成熟一些,对未来要有更清晰的规划
  • 有空就多运动

关于头图

成都海洋馆的可爱白鲸

ccf问答匹配比赛(下):如何只用“bert”夺冠
多任务学习-以天池比赛为例的三种思路