NLP（自然言語処理）の分野では、Transformerの研究が盛んに行われています。2017年、Google社が「Attention Is All You Need」を発表してから、BERTやGPTなど、Transformerをベースとした数多くの優秀なモデルを生み出してきました。

弊社も、Transformerを含むNLP技術の研究開発に積極的に取り組んでおり、これまで、NLPのトップカンファレンスであるACL、EMNLP、NAACLへ参加してきました。

本記事では、今年6月6日～11日の間に開催された国際学会NAACLでの参加レポートを記します。

NAACLは、ACLの北アメリカ版です。
開催地は、北アメリカに限定されますが、世界各地からの参加者が集まる国際学会です。
フルペーパーの論文採択率は30%前後の、超難関会議です。今年はコロナ禍のため、全てオンライン開催となっています。

さて、今回は、NAACLで盛り上がった話題や最新研究動向について共有いたします。

１．Transformerの更なる進化

BERTやGPTから派生したモデルを提案する論文が多く見られます。チャレンジは、主に以下の３つの方向で展開しているようです。

① 長文・複数文の処理

長文は、512トークンを超えた文書です。
例えば、科学文献は1千-1万文字以上、電子書籍は20万以上文字をもっています。
BERTで処理できるトークン数の上限値は512までであるため、このような文書全体をモデルへの入力とすることができません。
また、複数文を対象とした場合、エンドタスクで処理結果の合成や不要語の削除が課題になりそうです。

② 少数言語の処理

明確なルールを持っていない言語が多くあります。
これらの言語を対象とした場合、最も大きな課題の１つとして、教師データが足りないことです。
そのため、学習済みのモデルから重みをシェアできるような転移学習の手法が、多く提案されています。

③ マルチモーダルの入力と出力

従来のマルチモーダルに関する研究は、基本的に入力側で「文字+画像」や「文字+音声」を扱っていました。今年は、入力側も出力側も「文字+画像」を扱い、質問応答で活用できる研究も出ています。

２．GNNのNLPでの活躍

2017年以降、NLP研究の主戦場はRNN・LSTMモデルからTransformerに移しています。
それ以外に、GNN（グラフニューラルネットワーク）によるアプローチもありますが、今年から特に多くなっていると、筆者は感じています。

GNNとは、ノードとエッジから構成されるニューラルネットワークです。
ノードとエッジという構造は、グラフ理論の分野で長年に研究されてきましたが、近年、ニューラルネットワークと組み合わせることで、利用用途が広がっています。

すでに、graph2segやgraph2tree、graph2graphなど、多くのモデルが発表されました。
そして今年、GNNを利用してNLP問題を解決するためのオープンソースのライブラリGraph4NLPも出ています。

３．教師データ作成サービスの高度化

クラウドソーシングのサービスは、Amazon Mechanical TurkやMicroworkersなどがあげられますが、今年のNAACLで特に印象に残ったのは、ロシアのYandex社が開発したTolokaというサービスです。

筆者は体験学習のセッションで、Tolokaを利用して教師データ作成のプロジェクトを実際に作ってみました。教師データ作成に特化しており直感的で使いやすいのです。主に以下の機能が備わっています。

① タスク別でプロジェクト作成　（例：画像分類、極性分類、テキスト分類）
② 属性から回答者を絞り込む　（例：国籍、スキル、回答者の評価）
③ 回答奨励の仕組み作成　　（回答者のモチベーションをあげるための機能）

弊社の知識生成オプションでもチャットボット向けの教師データ生成や、FAQ生成を効率的に行うことが可能です。
画像認識での教師データ作成や、クラウドソーシングにおける回答奨励の仕組みづくりなどは、普段NLPのデータを中心に扱っている筆者としては、とても新鮮でした。

【まとめ】

NAACLで盛り上がった話題は、「Transformerの更なる進化」「GNNのNLPでの活躍」「教師データ作成サービスの高度化」の３点がポイントになります。

自然言語処理やテキストマイニングの研究開発や製品に興味をお持ちの方は、
弊社主催のVext Tech Conference 2021にぜひご参加ください。