2022年11月にOpenAI社よりChatGPTがリリースされ世界中がその返答性能の高さに驚きを覚え、それ以降は一層の生成AIブームが起きている点は皆様がご存じの通りかと思います。
そのブームの過程で、OpenAI社からはGPT-4o, GPT-4o-mini、Google社からはGemini 1.5 Pro、そしてAnthropic社からはClaude 3.5 Sonnetといった素晴らしく賢いモデルが続々とリリースをされており、モデルの性能を測るためのリーダーボード（e.g. LMSYS Chatbot Arena Leaderboard[1]）と呼ばれるサイトでは日々順位の入れ替わりが起こっています。このようなところからも、生成AIの開発を含む勢いがどれだけ激しいかを感じ取ることが可能です。

クローズドモデルとオープンモデルの違い

モデルの内部構成を含む詳細仕様が非公開のものを「クローズドモデル」と呼び、GPT-4o-miniやgemini-1.5-proのようなものたちがそれに該当し、基本的にはAPI利用料を支払いインターネット経由で利用する形となります。
昨今は例外（Gemini 1.5 Flash-8B）も出てきておりますが、その多くが数千億以上のパラメータから構成されていると言われております。このようにパラメータ数の多い生成AIは「LLM(Large Language Model)」と呼ばれており、リーダーボードにおいてはクローズドモデルのLLMが上位を独占する傾向にあります。

一方で、モデルの内部仕様が公開されており、カスタマイズや商用利用が行いやすいモデルを「オープンモデル」と呼び様々な種類のモデルがWEB上では公開されております。オープンモデルはパラメータ数が数億・数十億・数百億・それ以上のように幅があり、環境に合わせて選択しやすい形で提供されています。中でも、百億パラメータ程度ないしそれ以下のものを「SLM(Small Language Model)」と呼ぶ傾向にあります。

クローズドモデルの課題

クローズドモデルは、先に述べた通りインターネットを経由する形での利用となります。HTTPS通信の上でAPIキーなど利用者のみが知る固有情報を用いる形でセキュリティは担保されますが、データがインターネットを経由することが課題となる、継続的にAPI利用料が発生してくるという点が課題となる企業様も存在します。

SLMの可能性

オープンモデルのSLMは、パラメータサイズが少ないながらも特定のタスクに特化をさせる形で利用すれば十分に実用的であるということが昨今わかってきております。併せてサイズが小さいことからお客様の閉じられたネットワーク内へのデプロイも比較的行いやすく、クローズドモデルを利用できないお客様が生成AIを活用する道を開く一つの手段にもなると考えられます。

ベクストのSLM活用の事例

ベクストではSLM活用の第一弾として、弊社パッケージであるVextMinerにSLMの組み込みを行い、「分類ルール自動生成」と呼ばれる機能を最新パッチにてリリースをいたしました。こちらの機能を利用すると、文書を特定カテゴリに自動分類するためのルール体系を内部的にSLM利用した上で精度良く自動作成することが可能です。また、こちらの機能はGPUが不要であることもあり、全てのお客様にてご利用が可能な機能となります。

まとめ

ベクストではクローズドモデルを利用した製品もリリースしておりますが（e.g. VextResume＋）、オープンモデルも技術調査も適宜進めております。オープンモデルの中でもSLMについては、既存ユーザ様を含む多くの企業様の課題解決に役立つ可能性があると考え、今後も研究開発を行っていく予定です。

参考：

[１]カリフォルニア大学により設立されたLMSYS ORGと呼ばれる組織が作成。
https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard