小規模言語モデル (SLM) とは
小規模言語モデル (SLM) とは、大規模言語モデル (LLM) よりもサイズの小さいモデルのことで、より専門的な知識を備え、より迅速にカスタマイズでき、より効率的に実行できます。
SLM は、幅広く一般的な知識を持つ LLM とは異なり、ある領域に特化した知識を習得するようにトレーニングされます。SLM はサイズが小さいため、トレーニングと導入に必要な計算リソースが抑えられ、インフラストラクチャのコストが削減し、迅速にファインチューニングできます。SLM は軽量なので、エッジデバイスやモバイルアプリケーションに最適です。
SLM と LLM
SLM と LLM はいずれも、人間の言語 (プログラミング言語を含む) を解釈するようにトレーニングされた人工知能 (AI) システムの一種です。通常、SLM と LLM の主な違いは、トレーニングに使用されるデータセットのサイズ、それらのデータセットでのトレーニングに使用されるプロセス、ユースケースを開始する際のコストとメリットです。
その呼称が示すように、LLM と SLM はどちらも言語で構成されるデータセットでトレーニングされるものであり、画像 (例：DALL·E) や動画 (例：Sora) でトレーニングされるモデルとは区別されます。言語ベースのデータセットの例としては、Web ページのテキスト、開発者コード、E メール、マニュアルなどがあります。
SLM と LLM のアプリケーションとして最もよく知られるものの 1 つが生成 AI です。これは、さまざまな予測不可能なクエリに対して、スクリプト化されていないコンテンツ応答を生成できます (そのため、この名前が付けられています)。特に LLM は、GPT-4 基盤モデルと、ChatGPT (膨大なデータセットでトレーニングされ、数兆個に及ぶパラメーターを使用して幅広い人間のクエリに応答する会話型チャットボット) のおかげで、一般の人々の間でよく知られるようになりました。生成 AI は人気がありますが、予測 AI のような生成型ではない LLM と SLM の応用分野もあります。
LLM と SLM は通常、異なるデータセットでトレーニングされる
LLM と SLM の相違点の 1 つを示す優れた例が、GPT-4/ChatGPT が対象とする範囲、すなわち、トレーニングに使用されるデータセットです。
LLM は通常、非常に幅広いレベルで人間の知能をエミュレートすることを目的としており、そのため、広範囲にわたる大規模なデータセットでトレーニングされます。GPT-4/ChatGPT の場合、これには特定の日付までのパブリックインターネット全体が含まれます。こうして ChatGPT は、一般ユーザーからの幅広いクエリを解釈して応答することで有名になりました。しかしこれは、通称「ハルシネーション」(ある業界に特有のクエリやニッチなクエリに正確に応答するためのファインチューニングやドメイン固有のトレーニングが不足しているために起こる) と呼ばれる、誤った応答をする可能性があることで時折注目される理由でもあります。
一方、SLM は通常、特定の業界ドメイン (専門分野) に合わせて調整された小規模なデータセットでトレーニングされます。たとえば、医療提供者は、医療データセットでトレーニングされた SLM 搭載のチャットボットを使用して、ユーザーの健康に関する専門的ではないクエリにドメイン固有の知識を注入し、質問と応答の質を高めることができます。この場合、SLM を搭載したチャットボットをインターネット全体のデータを基にトレーニングする必要はありません。ネット上のブログ記事や架空の小説、詩などは医療のユースケースとは無関係だからです。
つまり、SLM は通常、特定の領域では優れていますが、一般的な知識や全体的な文脈の理解においては LLM に比べて劣ります。
Red Hat のリソース
LLM と SLM には異なるリソースが必要
LLM でも SLM でも、ビジネスユースケース向けのモデルをトレーニングする場合は、リソースを大量に消費します。しかし、LLM のトレーニングには特に多くのリソースが必要です。GPT-4 の場合、合計 25,000 個の NVIDIA A100 GPU が同時に 90 - 100 日間連続して実行されました。繰り返しになりますが、GPT-4 は最大級の LLM です。Granite などの他の LLM は、それほど多くのリソースを必要としませんでした。SLM のトレーニングにもかなりのコンピューティング・リソースが必要になる可能性がありますが、LLM に必要なリソースよりはるかに少なくなります。
トレーニングと推論のリソース要件
モデルのトレーニングとモデルの推論の違いに注意することも重要です。前述したように、トレーニングは AI モデル開発の最初のステップです。推論は、トレーニングされた AI モデルが新しいデータに基づいて予測を行うために従うプロセスです。たとえば、ユーザーが ChatGPT に質問すると、ChatGPT が呼び出されてユーザーに予測が返されます。その予測を生成するプロセスが推論です。
Granite モデルファミリーなど、一部の事前トレーニング済み LLM は、1 つのハイパワー・ワークステーションのリソースを使って推論を行うことができます (たとえば、Granite モデルは 1 つの V100-32GB GPU2 に適合)。ただし、多くの場合、データを生成するために複数の並列処理ユニットが必要になります。さらに、LLM に同時にアクセスするユーザーの数が増えるほど、モデルによる推論の実行速度は遅くなります。一方、SLM は通常、スマートフォンなどのモバイルデバイスのリソースを使って推論を行うように設計されています。
SLM のメリット
「どのモデルが優れているのか？」という質問に対する答えはありません。それは組織の計画、リソース、専門知識、スケジュール、その他の要因によって異なります。また、ユースケースに応じて、モデルをゼロからトレーニングすべきなのか、事前トレーニング済みのモデルをファインチューニングすべきなのかを判断することも重要です。LLM か SLM か、どちらを選択するかを決めるにあたって考慮すべき事柄には次のようなものがあります。
コスト
一般に、LLM では、トレーニング、ファインチューニング、推論の実行にはるかに多くのリソースが必要になります。重要なのは、トレーニングへの投資はそれほど頻繁に行われるものではないということです。コンピューティング・リソースが必要なのはモデルのトレーニング中だけです。これは断続的に行うタスクであり、継続的に実施するものではありません。しかし、推論の実行には継続的にコストがかかります。モデルがより多くのユーザーに使われるようになるにつれて、ニーズも増す可能性があります。ほとんどの場合、大規模なクラウド・コンピューティング・リソース、オンプレミスリソースへの多額の投資、あるいはその両方が必要になります。
SLM は、エッジコンピューティングなど、低レイテンシーのユースケースでの使用が頻繁に検討されます。これは、より重要なリソースへの継続的かつ強力な接続を必要とせず、1 つのモバイルデバイスで利用できるリソースだけで実行できることが多いからです。
専門知識
Granite、Llama、GPT-4 など、多くの一般的な事前トレーニング済み LLM は、AI を使い始めるための、より「プラグアンドプレイ」な選択肢を提供します。データサイエンティストがゼロから設計したりトレーニングしたりする必要がないため、多くの場合、AI の実験を始めようとしている組織に適しています。一方、SLM では通常、ニッチなデータセットに基づいて正確にファインチューニングするために、データサイエンスと業界知識の両方の領域における専門知識が必要です。
セキュリティ
LLM の潜在的なリスクの 1 つは、アプリケーション・プログラミング・インタフェース (API) を介した機密データの漏洩です。具体的には、組織のデータに基づいて LLM をファインチューニングする場合、コンプライアンスと企業ポリシーに細心の注意を払う必要があります。SLM はより高度に制御できるため、データ漏洩のリスクは低くなるでしょう。
SLM の限界
SLM をビジネスワークフローに統合する際には、SLM が持つ限界を認識することが重要です。
バイアス
SLM は小規模なデータセットでトレーニングされるため、必然的に生じるバイアスをより簡単に軽減することができます (LLM と比較した場合)。しかし、言語モデルの規模の大小に関係なくあらゆるモデルがそうであるように、トレーニングデータによっては、特定のグループやアイデアの過小評価や誤った表現、あるいは事実の不正確さなどのバイアスが生じる可能性があります。言語モデルは、方言、地理的位置、文法に関連するバイアスも継承する可能性があります。
偏った出力を制限するには、トレーニングデータの品質に特に注意を払う必要があります。
知識の範囲が狭い
SLM が応答を生成する際に取得する情報のプールは小規模です。そのため、特定のタスクに対しては優れていますが、幅広く一般的な知識を必要とするタスクにはあまり適していません。
目的に応じて設計された SLM を集めて 1 つの LLM (または複数の LLM) と併せて使用することも検討できます。各モデルを既存のアプリケーションと組み合わせ、連携して動作する複数の言語モデルのワークフローを相互に接続できる場合、これは特に興味深いソリューションとなります。
SLM のユースケース
SLM は適応性があるため、さまざまなユースケースに役立ちます。
チャットボット
専門的な資料に基づくチャットボットのトレーニングに SLM を使用できます。たとえば、カスタマーサービスのチャットボットを、ユーザーの質問に答えたり、ユーザーに情報を案内したりできるようにするために、企業固有の知識に基づいてトレーニングします。
エージェント型 AI
エージェント型 AI がユーザーに代わってタスクを完了できるように、SLM をエージェント型 AI のワークフローに組み込むことができます。
生成 AI
SLM は、新しいテキストの生成、既存のテキストの翻訳、原稿の要約などのタスクを実行できます。
Red Hat のサポート内容
Red Hat AI では、生成 AI と予測 AI の機能に加えて、MLOps サポートを利用できます。これにより、複数のハイブリッドクラウド環境にわたって、柔軟で信頼できる AI ソリューションを大規模に構築できます。AI 導入を加速し、AI ソリューションを提供する上での複雑さを取り除き、データがどこに存在しても開発しデプロイできる柔軟性をもたらします。
Red Hat AI を Red Hat のオープン・ハイブリッドクラウド・インフラストラクチャと組み合わせると、エンタープライズ向けにカスタマイズされた AI ソリューションの構築、モデルとアプリケーションのライフサイクル管理、ハードウェア・アクセラレーションの要件への適応が可能になります。また、単一のプラットフォームで重要なワークロードと並行してデプロイ、実行、運用できるようになります。
初心者向けの機械学習と AI
ML および AI モデルを初めて使う場合は InstructLab を試してみてください。これは、LLM のトレーニングのためのコミュニティ主導によるソリューションです。無料で実験し、AI モデルの開発に直接貢献できます。
IBM の Granite モデルファミリーに簡単にアクセス
次のステップに進む準備ができたら、Red Hat® Enterprise Linux® AI の出番です。これは、エンタープライズ・アプリケーション向けの Granite ファミリー LLM を開発、テスト、実行できる基盤モデル・プラットフォームです。Granite は、Red Hat が完全にサポートし補償する、オープンソースライセンスの AI モデルファミリーです。オープンソースのアプローチにより、信頼性とセキュリティを維持しながら、生成 AI のイノベーションを促進します。
エンタープライズ向けのスケーリング
Red Hat® OpenShift® AI は、ハイブリッドクラウド環境全体でモデルを大規模にサポートできるプラットフォームです。独自のユースケースに合わせて独自のデータを使用した AI モデルのトレーニング、プロンプトチューニング、ファインチューニング、提供が可能です。
これらの製品を組み合わせることで、データサイエンティストと開発者が連携できる統合ソリューションが提供され、モデルを実験からプロダクションへと迅速に移行できるようになります。
パートナーとともに成長する
また、Red Hat の統合パートナーにより、オープンソース・プラットフォームと連携するよう構築された、信頼できる AI ツールのエコシステムの成長への扉が開かれます。
Red Hat 公式ブログ
Red Hat のお客様、パートナー、およびコミュニティのエコシステムに関する最新の情報を入手しましょう。
