ドメインの LLM のカスタマイズ

Predibase によると、近年の大規模言語モデル (LLM) の拡張は、機械学習プロセスに革命的な変化をもたらし、AI の可能性について新たな視点を導入しました。

LLM を実験している組織からの調査データに基づいて、研究者らは、企業が商用ベンダーに独自のデータへのアクセスを許可せずにオープンソース LLM をカスタマイズして導入する方法を模索しており、生成 AI 機能を超えた他のユースケースを模索していることを発見しました。

「今はLLMのオープンシーズンです。 OpenAI の ChatGPT が広く認知されたおかげで、企業は最新の AI 機能を使用して競争力を獲得するための軍拡競争を繰り広げています。 それでも、ドメイン固有のユースケースに対応するには、よりカスタマイズされた LLM が必要です」と Predibase の CEO、ピエロ モリーノ氏は述べています。

「このレポートは、業界が誇大宣伝に盲目的に従うのではなく、本当の機会と課題に焦点を当てる必要性を強調しています」とモリーノ氏は付け加えた。

商用 LLM を快適に使用できる企業は 4 分の 1 未満です。 33% が、機密データや専有データを商用 LLM ベンダーと共有することへの懸念を挙げており、その結果、プライベートでホストされるオープンソースの代替案への関心が高まっています。

オープンソース LLM は勢いを増しています。 回答者のほぼ 77% が、実稼働環境でプロトタイプ以外の商用 LLM を使用していないか、使用する予定がなく、プライバシー、コスト、カスタマイズの欠如に対する懸念を挙げ、オープンソースの代替手段の増加につながっています。 たとえば、Meta は、LLaMA-1 のようなクローズドソース LLM の構築から離れ、オープンソースとして商用および研究アプリケーションに無料で利用できる LLaMA-2 に置き換えました。

生成 AI のユースケースは依然として人気がありますが、企業は他のアプリケーションがビジネス価値を提供できる可能性を見出しています。 情報抽出は 2 番目に人気のある使用例です (回答者の 32.6% が選択)。

これには、LLM を活用して、PDF ドキュメントや顧客の電子メールなどの非構造化データを、集計分析用の構造化テーブルに変換することが含まれます。 次に、Q&A と検索 (回答者の 15.2%) でした。これは、ユーザーのクエリに対してリアルタイムで正確かつ適切な応答を提供するチャットボットの頭脳です。

組織は、より正確でカスタマイズされた結果を達成するために、カスタマイズされた LLM に注目しています。 ほとんどのチームは、微調整 (32.4%) または人間のフィードバックによる強化学習 (27%) によって LLM をカスタマイズすることを計画しています。 微調整でチームが直面している障害は引き続き、データの不足 (21%) とインフラストラクチャの管理などのプロセス全体の複雑さ (46%) です。

「私たちは、カスタマイズされたオープンソース LLM を使用して、私たちのチームがプロジェクト レポートの大規模なコーパスから洞察と学習を生み出すのに役立つ、保全活動の成果を向上させる明らかな可能性を見出しています」と、世界自然保護基金のグローバル データおよびテクノロジー主任科学者である Dave Thau 氏は述べています。 。

「もちろん、重要なのは、これらの結果を構築することではなく、一貫性があり、安全で、責任ある結果を確実に提供することにあります。 オープンソース モデルをカスタマイズして導入したいという要望が高まる中、企業はオープンソース コミュニティの急速なイノベーションに対応できる運用ツールやインフラストラクチャに投資する必要があるでしょう」と Shimmin 氏は結論付けました。