ローカルモデルの使用

VJSP は、お使いのコンピューター上でローカルに実行される大規模言語モデルに対応しています。これにより、以下のメリットが得られます。

プライバシー: コードやデータが決してコンピューターの外に出ることがありません。
カスタマイズ性: 様々なモデルや設定を試すことができます。

ただし、ローカルモデルの使用には以下のデメリットもあります。

リソース要件: ローカルモデルはリソースを多く消費するため、高性能なコンピューター、できれば専用の GPU が必要です。
設定の複雑さ: ローカルモデルのセットアップは、クラウド API を使用するよりも複雑になる場合があります。
モデルの性能: 性能には大きなばらつきがあります。優れた性能を発揮するモデルもありますが、最大級で最先端のクラウドモデルには及ばない可能性があります。
機能の制限: ローカルモデル（および多くのオンラインモデル）は、プロンプトキャッシュやツールの使用などの高度な機能に対応していないことがよくあります。

ⓘ 情報

複数の設定ファイルを用意することで、AI プロバイダーを変更するたびにすべてを再設定することなく、異なる AI プロバイダー、モデル、設定をすばやく切り替えることができます。

仕組み

設定ファイルには、それぞれ以下の項目を設定できます。

API プロバイダー
API キーと認証情報
モデルの選択
応答のランダム性を制御する温度設定
思考予算
プロバイダー固有の設定

利用可能な設定はプロバイダーやモデルによって異なることにご注意ください。各プロバイダーは異なる設定オプションを提供しており、同じプロバイダー内であっても、モデルによってサポートされるパラメーターの範囲や機能が異なる場合があります。

ローカルモデルの設定

アプリケーションの設定画面を開き、モデル設定ページに移動します。
設定ファイル管理エリアで、+ ボタンをクリックして新しい設定を作成し、以下の手順で主要なパラメーターを入力します。
- API プロバイダー: OpenAI Compatible を選択してください。
- OpenAI ベース URL: ローカルモデルサーバーのアクセスアドレスを入力してください。
- API キー: ローカルモデルに対応する認証キーを入力してください。
- モデル: リストからデプロイ済みのローカルモデル名を選択してください。
- その他のパラメーターは、実際のニーズに応じて追加で設定できます。
すべてのパラメーターが正しいことを確認したら、保存ボタンをクリックすると、ローカルモデルの設定が完了します。

設定ファイルの切り替え

設定ファイルは以下の 2 つの方法で切り替えることができます。

設定パネルから：ドロップダウンメニューから別の設定ファイルを選択します。
チャット中：チャットインターフェースの API 設定ドロップダウンメニューからアクセスします。

設定の固定と並び替え

API 設定ドロップダウンメニューでは、よく使う設定を固定してすばやくアクセスできるようになりました。

ドロップダウンメニュー内の任意の設定にマウスカーソルを合わせると、ピンアイコンが表示されます。
ピンアイコンをクリックすると、その設定が固定リストに追加されます。
固定された設定は、ドロップダウンメニューの上部にアルファベット順で表示されます。
固定されていない設定は、区切り線の下に同じくアルファベット順で表示されます。
同じアイコンをもう一度クリックすると、設定の固定を解除できます。

この機能により、特に設定が多数ある場合に、よく使う設定間の移動が容易になります。

設定の編集と削除

設定画面で設定を選択すると、任意の設定を変更できます。
鉛筆アイコンをクリックすると、設定の名前を変更できます。
ゴミ箱アイコンをクリックすると、設定を削除できます（最後に残った設定は削除できません）。

セキュリティに関する注意点

API キーは IDE のシークレットストレージに安全に保存され、プレーンテキストで公開されることはありません。

関連機能

作成したカスタムモードに対応
モードごとの温度設定に対応
レート制限と使用状況の追跡によるコスト管理の強化