Skip to content

使用本地模型

VJSP 支持使用在本地计算机上运行的大模型。这提供了以下优势:

  • 隐私性:你的代码和数据永远不会离开你的计算机。
  • 定制性:可以尝试不同的模型和配置。

然而,使用本地模型也有一些缺点:

  • 资源需求:本地模型可能对资源要求较高,需要一台性能强大的计算机,最好配备专用 GPU。
  • 设置复杂性:设置本地模型可能比使用云端 API 更复杂。
  • 模型性能:本地模型的性能可能差异较大。虽然有些模型表现优秀,但可能无法与最大、最先进的云端模型相媲美。
  • 功能限制:本地模型(以及许多在线模型)通常不支持高级功能,例如提示缓存、计算机使用等。

ⓘ 信息

拥有多个配置文件可以让你快速切换不同的 AI 提供商、模型和设置,而无需每次更改设置时都重新配置所有内容。

工作原理

配置文件可以拥有自己的:

  • API 提供商

  • API 密钥和身份验证详细信息

  • 模型选择

  • 温度设置用于控制响应随机性

  • 思维预算

  • 特定于提供商的设置

请注意,可用设置因提供商和模型而异。每个提供商提供不同的配置选项,即使在同一提供商内,不同的模型也可能支持不同的参数范围或功能。

设置本地模型

  1. 进入应用设置界面,点击进入「模型配置」页面。
  2. 在配置文件管理区域,点击「+」按钮创建新配置,并按以下说明填写关键参数:
    • API 提供商:请选择「OpenAI Compatible」;
    • OpenAI 基础 URL:填写本地模型服务器的访问地址;
    • API 密钥:填写本地模型对应的鉴权密钥;
    • 模型:从列表中选择你已部署的本地模型名称;
    • 其他参数可根据实际需求进行补充设置。
  3. 确认所有参数无误后,点击「保存」按钮,即可完成本地模型的配置。

切换配置文件

通过两种方式切换配置文件:

  1. 从设置面板:从下拉菜单中选择不同的配置文件

  1. 聊天期间:访问聊天界面中的 API 配置下拉菜单

固定和排序配置文件

API 配置下拉菜单现在支持固定你喜欢的配置文件,以便更快访问:

  1. 将鼠标悬停在下拉菜单中的任何配置文件上以显示图钉图标

  2. 单击图钉图标将配置文件添加到你的固定列表

  3. 固定配置文件显示在下拉菜单顶部,按字母顺序排序

  4. 未固定配置文件显示在分隔符下方,也按字母顺序排序

  5. 你可以再次单击同一图标以取消固定配置文件

此功能使你更容易在常用配置文件之间导航,尤其是在你有许多配置时。

编辑和删除配置文件

  • 在设置中选择配置文件以修改任何设置

  • 单击铅笔图标以重命名配置文件

  • 单击垃圾桶图标以删除配置文件(你不能删除唯一剩余的配置文件)

安全注意事项

API 密钥安全地存储在 IDE 的 Secret Storage 中,绝不会以纯文本形式公开。

相关功能