使用本地模型
VJSP 支持使用在本地计算机上运行的大模型。这提供了以下优势:
- 隐私性:你的代码和数据永远不会离开你的计算机。
- 定制性:可以尝试不同的模型和配置。
然而,使用本地模型也有一些缺点:
- 资源需求:本地模型可能对资源要求较高,需要一台性能强大的计算机,最好配备专用 GPU。
- 设置复杂性:设置本地模型可能比使用云端 API 更复杂。
- 模型性能:本地模型的性能可能差异较大。虽然有些模型表现优秀,但可能无法与最大、最先进的云端模型相媲美。
- 功能限制:本地模型(以及许多在线模型)通常不支持高级功能,例如提示缓存、计算机使用等。
ⓘ 信息
拥有多个配置文件可以让你快速切换不同的 AI 提供商、模型和设置,而无需每次更改设置时都重新配置所有内容。
工作原理
配置文件可以拥有自己的:
API 提供商
API 密钥和身份验证详细信息
模型选择
温度设置用于控制响应随机性
思维预算
特定于提供商的设置
请注意,可用设置因提供商和模型而异。每个提供商提供不同的配置选项,即使在同一提供商内,不同的模型也可能支持不同的参数范围或功能。
设置本地模型
- 进入应用设置界面,点击进入「模型配置」页面。
- 在配置文件管理区域,点击「+」按钮创建新配置,并按以下说明填写关键参数:
- API 提供商:请选择「OpenAI Compatible」;
- OpenAI 基础 URL:填写本地模型服务器的访问地址;
- API 密钥:填写本地模型对应的鉴权密钥;
- 模型:从列表中选择你已部署的本地模型名称;
- 其他参数可根据实际需求进行补充设置。
- 确认所有参数无误后,点击「保存」按钮,即可完成本地模型的配置。

切换配置文件
通过两种方式切换配置文件:
- 从设置面板:从下拉菜单中选择不同的配置文件

- 聊天期间:访问聊天界面中的 API 配置下拉菜单

固定和排序配置文件
API 配置下拉菜单现在支持固定你喜欢的配置文件,以便更快访问:
将鼠标悬停在下拉菜单中的任何配置文件上以显示图钉图标
单击图钉图标将配置文件添加到你的固定列表
固定配置文件显示在下拉菜单顶部,按字母顺序排序
未固定配置文件显示在分隔符下方,也按字母顺序排序
你可以再次单击同一图标以取消固定配置文件

此功能使你更容易在常用配置文件之间导航,尤其是在你有许多配置时。
编辑和删除配置文件
在设置中选择配置文件以修改任何设置
单击铅笔图标以重命名配置文件
单击垃圾桶图标以删除配置文件(你不能删除唯一剩余的配置文件)
安全注意事项
API 密钥安全地存储在 IDE 的 Secret Storage 中,绝不会以纯文本形式公开。
