今天看到别人的vscode有代码补全,也想整一个,但发现continue用本地vllm的有点麻烦,就出一个小教程。
使用vllm部署模型(以Qwen3-Coder-30B为例)
这里使用我部署时最新的vllm为例(v0.11.0,太旧可能不自带工具调用模板)
vllm serve /home/models/Qwen3-Coder-30B-A3B-Instruct --served-model-name Qwen3-Coder-30B-A3B-Instruct --host 0.0.0.0 --gpu-memory-utilization 0.85 --max-model-len 10000 --api-key tk-xxx --enable-auto-tool-choice --tool-call-parser qwen3_coder --tensor-parallel-size 4 --port 8000配置vs code
打开VS Code拓展,搜索continue将插件安装

打开continue模型添加界面,选择手动填写配置文件

按下方填写yaml文件
name: Local Config
version: 1.0.0
schema: v1
models:
- name: Qwen3-Code
provider: openai
model: Qwen3-Coder-30B-A3B-Instruct
apiBase: http://localhost:8000/v1
apiKey: tk-xxx
defaultCompletionOptions:
contextLength: 10000
temperature: 0.6
maxTokens: 1024
roles:
- chat
- edit
- autocomplete
- apply
capabilities:
- tool_use
完成后试试能否使用agent正常对话,如果不想试试chat模式是否正常,如果chat正常agent不能使用,检查工具调用参数;如果chat也无法使用,可能时模型或api本身有问题


没问题后可以试试能不能使用代码补全(tab)补全

评论区