侧边栏壁纸
博主头像
星宇云社区 博主等级

行动起来,活在当下

  • 累计撰写 36 篇文章
  • 累计创建 15 个标签
  • 累计收到 19 条评论

目 录CONTENT

文章目录

使用continue+vllm给VS Code补全

kkdshire
2025-10-31 / 0 评论 / 0 点赞 / 10 阅读 / 0 字
温馨提示:
部分素材来自网络,若不小心影响到您的利益,请联系我们删除。

今天看到别人的vscode有代码补全,也想整一个,但发现continue用本地vllm的有点麻烦,就出一个小教程。

使用vllm部署模型(以Qwen3-Coder-30B为例)

这里使用我部署时最新的vllm为例(v0.11.0,太旧可能不自带工具调用模板)

vllm serve /home/models/Qwen3-Coder-30B-A3B-Instruct --served-model-name Qwen3-Coder-30B-A3B-Instruct  --host 0.0.0.0 --gpu-memory-utilization 0.85 --max-model-len 10000 --api-key tk-xxx --enable-auto-tool-choice --tool-call-parser qwen3_coder --tensor-parallel-size 4 --port 8000

配置vs code

打开VS Code拓展,搜索continue将插件安装

打开continue模型添加界面,选择手动填写配置文件

按下方填写yaml文件

name: Local Config
version: 1.0.0
schema: v1
models:
  - name: Qwen3-Code
    provider: openai
    model: Qwen3-Coder-30B-A3B-Instruct
    apiBase: http://localhost:8000/v1
    apiKey: tk-xxx
    defaultCompletionOptions:
      contextLength: 10000
      temperature: 0.6
      maxTokens: 1024
    roles:
      - chat
      - edit
      - autocomplete
      - apply
    capabilities:
      - tool_use

完成后试试能否使用agent正常对话,如果不想试试chat模式是否正常,如果chat正常agent不能使用,检查工具调用参数;如果chat也无法使用,可能时模型或api本身有问题

没问题后可以试试能不能使用代码补全(tab)补全

0

评论区