SGLang框架运行本地部署的qwen3.5:9b模型

一、WSL2以管理员身份打开终端输入wsl进入Ubuntu输入以下命令1、回到根目录cd ~2、激活sglang-env虚拟环境source sglang-env/bin/activate3、发现虚拟环境嵌套了退出 conda base 环境conda deactivate二、安装SGLang1、设置国内镜像源pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple2、安装SGLangsglang [all] 包体积很大包含 cuda 依赖下载 编译会比较久耐心等待如果报错了就去问AI吧会帮你一步步解决的pip install sglang[all] -i https://pypi.tuna.tsinghua.edu.cn/simple3、验证安装出现下面的信息即代表完成python -m sglang.launch_server --help三、开始运行模型1、从魔搭社区下载模型文件*.safetensors或AWQ格式比较推荐2、运行下面的命令启动模型sglang serve --model-path /mnt/e/vllm/models/Qwen--Qwen3.5-9B/snapshots/master --host 0.0.0.0 --port 30000 --context-length 131072 --kv-cache-dtype fp8_e4m3 --mem-fraction-static 0.85 --trust-remote-code注/mnt/e/vllm/models/Qwen--Qwen3.5-9B/snapshots/master是模型文件所在的位置也就是E盘的vllm/models/Qwen--Qwen3.5-9B/snapshots/master拿到地址就可以调用模型了