mac studio下安装qwen3.8-27B模型

发布时间：2026/11/4 16:30:32
mac studio下安装qwen3.8-27B模型

背景

  1. 一个偶尔的机会，得到一台mac studio，基本配置是M5
    max(18核中央处理器+40核图形处理器)、64G内存、1T硬盘。因此希望能在其上面安装qwen3.8-27B的模型。
  2. mac启动后，系统及内置软件基本占用18G内存，因此可用的内存大概在40-44G左右
  3. qwen3.8的选择上，考虑如下：

考虑点主要有：

  • 内存占用大小。BF16未量化版本，内存占用大概55G；8bit量化版本内存占用29G左右；6bit量化版本内存占用22G左右。因此选择范围基本是8或6量化版本。
  • 精度考虑。在能用的情况下，尽量选择高一些的版本，本次选了8bit的版本
  • 部署方式。虽然有多种方式，但本次主要是用MLX方式

具体步骤

1、模型下载

从huggingface下载模型比较困难，因此，优先使用国内镜像下载。本次使用https://hf-mirror.com/镜像进行下载

1.1. 前期准备

在使用了几个工具后发现，还是镜像网站原装的下载工具靠谱。因此安装hfd进行下载。【注意】本人是使用window电脑下载模型，然后在mac上运行模型。因此模型下载和运行是分开两步骤的。

  • 安装Git。这个不详细阐述，网上教程很多。
  • 安装aria2，用于多线程加速下载。
    安装过程也很简单。Windows 10 和 11 已内置。使用powershell一条命令安装：
winget install-e--id aria2.aria2

1.2. 准备下载

  • 找到一个文件夹，右键Git Bash here。
  • 下载 hfd.sh 脚本
# 下载 hfd.sh 脚本curl-Ohttps://hf-mirror.com/hfd/hfd.sh# 赋予执行权限chmod+x hfd.sh
  • 配置国内镜像源
exportHF_ENDPOINT=https://hf-mirror.com
  • 开始下载模型
./hfd.sh[模型ID]--toolaria2c-x4

例如，本人下载的模型为：malekoo/Qwen3.8-27B-MLX-8bit，因此命令为：

./hfd.sh malekoo/Qwen3.8-27B-MLX-8bit--toolaria2c-x4

然后等待就行了

模型运行（mac studio端）

1、安装uv

curl-LsSfhttps://astral.sh/uv/install.sh|sh

2、安装python与虚拟环境
到指定的路径后，安装环境，并使用清华镜像安装mlx-lm

# 安装python 环境uv pythoninstall3.12# 创建一个虚拟环境uv venv--python3.12# 激活虚拟环境source.venv/bin/activate# 设置清华源，提高mlx-lm的下载速度uv pipinstall--index-url https://pypi.tuna.tsinghua.edu.cn/simple mlx-lm

3、加载模型
将window下载的模型，拷贝到文件夹中，然后输入以下命令，启动

uv run mlx_lm.server--model~/models/Qwen3.8-27B-8bit--host0.0.0.0--port8080--chat-template-args'{"enable_thinking": false}'

其中model后面的路径是模型数据的文件路径。
【注意】后面的--chat-template-args '{"enable_thinking": false}'是关闭模型的思考模式，个人觉得还得打开。

uv run mlx_lm.server--model~/models/Qwen3.8-27B-8bit--host0.0.0.0--port8080

4、其他人访问
其他人就可以访问了。

curlhttp://10.37.xx.xx:8080/v1/chat/completions\-H"Content-Type: application/json"\-d'{ "model": "User/zhenglin/models/Qwen3.8-27B-8bit", "messages": [{"role": "user", "content": "你好"}] }'

【注意】模型的名称是模型的实际路径地址。若是第三方程序访问，那endpoint就是http://10.37.xx.xx:8080/v1

总结

总的来说，mac studio（M5 max 64G 1T），部署Qwen3.8-27B-8bit，总的来说，一般般。能够进行普通的对话，但对于精细的调整，还得需要花很多的时间去做，性价比真是很低。

其他

aria2下载文件

# 单文件下载aria2c https://example.com/file.iso# 多线程下载（-x 指定线程数）aria2c-x4https://example.com/file.iso# 指定保存位置和文件名（-d 目录 -o 文件名）aria2c-dD:\downloads-omyfile.iso https://example.com/file.iso

-x 参数用于指定每个服务器的连接数，通常设为 4 到 8 即可明显提升下载速度

下载 BT 种子和磁力链

# 下载 BT 种子文件aria2c example.torrent# 下载磁力链接aria2c"magnet:xxxxxx"

aria2 本身就是一个完整的 BitTorrent 客户端，支持 DHT、PEX、加密、磁力链接等特性。

文本文件批量下载

这个功能在需要批量下载大量文件时非常实用：

# 创建 urls.txt，每行一个下载链接# 然后运行aria2c-iurls.txt

参考资料

1、window如何利用hfd下载huggingface模型

2、在 Windows 上安装 aria2

3、DeepSeek