Macmini M4 原生部署教程：Miloco + 本地 7B 视觉模型 + 云端语言模型

之前看到miloco一直被8G显存和30系列显卡劝退，也一直担心云端的隐私安全问题，但是现在有了macmini后这些问题就迎刃而解啦：

如题，介绍一下大致流程：

目标：

• Miloco 后端和 Web 页面运行在本机 https://127.0.0.1:8000


• 本地视觉模型使用 Xiaomi MiMo-VL-Miloco-7B GGUF，通过 llama-server 提供 OpenAI 兼容接口


• 规划/对话语言模型走云端 OpenAI 兼容接口


• 米家摄像头、本地视觉理解、米家通知、米家设备控制可联动

以丐版为例（主要我的就是丐版 ^-^）

建议配置：

• macOS，Apple Silicon


• Python 3.12


• Homebrew


• 16 GB 以上可用磁盘空间


• 和米家摄像头处于同一个局域网

1. 安装基础依赖

brew install [email protected] git git-lfs expat llama.cpp jq sqlite

如果没有安装 Homebrew，先安装：

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

确认版本：

python3 --version

llama-server --version

2. 获取 Miloco 源码

cd ~/Documents

git clone https://github.com/XiaoMi/xiaomi-miloco.git

cd xiaomi-miloco

进入项目目录：

cd ~/Documents/xiaomi-miloco

3. 创建 Python 虚拟环境并安装后端

python3.12 -m venv .venv

source .venv/bin/activate

python -m pip install -U pip setuptools wheel

pip install -e miot_kit

pip install -e miloco_server

macOS 上如果遇到 expat 动态库加载问题，启动后端时需要设置：

export DYLD_LIBRARY_PATH="/opt/homebrew/opt/expat/lib:${DYLD_LIBRARY_PATH:-}"

4. 下载本地 7B 视觉模型

安装 Hugging Face CLI：

source .venv/bin/activate

pip install -U huggingface_hub

下载 Xiaomi MiMo-VL-Miloco-7B GGUF：

huggingface-cli download xiaomi-open-source/Xiaomi-MiMo-VL-Miloco-7B-GGUF \

  MiMo-VL-Miloco-7B_Q4_0.gguf \

  mmproj-MiMo-VL-Miloco-7B_BF16.gguf

5. 创建启动脚本

项目根目录创建后端启动脚本 start-miloco.sh：

#!/usr/bin/env bash

set -euo pipefail

cd "$(dirname "$0")"

export DYLD_LIBRARY_PATH="/opt/homebrew/opt/expat/lib:${DYLD_LIBRARY_PATH:-}"

export MILOCO_SERVER_STORAGE_DIR="${MILOCO_SERVER_STORAGE_DIR:-$PWD/.temp}"

exec .venv/bin/python scripts/start_server.py

创建视觉模型启动脚本 start-miloco-vision.sh：

#!/usr/bin/env bash

set -euo pipefail



MODEL_FILE="${MILOCO_VISION_MODEL_FILE:-MiMo-VL-Miloco-7B_Q4_0.gguf}"

MMPROJ_FILE="${MILOCO_VISION_MMPROJ_FILE:-mmproj-MiMo-VL-Miloco-7B_BF16.gguf}"

HF_CACHE_ROOT="${HF_HOME:-$HOME/.cache/huggingface}/hub/models--xiaomi-open-source--Xiaomi-MiMo-VL-Miloco-7B-GGUF/snapshots"



if [[ -n "${MILOCO_VISION_MODEL_DIR:-}" ]]; then

  MODEL_DIR="$MILOCO_VISION_MODEL_DIR"

else

  MODEL_PATH="$(find "$HF_CACHE_ROOT" -maxdepth 2 -name "$MODEL_FILE" -print -quit 2>/dev/null || true)"

  if [[ -z "$MODEL_PATH" ]]; then

    echo "Cannot find $MODEL_FILE under $HF_CACHE_ROOT"

    echo "Set MILOCO_VISION_MODEL_DIR to the directory containing the GGUF files."

    exit 1

  fi

  MODEL_DIR="$(dirname "$MODEL_PATH")"

fi



if [[ ! -f "$MODEL_DIR/$MODEL_FILE" || ! -f "$MODEL_DIR/$MMPROJ_FILE" ]]; then

  echo "Missing model files in $MODEL_DIR"

  echo "Expected: $MODEL_FILE and $MMPROJ_FILE"

  exit 1

fi



exec llama-server \

  -m "${MODEL_DIR}/${MODEL_FILE}" \

  --mmproj "${MODEL_DIR}/${MMPROJ_FILE}" \

  --host 127.0.0.1 \

  --port 8081 \

  -c 8192 \

  -ngl 99 \

  -np 1 \

  --alias miloco-7b \

  --no-ui \

  --media-path /private/tmp \

  --cache-ram 0 \

  --reasoning off \

  --reasoning-budget 0 \

  --reasoning-format none

赋予执行权限：

chmod +x start-miloco.sh start-miloco-vision.sh

关键参数说明：

• -c 8192：上下文长度。低于这个值容易出现 exceeds the available context size。


• --alias miloco-7b：Miloco 里配置的模型名。


• --reasoning off：减少模型输出 <think> 的概率。


• -ngl 99：尽量使用 Apple GPU / Metal 加速。

6. 启动本地视觉模型

新开一个终端：

cd ~/Documents/xiaomi-miloco

./start-miloco-vision.sh

验证模型服务：

curl http://127.0.0.1:8081/v1/models

能看到模型列表即可。

7. 启动 Miloco 后端

再开一个终端：

cd ~/Documents/xiaomi-miloco

./start-miloco.sh

访问：

https://127.0.0.1:8000

浏览器会提示本地 HTTPS 证书不受信任，继续访问即可。

8. 配置模型

进入 Miloco 页面后，先登录并授权米家账号，然后进入模型配置。

视觉理解模型

新增或编辑视觉模型：

用途：随便填

Base URL：http://127.0.0.1:8081/v1

Model：miloco-7b

API Key：可以填任意非空值，例如 local

保存后设为当前视觉模型。

规划/对话语言模型

新增或编辑云端语言模型：

用途：规划/对话

Base URL：你的 OpenAI 兼容接口地址，例如 https://example.com/v1

Model：你的云端模型名

API Key：你的服务商密钥

保存后设为当前规划模型。

如果云端服务返回 Your request was blocked，一般不是本地视觉模型问题，而是云端代理拦截了请求。需要换可用的 OpenAI 兼容服务，或调整代理侧策略。

至此配置完成，愿诸君都能和我一样愉快玩耍 ^-^

纯手打，为什么被识别ai啊^-^