# Underdog：全端侧 AI 助理，基于 Qwen3.8 27B

> Thiel Fellow 的端侧助理：Husky 引擎优化 GPU 到 CPU 搬运，免费无订阅，部分 benchmark 宣称对标 Opus 4.6（厂商口径）。本站同款底座实测对照。

![igil Wen（Thiel Fe](/assets/articles/news/underdog-ondevice-27b-qwen/hero.jpg)
> Sigil Wen（Thiel Fellow，17 岁进硅谷）10 月 5/6 日启动 Underdog 邀请制 beta：一个全端侧隐私 AI 助理，模型完全跑在你自己的 Mac/Windows 上，基于 Qwen3.8 27B 微调，自研推理引擎 Husky 主打 GPU↔CPU 数据搬运优化。免费、无广告、无订阅。

## 先说结论

- 模型完全跑在用户设备（Mac/Windows，Linux/iPhone/Android 随后）【单源：TechCrunch，能力宣称属厂商口径，未独立验证】
- 基于 Qwen3.8 27B 微调的 27B 推理模型（本站现役就是 Qwen3.8 27B）
- 自研推理引擎 Husky：GPU↔CPU 数据搬运优化
- 部分 benchmark 宣称对得上半年前的 Claude Opus 4.6（厂商口径）
- 密钥加密存账户凭据；免费、无广告、无订阅（端侧推理零推理成本）

## 一、环境硬件条件

端侧 27B 对硬件的要求（Husky 引擎优化了搬运，但物理瓶颈还在）：

| 组件 | 门槛 |
|---|---|
| 内存/统一内存 | 64GB+（27B Q4 ≈ 16GB 权重 + KV + 系统） |
| GPU | 16GB+ 显存或统一内存 GPU（Mac M 系列 32GB+ 档） |
| 本站 | i5-9600KF + R9700 32GB：Qwen3.8 27B 单流 30 t/s（本站实测，非 Underdog 引擎口径） |
| 系统 | macOS/Windows 首发，Linux/iPhone/Android 随后 |

## 二、实测数据

本站用同款底座（Qwen3.8 27B）的实测供参考：

| 指标 | 数据 | 来源 |
|---|---|---|
| 底座 | Qwen3.8 27B | 本站 |
| 单流速度 | 30 t/s（R9700 32GB） | 本站实测 |
| Underdog 引擎 | Husky（GPU↔CPU 搬运优化） | TechCrunch |
| 能力宣称 | 部分 benchmark 对标 Opus 4.6（半年前） | 厂商口径，未独立验证 |

## 三、踩坑指南

1. **厂商 benchmark 不当定论**：单源 + 厂商口径，等独立评测
2. **端侧 27B 的速度天花板**：物理瓶颈在内存带宽，Husky 优化的是搬运不是带宽，别期待 30 t/s 以上
3. **邀请制 beta = 名额有限**：等位期别基于"已上线"写依赖
4. **密钥加密 ≠ 绝对安全**：端侧存账户凭据是便利性妥协，敏感账户别授权

## 四、避坑指南

- **"免费无订阅"的代价**：端侧推理零成本 = 模型能力上限锁死在你硬件上，想升级要换硬件不是换订阅
- **Linux/手机要等**：首发只有 Mac/Windows，Linux 用户（含本站）要等后续
- **对比本站 27B**：同一底座，Underdog 的差异化在引擎优化 + 封装，裸模型能力相同

## 五、配置清单

| 档位 | 配置 | 适合 |
|---|---|---|
| Mac 用户 | M 系列 32GB+ 统一内存 | 端侧 27B 常驻 |
| 本站路线 | 9950X + X870E + R9700（Linux 版出来后） | 端侧 27B，速度上限 |
| 过渡 | 本站 27B + 云 API 混合 | 等 Linux/iOS 版 |

数据源：TechCrunch（10/6，单源，厂商口径已标注）+ 本站 Qwen3.8 27B 实测。


---
来源：https://laobanclaw.top/articles/underdog-ondevice-27b-qwen/（AI 军火库）