wjintian086-star/jev-local-skill

> 把"判断 + 起草"两颗模型塞进手机输入法，飞行模式下也能用的完整施工手册。
## 这是什么
一份从真实踩坑记录里提炼出来的 SKILL 文档：在 Android 手机上用 Termux + llama.cpp，跑起「判断层 + 生成层」双模型，让输入法 App 在零云端、零外部 Key 的条件下完成：
读对方消息 → 判 8 类意图 + 0-9 风险 → 起草候选 → 你手动插入
全程 127.0.0.1，不联网也能出结果。
一句话定位：它不是让手机能跑大模型，而是让手机先读懂对方。
## 它和同类的区别
这个仓库有两根轴：用 jev 这类决策模型判断别人的意图，以及以输入法作为使用形态。这两点决定了它和绝大多数"手机 AI"项目不在一条赛道上。
| 同类做法 | 他们在解决什么 | 这个仓库在解决什么 |
| 手机跑 LLM 教程 | 终端里能吐字 | 输入法内直接用，不切窗口 |
| AI 键盘 / 写作助手 | 润色你自己打的字 | 判断对方发来的话 |
| 云端 Jev / TypeSafe 服务 | 要 Key、要联网 | 127.0.0.1，飞行模式可跑 |
| 模型量化 / 微调教程 | 模型本身 | 三个进程怎么接起来、怎么排障 |
具体差在三处：
判断层用的是决策模型，不是生成模型。 jev 这类模型不生成文字，只对 8 类意图和 0-9 风险输出概率，所以 591MB 就能跑、判断一句话三秒左右。生成交给另一个 4B 小模型，只在需要起草候选时才调用。
判断对象是对方发来的话。 不是帮你把已打的字改得更漂亮，而是在你还没想好怎么接的时候，先告诉你对方可能想干什么、这句话回过去有多危险。
形态是输入法，不是独立 App。 输入法在你打字的地方，能读剪贴板、能把结果插进输入框、也能始终不替你按发送。微信、钉钉、任何 App 都不用适配。
## 为什么值得看
大部分"手机跑大模型"的教程止步于 llama-cli 能吐字。真正能日常用的形态是输入法——它不受 App 适配限制，微信、QQ、钉钉都能用，而且天然由你决定发不发。
这个仓库记录的是把它真正跑通的全过程，包括那些看文档发现不了的坑：
决策模型跑不起来：llama.cpp 的 /v1/systemone 除了元数据，还要求 GGUF 自带 tokenizer.chattemplate.systemone。缺这个模板，补元数据必 Exit 1 —— 无解，只能加兼容层。
GGUF 补丁把权重搞错位：插入 46 字节后文件能加载，但张量起点差 14 字节，输出全错。正确做法是凑到 32 字节对齐的整数倍。
/health 会说谎：上游 /health 不校验 API Key，所以旧版兼容层能"假通过"。
Key 留空会被静默换掉：App 检测到空 Key 就直接走内置云端中转，你填的本地地址整个被丢弃。
配置页会自己改回默认值：下拉框首次自动回调把自定义地址覆盖成预设第一项。
## 内容
| 文件 | 说明 |
| SKILL.md | 主文档：9 步核心流程、硬规则、可复用脚本、成功/失败案例、检查清单 |
| 本文 | 项目介绍与使用入口 |
文档结构：技能速览 → 触发条件 → 核心流程（每步含目的/操作/判断标准/常见错误/依据）→ 规则与偏好 → 模板命令 → 示例 → 检查清单 → 待确认问题 → 原始依据摘录。
## 适用与不适用
适合
想在手机上做"离线消息意图识别 + 风险打分"的人
已有只认某种私有协议 / OpenAI 风格接口的客户端，想在本地造后端
想复刻或魔改输入法型 AI 项目（如 jev-simple）
正在被"服务起了但请求没反应"折磨的人 —— 直接看第 6 节排障阶梯
不适合
想要高质量长文生成（手机 4B 只能出短候选）
需要多轮对话记忆（这条链路是单条消息 → 单次判断）
想要自动回复（该形态明确设计为永不自动发送）
## 参考架构
┌─────────────────────────────────────────┐
│ 输入法 App（读剪贴板 / 写回输入框） │
└───────────┬───────────────┬─────────────┘
│ 判断协议 │ OpenAI 协议
▼ ▼
┌──────────────┐ ┌──────────────┐
│ 8081 兼容层 │ │ 8080 生成层 │
│ Python 翻译 │ │ llama-server │
└──────┬───────┘ │ Qwen3-4B │
│ /completion│ │
▼ └──────────────┘
┌──────────────┐
│ 8082 判断后端 │
│ llama-server │
│ jevos-v5 591M│
└──────────────┘
全部绑定 127.0.0.1，两个 llama-server 都带 --api-key。