独立运营 · 不出售排名位置  · 我们怎么评估工具 →
Anclum 提交收录
J

jingyaogong/minimind

本站为独立目录,非该工具官网;下方信息取自其公开仓库。

🧠 两小时从 0 训出你的 64M 大模型。Train your own 64M LLM from scratch in 2 hours.

66,783 ★ 本站实测 · 核对 2026-11-19

装之前:命令归属未核实,仅作参考展示 · 许可证 Apache-2.0

第一步(仅参考,归属未核实):git clone --depth 1 https://github.com/jingyaogong/minimind

checked 2026-11-20 — 命令里的包名与条目不一致,未作为可复制命令展示。

★ 66,783·更新 2026-11-18
在 GitHub 查看 ↗直链 · 无中转页

装完之后怎么算装好了

  1. 装完该看到什么 — 命令正常结束时退出码为 0,终端里没有 "command not found" 或 "permission denied"。
  2. 一行自检 — 按该仓库 README 里给出的最小用法跑一次;能按 README 的描述输出就是通了。
  3. 答不出来怎么办 — 这个项目没有写排错说明,去仓库的 Issues 搜 install。

安装命令取自该仓库;以上判据只描述可观察到的结果,不替代项目自己的文档。

★ 数取值
66,783 ★ · jingyaogong/minimind · 取自 GitHub 搜索 API · (2026-11-19 20:00:48 核对)
来源明细
从该仓库的 GitHub 页面直接读取 · 条目类型:开源项目
收录与活跃
收录于 2026-11-18 · 最近见到 2026-11-20 · 共见到 2 次 · 被 1 个来源列出
安装
安装命令见上方「安装与配置」。
常见问题(答案都来自我们的记录)
它适合谁 / 用来做什么?
我们还没有为它记录标签。
谁维护它、还在更新吗?
仓库 jingyaogong/minimind;我们收录于 2026-11-18;最近见到 2026-11-20。这里没有"官方认证"或"质量评级"——我们只记录来源与时间。
README 原文(英文,未翻译) · 在 GitHub 读完整 README →

"大道至简"

以下摘录自该仓库的 README(片段)

中文 | English
此开源项目旨在完全从 0 开始,仅用 3 块钱成本与 2 小时训练时间,即可训练出规模约为 64M 的超小语言模型 MiniMind。
MiniMind 系列极其轻量,主线最小版本体积约为 GPT-3 的 $\frac{1}{2700}$,力求让普通个人 GPU 也能快速完成训练与复现。
项目同时开源了大模型的极简结构与完整训练链路,覆盖 MoE、数据清洗、预训练(Pretrain)、监督微调(SFT)、LoRA、RLHF(DPO)、RLAIF(PPO / GRPO / CISPO)、Tool Use、Agentic RL、自适应思考与模型蒸馏等全过程代码。
MiniMind 同时拓展了视觉模态模型 MiniMind-V、多模态 Omni 模型 MiniMind-O、扩散语言模型(MiniMind-dLM)、线性模型(MiniMind-Linear),详见 Discussion。
项目所有核心算法代码均从 0 使用 PyTorch 原生实现,不依赖第三方库提供的高层抽象接口。
这不仅是一个大语言模型全阶段开源复现项目,也是一套面向 LLM 入门与实践的教程。
希望此项目能为更多人提供一个可复现、可理解、可扩展的起点,一起感受创造的乐趣,并推动更广泛 AI 社区的进步。
> 注:本项目基于 Apache 2.0 协议开源,完全免费。“2 小时” 指 SFT 阶段在单张 NVIDIA 3090 上跑完 1 epoch 的实测耗时,“3 块钱” 指对应时段的 GPU 租用成本。
🔗 在线体验 | 🔗 视频介绍
# 📌 项目介绍
大语言模型(Large Language Model, LLM)的出现,引发了全球范围内对 AI 的空前关注。无论是 ChatGPT、DeepSeek 还是 Qwen,都以惊艳的效果让人真切感受到这场技术浪潮的冲击力。然而,动辄数百亿参数的模型规模,使得它们对个人设备而言不仅难以训练,甚至连部署都显得遥不可及。打开大模型的“黑盒子”,真正去理解其内部运作机制,本应是一件令人心潮澎湃的事。遗憾的是,绝大多数探索最终都止步于使用 LoRA 等技术对现有大模型做少量微调,学习一些新指令或特定任务。这更像是在教牛顿如何使用 21 世纪的智能手机——虽然有趣,却偏离了理解物理本质的初衷。
与此同时,第三方的大模型框架与工具库,如 transformers / trl / peft 等,往往只暴露出高度抽象的接口。只需短短十几行代码,就可以完成“加载模型 + 加载数据集 + 推理 + 强化学习”的全流程训练。这种高效封装固然便利,却也在一定程度上把开发者与底层实现隔离开来,削弱了深入理解 LLM 核心代码的机会。我认为 “用乐高自己拼出一架飞机,远比坐在头等舱里飞行更让人兴奋”,然而更现实的问题是,互联网上充斥着大量付费课程和营销内容,用漏洞百出、一知半解的讲解包装所谓的 AI 教程。正因如此,本项目的初衷就是尽可能降低 LLM 的学习门槛,让每个人都能从理解每一行代码开始,从 0 开始亲手训练一个极小的语言模型。是的,从零开始训练,而不是仅仅停留在推理层面。最低只需不到 3 块钱的服务器成本,就能亲身体验从 0 到 1 构建一个语言模型的全过程。
😊 一起感受创造的乐趣吧!
#### 🎉 本项目包含以下内容
提供完整的 MiniMind-LLM 结构代码(Dense + MoE),当前主线结构对齐 Qwen3 / Qwen3-MoE 生态。
提供 Tokenizer 与分词器训练代码,支持 、 、 等模板标记。
覆盖 Pretrain、SFT、LoRA、RLHF-DPO、RLAIF(PPO / GRPO / CISPO)、Tool Use、Agentic RL、自适应思考与模型蒸馏等完整训练流程。
提供全阶段开源数据,覆盖收集、蒸馏、清洗与去重后的高质量数据集。
关键训练算法与核心模块均从 0 实现,不依赖第三方框架封装。
兼容 transformers、trl、peft 等主流框架,以及 llama.cpp、vllm、ollama 等常用推理引擎与 Llama-Factory 等训练框架。
支持单机单卡与单机多卡(DDP、DeepSpeed)训练,支持 wandb / swanlab 可视化与动态启停训练。
支持在 C-Eval、C-MMLU、OpenBookQA 等第三方测评集上进行评测,并支持通过 YaRN 实现 RoPE 长文本外推。
提供兼容 OpenAI API 协议的极简服务端,便于接入 FastGPT、Open-WebUI 等第三方 Chat UI,并支持 reasoning_content、tool_calls、open_thinking。
提供基于 Streamlit 的极简聊天 WebUI,支持思考展示、工具选择与多轮 Tool Call。
包含实验性拓展:离散扩散语言模型(dLM)与线性注意力模型(Linear Attention),均可基于主线 AR 模型进行续训。
#### 🎉 已发布模型列表
| 模型 | 参数量 | Release |
| minimind-3 | 64M | 2026.04.01 |
| minimind-3-moe | 198M-A64M | 2026.04.01 |
| minimind2-small | 26M | 2025.04.26 |
| minimind2-moe | 145M | 2025.04.26 |
| minimind2 | 104M | 2025.04.26 |
| minimind-v1-small | 26M | 2024.08.28 |
| minimind-v1-moe | 4×26M | 2024.09.17 |
| minimind-v1 | 108M | 2024.09.01 |
#### 📝 更新日志
🔥 2026-04-01
发布 minimind-3 / minimind-3-moe:结构、Tokenizer、训练链路、推理接口与默认配置全面更新
结构主线对齐 Qwen3 / Qwen3-MoE 生态:Dense 约 64M,MoE 约 198M-A64M,并移除了 shared expert 设计
默认训练数据切换为 pretrain_t2t(_mini).jsonl、sft_t2t(_mini).jsonl、rlaif.jsonl、agent_rl.jsonl 与 agent_rl_math.jsonl
移除独立 train_reason.py;思考能力统一由 chat_template + 与 open_thinking 自适应开关控制
toolcall 能力已混入 sft_t2t / sft_t2t_mini 主线数据,默认 full_sft 即具备基础 Tool Call 能力;同时新增 scripts/chat_api.py 等推理示例
新增原生 Agentic RL 训练脚本 train_agent.py,支持多轮 Tool-Use 场景下的 GRPO / CISPO
RLAIF / Agentic RL 训练流程完成 rollout engine 解耦,支持更灵活地切换生成后端
serve_openai_api.py 与 web_demo.py 新增 reasoning_content / tool_calls / open_thinking 支持
Tokenizer 基于 BPE + ByteLevel 更新,并新增工具调用与思考标记,预留 buffer token 便于后续扩展
收录徽章(可选)
想把收录标记放进 README 就复制这行,可选,不影响收录。
[![Listed on Anclum](https://anclum.com/badge/listed.svg)](https://anclum.com/zh/s/jingyaogong-minimind/)
来源
github · https://github.com/jingyaogong/minimind
Traction
66,783 ★
收录于
今天

更多条目

← 返回索引