配资正规炒股理财 100美元、8000行代码手搓ChatGPT，Karpathy最新开源项目爆火

机器之心报道配资正规炒股理财

机器之心编辑部

「这是我写过最疯狂的代码之一。」

本周一，AI 领域大神 Andrej Karpathy 发布了自己的最新开源项目，瞬间引来了整个社区的关注。

这个名为 nanochat 的项目据说可以教你从零开始，以 100 美元的成本自建 ChatGPT。它覆盖 LLM 的训练和推理，只要跟着学就可以了解构建大模型的所有步骤了。

总共是 8000 行代码，在 GitHub 上放出不到 12 个小时，star 量就已经超过 4500：

GitHub 链接：https://github.com/karpathy/nanochat

与 Karpathy 之前发布的 nanoGPT 仓库（只覆盖了预训练阶段）不同，nanochat 是一个从零开始实现的、极简但完整的 ChatGPT 克隆版训练 / 推理全流程项目，所有内容都集中在一个依赖极少、结构干净的代码库中

你只需要启动一台云 GPU 机器，运行一个脚本，大约 4 小时后就可以在 ChatGPT 风格的 Web 界面里和你自己的 LLM 聊天。

仓库大约8,000 行代码，但已经实现了以下全部功能：

使用全新的 Rust 实现训练分词器。在 FineWeb 数据集上预训练 Transformer LLM，并在多个指标上评估 CORE 分数。Mid-train 阶段训练 SmolTalk 的用户 - 助手对话、多选问答、工具使用等数据。SFT 微调，并评估模型在世界知识类多选题（ARC-E/C、MMLU）、数学（GSM8K）、代码（HumanEval）上的表现。可选：使用 GRPO 在 GSM8K 上进行 RL 强化训练。高效推理引擎，支持 KV Cache、prefill/decode 推理、工具调用（轻量沙箱中的 Python 解释器），可通过 CLI 或 ChatGPT 风格 WebUI 交互。自动生成 Markdown 评分报告卡，总结与游戏化展示整个训练过程。

Karpathy 表示，只花约 100 美元成本（8×H100 上 4 小时训练），你就能训练一个「能聊的」迷你 ChatGPT，可以写故事 / 诗歌、回答简单问题。大约 12 小时训练即可超过 GPT-2 的 CORE 指标。

如果进一步扩展到 1000 美元预算（训练 41.6 小时），模型连贯性会快速提升，能解决基础数学 / 代码任务，并通过一些多选测试。例如，一个 30 层深度、训练 24 小时的模型（相当于 GPT-3 Small 125M 的 FLOPs，约为 GPT-3 的 1/1000 规模）即可在 MMLU 拿到 40+ 分、ARC-Easy 70+ 分、GSM8K 20+ 分等。

Karpathy 的目标是把一整套「强势基线」能力完整地打包进一个结构统一、可读性强、易于 hack、方便 fork 的仓库中。nanochat 将会是 LLM101n 课程的压轴项目（课程仍在开发中）。

Karpathy 认为 nanochat 也有潜力像 nanoGPT 一样，逐渐成长为一个研究平台或标准基准。它现在还远未算完美，也没有特别调优或性能优化（他认为很接近了）。不过，整体框架已经成型，因而适合放到 GitHub 上，让社区协同迭代改进每个模块。