哈喽，我是子牙老师。前面花了五年时间通关了计算机：手写操作系统、手写CPU虚拟机、手写Linux系统、手写GDB调试器、手写编程语言…，后面准备通关AI，研发出所有大家想学却没人教或者学不到的AI领域课程。如果你感兴趣，可以关注我的公众号【硬核子牙】

今天给大家带来的是我花了两个月时间，每天工作10h+，共600h+，研发的，AI领域的第一个课程《手写Chatgpt+自研推理平台》。BTW，大模型底层真的太有魅力了！太好玩了！AI时代掌握AI底层，想想都让人兴奋！

知道看到这里，你脑海中浮现出了N个问题：

1. 你写的Chatgpt是一个玩具，还是一个可以训练可以使用的真正的大模型？

2. 市面上有那么多大模型可以用，我为什么要自己写一个呢?

3. 学完对我找工作、升职和涨薪有帮助吗？

4. 学完我能从事AI领域的工作吗？

5. 我没有AI、数学基础、GPU，可以学吗？

6. 你这个是调用pytorch的API实现的，还是从零写的？

7. 学完我能对大模型底层了如指掌吗？

8. 学完我能独立搭建、训练一个属于自己的GPT吗？

9. 会讲透这些吗：tokenizer、embedding、attention、Add&Norm、Feed Forward、
   transformer、transformer block、前向传播、反向传播、求导、梯度下降、激活函数

10. 会讲如何训练大模型、保存大模型、加载大模型、构造大模型吗？

11. ……

接下来听我娓娓道来。我踏踏实实足足花了两个月时间研究大模型底层，写出了自己的大模型，自研了训练平台，训练自己写的大模型、保存大模型、构建大模型……我接下来讲的，是我对AI世界及AI底层的认知，你如果不忙，推荐你看看，包你能学到很多新知识

以下，enjoy

为什么要掌握大模型底层

不废话，直接给答案，我觉得是这样的

一、AI时代，从事任何工作，都要思考它的门槛，它会不会被AI替代或取代

可能绝大多数工作都有可能被颠覆，那让我们自信的踏实的是什么呢？是我们自身的实力！AI时代，掌握大模型底层，何惧被裁员？何愁找不到工作？

AI时代掌握AI底层，跟计算机时代掌握操作系统，完全不一样。计算机时代，写出操作系统，更多的是修内功，与升职加薪距离较远。但是AI时代掌握AI底层，这是一个门槛，你没有掌握AI底层，很多高薪工作你是做不了的，比如：FDE、AI infra（这两个岗位，是AI时代诞生的高薪岗位，很缺人！）。而调用大模型API实现业务的工作，随着大模型的发展，大概率会被取代掉

之前跟着我学习，通关了计算机的，很多小伙伴在从事AI infra岗位，薪资都是double的给！

二、就我个人而言，我一直想做一家伟大的教育公司，实力需要！研究底层，又刚好符合我的兴趣爱好！

我有时候真感叹我自己的命运，好不容易花了五年时间通关了计算机，做了几乎整个计算机系的课程，时代变了！从计算机时代进入AI时代了…

现在也还行，处于AI时代早期，先拿下大模型底层，再CUDA编程+PTX+SASS、pytorch底层原理、vLLm、SGLang…自下而上，研发出AI领域的所有课程！

不要怀疑我能不能做到，我一定可以做到！以前我说我要通关计算机，很多人说我吹牛、说我做不到……五年时间，我不是照样做到了吗？心中有梦想，所有的坎，都能迈过去！

我想做一家什么样的教育公司呢？做大家想学又没人教的课程、想学没地方学的课程、想学却学不起的课程…计算机时代的课程我已经做完了，我做的这些课程，过去你想学，你得进名牌大学，或者出国，才能学到的。过去跟我学习计算机底层的学员，有4000+，他们中的很多人目前在做AI底层工作，这就是做教育的意义！AI时代的课程，我会陆续全部研发出来！

目前我了解到的，AI底层的课程，价格都是好几万，而且还有报名门槛，而且几乎都是纯原理教学，面向精英…为什么教育有门槛？凭什么我们普通人不能吃AI时代的红利？

我写的Chatgpt VS 美国的Chatgpt

接下来跟大家聊聊，我写的Chatgpt，与美国的那个Chatgpt，有什么相同点，又有什么区别。认真看，上面提到的绝大多数问题，答案都在这一PA

首先你要知道，一个好的大模型，由五部分组成，如图

我现在写的Chatgpt，更准确的说，是大模型底座。跟美国的Chatgpt一样的是，都是transformer架构，如图

包含tokenizer、embedding、position embedding、qkv attention、mask attention、multi head attention、Add&Norm、Feed Forward、LM head、softmax。这些组合在一起，就是一个transformer block，下面贴的，是我的代码分支，前前后后写了五个版本

如果我喂给我写的大模型海量的好的数据，我有钱买万卡去训练它，再去做推理优化…我写的这个大模型，也可以很强大！

如果我说的你不信，我给你看看Chatgpt是怎么说的

其实大模型基座，我们普通人还是能写出来的，但是能把这个大模型训练的强大，需要非常非常多的钱+非常非常多的人+非常非常长的耐心优化，一般人是没有条件做到的

那我写的Chatgpt与美国的Chatgpt，底座层面的区别呢？我写的Chatgpt，我只堆叠了两层transformer block，因为我测试的数据集没那么庞大，够用了，毕竟我是作为教学版的。而美国的Chatgpt，堆叠了好几十层的transformer block。transformer block层级越多，大模型表达能力越强，但是不可能无限大，因为层级越多，训练越耗时（其实本质是，做了个平衡，几十层的transformer block，已经足以描述物理世界，就没必要增加更多层级，增加无意义的开销）

现在可以回答一下前面的几个问题了

第一，我写的Chatgpt不是一个玩具，它是一个包含两层transformer block的大模型，是可以训练可以使用的真正的大模型。你跟我学习，我能让你看到，一个大模型是如何一步步写出来的，里面的每个知识点，我都会非常细致的讲解，说人话+代码演示，让你真正听懂：前向传播、反向传播、求导、梯度下降、激活函数、tokenizer、embedding、attention、transformer…

第二，你跟着我学习，看我实战写出大模型，你才能真正理解大模型底层的很多理论，有了这个基础，你再看任何文章或视频，秒懂。而且，你有了这个功底，AI时代诞生的新岗位，只要你想干，补一点干活的能力，都可以去干！（我还会不断研发出新的AI课程，让大家也能吃上AI时代的红利）

第三，我自己写的这个大模型，没有使用pytorch，全部是基于Numpy手写出来的，包括前向传播公式、反向传播公式、各种求导公式……（给大家的代码，注释我都写得非常详细！）

从y=wx，到y=wx+b，到y=w1x1+w2x2+b，到多输入多输出，到softmax、到激活函数、到transformer……做大模型底层课程，这样亲自写的，还有谁？（可能大家出发点就不同，我本来就喜欢钻研底层，自己玩明白了，顺便做成课程。因为是自己钻研，所以肯定是研究的非常透彻，而机构做课程，就是为了赚钱，所以能讲出来，可能就不会再去钻研了，所以他们讲的，不会像我讲的那么形象！那么用心！）

总之，你跟着我学习AI，我包你把大模型底层吃透！在AI时代，如鱼得水！如果你能把我课程里讲到的内容吃透，包你能写出一个自己的大模型，可以训练！可以正常使用！让你兴奋的感觉到：我握住了AI时代的脉搏！我现在就有这样的感觉，我非常自信的感觉，掌握了大模型底层，在AI时代，一定大有可为！

对了，没有AI基础，没有数学基础，没有关系，我的这套课程，都会从零教。没有GPU呢，也没关系，我们现在是学习，用CPU或者低配置的GPU，就可以了。那些对GPU有要求的，是商用版，更大更强的GPU，才有更强的算力，才能更快的训练出更强的大模型，赢得市场，这个与我们无关

我能想到的问题我应该都讲到了，如果你心中的疑问我没有讲到的，你可以问班主任微信【jvm-anan】，或者文章下方留言给我

接下来就给大家详细讲讲这套全网唯一的大模型底层课程吧！

为什么我会做出这样的课程，因为我自己亲身实践，只有这样教学，大家才能真正吃透大模型底层，真正学会大模型底层。我做教育的目标就是：让信任我的学员，真正的学会真正的吃透！而不只是学点皮毛！光啃原理是吃不透大模型底层的！

课程介绍

接下来给大家详细介绍下我花了两个月时间做的AI新课程《手写Chatgpt+自研推理平台》

共13个专题，循序渐进，从零带你吃透AI相关技术如：前向传播、反向传播、误差、loss、求导、梯度下降，到预测token、embedding、attention、residual、norm、feed Forward，到拼出transformer block，到手写一个完整的Chatgpt，到如何训练、保存、加载大模型。预计课时30h+

每个专题的内容比较多，全部贴的话文章太长了，我就贴几个，班主任那里有完整的大纲，如果你感兴趣，可以加班主任微信【jvm-anan】

给大家看看我写的代码

大模型的第一个环节是tokenizer，来看看我写的字符级的tokenizer

以及大家最头疼的多头注意力机制

最终拼出的transformer block

最后实现堆叠了两层transformer block的Chatgpt

所有代码，都是一点一点推理出来的，没有用pytorch的任何API，纯手工打造（我封装的时候，参考的是pytorch风格），所以我才能自信的做这个课程，因为每个环节，每个细节，我都写出来了，遇到的问题，我都深入研究了

我做的课程，如果你感兴趣，可以放心报名，包你能学到硬核干货！预计7.27开始更新视频，招生时间安排如下

所有课程产品如下

创业五年，品质保证！咨询课程，联系美丽的班主任安安

如果你想更多了解我，欢迎去我个人简介，获取我之前的文章及我的奋斗历程。白手起家程序员的职场心得，应该会对你有很大启发。