总结一下最近这几天自己对于 AI 大模型相关应用的一些体会。

我最近这段时间主力的大模型使用的就是我自己本地的千问 3.6-35B-A3B。但是关于这个模型，我尝试过很多不同的配置，之前在我的前面笔记中也有记录。同时我还尝试过不同的量化版本，来看相应的推理能力以及速度是否有比较大的变化。我关注的其实更多的是推理的速度，因为我觉得推理能力如果是有一点点损失，我可以通过输入的控制来让它变得更好。这也是我们跟 AI 大模型这样的工具进行组合配合的一种合作方式。毕竟在目前的这种阶段，我感觉它还是不能 100% 代替我们，让我们集体下岗。

今天有一个值得一说的模型，就是 Claude 蒸馏版的 A3B 模型。这个模型在网络上的热度还是比较高的，有很多数码博主都推荐使用这个模型，说是这个模型在编码能力方面相比原来的版本有很大的提升。我部署了这个模型之后，就是拿来进行了编码相关的工作。可能测试的场景不是特别好，也有可能是给他的这个任务偏复杂。我测试过原版模型、Claude 蒸馏版，还有 DeepSeek V4 Flash。使用同样的输入、同样的提示语，比较令我意外的是原版的 A3B 模型量化版本最终完成了工作，而且是用时最短的。Claude 版本经过了一晚上都没有把工作完成。DeepSeek V4 Flash，经过了数个小时的思考以及推理，并没有产生什么实质有效的代码，最终也被我直接中断放弃了。

后来想了想，可能是我给他们的代码量比较大，而让他们修改的内容点涉及到的代码文件以及交叉引用特别多，因此他们容易在一个比较大的代码工程之中，不断的打转，最终消耗了大量的算力，但是没有分析明白。最初我以为这样的推理分析可能是他们比较擅长的，他们可以快速的找到索引点，并且能够进行代码的修改完善。经过这样的简单尝试，看起来，AI 大模型在处理这方面问题，有可能还是欠缺一定的经验感。因为这一份工作如果是让我自己来做的话，我可能是几十分钟就能够做完。

后来我尝试了另外一种方案，我把我自己要做的这种设计，用我们通俗的语言写了一个流程框架。所谓的流程框架是代码的接口以及实现的要求，需要使用的接口以及接口相关的限制等等，都给他做了说明。部分关键的数据结构也给他们做了讲解，而其他的部分用不着的，直接跟他说不需要考虑。之后我把这一个框架直接发给了免费的网页版本 DeepSeek，让它来给我完成代码实现。令我比较意外的是，DeepSeek 只花了 3 分钟左右，就把这部分分析以及代码编写全都完成了，然后发给了我。最后做集成的时候，只是花了 2 分钟做了一些小改动，就完成了这份工作。

现在有很多所谓的 Agent，网络上也有铺天盖地的一些说明，说这种工具多么好用，能够完成工作流的闭环等等。在某种角度上来说，他们的确确实是非常好用，毕竟你给的需求非常模糊的时候，他们也可以去不断的尝试探索，最终给出解决方案。但是经过前面的这一个翻车体验，我感觉就目前的状态来说，即使是我们使用 Agent 可能也得给出一个比较明确合理的要求，甚至说是规划，让大模型来把这些工作完成，这样可能是又快又好的一个方案。在这个过程之中，我们人类还是要承担架构师的这么一个角色。而大模型作为一个 coding 能力比较强的工程师，跟我们做配合，这样是一个很好的搭档模式。

关于我自己的本地大模型，目前调教的还是不太行。目前我还是比较多的时间拿来调教它的性能，功能方面还没有做过多的尝试。像现在我的模型视图功能还没有调教，而这个模型应该是原生支持这样的功能的。后面，这可能是我接下来需要尝试去填补的一个功能块。还有一点就是，这种本地的大模型应该是可以具备联网搜索的一些能力扩展的。不然凭借它本身的一些记忆，可能在分析解决问题的时候，由于自己的记忆比较陈旧，达不到一个非常好的效果。后续要么是通过联网搜索的功能，要么是通过本地数据库、知识库的形式增强这一部分功能。这也是未来探索的一个重要的主题。