本文旨在介绍基于transformers的decoder-only语言模型的推理框架。与开源推理框架不同的是：

• 本框架没有利用额外的开源推理仓库，仅基于huggingface，transformers，pytorch等原生工具进行推理，适合新手学习大模型推理流程。
• 支持batch推理
• 支持获得各种中间层状态，概率值，生成token等
• 支持选择题形式QA和free-form形式QA任务

代码仓库：github仓库地址

如果你觉得有用，请点一个star。欢迎任何形式的交流