Lora 微调的优势

Lora（Low-Rank Adaptation）是一种高效的大模型微调技术，通过低秩矩阵分解减少可训练参数数量。相比全参数微调，Lora 能大幅降低计算资源和显存需求，同时保持模型性能接近全量微调水平。

• Lora 的核心原理
  Lora 在原始预训练模型的权重矩阵旁添加低秩分解的适配器。假设原始权重为 W∈R^{d×k}，Lora 将其分解为 ΔW=BA，其中 B∈R^{{d×r}，A∈R}{r×k}，秩 r≪min(d,k)。前向传播时输出变为 Wx + BAx。

• 典型应用场景
  自然语言处理任务中，Lora 特别适合适配大语言模型（如 GPT、LLaMA）。在仅训练 0.1%-1% 参数的情况下，可在文本生成、分类等任务达到 90% 以上全量微调效果。计算机视觉领域也有成功应用案例。

一句话lora

对于一个庞大的模型,微调的时候lora只针对部分参数进行更改, 其他参数全部冻结,所以极大加速了训练过程,还能达到数据训练后的效果。

微调实战场景

以魔塔社区的一个模型为例 deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

前置工作

• 安装依赖
  requirements.txt

torch
transformers
datasets
peft
bitsandbytes
jupyter

pip install modelscope
modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
pip install -r .\requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple -i https://mirrors.aliyun.com/pypi/simple -i https://pypi.doubanio.com/simple

1. 下载模型,加载模型

pip install modelscope

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B')

我这里下载到了我的windows电脑中 ,其实最好是用 魔塔社区的 notebook ,但是我一直无法拉起

2. train.py

#%%
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B')
#%%
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name="/mnt/data/.cache/modelscope/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to("cuda")
print("模型加载成功!")
#%%
import json
samples= [
  {
    "prompt": "请解释什么是机器学习？",
    "completion": "机器学习是人工智能的一个分支，它使计算机系统能够从数据中学习并改进，而不需要显式编程。它通过构建数学模型，让系统从经验中自动学习。主要类型包括监督学习、无监督学习和强化学习。"
  },
  {
    "prompt": "写一首关于春天的五言绝句。",
    "completion": "春风拂柳绿，\n细雨润花红。\n燕语呢喃处，\n人间万物荣。"
  },
  {
    "prompt": "如何制作一杯拿铁咖啡？",
    "completion": "制作拿铁咖啡的步骤：1. 准备一份浓缩咖啡（约30ml）；2. 将牛奶加热至65-70°C，打出细腻的奶泡；3. 将热牛奶倒入浓缩咖啡中，比例约为3:1；4. 最后在表面淋上一层薄奶泡。可根据喜好加入糖浆调味。"
  },
  {
    "prompt": "Python中如何读取CSV文件？",
    "completion": "Python中读取CSV文件有多种方法：\n\n1. 使用csv模块：\n```python\nimport csv\nwith open('file.csv', 'r') as f:\n    reader = csv.reader(f)\n    for row in reader:\n        print(row)\n```\n\n2. 使用pandas库：\n```python\nimport pandas as pd\ndf = pd.read_csv('file.csv')\nprint(df.head())\n```"
  },
  {
    "prompt": "请推荐三部经典科幻电影。",
    "completion": "以下是三部经典科幻电影推荐：\n\n1. 《2001太空漫游》(1968) - 斯坦利·库布里克执导，探讨人类进化与人工智能的哲学巨作。\n\n2. 《银翼杀手》(1982) - 雷德利·斯科特作品，深刻探讨人性与仿生人伦理问题。\n\n3. 《黑客帝国》(1999) - 沃卓斯基兄弟执导，开创性的虚拟现实概念与动作美学。"
  },
  {
    "prompt": "解释光合作用的过程。",
    "completion": "光合作用是植物、藻类利用光能将二氧化碳和水转化为有机物并释放氧气的过程。主要分为两个阶段：\n\n1. 光反应阶段：在叶绿体类囊体膜上进行，光能被叶绿素吸收，分解水产生氧气，同时生成ATP和NADPH。\n\n2. 暗反应阶段（卡尔文循环）：在叶绿体基质中进行，利用光反应产生的ATP和NADPH，将CO₂固定并还原成有机物（如葡萄糖）。"
  },
  {
    "prompt": "如何提高英语口语水平？",
    "completion": "提高英语口语的有效方法：\n\n1. 每日练习：每天至少15-30分钟开口说英语\n2. 模仿跟读：通过看美剧、电影模仿native speaker的发音和语调\n3. 找语伴：使用HelloTalk、Tandem等App找语言交换伙伴\n4. 录音自评：录下自己的发音，对比标准发音改进\n5. 思维训练：尝试用英语思考日常事务\n6. 主题练习：围绕特定话题进行口语表达练习"
  },
  {
    "prompt": "什么是区块链技术？",
    "completion": "区块链是一种分布式账本技术，具有以下核心特点：\n\n1. 去中心化：数据存储在网络中的所有节点上，无中心服务器\n2. 不可篡改：一旦数据被记录，就无法修改或删除\n3. 透明可追溯：所有交易记录公开可查\n4. 共识机制：通过算法确保所有节点数据一致\n\n典型应用包括加密货币、供应链管理、智能合约等。"
  },
  {
    "prompt": "写一段关于友谊的简短文字。",
    "completion": "友谊是人生旅途中最温暖的风景。它不需要华丽的辞藻，只需在低谷时伸出的双手，在迷茫时给予的鼓励。真正的朋友，即使相隔万里，心却始终相连。他们理解你的沉默，分享你的喜悦，在时光流转中，成为生命里不可或缺的陪伴。"
  },
  {
    "prompt": "如何计算圆的面积？",
    "completion": "圆的面积计算公式为：A = πr²\n\n其中：\n- A 表示面积\n- π（圆周率）≈ 3.14159\n- r 表示圆的半径\n\n示例：如果一个圆的半径为5厘米，则面积为：\nA = 3.14 × 5² = 3.14 × 25 = 78.5平方厘米"
  },
  {
    "prompt": "什么是深度学习？",
    "completion": "深度学习是机器学习的一个子集，基于人工神经网络，特别是包含多个隐藏层的深层神经网络。它通过分层特征提取，能够自动学习数据的层次化表示。深度学习在计算机视觉、自然语言处理、语音识别等领域取得了突破性进展。代表性架构包括卷积神经网络（CNN）、循环神经网络（RNN）、Transformer等。"
  },
  {
    "prompt": "建议三个适合初学者的编程项目。",
    "completion": "三个适合初学者的编程项目：\n\n1. 计算器应用：实现基础的四则运算，可逐步增加科学计算功能，练习GUI开发。\n\n2. 待办事项管理工具：创建任务列表，支持添加、删除、标记完成，学习CRUD操作和本地存储。\n\n3. 天气查询应用：使用公开API获取天气数据，展示温度和天气状况，练习API调用和JSON解析。"
  },
  {
    "prompt": "解释什么是人工智能伦理。",
    "completion": "人工智能伦理关注AI系统开发和应用中的道德问题，主要包括：\n\n1. 公平性：避免算法歧视和偏见\n2. 透明度：AI决策应可解释、可追溯\n3. 隐私保护：确保数据安全和用户隐私\n4. 责任归属：明确AI系统造成伤害时的责任方\n5. 人类控制：保持人类对AI系统的最终控制权\n6. 社会影响：考虑AI对就业、社会结构的影响"
  },
  {
    "prompt": "写一份简单的番茄工作法说明。",
    "completion": "番茄工作法是一种时间管理方法，步骤简单：\n\n1. 选择一项要完成的任务\n2. 设定25分钟计时器（一个番茄钟）\n3. 专注工作直到计时器响起\n4. 短暂休息5分钟\n5. 每完成4个番茄钟，进行15-30分钟长休息\n\n核心原则：一次只做一件事，保持专注，避免多任务切换。"
  },
  {
    "prompt": "什么是量子计算？",
    "completion": "量子计算是利用量子力学原理进行计算的崭新范式。与传统比特（0或1）不同，量子比特（qubit）可以处于叠加态，同时表示0和1。量子计算的核心特性包括：\n\n1. 叠加：一个量子比特可同时处于多个状态\n2. 纠缠：多个量子比特间存在量子关联\n3. 干涉：量子态相互影响\n\n量子计算在密码学、药物研发、优化问题等领域有巨大潜力。"
  },
  {
    "prompt": "如何保持健康的作息习惯？",
    "completion": "保持健康作息的建议：\n\n1. 固定睡眠时间：每天同一时间睡觉和起床，包括周末\n2. 保证7-8小时睡眠：成年人需要充足睡眠恢复精力\n3. 睡前远离电子设备：睡前一小时关闭手机、电脑\n4. 早起晒太阳：帮助调节生物钟\n5. 避免睡前摄入咖啡因和酒精\n6. 规律运动：但避免睡前剧烈运动\n7. 创造舒适的睡眠环境：黑暗、安静、凉爽"
  },
  {
    "prompt": "解释一下什么是API。",
    "completion": "API（应用程序编程接口）是不同软件组件之间交互的约定。它定义了请求方式、数据格式和功能调用规则。\n\n类比：API就像餐厅服务员，你（客户端）向服务员点餐（发送请求），服务员通知厨房（服务器）准备，最后将菜品（响应数据）送给你。\n\n常见API类型包括Web API（RESTful）、库API、操作系统API等。"
  },
  {
    "prompt": "写一首关于梦想的短诗。",
    "completion": "梦想是远方的灯塔，\n在迷雾中指引方向。\n纵使路途崎岖漫长，\n心中的火焰永不凉。\n\n每一步都在靠近，\n每一天都在成长。\n当汗水浇灌希望，\n终会抵达梦想的殿堂。"
  },
  {
    "prompt": "什么是气候变化？",
    "completion": "气候变化指全球气候系统长期发生的统计性变化，主要表现为全球变暖。主要特征：\n\n1. 温度上升：全球平均气温持续升高\n2. 极端天气：暴雨、干旱、热浪等事件增多\n3. 冰川融化：极地和山地冰川加速消融\n4. 海平面上升：威胁沿海地区\n5. 生态系统改变：物种分布和生物多样性受影响\n\n主要原因是人类活动导致的温室气体排放。"
  },
  {
    "prompt": "如何学习一门新语言？",
    "completion": "学习新语言的有效策略：\n\n1. 设定明确目标：确定学习动机和期望水平\n2. 沉浸式学习：通过电影、音乐、播客接触语言环境\n3. 每日坚持：即使15分钟，保持学习连续性\n4. 多维度练习：听、说、读、写结合\n5. 使用App辅助：Duolingo、Memrise等工具\n6. 找语伴实践：语言交换或参加学习小组\n7. 接受错误：把错误视为学习过程的一部分"
  },
  {
    "prompt": "什么是纳米技术？",
    "completion": "纳米技术是在纳米尺度（1-100纳米）上操控物质的技术。在这个尺度上，材料会表现出独特的物理、化学和生物特性。\n\n应用领域包括：\n- 医学：靶向药物输送、纳米机器人\n- 电子学：更小更快的芯片、量子点显示\n- 材料科学：自清洁表面、超强材料\n- 能源：高效太阳能电池、储能设备"
  },
  {
    "prompt": "解释什么是云存储。",
    "completion": "云存储是将数据保存在远程服务器上，通过互联网访问的存储模式。\n\n优势：\n1. 随时随地访问：只要有网络即可访问文件\n2. 数据安全：专业数据中心提供备份和保护\n3. 自动同步：多设备间文件自动更新\n4. 弹性扩容：按需购买存储空间\n5. 协作共享：方便与他人分享和协作\n\n常见服务：Google Drive、Dropbox、iCloud、百度网盘等。"
  },
  {
    "prompt": "写一段鼓励自己努力的话语。",
    "completion": "每一个不曾起舞的日子，都是对生命的辜负。成功不是偶然，而是日复一日的坚持。即使今天看不到结果，也要相信每一份努力都在为未来铺路。不必羡慕他人的光芒，你只需要做自己的太阳。路虽远，行则将至；事虽难，做则必成。"
  },
  {
    "prompt": "什么是物联网？",
    "completion": "物联网（IoT）是将物理设备连接到互联网的网络，使这些设备能够收集、交换数据并实现远程监控和控制。\n\n核心要素：\n1. 传感器：收集环境数据\n2. 连接：通过WiFi、5G等技术传输数据\n3. 数据处理：云端或边缘计算分析数据\n4. 执行器：根据指令执行操作\n\n应用场景：智能家居、可穿戴设备、工业自动化、智慧城市等。"
  },
  {
    "prompt": "如何应对压力？",
    "completion": "应对压力的有效方法：\n\n1. 深呼吸练习：用4-7-8呼吸法（吸气4秒，屏息7秒，呼气8秒）\n2. 正念冥想：专注当下，不加评判\n3. 规律运动：释放内啡肽，改善情绪\n4. 合理规划：分解任务，设定优先级\n5. 寻求支持：与朋友、家人或专业人士交流\n6. 保证休息：充足睡眠和放松时间\n7. 培养爱好：转移注意力，享受生活乐趣"
  },
  {
    "prompt": "什么是数据科学？",
    "completion": "数据科学是一门交叉学科，结合统计学、计算机科学和领域知识，从数据中提取洞察和价值。\n\n主要流程：\n1. 数据收集：获取结构化或非结构化数据\n2. 数据清洗：处理缺失值、异常值\n3. 探索性分析：可视化理解数据特征\n4. 特征工程：构建有效特征\n5. 建模：应用机器学习算法\n6. 评估部署：验证模型并投入实际应用"
  },
  {
    "prompt": "写一个关于坚持的小故事。",
    "completion": "一位年轻人问大师：\"我如何才能成功？\"大师指着前方说：\"每天搬一块石头到山顶。\"\n\n年轻人照做了。第一天，他觉得石头很重；第一周，他气喘吁吁；第一个月，他汗流浃背。一年后，当他搬完最后一块石头时，发现自己已经站在了山顶。\n\n大师说：\"成功没有捷径，每一步都是积累。重要的不是石头的大小，而是你从未停止的脚步。\""
  },
  {
    "prompt": "什么是虚拟现实？",
    "completion": "虚拟现实（VR）是计算机技术创造的沉浸式三维环境，让用户感觉身临其境。\n\n核心技术：\n1. 头戴显示器：提供立体视觉\n2. 位置追踪：捕捉头部和身体动作\n3. 交互设备：手柄、手套等实现自然交互\n4. 立体声效：营造空间感\n\n应用领域：游戏娱乐、教育培训、医疗康复、建筑设计、虚拟旅游等。"
  },
  {
    "prompt": "如何提高专注力？",
    "completion": "提高专注力的实用方法：\n\n1. 番茄工作法：25分钟专注+5分钟休息\n2. 减少干扰：关闭手机通知，整理工作空间\n3. 单任务处理：一次只做一件事\n4. 设定明确目标：清晰定义要完成的内容\n5. 使用白噪音：帮助进入专注状态\n6. 保证充足睡眠：疲劳会严重影响专注力\n7. 定期运动：提升大脑认知功能\n8. 冥想训练：增强注意力控制能力"
  },
  {
    "prompt": "什么是5G技术？",
    "completion": "5G是第五代移动通信技术，相比4G有三大突破：\n\n1. 增强移动宽带：峰值速率可达20Gbps，比4G快100倍\n2. 超低延迟：延迟可低至1毫秒，支持实时应用\n3. 海量连接：每平方公里支持百万级设备连接\n\n应用场景：自动驾驶、远程手术、工业互联网、VR/AR、智慧城市等。5G将推动万物互联时代的到来。"
  },
  {
    "prompt": "解释什么是情感智能。",
    "completion": "情感智能（EQ）是识别、理解、管理和运用情绪的能力。丹尼尔·戈尔曼提出五个要素：\n\n1. 自我意识：认识自己的情绪和影响\n2. 自我调节：控制冲动，管理负面情绪\n3. 内在动机：为内在满足而努力\n4. 同理心：理解他人情感需求\n5. 社交技能：建立和维护人际关系\n\n高EQ比高IQ更能预测个人在生活和事业上的成功。"
  },
  {
    "prompt": "如何开始冥想练习？",
    "completion": "初学者冥想指南：\n\n1. 选择安静环境：找不被打扰的地方\n2. 舒适坐姿：盘腿坐或椅子上，保持背部挺直\n3. 设定时间：从5-10分钟开始\n4. 关注呼吸：专注呼吸进出，不控制\n5. 接纳走神：思绪飘走时，轻轻带回来\n6. 不加评判：不批评自己\"做不好\"\n7. 每日坚持：最好固定时间练习\n\n推荐使用Headspace、Calm等App引导入门。"
  },
  {
    "prompt": "什么是生物多样性？",
    "completion": "生物多样性指地球上所有生命形式的多样性，包括三个层次：\n\n1. 遗传多样性：同一物种内的基因差异\n2. 物种多样性：不同物种的丰富程度\n3. 生态系统多样性：森林、湿地、海洋等不同生态系统\n\n生物多样性对人类至关重要：提供食物、药物、清洁水源，调节气候，维持生态平衡。当前生物多样性正面临严重威胁，保护刻不容缓。"
  },
  {
    "prompt": "写一份晚间复盘模板。",
    "completion": "晚间复盘模板：\n\n【今日成就】\n- 完成的重要任务：\n- 取得的进步：\n\n【待改进】\n- 遇到的困难：\n- 可以做得更好的地方：\n\n【学习收获】\n- 学到的新知识：\n- 获得的启发：\n\n【明日计划】\n- 最重要的三件事：\n- 优先顺序：\n\n【感恩时刻】\n- 值得感谢的人和事："
  },
  {
    "prompt": "什么是自动驾驶？",
    "completion": "自动驾驶指车辆在没有人类干预下自主行驶的技术。SAE定义了6个等级：\n\nL0：无自动化，完全人工驾驶\nL1：辅助驾驶，如定速巡航\nL2：部分自动化，同时控制转向和加速\nL3：有条件自动化，特定条件下自动驾驶\nL4：高度自动化，限定区域内完全自动驾驶\nL5：完全自动化，任何条件下自动驾驶\n\n核心技术包括传感器（雷达、激光雷达、摄像头）、高精地图、人工智能算法等。"
  },
  {
    "prompt": "如何培养阅读习惯？",
    "completion": "培养阅读习惯的方法：\n\n1. 从小目标开始：每天读5-10页\n2. 固定阅读时间：睡前或通勤时间\n3. 选择感兴趣的书：从轻松有趣的读物开始\n4. 打造阅读环境：创造舒适的阅读角落\n5. 加入读书会：与同好交流分享\n6. 利用碎片时间：随身带书或使用阅读App\n7. 不强迫读完：允许自己放弃不喜欢的书\n8. 记录阅读笔记：加深理解和记忆"
  },
  {
    "prompt": "什么是可持续发展？",
    "completion": "可持续发展指满足当代人需求而不损害后代满足自身需求能力的发展模式。三大支柱：\n\n1. 经济可持续：稳健增长，资源高效利用\n2. 社会可持续：公平正义，生活质量提升\n3. 环境可持续：生态保护，资源循环利用\n\n联合国17个可持续发展目标（SDGs）涵盖消除贫困、优质教育、清洁能源、气候行动等。个人可以通过节能减排、减少浪费、绿色消费等方式贡献。"
  },
  {
    "prompt": "解释什么是区块链的智能合约。",
    "completion": "智能合约是存储在区块链上的自动执行程序，当预定条件满足时自动执行合约条款。\n\n特点：\n1. 自动执行：无需第三方介入\n2. 透明公开：代码和交易记录可查\n3. 不可篡改：部署后无法修改\n4. 去中介化：降低信任成本\n\n应用场景：去中心化金融（DeFi）、供应链管理、数字身份、保险理赔等。以太坊是目前最流行的智能合约平台。"
  },
  {
    "prompt": "如何克服拖延症？",
    "completion": "克服拖延的策略：\n\n1. 2分钟法则：2分钟内能做的事立即做\n2. 拆分任务：把大任务分解成小步骤\n3. 设定截止日期：给自己明确时间限制\n4. 消除干扰：移除手机等诱惑源\n5. 番茄工作法：短时间专注突破启动阻力\n6. 先做最难的：精力最充沛时处理复杂任务\n7. 奖励机制：完成任务后给自己奖励\n8. 接纳不完美：允许\"足够好\"而不是\"完美\""
  },
  {
    "prompt": "什么是加密货币？",
    "completion": "加密货币是基于区块链技术的数字资产，使用密码学确保交易安全。\n\n主要特点：\n1. 去中心化：无中央机构控制\n2. 匿名性：地址匿名，交易可追溯\n3. 全球化：跨国界即时交易\n4. 总量有限：如比特币总量2100万个\n\n代表币种：比特币（BTC）、以太坊（ETH）、币安币（BNB）等。可用于投资、支付、DeFi应用，但价格波动大，风险较高。"
  },
  {
    "prompt": "写一段关于时间管理的感悟。",
    "completion": "时间是最公平的资源，每人每天24小时。差别在于如何利用。把时间用在成长上，你会收获能力；用在健康上，你会收获活力；用在关系上，你会收获温暖。不要感叹时间不够，而是反思是否把时间花在了真正重要的事情上。善待时间，时间终将善待你。"
  },
  {
    "prompt": "什么是基因编辑？",
    "completion": "基因编辑是精准修改生物体基因组的技术。CRISPR-Cas9是目前最强大的基因编辑工具，被称为\"基因剪刀\"。\n\n原理：利用Cas9蛋白和引导RNA定位到特定DNA序列，进行切割和修复。\n\n应用领域：\n- 医学：治疗遗传病、癌症\n- 农业：培育抗病作物\n- 生物研究：基因功能研究\n\n伦理争议涉及生殖细胞编辑、设计婴儿等问题。"
  },
  {
    "prompt": "如何建立自信？",
    "completion": "建立自信的方法：\n\n1. 设定可实现的小目标：积累成功体验\n2. 记录成就：写下每天的进步和成功\n3. 正面自我对话：用积极语言替代自我否定\n4. 接受不完美：允许犯错，从中学习\n5. 提升能力：通过学习和练习增强实力\n6. 良好仪态：挺直身体，眼神交流\n7. 帮助他人：助人提升自我价值感\n8. 远离负面评价：不被他人的看法定义"
  },
  {
    "prompt": "什么是神经网络？",
    "completion": "神经网络是受生物神经系统启发的计算模型，由大量相互连接的神经元（节点）组成。\n\n基本结构：\n- 输入层：接收原始数据\n- 隐藏层：提取特征和模式\n- 输出层：产生预测结果\n\n每个连接有权重，通过训练调整权重使网络学会任务。深度学习使用多层神经网络，能学习复杂模式。应用包括图像识别、自然语言处理、语音识别等。"
  },
  {
    "prompt": "解释什么是低碳生活。",
    "completion": "低碳生活是减少二氧化碳排放的生活方式，从日常细节做起：\n\n1. 节约用电：随手关灯，使用节能电器\n2. 绿色出行：多步行、骑车或公共交通\n3. 减少浪费：光盘行动，自带购物袋\n4. 垃圾分类：促进资源回收利用\n5. 节约用水：及时关水，一水多用\n6. 少用一次性用品：自带水杯餐具\n7. 减少肉类消费：畜牧业碳排放高\n\n个人小改变，汇聚成应对气候变化的大力量。"
  },
  {
    "prompt": "什么是情绪管理？",
    "completion": "情绪管理是识别、理解和调节自己及他人情绪的能力。核心步骤：\n\n1. 觉察：识别正在经历的情绪\n2. 接纳：允许情绪存在，不评判好坏\n3. 理解：探究情绪背后的原因和需求\n4. 调节：选择健康的方式表达和释放\n5. 转化：将负面情绪转化为建设性能量\n\n有效方法：深呼吸、情绪日记、运动、艺术表达、与人倾诉。良好的情绪管理提升心理健康和人际关系。"
  },
  {
    "prompt": "什么是边缘计算？",
    "completion": "边缘计算是将计算和数据存储放在靠近数据源的地方，而不是集中在云端。\n\n优势：\n1. 低延迟：就近处理，减少传输时间\n2. 节省带宽：减少数据传输量\n3. 数据隐私：敏感数据本地处理\n4. 可靠性：网络中断时仍可运行\n\n应用场景：自动驾驶（需毫秒级响应）、工业物联网、智能家居、AR/VR等。与云计算互补，形成云边协同。"
  },
  {
    "prompt": "如何提升沟通能力？",
    "completion": "提升沟通能力的技巧：\n\n1. 积极倾听：专注对方，不打断，反馈理解\n2. 清晰表达：结构化表述，用具体例子\n3. 非语言沟通：注意肢体语言、眼神接触\n4. 同理心：站在对方角度思考\n5. 提问技巧：用开放式问题引导对话\n6. 控制情绪：避免情绪化表达\n7. 适应对方：调整沟通风格匹配对方\n8. 及时反馈：确认双方理解一致"
  },
  {
    "prompt": "什么是可解释AI？",
    "completion": "可解释AI（XAI）旨在让AI决策过程透明、可理解。重要性：\n\n1. 建立信任：用户理解为何得出某个结论\n2. 诊断问题：发现模型偏见或错误\n3. 合规要求：某些领域（如医疗、金融）需解释决策\n4. 改进模型：通过理解失败案例优化\n\n方法：特征重要性分析、注意力可视化、局部解释（LIME）、反事实解释等。平衡模型性能与可解释性是重要挑战。"
  }
]

with open("basketball_texts.jsonl","w",encoding="utf-8") as f:
    for sample in samples:
        f.write(json.dumps(sample,ensure_ascii=False) + "\n")


#%%
from datasets import load_dataset
# %% 2. 加载数据集
dataset = load_dataset("json", data_files={"train": "basketball_texts.jsonl"}, split="train")
print(f"数据总量: {len(dataset)}")
print(f"数据集列: {dataset.column_names}")


# 分割训练集和验证集
train_test_split = dataset.train_test_split(test_size=0.1)
train_dataset = train_test_split["train"]
eval_dataset = train_test_split["test"]

print(f"训练集大小: {len(train_dataset)}")
print(f"验证集大小: {len(eval_dataset)}")



#%%
# %% 3. 数据预处理函数
def preprocess_function(examples):
    """对文本进行分词处理"""
    # 合并 prompt 和 completion
    texts = [f"{prompt}\n{completion}" for prompt, completion in zip(examples["prompt"], examples["completion"])]
    
    # 分词
    tokenized = tokenizer(
        texts,
        padding="max_length",
        truncation=True,
        max_length=512,
        return_tensors="pt"  # 返回PyTorch张量
    )
    
    # labels与input_ids相同（因果语言建模）
    tokenized["labels"] = tokenized["input_ids"].clone()
    return tokenized

# 应用预处理，并移除原始列
print("预处理训练集...")
tokenized_train_dataset = train_dataset.map(
    preprocess_function, 
    batched=True,
    remove_columns=train_dataset.column_names  # 移除 prompt, completion
)

print("预处理验证集...")
tokenized_eval_dataset = eval_dataset.map(
    preprocess_function, 
    batched=True,
    remove_columns=eval_dataset.column_names  # 移除 prompt, completion
)

#%%
# %% 4. 量化设置（可选，如果显存不够才用）
from transformers import BitsAndBytesConfig

# 如果显存足够，跳过量化直接使用原始模型
# 如果显存不够，取消下面的注释
quantization_config = BitsAndBytesConfig(load_in_8bit=True)
model = AutoModelForCausalLM.from_pretrained(model_name, quantization_config=quantization_config, device_map="auto")

# 如果使用量化，需要重新加载模型
# 这里我假设你不使用量化，直接使用之前加载的模型
print("量化模型加载完成")
#%%
from peft import get_peft_model, LoraConfig, TaskType
    # 5. LoRA配置
lora_config = LoraConfig(
    r=8,
    lora_alpha=16,
    lora_dropout=0.05,
    task_type=TaskType.CAUSAL_LM,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"]
)

model = get_peft_model(model, lora_config)
model.print_trainable_parameters()

print("LoRA设置完成")
#%%
from transformers import TrainingArguments,Trainer,
# %% 6. 训练参数配置
train_args = TrainingArguments(
    output_dir='output',
    num_train_epochs=10,
    per_device_train_batch_size=4,
    per_device_eval_batch_size=4,  # 添加评估批次大小
    gradient_accumulation_steps=8,
    fp16=True,  # 如果GPU支持
    logging_steps=10,
    save_steps=100,
    eval_strategy="steps",  # 改为steps，更常用
    eval_steps=10,  # 每100步评估一次
    learning_rate=3e-5,
    warmup_steps=100,  # 添加预热步骤
    run_name="deepseek-r1-1.5b-finetune",
    remove_unused_columns=False
)

print("训练参数设置完毕")
#%%
from transformers import DataCollatorForLanguageModeling
# %% 7. 创建Trainer

data_collator = DataCollatorForLanguageModeling(
    tokenizer=tokenizer,
    mlm=False,  # 因果语言模型，不使用掩码语言建模
)

traine = Trainer(
    model=model,
    args=train_args,
    train_dataset=tokenized_train_dataset,
    eval_dataset=eval_dataset,
    data_collator = data_collator
)
print("开始训练")
traine.train()
print("训练完成")

3. basketball_texts.jsonl

{"prompt": "请解释什么是机器学习？", "completion": "机器学习是人工智能的一个分支，它使计算机系统能够从数据中学习并改进，而不需要显式编程。它通过构建数学模型，让系统从经验中自动学习。主要类型包括监督学习、无监督学习和强化学习。"}
{"prompt": "写一首关于春天的五言绝句。", "completion": "春风拂柳绿，\n细雨润花红。\n燕语呢喃处，\n人间万物荣。"}
{"prompt": "如何制作一杯拿铁咖啡？", "completion": "制作拿铁咖啡的步骤：1. 准备一份浓缩咖啡（约30ml）；2. 将牛奶加热至65-70°C，打出细腻的奶泡；3. 将热牛奶倒入浓缩咖啡中，比例约为3:1；4. 最后在表面淋上一层薄奶泡。可根据喜好加入糖浆调味。"}
{"prompt": "Python中如何读取CSV文件？", "completion": "Python中读取CSV文件有多种方法：\n\n1. 使用csv模块：\n```python\nimport csv\nwith open('file.csv', 'r') as f:\n    reader = csv.reader(f)\n    for row in reader:\n        print(row)\n```\n\n2. 使用pandas库：\n```python\nimport pandas as pd\ndf = pd.read_csv('file.csv')\nprint(df.head())\n```"}
{"prompt": "请推荐三部经典科幻电影。", "completion": "以下是三部经典科幻电影推荐：\n\n1. 《2001太空漫游》(1968) - 斯坦利·库布里克执导，探讨人类进化与人工智能的哲学巨作。\n\n2. 《银翼杀手》(1982) - 雷德利·斯科特作品，深刻探讨人性与仿生人伦理问题。\n\n3. 《黑客帝国》(1999) - 沃卓斯基兄弟执导，开创性的虚拟现实概念与动作美学。"}
{"prompt": "解释光合作用的过程。", "completion": "光合作用是植物、藻类利用光能将二氧化碳和水转化为有机物并释放氧气的过程。主要分为两个阶段：\n\n1. 光反应阶段：在叶绿体类囊体膜上进行，光能被叶绿素吸收，分解水产生氧气，同时生成ATP和NADPH。\n\n2. 暗反应阶段（卡尔文循环）：在叶绿体基质中进行，利用光反应产生的ATP和NADPH，将CO₂固定并还原成有机物（如葡萄糖）。"}
{"prompt": "如何提高英语口语水平？", "completion": "提高英语口语的有效方法：\n\n1. 每日练习：每天至少15-30分钟开口说英语\n2. 模仿跟读：通过看美剧、电影模仿native speaker的发音和语调\n3. 找语伴：使用HelloTalk、Tandem等App找语言交换伙伴\n4. 录音自评：录下自己的发音，对比标准发音改进\n5. 思维训练：尝试用英语思考日常事务\n6. 主题练习：围绕特定话题进行口语表达练习"}
{"prompt": "什么是区块链技术？", "completion": "区块链是一种分布式账本技术，具有以下核心特点：\n\n1. 去中心化：数据存储在网络中的所有节点上，无中心服务器\n2. 不可篡改：一旦数据被记录，就无法修改或删除\n3. 透明可追溯：所有交易记录公开可查\n4. 共识机制：通过算法确保所有节点数据一致\n\n典型应用包括加密货币、供应链管理、智能合约等。"}
{"prompt": "写一段关于友谊的简短文字。", "completion": "友谊是人生旅途中最温暖的风景。它不需要华丽的辞藻，只需在低谷时伸出的双手，在迷茫时给予的鼓励。真正的朋友，即使相隔万里，心却始终相连。他们理解你的沉默，分享你的喜悦，在时光流转中，成为生命里不可或缺的陪伴。"}
{"prompt": "如何计算圆的面积？", "completion": "圆的面积计算公式为：A = πr²\n\n其中：\n- A 表示面积\n- π（圆周率）≈ 3.14159\n- r 表示圆的半径\n\n示例：如果一个圆的半径为5厘米，则面积为：\nA = 3.14 × 5² = 3.14 × 25 = 78.5平方厘米"}
{"prompt": "什么是深度学习？", "completion": "深度学习是机器学习的一个子集，基于人工神经网络，特别是包含多个隐藏层的深层神经网络。它通过分层特征提取，能够自动学习数据的层次化表示。深度学习在计算机视觉、自然语言处理、语音识别等领域取得了突破性进展。代表性架构包括卷积神经网络（CNN）、循环神经网络（RNN）、Transformer等。"}
{"prompt": "建议三个适合初学者的编程项目。", "completion": "三个适合初学者的编程项目：\n\n1. 计算器应用：实现基础的四则运算，可逐步增加科学计算功能，练习GUI开发。\n\n2. 待办事项管理工具：创建任务列表，支持添加、删除、标记完成，学习CRUD操作和本地存储。\n\n3. 天气查询应用：使用公开API获取天气数据，展示温度和天气状况，练习API调用和JSON解析。"}
{"prompt": "解释什么是人工智能伦理。", "completion": "人工智能伦理关注AI系统开发和应用中的道德问题，主要包括：\n\n1. 公平性：避免算法歧视和偏见\n2. 透明度：AI决策应可解释、可追溯\n3. 隐私保护：确保数据安全和用户隐私\n4. 责任归属：明确AI系统造成伤害时的责任方\n5. 人类控制：保持人类对AI系统的最终控制权\n6. 社会影响：考虑AI对就业、社会结构的影响"}
{"prompt": "写一份简单的番茄工作法说明。", "completion": "番茄工作法是一种时间管理方法，步骤简单：\n\n1. 选择一项要完成的任务\n2. 设定25分钟计时器（一个番茄钟）\n3. 专注工作直到计时器响起\n4. 短暂休息5分钟\n5. 每完成4个番茄钟，进行15-30分钟长休息\n\n核心原则：一次只做一件事，保持专注，避免多任务切换。"}
{"prompt": "什么是量子计算？", "completion": "量子计算是利用量子力学原理进行计算的崭新范式。与传统比特（0或1）不同，量子比特（qubit）可以处于叠加态，同时表示0和1。量子计算的核心特性包括：\n\n1. 叠加：一个量子比特可同时处于多个状态\n2. 纠缠：多个量子比特间存在量子关联\n3. 干涉：量子态相互影响\n\n量子计算在密码学、药物研发、优化问题等领域有巨大潜力。"}
{"prompt": "如何保持健康的作息习惯？", "completion": "保持健康作息的建议：\n\n1. 固定睡眠时间：每天同一时间睡觉和起床，包括周末\n2. 保证7-8小时睡眠：成年人需要充足睡眠恢复精力\n3. 睡前远离电子设备：睡前一小时关闭手机、电脑\n4. 早起晒太阳：帮助调节生物钟\n5. 避免睡前摄入咖啡因和酒精\n6. 规律运动：但避免睡前剧烈运动\n7. 创造舒适的睡眠环境：黑暗、安静、凉爽"}
{"prompt": "解释一下什么是API。", "completion": "API（应用程序编程接口）是不同软件组件之间交互的约定。它定义了请求方式、数据格式和功能调用规则。\n\n类比：API就像餐厅服务员，你（客户端）向服务员点餐（发送请求），服务员通知厨房（服务器）准备，最后将菜品（响应数据）送给你。\n\n常见API类型包括Web API（RESTful）、库API、操作系统API等。"}
{"prompt": "写一首关于梦想的短诗。", "completion": "梦想是远方的灯塔，\n在迷雾中指引方向。\n纵使路途崎岖漫长，\n心中的火焰永不凉。\n\n每一步都在靠近，\n每一天都在成长。\n当汗水浇灌希望，\n终会抵达梦想的殿堂。"}
{"prompt": "什么是气候变化？", "completion": "气候变化指全球气候系统长期发生的统计性变化，主要表现为全球变暖。主要特征：\n\n1. 温度上升：全球平均气温持续升高\n2. 极端天气：暴雨、干旱、热浪等事件增多\n3. 冰川融化：极地和山地冰川加速消融\n4. 海平面上升：威胁沿海地区\n5. 生态系统改变：物种分布和生物多样性受影响\n\n主要原因是人类活动导致的温室气体排放。"}
{"prompt": "如何学习一门新语言？", "completion": "学习新语言的有效策略：\n\n1. 设定明确目标：确定学习动机和期望水平\n2. 沉浸式学习：通过电影、音乐、播客接触语言环境\n3. 每日坚持：即使15分钟，保持学习连续性\n4. 多维度练习：听、说、读、写结合\n5. 使用App辅助：Duolingo、Memrise等工具\n6. 找语伴实践：语言交换或参加学习小组\n7. 接受错误：把错误视为学习过程的一部分"}
{"prompt": "什么是纳米技术？", "completion": "纳米技术是在纳米尺度（1-100纳米）上操控物质的技术。在这个尺度上，材料会表现出独特的物理、化学和生物特性。\n\n应用领域包括：\n- 医学：靶向药物输送、纳米机器人\n- 电子学：更小更快的芯片、量子点显示\n- 材料科学：自清洁表面、超强材料\n- 能源：高效太阳能电池、储能设备"}
{"prompt": "解释什么是云存储。", "completion": "云存储是将数据保存在远程服务器上，通过互联网访问的存储模式。\n\n优势：\n1. 随时随地访问：只要有网络即可访问文件\n2. 数据安全：专业数据中心提供备份和保护\n3. 自动同步：多设备间文件自动更新\n4. 弹性扩容：按需购买存储空间\n5. 协作共享：方便与他人分享和协作\n\n常见服务：Google Drive、Dropbox、iCloud、百度网盘等。"}
{"prompt": "写一段鼓励自己努力的话语。", "completion": "每一个不曾起舞的日子，都是对生命的辜负。成功不是偶然，而是日复一日的坚持。即使今天看不到结果，也要相信每一份努力都在为未来铺路。不必羡慕他人的光芒，你只需要做自己的太阳。路虽远，行则将至；事虽难，做则必成。"}
{"prompt": "什么是物联网？", "completion": "物联网（IoT）是将物理设备连接到互联网的网络，使这些设备能够收集、交换数据并实现远程监控和控制。\n\n核心要素：\n1. 传感器：收集环境数据\n2. 连接：通过WiFi、5G等技术传输数据\n3. 数据处理：云端或边缘计算分析数据\n4. 执行器：根据指令执行操作\n\n应用场景：智能家居、可穿戴设备、工业自动化、智慧城市等。"}
{"prompt": "如何应对压力？", "completion": "应对压力的有效方法：\n\n1. 深呼吸练习：用4-7-8呼吸法（吸气4秒，屏息7秒，呼气8秒）\n2. 正念冥想：专注当下，不加评判\n3. 规律运动：释放内啡肽，改善情绪\n4. 合理规划：分解任务，设定优先级\n5. 寻求支持：与朋友、家人或专业人士交流\n6. 保证休息：充足睡眠和放松时间\n7. 培养爱好：转移注意力，享受生活乐趣"}
{"prompt": "什么是数据科学？", "completion": "数据科学是一门交叉学科，结合统计学、计算机科学和领域知识，从数据中提取洞察和价值。\n\n主要流程：\n1. 数据收集：获取结构化或非结构化数据\n2. 数据清洗：处理缺失值、异常值\n3. 探索性分析：可视化理解数据特征\n4. 特征工程：构建有效特征\n5. 建模：应用机器学习算法\n6. 评估部署：验证模型并投入实际应用"}
{"prompt": "写一个关于坚持的小故事。", "completion": "一位年轻人问大师：\"我如何才能成功？\"大师指着前方说：\"每天搬一块石头到山顶。\"\n\n年轻人照做了。第一天，他觉得石头很重；第一周，他气喘吁吁；第一个月，他汗流浃背。一年后，当他搬完最后一块石头时，发现自己已经站在了山顶。\n\n大师说：\"成功没有捷径，每一步都是积累。重要的不是石头的大小，而是你从未停止的脚步。\""}
{"prompt": "什么是虚拟现实？", "completion": "虚拟现实（VR）是计算机技术创造的沉浸式三维环境，让用户感觉身临其境。\n\n核心技术：\n1. 头戴显示器：提供立体视觉\n2. 位置追踪：捕捉头部和身体动作\n3. 交互设备：手柄、手套等实现自然交互\n4. 立体声效：营造空间感\n\n应用领域：游戏娱乐、教育培训、医疗康复、建筑设计、虚拟旅游等。"}
{"prompt": "如何提高专注力？", "completion": "提高专注力的实用方法：\n\n1. 番茄工作法：25分钟专注+5分钟休息\n2. 减少干扰：关闭手机通知，整理工作空间\n3. 单任务处理：一次只做一件事\n4. 设定明确目标：清晰定义要完成的内容\n5. 使用白噪音：帮助进入专注状态\n6. 保证充足睡眠：疲劳会严重影响专注力\n7. 定期运动：提升大脑认知功能\n8. 冥想训练：增强注意力控制能力"}
{"prompt": "什么是5G技术？", "completion": "5G是第五代移动通信技术，相比4G有三大突破：\n\n1. 增强移动宽带：峰值速率可达20Gbps，比4G快100倍\n2. 超低延迟：延迟可低至1毫秒，支持实时应用\n3. 海量连接：每平方公里支持百万级设备连接\n\n应用场景：自动驾驶、远程手术、工业互联网、VR/AR、智慧城市等。5G将推动万物互联时代的到来。"}
{"prompt": "解释什么是情感智能。", "completion": "情感智能（EQ）是识别、理解、管理和运用情绪的能力。丹尼尔·戈尔曼提出五个要素：\n\n1. 自我意识：认识自己的情绪和影响\n2. 自我调节：控制冲动，管理负面情绪\n3. 内在动机：为内在满足而努力\n4. 同理心：理解他人情感需求\n5. 社交技能：建立和维护人际关系\n\n高EQ比高IQ更能预测个人在生活和事业上的成功。"}
{"prompt": "如何开始冥想练习？", "completion": "初学者冥想指南：\n\n1. 选择安静环境：找不被打扰的地方\n2. 舒适坐姿：盘腿坐或椅子上，保持背部挺直\n3. 设定时间：从5-10分钟开始\n4. 关注呼吸：专注呼吸进出，不控制\n5. 接纳走神：思绪飘走时，轻轻带回来\n6. 不加评判：不批评自己\"做不好\"\n7. 每日坚持：最好固定时间练习\n\n推荐使用Headspace、Calm等App引导入门。"}
{"prompt": "什么是生物多样性？", "completion": "生物多样性指地球上所有生命形式的多样性，包括三个层次：\n\n1. 遗传多样性：同一物种内的基因差异\n2. 物种多样性：不同物种的丰富程度\n3. 生态系统多样性：森林、湿地、海洋等不同生态系统\n\n生物多样性对人类至关重要：提供食物、药物、清洁水源，调节气候，维持生态平衡。当前生物多样性正面临严重威胁，保护刻不容缓。"}
{"prompt": "写一份晚间复盘模板。", "completion": "晚间复盘模板：\n\n【今日成就】\n- 完成的重要任务：\n- 取得的进步：\n\n【待改进】\n- 遇到的困难：\n- 可以做得更好的地方：\n\n【学习收获】\n- 学到的新知识：\n- 获得的启发：\n\n【明日计划】\n- 最重要的三件事：\n- 优先顺序：\n\n【感恩时刻】\n- 值得感谢的人和事："}
{"prompt": "什么是自动驾驶？", "completion": "自动驾驶指车辆在没有人类干预下自主行驶的技术。SAE定义了6个等级：\n\nL0：无自动化，完全人工驾驶\nL1：辅助驾驶，如定速巡航\nL2：部分自动化，同时控制转向和加速\nL3：有条件自动化，特定条件下自动驾驶\nL4：高度自动化，限定区域内完全自动驾驶\nL5：完全自动化，任何条件下自动驾驶\n\n核心技术包括传感器（雷达、激光雷达、摄像头）、高精地图、人工智能算法等。"}
{"prompt": "如何培养阅读习惯？", "completion": "培养阅读习惯的方法：\n\n1. 从小目标开始：每天读5-10页\n2. 固定阅读时间：睡前或通勤时间\n3. 选择感兴趣的书：从轻松有趣的读物开始\n4. 打造阅读环境：创造舒适的阅读角落\n5. 加入读书会：与同好交流分享\n6. 利用碎片时间：随身带书或使用阅读App\n7. 不强迫读完：允许自己放弃不喜欢的书\n8. 记录阅读笔记：加深理解和记忆"}
{"prompt": "什么是可持续发展？", "completion": "可持续发展指满足当代人需求而不损害后代满足自身需求能力的发展模式。三大支柱：\n\n1. 经济可持续：稳健增长，资源高效利用\n2. 社会可持续：公平正义，生活质量提升\n3. 环境可持续：生态保护，资源循环利用\n\n联合国17个可持续发展目标（SDGs）涵盖消除贫困、优质教育、清洁能源、气候行动等。个人可以通过节能减排、减少浪费、绿色消费等方式贡献。"}
{"prompt": "解释什么是区块链的智能合约。", "completion": "智能合约是存储在区块链上的自动执行程序，当预定条件满足时自动执行合约条款。\n\n特点：\n1. 自动执行：无需第三方介入\n2. 透明公开：代码和交易记录可查\n3. 不可篡改：部署后无法修改\n4. 去中介化：降低信任成本\n\n应用场景：去中心化金融（DeFi）、供应链管理、数字身份、保险理赔等。以太坊是目前最流行的智能合约平台。"}
{"prompt": "如何克服拖延症？", "completion": "克服拖延的策略：\n\n1. 2分钟法则：2分钟内能做的事立即做\n2. 拆分任务：把大任务分解成小步骤\n3. 设定截止日期：给自己明确时间限制\n4. 消除干扰：移除手机等诱惑源\n5. 番茄工作法：短时间专注突破启动阻力\n6. 先做最难的：精力最充沛时处理复杂任务\n7. 奖励机制：完成任务后给自己奖励\n8. 接纳不完美：允许\"足够好\"而不是\"完美\""}
{"prompt": "什么是加密货币？", "completion": "加密货币是基于区块链技术的数字资产，使用密码学确保交易安全。\n\n主要特点：\n1. 去中心化：无中央机构控制\n2. 匿名性：地址匿名，交易可追溯\n3. 全球化：跨国界即时交易\n4. 总量有限：如比特币总量2100万个\n\n代表币种：比特币（BTC）、以太坊（ETH）、币安币（BNB）等。可用于投资、支付、DeFi应用，但价格波动大，风险较高。"}
{"prompt": "写一段关于时间管理的感悟。", "completion": "时间是最公平的资源，每人每天24小时。差别在于如何利用。把时间用在成长上，你会收获能力；用在健康上，你会收获活力；用在关系上，你会收获温暖。不要感叹时间不够，而是反思是否把时间花在了真正重要的事情上。善待时间，时间终将善待你。"}
{"prompt": "什么是基因编辑？", "completion": "基因编辑是精准修改生物体基因组的技术。CRISPR-Cas9是目前最强大的基因编辑工具，被称为\"基因剪刀\"。\n\n原理：利用Cas9蛋白和引导RNA定位到特定DNA序列，进行切割和修复。\n\n应用领域：\n- 医学：治疗遗传病、癌症\n- 农业：培育抗病作物\n- 生物研究：基因功能研究\n\n伦理争议涉及生殖细胞编辑、设计婴儿等问题。"}
{"prompt": "如何建立自信？", "completion": "建立自信的方法：\n\n1. 设定可实现的小目标：积累成功体验\n2. 记录成就：写下每天的进步和成功\n3. 正面自我对话：用积极语言替代自我否定\n4. 接受不完美：允许犯错，从中学习\n5. 提升能力：通过学习和练习增强实力\n6. 良好仪态：挺直身体，眼神交流\n7. 帮助他人：助人提升自我价值感\n8. 远离负面评价：不被他人的看法定义"}
{"prompt": "什么是神经网络？", "completion": "神经网络是受生物神经系统启发的计算模型，由大量相互连接的神经元（节点）组成。\n\n基本结构：\n- 输入层：接收原始数据\n- 隐藏层：提取特征和模式\n- 输出层：产生预测结果\n\n每个连接有权重，通过训练调整权重使网络学会任务。深度学习使用多层神经网络，能学习复杂模式。应用包括图像识别、自然语言处理、语音识别等。"}
{"prompt": "解释什么是低碳生活。", "completion": "低碳生活是减少二氧化碳排放的生活方式，从日常细节做起：\n\n1. 节约用电：随手关灯，使用节能电器\n2. 绿色出行：多步行、骑车或公共交通\n3. 减少浪费：光盘行动，自带购物袋\n4. 垃圾分类：促进资源回收利用\n5. 节约用水：及时关水，一水多用\n6. 少用一次性用品：自带水杯餐具\n7. 减少肉类消费：畜牧业碳排放高\n\n个人小改变，汇聚成应对气候变化的大力量。"}
{"prompt": "什么是情绪管理？", "completion": "情绪管理是识别、理解和调节自己及他人情绪的能力。核心步骤：\n\n1. 觉察：识别正在经历的情绪\n2. 接纳：允许情绪存在，不评判好坏\n3. 理解：探究情绪背后的原因和需求\n4. 调节：选择健康的方式表达和释放\n5. 转化：将负面情绪转化为建设性能量\n\n有效方法：深呼吸、情绪日记、运动、艺术表达、与人倾诉。良好的情绪管理提升心理健康和人际关系。"}
{"prompt": "什么是边缘计算？", "completion": "边缘计算是将计算和数据存储放在靠近数据源的地方，而不是集中在云端。\n\n优势：\n1. 低延迟：就近处理，减少传输时间\n2. 节省带宽：减少数据传输量\n3. 数据隐私：敏感数据本地处理\n4. 可靠性：网络中断时仍可运行\n\n应用场景：自动驾驶（需毫秒级响应）、工业物联网、智能家居、AR/VR等。与云计算互补，形成云边协同。"}
{"prompt": "如何提升沟通能力？", "completion": "提升沟通能力的技巧：\n\n1. 积极倾听：专注对方，不打断，反馈理解\n2. 清晰表达：结构化表述，用具体例子\n3. 非语言沟通：注意肢体语言、眼神接触\n4. 同理心：站在对方角度思考\n5. 提问技巧：用开放式问题引导对话\n6. 控制情绪：避免情绪化表达\n7. 适应对方：调整沟通风格匹配对方\n8. 及时反馈：确认双方理解一致"}
{"prompt": "什么是可解释AI？", "completion": "可解释AI（XAI）旨在让AI决策过程透明、可理解。重要性：\n\n1. 建立信任：用户理解为何得出某个结论\n2. 诊断问题：发现模型偏见或错误\n3. 合规要求：某些领域（如医疗、金融）需解释决策\n4. 改进模型：通过理解失败案例优化\n\n方法：特征重要性分析、注意力可视化、局部解释（LIME）、反事实解释等。平衡模型性能与可解释性是重要挑战。"}

4. 开始训练

右键运行

• 训练结果
  

5. 如何加载训练的参数

adapter_config.json + adapter_model.safetensors 这两个文件就是微调后的结果, 那么后边就应该将微调后的东西,加载到之前的模型中,作为训练后的某个领域的知识专家

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

# 1. 加载基座模型（必须与训练时的基座模型一致）
base_model_name = "/mnt/data/.cache/modelscope/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B"  # 替换为你的基座模型
adapter_path = "/output/checkpoint-20"   # 存放两个文件的文件夹

# 2. 加载基座模型和分词器
tokenizer = AutoTokenizer.from_pretrained(base_model_name)
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_name,
    torch_dtype=torch.float16,  # 根据硬件选择
    device_map="auto"            # 自动分配到GPU
)

# 3. 加载LoRA adapter（这就是你的微调成果）
model = PeftModel.from_pretrained(base_model, adapter_path)

# 此时 model 已经融合了你的领域知识，可以直接使用