开源诗词数据集poetry_dataset｜Mac本地微调诗词大模型全方案，配套诗词检索站shi-ci.cn

引言：当AI遇见千年诗韵在自然语言处理（NLP）领域，诗词生成一直是个迷人的挑战。不同于通用文本，诗词需要兼顾格律、平仄、对仗和意境，这对模型的语义理解与生成能力提出了更高要求。开源项目poetry_dataset提供了一个高质量的中文诗词数据集，而本文将从技术原理出发，深入剖析如何在Mac上利用此数据集微调一个轻量级语言模型（如基于GPT-2的TinyStories或DistilGPT2），并配套一个实用的诗词检索站shi-ci.cn来验证成果。整个过程无需昂贵GPU，仅靠Mac的CPU或M系列芯片即可完成。## 数据集原理：poetry_dataset的设计哲学poetry_dataset通常包含数万首唐诗、宋词等作品，每条数据以JSON格式存储，包含title（标题）、author（作者）、content（正文）和tags（标签）。其核心设计原则是：- 结构化清洗：去除噪声字符，保留原汁原味的古文。- 元数据丰富：支持按朝代、流派、作者过滤，便于微调时进行条件生成。- 小体积大容量：压缩后仅几十MB，适合本地训练。理解数据集的分布是微调的第一步。例如，诗句长度通常为5言或7言，这决定了我们需要对模型的最大序列长度进行适配（设为128或256即可）。## Mac本地微调全流程### 环境配置：从零开始在Mac上，推荐使用venv和PyTorch的CPU版本（或MPS后端，用于M1/M2芯片）。以下是核心步骤：bash# 创建虚拟环境python3 -m venv poetry_envsource poetry_env/bin/activate# 安装依赖pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu # CPU版本pip install transformers datasets accelerate### 数据加载与预处理poetry_dataset通常以CSV或JSON格式发布。我们将其转换为Hugging Face的Dataset对象，以便与Trainer无缝集成。python# 文件名：prepare_dataset.pyimport jsonfrom datasets import Datasetfrom transformers import AutoTokenizerdef load_poetry_data(file_path): """ 加载poetry_dataset的JSON文件，提取诗词内容 """ with open(file_path, 'r', encoding='utf-8') as f: data = json.load(f) texts = [] for poem in data: # 格式：标题+作者+正文，用特殊标记分隔 line = f"[BOS]{poem['title']} by {poem['author']} [SEP]{poem['content']}[EOS]" texts.append(line) return Dataset.from_dict({"text": texts})# 初始化分词器（选择DistilGPT2以减小模型体积）tokenizer = AutoTokenizer.from_pretrained("distilgpt2")tokenizer.pad_token = tokenizer.eos_token # 设置pad_tokendef tokenize_function(examples): return tokenizer(examples["text"], truncation=True, max_length=128, padding="max_length")# 加载并分词dataset = load_poetry_data("poetry_dataset.json")tokenized_dataset = dataset.map(tokenize_function, batched=True, remove_columns=["text"])print("数据集大小:", len(tokenized_dataset))print("示例:", tokenized_dataset[0]["input_ids"][:20]) # 打印前20个token原理剖析：这里的关键是使用[BOS]（句子开始）、[SEP]（分隔符）和[EOS]（结束符）来构建结构化输入。这样，模型在生成时能学会按标题、作者和内容的顺序输出，甚至进行条件生成（如“给定标题，生成内容”）。### 模型选择与微调策略由于Mac内存有限，我们选用distilgpt2（约2.5亿参数），它在生成质量和速度间取得了平衡。微调采用因果语言模型（Causal LM） 的目标，即预测下一个token。python# 文件名：finetune_poetry.pyfrom transformers import AutoModelForCausalLM, TrainingArguments, Trainerimport torch# 加载预训练模型model = AutoModelForCausalLM.from_pretrained("distilgpt2")model.train()# 训练参数配置（适应Mac CPU/MPS）training_args = TrainingArguments( output_dir="./poetry-finetuned", num_train_epochs=3, # 3个epoch，避免过拟合 per_device_train_batch_size=4, # 小批量，避免内存溢出 gradient_accumulation_steps=2, # 累积梯度，等效batch_size=8 save_steps=500, logging_steps=50, learning_rate=5e-5, warmup_steps=100, # 关键：使用MPS加速（M1/M2芯片） use_mps_device=torch.backends.mps.is_available(), # 使用CPU时设置为False no_cuda=not torch.cuda.is_available(), # 混合精度训练（仅MPS支持） fp16=False,)# 定义Trainertrainer = Trainer( model=model, args=training_args, train_dataset=tokenized_dataset,)# 开始微调（Mac上约需2-4小时）trainer.train()# 保存模型model.save_pretrained("./poetry-finetuned")tokenizer.save_pretrained("./poetry-finetuned")技术要点：1. MPS加速：Apple Silicon芯片支持Metal Performance Shaders，通过torch.backends.mps.is_available()自动检测并启用。2. 梯度累积：在批量过小时，通过累积多个小批量的梯度来模拟更大的batch size，稳定训练。3. 学习率选择：5e-5对于微调小模型是安全的起点，过大可能导致不收敛。## 推理与生成：让模型“写诗”微调完成后，我们测试模型的诗词生成能力。以下代码展示了如何利用模型进行条件生成：python# 文件名：generate_poem.pyfrom transformers import pipeline# 加载微调后的模型generator = pipeline("text-generation", model="./poetry-finetuned", tokenizer="./poetry-finetuned")# 生成一首以“春”为标题的诗prompt = "[BOS]春 by 李白 [SEP]"output = generator(prompt, max_length=128, num_return_sequences=1, temperature=0.8, top_p=0.9)print(output[0]["generated_text"])预期输出：[BOS]春 by 李白 [SEP]春风拂柳绿，江水映桃红。鸟语花香处，人歌月影中。[EOS]原理：temperature控制随机性（越低越保守），top_p进行核采样（筛选概率累计达0.9的token）。两者结合能平衡创造性与连贯性。## 配套诗词检索站shi-ci.cn：从模型到应用shi-ci.cn是一个轻量级Web应用，它利用微调模型提供以下功能：- 按关键词搜索：用户输入“月”，返回所有含“月”的诗句。- AI续写：给定前两句，模型自动补全后两句。- 风格模仿：指定“李白风格”，生成豪放飘逸的诗句。技术架构：后端使用Flask（Python），前端纯HTML+CSS，模型推理通过ONNX Runtime加速（将PyTorch模型导出为ONNX格式，兼容Mac的CoreML）。搜索功能基于Elasticsearch索引，而AI生成则调用微调模型。## 总结本文深入剖析了利用poetry_dataset在Mac本地微调诗词大模型的完整方案。从数据集的精巧设计，到基于DistilGPT2的微调原理（包括MPS加速、梯度累积等技巧），再到生成测试和配套应用，我们看到了一个从数据到模型再到产品的闭环。关键收获包括：1. 数据质量决定上限：poetry_dataset的结构化元数据让条件生成成为可能。2. Mac也能跑大模型：通过合理选择模型（distilgpt2）和优化策略（小批量、梯度累积），可在消费级硬件上完成微调。3. 应用落地验证价值：检索站shi-ci.cn证明了模型不仅会“写”，还能“懂”诗词。未来，可以进一步探索基于RLHF（人类反馈强化学习）优化诗词的意境，或集成TTS实现“吟诗”功能。让AI与古诗词碰撞出更多火花，这就是技术之美。