在很多场景下下，可能微调模型并不能带来一个较好的效果。因为特定领域场景下，通用话模型过于通用，出现多而不精。样样通样样松；本章主要介绍如何在特定的数据上对模型进行预训练；

        训练自己的语言模型（从头开始训练）与微调（fine-tuning）预训练模型之间的选择取决于多个因素，包括但不限于数据特性、任务需求、计算资源和时间成本。以下是一些原因，解释为什么有时候你可能想要训练自己的语言模型，而不是仅仅微调现有的预训练模型：

        训练自己的语言模型（从头开始训练）与微调（fine-tuning）预训练模型之间的选择取决于多个因素，包括但不限于数据特性、任务需求、计算资源和时间成本。以下是一些原因，解释为什么有时候你可能想要训练自己的语言模型，而不是仅仅微调现有的预训练模型：

1. **领域特异性**：如果你的工作涉及非常专业的领域，如医疗健康、法律或金融，那么现有的预训练模型可能没有包含足够的领域相关数据。在这种情况下，从头开始训练一个模型，使用专门领域的大量文本数据，可以让模型更好地理解和生成专业领域的文本。

2. **数据量大且独特**：如果你拥有大量的专有数据，这些数据具有独特的特点，那么训练一个模型以充分利用这些数据的独特性可能更有意义。预训练模型通常是在广泛的数据集上训练的，可能无法捕捉到特定数据集中存在的细微差别。

3. **控制模型架构**：训练自己的模型允许你完全控制模型架构的选择，包括层数、隐藏单元的数量以及其他超参数。这对于研究或开发新方法特别有用。

4. **避免偏见和数据污染**：预训练模型可能包含了来自其训练数据的某些偏见。如果你希望避免这些偏见，或者你的任务要求极高精度而不能容忍任何潜在的偏见，那么训练一个干净的新模型可能是更好的选择。

5. **数据隐私和安全**：对于处理敏感数据的情况，从头开始训练模型可以确保所有数据都保留在内部系统中，而不必担心将数据发送到外部服务器进行微调。

6. **探索新的模型架构**：对于学术研究来说，开发和训练新型的模型架构是一个重要的方向。这通常需要从零开始训练模型，以便全面地测试和验证新设计的有效性。

7. **资源可用性**：如果你有充足的计算资源（如高性能GPU集群），那么从头训练模型可能并不是一个问题，并且可能带来更好的长期投资回报。

尽管如此，训练自己的语言模型是一项耗时且资源密集型的任务。如果你的数据集不大，或者任务领域与现有预训练模型的数据集重叠较多，那么微调一个预训练模型通常是更为高效和实用的选择。微调可以让你快速地适应特定任务，同时保持较高的准确性和较低的成本。

1 数据准备 

        选择一个中文为主的语料进行训练。

https://huggingface.co/datasets/pleisto/wikipedia-cn-20230720-filtered

2 模型

选择使用BERT模型：

需要注意的是模型类别不同使用的方法也不一样的：

1. Encoder-Decoder Models（编码器-解码器模型）：EncoderDecoderModel

典型代表：Transformer（如BERT）、Seq2Seq（如T5） 训练方法：

• 掩码语言建模（Masked Language Modeling, MLM）：在训练过程中随机遮盖输入序列的一部分单词，然后让模型预测这些被遮盖的单词。
• 序列到序列任务（Sequence-to-Sequence Tasks）：如机器翻译、文本摘要等，输入一个源序列，输出一个目标序列。

2. Decoder-Only Models（解码器模型）：AutoModelForCausalLM

典型代表：GPT系列（如GPT-2、GPT-3）、BLOOM 训练方法：

• 因果语言建模（Causal Language Modeling, CLM）：在训练过程中，模型预测序列中的下一个词，仅依赖于序列中的先前词。这是一种自回归式的训练方法，即每次预测下一个词时，只看前面的词。
• 文本生成：这类模型非常适合生成连贯的文本序列，因为它们可以逐词生成文本，并且保证生成的文本是连贯的。

3. Encoder-Only Models（编码器模型）：AutoModelForMaskedLM

典型代表：RoBERTa 训练方法：

• 掩码语言建模（MLM）：类似于BERT，但在训练过程中可能采用不同的掩码策略。
• 句子对预测（Next Sentence Prediction, NSP）：虽然RoBERTa不再使用NSP，但在早期的一些模型中，这种方法用于预测两个句子是否相邻。

https://hf-mirror.com/google-bert/bert-base-chinese

        下面是一个去掉部分词的标签：

from datasets import load_dataset, Dataset
from transformers import AutoTokenizer, AutoModelForMaskedLM, DataCollatorForLanguageModeling, TrainingArguments, Trainer


ds = Dataset.load_from_disk("../data/wiki_chines_filter/")
ds

#ds[1]
 #定义一个过滤函数
def filter_function(example):
    # 确保返回布尔值
    if 'completion' in example and isinstance(example['completion'], str) and example['completion']:
        return True
    return False


ds = ds.filter(lambda example: filter_function(example))
ds

tokenizer = AutoTokenizer.from_pretrained("../bert-base-chinese/")

def process_func(examples):
    #print(examples)
    contents = [e + tokenizer.sep_token for e in examples["completion"]]
    return tokenizer(contents, max_length=384, truncation=True)
#     try:
#         contents = [e + tokenizer.eos_token for e in examples["completion"]]
#         return tokenizer(contents, max_length=384, truncation=True)
#     except:
        #print(examples['completion'])
        #exit()
tokenized_ds = ds.map(process_func, batched=True, remove_columns=ds.column_names)
tokenized_ds

from torch.utils.data import DataLoader
dl = DataLoader(tokenized_ds, batch_size=2, collate_fn=DataCollatorForLanguageModeling(tokenizer, mlm=False))


model = AutoModelForMaskedLM.from_pretrained("../bert-base-chinese/")

args = TrainingArguments(
    output_dir="./causal_lm",
    per_device_train_batch_size=2,
    gradient_accumulation_steps=16,
    logging_steps=10,
    num_train_epochs=1,
    #fp16=True
)
trainer = Trainer(
    args=args,
    model=model,
    tokenizer=tokenizer,
    train_dataset=tokenized_ds,
    data_collator=DataCollatorForLanguageModeling(tokenizer, mlm=True, mlm_probability=0.15)
)
trainer.train()