34-基于lora的llama2二次预训练

来源 PDF：200页AI大模型面试高频必刷题（附详解）/34-基于lora的llama2二次预训练.pdf
主题：训练 / 微调
页数：19
字符数：19092
索引片段数：47

摘要

基于lora的llama2二次预训练 来自： AiGC面试宝典 宁静致远 2024年01月27日 20:47 一、为什么需要 对 llama2 做 基于lora的二次预训练? 加入中文训练语料进行llama2的二次预训练，这样模型就可以增加支持中文输出的能力。 二、基于lora的llama2二次预训练 的目标是什么？ 在保持预训练模型权重不变的情况下，通过添加额外的网络层并仅训练这些新增的网络层参数，实现大模型的高 效微调（peft）。 三、基于lora的llama2二次预训练 的思想是什么？ 思想：基于对模型本征

代表性原文片段

片段 1

基于lora的llama2二次预训练 来自： AiGC面试宝典 宁静致远 2024年01月27日 20:47 一、为什么需要 对 llama2 做 基于lora的二次预训练? 加入中文训练语料进行llama2的二次预训练，这样模型就可以增加支持中文输出的能力。 二、基于lora的llama2二次预训练 的目标是什么？ 在保持预训练模型权重不变的情况下，通过添加额外的网络层并仅训练这些新增的网络层参数，实现大模型的高 效微调（peft）。 三、基于lora的llama2二次预训练 的思想是什么？ 思想：基于对模型本征维度（intrinsic dimension）的理解。 “本征维度”是指模型中真正有用的、能够影响模型输出的参数数量。 Aghajanyan研究发现，预训练模型的内在维度实际上非常小，即只有一小部分参数对模型输出有显著影响。就是 存在一个极低维度的参数，微调它和在全参数空间中微调能起到相同的效果 LORA假设模型在任务适配过程中权重的改变量是低秩（low rank） W=W0+ΔW，ΔW=BA 参数更新范围：只训练新增的网络层参数 四、基于lora的llama2二次预训练 语料构建思路？

片段 2

型在任务适配过程中权重的改变量是低秩（low rank） W=W0+ΔW，ΔW=BA 参数更新范围：只训练新增的网络层参数 四、基于lora的llama2二次预训练 语料构建思路？ 本项目 基于lora的llama2二次预训练 语料 来自中文书籍，一个 中文书籍收录整理 项目。 • 基于lora的llama2二次预训练 • 一、为什么需要 对 llama2 做 基于lora的二次预训练? • 二、基于lora的llama2二次预训练 的目标是什么？ • 三、基于lora的llama2二次预训练 的思想是什么？ • 四、基于lora的llama2二次预训练 语料构建思路？ • 五、如何 基于lora的llama2二次预训练 ？ • 5.1 基于lora的llama2二次预训练 参数介绍 • 5.2 基于lora的llama2二次预训练 • 六、如何 基于lora的llama2 微调 ？ • 6.1 训练数据介绍 • 6.2 基于lora的llama2 微调 参数介绍 • 6.3 基于lora的llama2 微调 • 七、如何 使用 基于lora的llama2 做推理 ？ • 致谢 1. 预训练 数据集 下载 查看更多

片段 3

2 微调 参数介绍 • 6.3 基于lora的llama2 微调 • 七、如何 使用 基于lora的llama2 做推理 ？ • 致谢 1. 预训练 数据集 下载 查看更多

介绍：数据集格式，.txt结尾 $ git clone https://github.com/shjwudp/shu.git 1. 数据集格式介绍 1. 数据集介绍 《红楼梦》 曹雪芹 高鄂 著

第一回 甄士隐梦幻识通灵 贾雨村风尘怀闺秀 列位看官：你道此书从何而来？说起根由，虽近荒唐，细按则深有趣味。待在下将此来历注 明，方使阅者了然不惑。 原来女娲氏炼石补天之时，于大荒山无稽崖炼成高经十二丈、方经二十四丈顽石三万六千五百 零一块。娲皇氏只用了三万六千五百块，只单单剩了一块未用，便弃在此山青埂峰下。谁知此 石自经煅炼之后，灵性已通，因见众石俱得补天，独自己无材不堪入选，遂自怨自叹，日夜悲 号惭愧。 一日，正当嗟悼之际，俄见一僧一道远远而来，生得骨格不凡，丰神迥别，说说笑笑，来至峰 下，坐于石边，高谈快论：先是说些云山雾海、神仙玄幻之事，后便说到红尘中荣华富贵。此

片段 4

悲 号惭愧。 一日，正当嗟悼之际，俄见一僧一道远远而来，生得骨格不凡，丰神迥别，说说笑笑，来至峰 下，坐于石边，高谈快论：先是说些云山雾海、神仙玄幻之事，后便说到红尘中荣华富贵。此 石听了，不觉打动凡心，也想要到人间去享一享这荣华富贵，但自恨粗蠢，不得已，便口吐人 言，向那僧道说道：“大师，弟子蠢物，不能见礼了！适闻二位谈那人世间荣耀繁华，心切慕 之。弟子质虽粗蠢，性却稍通，况见二师仙形道体，定非凡品，必有补天济世之材，利物济人 之德。如蒙发一点慈心，携带弟子得入红尘，在那富贵场中，温柔乡里受享几年，自当永佩洪 恩，万劫不忘也！”二仙师听毕，齐憨笑道：“善哉，善哉！那红尘中有却有些乐事，但不能 永远依恃；况又有‘美中不足，好事多磨’八个字紧相连属，瞬息间则又乐极悲生，人非物 换，究竟是到头一梦，万境归空，倒不如不去的好。”这石凡心已炽，那里听得进这话去，乃 复苦求再四。二仙知不可强制，乃叹道：“此亦静极思动，无中生有之数也！既如此，我们便 携你去受享受享，只是到不得意时，切莫后悔！”石道：“自然，自然。”那僧又道：“若说 你性灵，却又如此质蠢，并更无奇贵之处。如此也只好踮脚而已。也罢！我如今大施佛法，助

片段 5

如此，我们便 携你去受享受享，只是到不得意时，切莫后悔！”石道：“自然，自然。”那僧又道：“若说 你性灵，却又如此质蠢，并更无奇贵之处。如此也只好踮脚而已。也罢！我如今大施佛法，助 你助，待劫终之日，复还本质，以了此案。你道好否？”石头听了，感谢不尽。那僧便念咒书 符，大展幻术，将一块大石登时变成一块鲜明莹洁的美玉，且又缩成扇坠大小的可佩可拿。那 僧托于掌上，笑道：“形体倒也是个宝物了！还只没有实在的好处，须得再镌上数字，使人一 见便知是奇物方妙。然后好携你到那昌明隆盛之邦、诗礼簪缨之族、花柳繁华地、温柔富贵乡 去安身乐业。”石头听了，喜不能禁，乃问：“不知赐了弟子那哪几件奇处？又不知携了弟子 到何地方？望乞明示，使弟子不惑。”那僧笑道：“你且莫问，日后自然明白的。”说着，便 袖了这石，同那道人飘然而去，竟不知投奔何方何舍。 后来，不知过了几世几劫，因有个空空道人访道求仙，从这大荒山无稽崖青埂峰下经过，忽见 一大块石上字迹分明，编述历历。空空道人乃从头一看，原来就是无材补天，幻形入世，蒙茫 茫大士、渺渺真人携入红尘，历尽离合悲欢、炎凉世态的一段故事。后面又有一首偈云：

片段 6

埂峰下经过，忽见 一大块石上字迹分明，编述历历。空空道人乃从头一看，原来就是无材补天，幻形入世，蒙茫 茫大士、渺渺真人携入红尘，历尽离合悲欢、炎凉世态的一段故事。后面又有一首偈云： 无材可去补苍天，枉入红尘若许年。此系身前身后事，倩谁记去作奇传？ 诗后便是此石坠落之乡，投胎之处，亲自经历的一段陈迹故事。其中家庭闺阁琐事，以及闲情 诗词倒还全备，或可适趣解闷；然朝代年纪、地舆邦国却反失落无考。 空空道人遂向石头说道：“石兄，你这一段故事，据你自己说有些趣味，故编写在此，意欲问 世传奇。据我看来：第一件，无朝代年纪可考；第二件，并无大贤大忠理朝廷、治风俗的善 政，其中只不过几个异样女子，或情或痴，或小才微善，亦无班姑、蔡女之德能。我纵抄去， 恐世人不爱看呢！”石头笑答道：“我师何太痴耶！若云无朝代可考，今我师竟借汉、唐等年 纪添缀，又有何难？但我想，历来野史，皆蹈一辙，莫如我这不借此套者，反倒新奇别致。不 过只取其事体情理罢了，又何必拘拘于朝代年纪哉！再者，市井俗人喜看理治之书者甚少，爱 适趣闲文者特多。历来野史，或讪谤君相，或贬人妻女，奸淫凶恶，不可胜数。更有一种风月

红楼梦.txt

片段 7

朝代年纪哉！再者，市井俗人喜看理治之书者甚少，爱 适趣闲文者特多。历来野史，或讪谤君相，或贬人妻女，奸淫凶恶，不可胜数。更有一种风月

红楼梦.txt 五、如何 基于lora的llama2二次预训练 ？ 5.1 基于lora的llama2二次预训练 参数介绍 笔墨，其淫秽污臭，屠毒笔墨，坏人子弟，又不可胜数。至若佳人才子等书，则又千部共出一 套，且其中终不能不涉于淫滥，以致满纸潘安、子建、西子、文君。不过作者要写出自己的那 两首情诗艳赋来，故假拟出男女二人名姓，又必旁出一小人其间拨乱，亦如剧中之小丑然。且 鬟婢开口即者也之乎，非文即理。故逐一看去，悉皆自相矛盾、大不近情理之话，竟不如我半 世亲睹亲闻的这几个女子，虽不敢说强似前代书中所有之人，但事迹原委，亦可以消愁破闷； 也有几首歪诗熟话，可以喷饭供酒。至若离合悲欢，兴衰际遇，则又追踪蹑迹，不敢稍加穿 凿，徒为供人之目而反失其真传者。今之人，贫者日为衣食所累，富者又怀不足之心；纵然一 时稍闲，又有贪淫恋色、好货寻愁之事，哪里有工夫去看那理治之书！所以，我这一段故事，

片段 8

，不敢稍加穿 凿，徒为供人之目而反失其真传者。今之人，贫者日为衣食所累，富者又怀不足之心；纵然一 时稍闲，又有贪淫恋色、好货寻愁之事，哪里有工夫去看那理治之书！所以，我这一段故事， 也不愿世人称奇道妙，也不定要世人喜悦检读，只愿他们当那醉淫饱卧之时，或避世去愁之 际，把此一玩，岂不省了些寿命筋力？就比那谋虚逐妄，却也省了口舌是非之害、腿脚奔忙之 苦。再者，亦令世人换新眼目，不比那些胡牵乱扯，忽离忽遇，满纸才人淑女、子建、文君、 红娘、小玉等通共熟套之旧稿。我师意为何如？” 空空道人听如此说，思忖半晌，将一这《石头记》再检阅一遍，因见上面虽有些指奸责佞、贬 恶诛邪之语，亦非伤时骂世之旨；及至君仁臣良、父慈子孝，凡伦常所关之处，皆是称功颂 德，眷眷无穷，实非别书之可比。虽其中大旨谈情，亦不过实录其事，又非假拟妄称，一味淫 邀艳约，私订偷盟之可比。因毫不干涉时世，方从头至尾抄录回来，问世传奇。因空见色，由 色生情，传情入色，自色悟空，空空道人遂易名为情僧，改《石头记》为《情僧录》。至?玉峰 题曰《红楼梦》。东鲁孔梅溪则题曰《风月宝鉴》。后因曹雪芹于悼红轩中，披阅十载，增删

片段 9

空见色，由 色生情，传情入色，自色悟空，空空道人遂易名为情僧，改《石头记》为《情僧录》。至?玉峰 题曰《红楼梦》。东鲁孔梅溪则题曰《风月宝鉴》。后因曹雪芹于悼红轩中，披阅十载，增删 五次，纂成目录，分出章回，则题曰《金陵十二钗》，并题一绝云： 满纸荒唐言，一把辛酸泪！都云作者痴，谁解其中味？ 至脂砚斋甲戌抄阅再评，仍用《石头记》。 出则既明，且看石上是何故事。按那石上书云： ... • 实现代码：run_clm_pt_with_peft.py 1. 预训练模型参数 @dataclass class ModelArguments: """ Arguments pertaining to which model/config/tokenizer we are going to fine-tune, or train from scratch. """ model_name_or_path: Optional[str] = field(

default=None, metadata={ "help": (

片段 10

el_name_or_path: Optional[str] = field(

default=None, metadata={ "help": ( "The model checkpoint for weights initialization.Don't set if you want to train a model from scratch." ) }, ) tokenizer_name_or_path: Optional[str] = field( default=None, metadata={ "help": ( "The tokenizer for weights initialization.Don't set if you want to train a model from scratch." ) }, ) model_type: Optional[str] = field( default=None, metadata={"help": "If training from scratch, pass a model type from the

片段 11

eld( default=None, metadata={"help": "If training from scratch, pass a model type from the list: " + ", ".join(MODEL_TYPES)}, ) config_overrides: Optional[str] = field( default=None, metadata={ "help": ( "Override some existing default config settings when a model is trained from scratch. Example: " "n_embd=10,resid_pdrop=0.2,scale_attn_weights=false,summary_type=cls_index" ) }, ) config_name: Optional[str] = field( default=None, metadata={"help": "Pretrained config name or path if not the same as model_name"} )

片段 12

=None, metadata={"help": "Pretrained config name or path if not the same as model_name"} ) tokenizer_name: Optional[str] = field( default=None, metadata={"help": "Pretrained tokenizer name or path if not the same as model_name"} ) cache_dir: Optional[str] = field( default=None, metadata={"help": "Where do you want to store the pretrained models downloaded from huggingface.co"}, ) use_fast_tokenizer: bool = field(

default=True,

使用建议

• 这些内容来自授权公开 PDF 的文本抽取结果，网页端会基于同一份静态索引做关键词检索。
• 面试复习时建议先用网页 PDF 原文检索定位题目，再回到主 notes 学系统化答案。
• 如果片段出现排版噪声，以原 PDF 语义为准，并优先整理成自己的回答模板。