3-LLMs 激活函数篇

来源 PDF：200页AI大模型面试高频必刷题（附详解）/3-LLMs 激活函数篇.pdf
主题：训练 / 微调
页数：2
字符数：358
索引片段数：1

摘要

代表性原文片段

片段 1

LLMs 激活函数篇 来自： AiGC面试宝典 宁静致远 2023年09月29日 12:41 1 介绍一下 FFN 块 计算公式？ 2 介绍一下 GeLU 计算公式？ 3 介绍一下 Swish 计算公式？ 2个可训练权重矩阵，中间维度为 4h 4 介绍一下 使用 GLU 线性门控单元的 FFN 块 计算公式？ 5 介绍一下 使用 GeLU 的 GLU 块 计算公式？ 6 介绍一下 使用 Swish 的 GLU 块 计算公式？ 3个可训练权重矩阵，中间维度为 4h*2/3 各LLMs 都使用哪种激活函数？ 查看更多

4h = 4*4096 = 16384 2/3 * 4h = 10022 -> 11008 11008/128 = 86

使用建议

• 这些内容来自授权公开 PDF 的文本抽取结果，网页端会基于同一份静态索引做关键词检索。
• 面试复习时建议先用网页 PDF 原文检索定位题目，再回到主 notes 学系统化答案。
• 如果片段出现排版噪声，以原 PDF 语义为准，并优先整理成自己的回答模板。