大语言模型（LLM）像大脑一样，它们是由 “神经元” 组成的，它们观察文本中的一些特定模式，以影响整个模型接下来 “说” 什么。但由于 LLM 中的参数数量多到已经无法由人类解释的程度，因此，LLM 给人一种 “黑盒” 的感觉，并出现了偏见、幻觉、涌现等一系列不好解释的现象。OpenAI 正在开发一种工具，以自动识别 LLM 的哪些部分负责其哪些行为。它使用 GPT-4 来解释其 4 年前发布的只有 30 万个“神经元”（15 亿个参数）的 GPT-2。目前该工具代码和所有的 “神经元” 解释数据已经开源，OpenAI 称该工具还在早期阶段。生成的解释结果并不令人满意，看起来连 GPT-4 都不能太用人类可以理解的语言来解释GPT-2 的行为。来源 1，2

🎉 来自：雷锋

📢 频道：@kejiqu

👥 群组：@kejiquchat

🤖 投稿：@kejiqubot