研究人员提出 Power Law Graph Attention
PLGA 泛化了缩放点积注意力，并报告了在精确不变性下的推理坍缩现象。
为什么重要
这项工作提出了一种形式化的注意力变体，可能有助于研究人员分析更具表达力的注意力机制在推理时何时会退化为广义缩放点积注意力。不过，论文自身给出的界限只能量化、不能证明缓存推理成立，因此限制了其短期部署层面的主张。
核心要点
- 1.PLGA 通过一个学习得到的双线性算子泛化了缩放点积注意力。
- 2.论文声称，当该算子为恒等算子时，可以精确恢复 SDPA。
- 3.报告的不变性测量结果并不能证明缓存推理成立。
一篇新的 arXiv 论文提出了 Power Law Decoder Representations 和 Power Law Graph Attention，用一个学习得到、由输入生成的双线性算子，取代缩放点积注意力中固定的双线性形式。作者表示，当该算子为恒等算子时，PLGA 精确包含缩放点积注意力，并将相关主张标注为定理、条件定理、测量结果或猜想。论文还报告了一个在演绎输出具备精确输入不变性时出现推理坍缩的定理，同时给出了 10^-6 及以下量级的相对波动测量值。
⚡ 今天就能用
在把 PLGA 风格注意力用于模型设计之前，应先阅读原论文，尤其是在依赖缓存推理行为时。
来源与原始报道
本简报汇总并链接到以下媒体的报道。
- arXiv cs.LGPower law graph attention: exact generalization of scaled dot-product attention, empirical collapse at inferenceAug 12, 12:00 PM↗
- arXiv cs.CLPower law graph attention: exact generalization of scaled dot-product attention, empirical collapse at inferenceAug 12, 12:00 PM↗
- HF Daily PapersPower law graph attention: exact generalization of scaled dot-product attention, empirical collapse at inferenceAug 10, 4:00 AM↗
觉得这篇简报有用？下一篇直接送到你的邮箱。