线性注意力
-
SemiAnalysis:Kimi K3线性注意力机制不会削弱GPU需求,反而可能刺激硬件增长
半导体分析机构SemiAnalysis指出,月之暗面Kimi K3虽采用线性注意力降低KV缓存通信,但2.8万亿参数和WideEP策略将增加GPU和网络需求,杰文斯悖论或推动长期硬件扩容。
半导体分析机构SemiAnalysis指出,月之暗面Kimi K3虽采用线性注意力降低KV缓存通信,但2.8万亿参数和WideEP策略将增加GPU和网络需求,杰文斯悖论或推动长期硬件扩容。