神经网络Linear、FC、FFN、MLP、Dense Layer等区别是什么？
2023年6月21日 · 细分这几个模块叫法的本质区别2.FC（全连接）： "FC" 表示全连接层，与 "Linear" 的含义相同。在神经网络中，全连接层是指每个神经元都与上一层的所有神经元相连接。每个连接都有 …
线性到底是什么意思？ - 知乎
2019年4月24日 · （如果非要给个名字，f (x)=ax+b如果表示函数或映射的话，应该叫仿射，而不是线性映射）。 至于，线性映射和线性方程的联系。 可以参照 An equation written as f (x) = C is called …
Linear是什么意思？Softmax是什么意思？ - 知乎
2025年6月23日 · Linear 层就能帮你完成这个从 784 到 10 的维度压缩和映射。 通过学习到的权重 W，Linear 层能自动发现哪些输入特征是重要的，哪些是噪音。 它像一个高效的信息过滤器和整合 …
Lightning Attention 是如何克服传统线性注意力机制需要累加 ...
2025年1月16日 · 答案就是linear attention的第三种形式：chunkwise parallel form（最早应该是在 Transformer Quality in Linear Time 提出的，现在所有的线性注意力训练都是基于chunkwise parallel …
如何看待Log-linear Attention? - 知乎
2025年6月7日 · 那Log-linear Attention是如何改变这个复杂度的，一个很直观的解释就是在softmax attention里面，每个token单独对应一个记忆 (KV Cache)，而在linear attention中，所有的信息被组 …
如何评价线性代数教材《Introduction to Linear Algebra》？ - 知乎
2020年9月4日 · 如何评价线性代数教材《Introduction to Linear Algebra》？ Gilbert Strang 的《Introduction to Linear Algebra》是我们专业的线性代数课程的教材。 跟国内的任何一本教材或… 显示 …
如何评价: 线性代数及其应用；和Introduction to Linear Algebra？
2020年9月22日 · 很惭愧，我只看过《线性代数及其应用》，《Introduction to Linear Algebra》我看过英文扫描版，因为英语水平实在太差只读了前面几章就没再读了。 《线性代数及其应用》这本书面向 …
如何评价Kimi Linear？ - 知乎
2025年10月30日 · 模型整体架构设计如图所示，延续了 Moonlight 的设计思路，别的回答已经有不少优秀的解读了。这次最大的不同在于我们将MoE的稀疏度设置得更激进，从8到32。 而 Kimi Linear 的核 …
优化里的Q-linear Convergence和R-linear convergence是什么 ...
2022年7月14日 · 1. Q-linear收敛（quadratic-linear convergence）：当一个优化算法以Q-linear的方式收敛时，意味着它的收敛速度比线性收敛更快。 具体而言，对于每一次迭代，算法的目标函数值会以 …
DeepSeek-V3.2-Exp 和 Qwen3-Next 哪个才是未来？ - 知乎
2025年9月30日 · Linear attention的update rule决定了利用有限state的效率，像Lightning attention, Mamba2这样利用 （gated）Hebbian update rule的架构在利用state上面 存在一些本质的缺陷，虽 …