TEML

共 2 篇笔记

P1:向量化与 MLP

读完能回答: 为什么把 P0 的 Value(float) 换成 Tensor(ndarray) 能加速两个数量级?数学原理一字没变,换的是什么? matmul 的反向为什么是 dL/dA = dL/dY @ B.T?能…

P0:标量自动微分

读完能回答的问题: 为什么"自动微分"叫 automatic 而不是 symbolic?和手算、符号求导有什么本质区别? 计算图上的 forward 和 backward 各做了什么?为什么 backward 必须拓扑排…

查看全部文章 ↗