- 并不是什么排在前几位的才研究优化，只是大家的研究领域不同而已。有的人研究模型结构，比如现在流行的 Transformer，也有人研究优化算法，比如 Adam 和 Adafactor 。分工和兴趣不同而已。
- 我没见过那么复杂的计算，我猜测是因为简单的加和计算可以转化为矩阵乘积，更加适合用 GPU 来加速。
- 个人不推荐 Matlab，Matlab 更加偏数学和工程。如果你确实想做一些东西，我建议还是从 python 开始，python 圈里的资源更加丰富。

- 反向传播算法确实是基础，但是除非是做优化的或者做教学的，一般从业者其实很少手工推导。因为大部分的神经网络框架都已经处理好这部分内容了。实现机制比较复杂，我只知道会在内存中维持一个 compution graph 用来追踪所有的网络连接和神经元。
- 层与层之间的连接可以是非线性的，实际上大部分的激活函数都是非线性的。
- matlab 是一种编程语言，tensorflow, pytorch 是 python 下的神经网络框架。tensorflow 和 pytorch 数学抽象都是一样的，只是具体的实现方式不一样。就像 java 和 C++的关系，都是基于上下文无关文法的语言，只是各自有各自的特点。