空闲时间重新读了下李沐老师的文章，写下自己的感悟。
用随机梯度下降来优化人生 - 李沐的文章 - 知乎
https://zhuanlan.zhihu.com/p/414009313
以下观点均为本人阅读后自己的感悟与认识，不代表原作者
要有目标，不管是自己的也好，仿照别人的也好。有目标才有方向，才会有希望。人生得有希望，才会有斗志。
目标要大，目标不应太简单，可以宏大一点，足够一颗赛艇。我认为目标不需要很清晰明确。事实上，我认为一个足够宏大的目标，它不会清晰，只是一个大致的方向。
坚持走，定完目标后，将目标拆分，拆成一个个小目标。这些小目标的方向和步幅都不用精确，就像随机梯度一下，它的每一步下降都是随机的，也可能会出现反方向，但不用担心，只要走下去就行。随机梯度下降最终都会到达包含最优解的一个小区间内。
痛苦的卷，每一步都在试图改变自己，而改变自己都会带来痛苦，无论是改变性格、做事风格、生活作息等等。事实上，人的改变与进化往往发生在痛苦中。需要注意的是，发生痛苦不代表自己一定在朝着目标走，也可能走错路了。但长时间的舒服一定表明自己在原地踏步。舒适圈的生活很好，但在中国，除了考公考编，其余地方的长时间的舒适圈，都会对未来带来风险和隐患。
可以躺平，在朝着目标前进的路上，不需要每时每刻都迈着大步子。随机梯度下降告诉我们，如果一直使用同一个学习率，最终可能不会达到最优解，甚至无法进入包含最优解的那个小区间内。可以周期性的调大调小步长，时不时的休息休息，效果也挺好。
四处看看，朝目标走的每一步，都是自身的改变，也就意味着对这个世界有了新的认识。如果发现在很长一段时间里，自己周围的世界没什么变化，那可能就是目标太过简单，又或者是在舒适圈太久了。随机梯度下降，它有随机的属性，所以如果正在朝着目标前进，自身周围的世界理应有变化。我们需要四处走走，看看很多地方，不管是物理世界，还是精神世界。我认为跳槽，去往另一个城市/地区/国家居住，与不同的人沟通，不断扩展自己的人脉，提升自己的知名度等等，这些都是四处走走的体现。我们会做大量决定，其中一定会包含很多错误，但这些都表明自己正在朝着目标一点点接近。
快也是慢，没必要特意去追求找到最好的下降方向和下降步幅。身边确实有幸运儿，他们每一步都走在别人前面。但前期下降过快，后期可能会乏力。过早地到达舒适圈，会忘了世界有多大。所以当实现自己的目标后，应该设立下一个目标。意义不在实现目标，而是在实现目标的途中，接触到的人，去过的地方，做过的事，说过的话，以及自己的感悟。人生很短，但其实也很长。不要着急，有很多的惊喜在等着自己，成名无需太早。
赢在起点，起点确实很重要。如果在终点附近起步，确实可以少走很多路。当发现别人不如自己时，看看自己站在哪里。如果只是运气好，当两人在同一起跑线时，不见得自己能做的比别人好。想想自己相较于别人的优势，如果能找到自己的优势，并加以利用，那才是一个真正意义上的，比别人跑得快的幸运儿。事实上，能找到自己优势并加以利用的人是少数，但这个很重要。
很远也能到达，如果随机一个起点，那么需要做好前面的路会非常不平坦的准备。离终点越远，越人迹罕见，四处都是悬崖。但随机梯度下降告诉我们，不管起点在那儿，只要按照梯度的方向走，最终都会得到一个差不多的解。当然，如果中途梯度消失或者爆炸了，可以再随机一个起点，调整步子和方向，重新开始。人生很长，中途会有发生各种意外，不用担心。
独一无二，也许大家的目标都差不多，在差不多的时间毕业买房结婚生子。但每一步里，每个人内心看到的世界都不一样，导致走的路都不一样。你如果跑多次随机梯度下降，在各个时间点，大家的loss可能都差不多，但每次的参数都千差万别。并不会有人关心你每次的参数是什么样，除了你自己。
简单最好，实际却是有很多复杂的，比随机梯度下降更优的算法，他们想每一步看得更远更准，想步子迈最大。但如果你的目标很复杂，简单的随机梯度下降反而效果更好。深度学习中大家都爱使用它。关注当下，每次抬头看看世界，快速做决定，然后迈一小步，小步奔跑，只要有目标，方向大差不差，总能到达。