Forward Forward Algorithm Hinton 在 NeurIPS 2022 提出了 Forward Forward Algorithm[1]，好像还挺有意思，在此做一个学习。 2023-01-12 Machine Learning #machine-learning #neural-network #deep-learning
训练集样本对于测试集 loss 的影响 主动学习中通常要评估样本的重要性/信息量，以选择最有价值样本使得模型提升最大。 这一点在样本可解释性中也有体现，即“什么样的样本对于训练来说更加重要？” 本文是几篇论文【1，2】的阅读笔记，从梯度的角度阐释样本对于最终测试集表现的影响。 2022-11-21 Machine Learning #machine-learning #neural-network #loss #gradient
机器学习中的 Lipschitz Continuity 在 discriminator 的学习使用中，经常会见到这个 Lipschitz Condition，在此处做一个学习。 2022-11-07 Machine Learning #machine-learning #neural-network #theory
LSTM 最近用到的 ASP-MTL 模型中使用 LSTM 作为特征提取器。 自己对于 RNN 的认知很不成体系，在此进行一个梳理。 对 LSTM 来做一个学习，主要针对结构和预测两方面。 2022-10-27 Machine Learning #machine-learning #neural-network #rnn #lstm
神经网络计算复杂度与硬件算力 深度学习计算量/复杂度相关知识。 个人在此方面的知识较少，导致上周高性能计算的讲座好多都没有听懂，在此做一个学习。 2022-10-20 Machine Learning #machine-learning #deep-learning #high-performance-computing
再次学习强化学习的笔记 距离上一次学习强化学习已经很久了。 最近由于 learning to optimize 用到了很多强化学习的知识，猛的一看发现又不太懂，于是这里进行对于强化学习的再学习。 上一次对强化学习的学习见这一篇帖子。 2022-10-14 Machine Learning #machine-learning #reinforcement-learning
Attention 和 Transformer 注意力机制和 Transformer 在神经网络应用中已经取得了良好的表现，此处做一个简要的学习。 因为在自己的工作中并不会用到，所以此处更注重一些逻辑上的思路，以加强直观上的理解，具体细节有需要的时候再进行补充。 （题外话，翁小姐的博客简直是 GPT 的技术栈。） 2022-09-30 Machine Learning #machine-learning #neural-network #attention
