Spiking Neural Network 此处记录对于 Spiking Neural Network(脉冲神经网络)的学习。 SNN 号称是 BP 网络之后的第三代神经网络,名头很响,但好像并没有看到太多应用。 这里不求甚解,只希望把最基本的与 ANN 的对应关系简要了解。 2023-01-29 Machine Learning #machine-learning #neural-network #spiking-neural-network
Boltzmann Machine 此处记录对于 Boltzmann Machine,即玻尔兹曼机的学习。 在互联网上并没有找到太多很好的资料,看了半天仍旧云里雾里,这里还是以我自己个人了解模型的思路来进行学习。 以目前的了解来看,这一系列模型用得并不太多,只是偶尔被拉出来提到,所以还是得看一下。 2023-01-28 Machine Learning #machine-learning #neural-network #boltzmann-machine #deep-belief-net
Forward Forward Algorithm Hinton 在 NeurIPS 2022 提出了 Forward Forward Algorithm[1],好像还挺有意思,在此做一个学习。 2023-01-12 Machine Learning #machine-learning #neural-network #deep-learning
训练集样本对于测试集 loss 的影响 主动学习中通常要评估样本的重要性/信息量,以选择最有价值样本使得模型提升最大。 这一点在样本可解释性中也有体现,即“什么样的样本对于训练来说更加重要?” 本文是几篇论文【1,2】的阅读笔记,从梯度的角度阐释样本对于最终测试集表现的影响。 2022-11-21 Machine Learning #machine-learning #neural-network #loss #gradient
机器学习中的 Lipschitz Continuity 在 discriminator 的学习使用中,经常会见到这个 Lipschitz Condition,在此处做一个学习。 2022-11-07 Machine Learning #machine-learning #neural-network #theory
LSTM 最近用到的 ASP-MTL 模型中使用 LSTM 作为特征提取器。 自己对于 RNN 的认知很不成体系,在此进行一个梳理。 对 LSTM 来做一个学习,主要针对结构和预测两方面。 2022-10-27 Machine Learning #machine-learning #neural-network #rnn #lstm
神经网络计算复杂度与硬件算力 深度学习计算量/复杂度相关知识。 个人在此方面的知识较少,导致上周高性能计算的讲座好多都没有听懂,在此做一个学习。 2022-10-20 Machine Learning #machine-learning #deep-learning #high-performance-computing