深度主动学习批判文章阅读 目前出现一些对深度主动学习批判的文章,结合自己的实践,深以为然,此处将其整理一下。 同时这些文章也收录进了本人 awesome-active-learning 的仓库,详见此链接。 在本文末尾,本人也提出了一些自己的看法。 2021-08-12 Paper Reading #active-learning
Prompt 学习记录 在自然语言处理中有一个叫做 prompt 的新范式最近较火,其背景是在少标记的场景下学习。 本文主要内容都是从 Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing 这篇综述中提取。 仅涵盖本人认为最需要被科普的内容。 2021-08-11 Machine Learning #machine-learning #nlp #few-shot-learning
早停与验证集损失 一些有关神经网络训练早停及验证集损失的记录。 实验中发现验证集损失与其准确度不严格单调负相关,所以搜索一下答案。 2021-08-10 Programming #machine-learning #neural-network #loss
信息论以及机器学习中的熵 这里对机器学习中常用到的信息论知识点做一个总结。 第四次更新本文,每次都能发现之前的理解有疏漏和不清晰的地方。 这次更新本文为两部分,信息论中的熵 & 机器学习中的熵,主要包含相关的定义和何如理解这些概念。 2021-08-09 Machine Learning #machine-learning #neural-network #loss #entropy #info-theory
神经网络损失函数 由于总是忘记一些 loss 的常用场景和区别,此处记录一些常用的神经网络 loss。 2021-07-30 Programming #machine-learning #neural-network #Python #Pytorch