欢迎阅读 COMP3354 数据学习的笔记。本文根据我的课堂学习过程编写，因此笔记内容可能存在疏漏，错误等其他不可预见的问题。请见谅！ 你之所以能看见这份笔记，是因为我比较喜欢用写下笔记的方式来整理自己学到的内容。这样不仅对我自己有好处，如果你也是一...

感知机与第一次AI寒冬人脑由神经元组成。生物学家告诉我们，神经元的工作方式很简单： 树突接收来自其他神经元的信号（输入）。细胞体负责累加这些信号。如果累加的信号超过某个阈值，轴突就“啪”地一下放电（激活），把信号传给下一个神经元。 数学家尝试用数学来...

在前上一章我们讲了CNN,和RNN。当时我们的任务通常是判别与分类：给一张图，判断是猫还是狗；给一句话，判断情感是正向还是负向。 在这一章，我们看到了AI的新形态：大语言模型 (Large Language Models, LLM) 现在我们的任务变...

本章是整个课程的"预告片"。我们会快速浏览机器学习的三大流派——监督学习、无监督学习、强化学习。别担心如果有些概念现在还模糊，后续章节会逐一深入每个领域。 现在，让我们从一个根本性的问题开始：什么是"学习"？ ...

上一章我们建立了机器学习的宏观图景：数据 → 模型 → 预测。但有一个问题被我们刻意回避了——现实世界充满噪音和不确定性。 传感器会出错，标签会被打错，数据本身就是模糊的。我们如何用数学语言描述这种"不确定"？答案就是概率论。 如...

上一章我们凭借直觉得出了MLE的结论：扔硬币100次，70次正面，那么$\theta = 0.7$。简单粗暴，但真的对吗？ 本章我们将用数学来证明这个直觉是正确的，并把MLE扩展到更复杂的分布。最后，我们会引入MLE的"升级版&q...

前两章我们学会了用概率来描述不确定性（Ch2），以及用MLE/MAP来估计参数（Ch3）。 现在是时候把这些武器用在一个真实的战场上了——预测房价。 这就是线性回归，它是几乎所有复杂模型的祖先。理解了它，后面的神经网络、深度学习都会变得更容...

上一章我们推导出了线性回归的完美闭式解。但故事远没有结束——如果你真的用它去预测，很可能会遭遇一个噩梦：模型在训练集上完美，在测试集上一塌糊涂。 这就是过拟合。本章将介绍对抗它的终极武器：正则化。 正则化还记得上一章我们最后提到的模型过拟合问题吗？...

偏差与方差这一部分是整个机器学习理论中最优美的章节之一。之前的目光聚焦到“如何训练模型（降低 Loss）”，而现在我们来看看“模型为什么会犯错”。 首先我们要建立一个所谓上帝视角。在现实中，我们只有一份训练数据$D$，但在理论分析中，我们要想象存在无...

欢迎来到"第二座山"！ 前六章我们一直有"标签"这个拐杖（监督学习）。但现实中，大部分数据是没有标签的。没人告诉你这张图是猫还是狗，也没人告诉你这封邮件是不是垃圾邮件。 当没人告诉你答案时，你能发现数据中的结构...