[合集] 简论机器学习

本贴为简论机器学习的集合贴。

前言

在机器会学习之前，人类先学会了偷懒
谈机器学习之前，最好先把一个经典的误会放到桌面上。
很多人第一次听到机器学习，脑子里浮现的画面大概是这样的。机房深处，一台通体发光的服务器缓缓睁眼，屏幕上飘过一串绿色代码，然后它用冷酷的电子音宣布，人类，我已经掌握了你们的秘密。（天网的算力都不够现在的LLM用的）
这画面很赛博，很带感，很适合拿去剪短视频，配上低沉旁白，再加一句经典台词。
时代变了。
可…

机器学习之前，先学会看数据

不要上来就挑模型
很多刚接触机器学习的人，上手的第一件事往往是选模型。
线性回归、随机森林、XGBoost，接着听说 LightGBM 表现更好，于是打开教程，复制代码，导入数据，训练，看一眼准确率，感觉整个流程跑通了。
看见屏幕上的数字，忍不住觉得已经跨过了门槛。（忍不住轻哼起来）
等到换一批真实数据再试，模型却经常一塌糊涂。
这样的过程在机器学习圈子里反复出现。
像刚拿到驾照的人，还…

数据表里没有一桩小事
上一篇我们反复申说，机器学习项目真正启动之前，最好先把数据这件头等大事端详清楚。
听上去像极了一句正确得令人打不起精神的唠叨。
好比出门前有人叮嘱你观测天象，下厨前提醒你刷锅净灶，写代码前告诫你先读懂需求文档。
道理桩桩件件都对，执行起来却常常被当作耳旁风，左耳进右耳出。
很多人接过数据以后，第一反应仍然是立刻让流程跑起来，片刻都不想耽搁。
导入 pandas，读取…

看见数据关系，才算真正开始看数据
前两篇说了很多看数据之前该做的事。
先弄清楚数据从哪里来，字段代表什么，标签怎么定义，缺失值为什么缺，异常值到底是错误还是信号，训练集和测试集有没有互相串门，线上数据会不会和训练数据分道扬镳。
这些事情听起来麻烦，做起来折腾，是因为这些本来就是非常琐碎的工作，甚至有一个专门的信息集采和清洗的职业（工资都很低，别去尝试）。
但是在机器学习项目里，越基础的地方越…