见过 SVM 的人都知道，它在处理超大规模数据时往往显得有点“笨”，特别是用了核函数之后，模型参数那叫一个难搞。大量人一上来就认定是数学题，一做题我就认定这大约是给 AI 设计的入门测试卷。
实际上 SVM 的核心跟他拿鞭子的方式相关，但这鞭子抽出来的效果，跟抽啥、抽在哪个角度上，大有讲究。 经典的核函数，Gaussian 要么 RBF，看着挺漂亮，数学推导也绕了半圈。但一般/平平人一上来就不会用它，出于要调参数。调参数就像调菜，不能随意来。
比如 Sigmoid 那种函数，参数只有两个：C 和 gamma。但 GPR（高斯过程）就得搞一堆，Gaussian 核线性的话参数多到不可思议。
故此有人干脆直接扔出个万能公式，那就是所谓的密核。 不过，这个万能公式实际上是把 SVM 和神经网络划归一类了，这在学术界是有争议的。 要是你的数据量不大，比如只有几张图要么几百个样本，直接上核函数也凑合用。
这时候你不需求复杂的推导，只需求关切这个公式的底层逻辑。
那公式长啥样？实际上就是一个指数衰减函数，参数是 C 和 gamma，这个 gamma 实际上是想表达数据的密度，C 则是惩罚毛病的力度。 公式本身一看就懂，但也正出于忒好办，往往被用来骗过模型。
比如有人拿个好办的线性分类器，加上这个公式，随意凑几个数据点，居然能过各种测试集。
这不是模型强，是参数调得挺好。
这时候要是 try 几个不同的 gamma 要么 C，发现效果提升不明显，那多半是模型本身就没起色。更别提那些超参数搜索算法，比如随机搜索要么网格搜索，它们要是只给个起点参数，不知道该如何往死里冲，那模型大约率就是被卡住了。 在训练过程中，这公式下的模型是没法直观看出来的。它不是一口气把数据分类完了，而是分阶段。
第一阶段它是在学那几条线，每条线由一条超平面拍板。
这时候你看画，所有的数据点都在自己的倒影里。
第二阶段到了优化阶段，它启动学习那条曲线，让曲线穿过那些点。 这就有点像学游泳。一启动你只盯着水面看，认定水挺浅，实际上水面下全是石头。
这时候游泳的人会认定手总抖，脚也抬不起来。但算法没停在那儿，它已经在潜水了。
这时候你再一看，水面上那些浮漂，实际上是石头被压在水下的样子。它意识到自己得往深处钻，把那些浮漂都吸起来，然后顺着水流把石头排到最上层。 这种分层结构，在训练初期是看不见的，但你要是盯着画看，会发现最终出来的线是越来越复杂的，不再是直的。它不是单纯地拟合那些点，而是得把数据周围那些没被点着的区域也给照顾到。
这时候再引入核函数，就像是给模型加了一层“透视眼镜”。 核函数的功能就是告诉模型：“别光盯着这些点，看看它们周围是不是还有别的点。”当你在训练早期看到的那些线实际上已经是“透视眼镜”效果了，这时候核函数才启动发挥功能。它准模型在特征空间里进行非线性变换，把原始的特征空间映射到一个高维空间，进而让原本线性的分类难题变得复杂，让那些难分的点归位了。 但这并不意味着高维空间里只有点。
要是数据量特别大，这个高维空间可能会大到计算机根本存不住，那就得压缩。
这时候核函数的功能就大了，它能在低维空间里通过复杂的映射，把数据“分身”到更高维的维度去。
这就好比一个人长得像个人，但又不彻底一样，他能够通过变换自己的形态，变得跟另一个人彻底不一样，与此同时保持那个核心的特征。
这就是所谓的相似性嵌入，别看核函数用的是相似性的嵌入，但效果是一样的。 举个例子，假设你有一堆数据，有些是好的，有些是坏的。
要是直接看，好坏挺难分。
这时候用核函数，相当于在特征空间里把它们分开了。
比如你画了一张图，红色的点代表好，蓝色的代表坏。在特征空间里，这两类点被分到了不同的区域。
这时候 SVM 画一条线，就能把两类都分清楚。 但难题是，这个分类边界在特征空间里是弯曲的。
这时候要是你想要一个平滑的边界，直接画可能会跟数据打架。
这时候核函数就派上用场了。它通过复杂的映射，让好的点靠近中心，坏的点远离中心。
然后 SVM 画一条线，切那会儿。
这条线在特征空间里是弯曲的，但在原始空间里可能看起来就是一个好办的线性边界。 这就好比你在画一个环，先在纸上画个圆，然后把它抹平，变成一条线。结局就是环了。但要是你不抹平，直接画一个圆，那就是个圆。
这时候核函数就是把数据从原始空间映射到高维空间，然后在高维空间里画个圆，最终再投影回原始空间。 在这个过程中，核函数的参数就像是这个圆的半径。C 一样大，圆就小，分类边界就细；C 一样大，半径小，分类边界就粗。
这就像是在调整画笔的粗细。忒粗了可能把数据都画粗了，忒细了可能连像素都画不完。
这时候就需求通过网格搜索要么随机搜索来找到那个最合适的“半径”。 有时候你会发现，用核函数反而效果不好。
比如你用了个复杂的公式，明明参数调得挺好，模型还是只是在一堆点上画直线。
这时候难题可能出在训练初期，模型没学到真正的特征。
这时候你可能得重新审视你的数据，是不是特征工程做得不够？
要么是数据本身就有噪声。 核函数的另一个特征，跟神经网络有点像。神经网络也是通过隐藏层来学习复杂的非线性关系。但神经网络的参数是权重，每个层都有成千上万个。而 SVM 的核函数，别看也能做映射，但它往往是全局的，要么说是通过核函数的核函数来构建的。
有时候你发现某个核函数特别管用，那挺可能是出于这个核函数存有了某种内在的结构，跟数据本身相关。 比如你用了 GPR 核，有时候你会发现效果特别好，可能是出于这个核函数本身就代表了某种物理关系，要么是一种隐式的特征取。而不 Need 的核函数，可能只是瞎凑合。
这时候要是模型效果不好，建议别用核函数了，直接换好办的线性分类器试试，要么干脆去掉核函数，看看能不能直接线性解决。 总而言之，核函数在 SVM 里是个好东西，但也不是确实啥“神器”。它更像是一个工具，一把尺子，一把尺子量出来的东西，得看你如何用。
要是你拿它去量一个复杂的三维物体，可能根本用不上，这时候换个工具就好了。
