卡方检验,也就是我们常说的卡方检验,实际上就是个根据观察到的数据,去猜“要是没形成啥意外,情况该是啥样”的计算器。它的核心逻辑就是看:你手头拿到的数据,和那个“理想世界”里的预期数据,离得忒近还是忒远? 这就好比你去超市买菜,你手里拿着记录好的购物清单(观察值),然后去对比超市货架上标准的陈列标准(期望值)。
要是在每一个小格子里,你手清单子和货架标准都差不多,那说明情况挺正常;要是其中一个大格子里,你手清单子赫然显示买了“西瓜 100 斤”,而标准货架规定这个位置只能放“苹果”,要么密密麻麻全是“香蕉”,那这个超市的摆放规则是不是出了大难题?这时候,卡方检验就在场,它算个数字,告诉你这个差异到底是巧合,还是确实让你质疑人生了。 公式这东西,听起来挺玄乎,“卡方”三个字哪位懂啊,实际上是个虚构的名字,是为了纪念那个爱算微积分却没算出具体数值的人。别被这名字绕晕了,它的样子实际上就是个表格,表格里分成了大量个小格子。每个小格子里都有两个数:一个是你亲眼看到的数量,叫 $O$(Observed);另一个是理论上的标准数量,叫 $E$(Expected)。
这俩数加起来,得刚好等于这一行要么这一列的总数,保证整体数据不跑偏。 然后,咱们得算个“概率平方比”。对于那个小格子来说,就是用你在手清单子里看到的 $O$,除以那个标准里的 $E$,算出商,然后再把这个商平方。
比如你看到 100 个苹果,标准是 50 个,那 $100$ 除以 $50$ 等于 2,2 平方就是 4。
这个小格子里,你实际形成的频率乘以 100%,就是 $2%$。
要是你算出来的这个值超过 $5%$,要么超过 $1%$,就看你是代表小概率事件还是大约率事件。 目前要把所有小格子的结局加起来。
比如你算出来的总概率是 $0.863$,再乘以 $100$,你就拿到了一个最终的大数,叫 $chi^2$ 值。
这时候,你拿着这个 $chi^2$ 值去找对应的表,表里会列出一系列临界值,比如 $0.05$ 显著性水平时,自由度为 $1$ 的临界值是 $3.84$,自由度为 $5$ 的临界值是 $11.07$。 举个例子,假设咱们在某个城市的某条马路上,统计了当天凌晨 $0$ 点到 $3$ 点车辆通行的情况,分成 5 个不同的区间。你统计下来,第一个区间 $0-1$ 点,实际通过的车是 400 辆,标准是 400 辆;第二个区间 $1-2$ 点,实际是 300 辆,标准是 270 辆。你算出来这些小格子的最终 $chi^2$ 值加起来,总共是 $1.2$。
这时候你要查表,自由度是 $5$(出于分成了 5 组),在 $0.05$ 的显著性水平下,临界值是 $11.07$。
既然 $1.2$ 远小于 $11.07$,哪怕你是老司机,你也别吓得直接把车开回车库,这大约率只是正常的昼夜交替波动。 可是,要是你算出来的 $chi^2$ 值是 $20$,那就彻底翻车了。
这时候你要查表,自由度是 $5$,在 $0.05$ 水平下临界值是 $11.07$,在 $0.01$ 水平下临界值是 $15.086$。
既然 $20$ 大于 $15.086$,那就说明情况不对劲。
这时候你有两种选择:要么直接回绝原假设,认定那个“标准”是错的;要么进一步做卡方检验的二次检验,看看是不是有哪个小格子里的数据离奇得离谱,比如某个区间出现了 500 辆车,而标准只有 20 辆。 自然,卡方检验有个致命弱点,就是它不能告诉你具体是哪个格子里出了难题。它只能告诉你“大环境”不对。
比如你算出来总 $chi^2$ 是 $20$,你能够放心大胆地回绝原假设,认定那个“标准”是错的;但要是总 $chi^2$ 是 $1.2$,你就只能含糊其辞地说“或许标准是对的”,要么建议重新检查数据录入,毕竟这时候你连哪个格子里有猫腻都不知道。
这就是为啥专业人士在结论里喜爱说“检验未回绝原假设”,而不是“显著不同”。 有时候,我们还会遇到多重比较的难题。
比如你要分析 $100$ 个样本,把它们分成 $10$ 组来看。
要是你直接算了 $10$ 个 $chi^2$ 值,然后加起来看是不是显著,那犯毛病的可能性就变大了。
这时候就需求“校正”,把临界值调高一点。
比如把 $0.05$ 的水平提升到 $0.01$,要么调整自由度,比如用 $df = n - 1 - k$ 来计算,这样算出来的 $chi^2$ 临界值才会略微大一点,保证你在回绝原假设的时候不至于冤枉好人。 另外,卡方检验对数据分布挺有讲究。它假设每个格子里的数据都符合泊松分布,也就是符合“泊松分布”这个说法,那它才靠谱。
要是你的数据是二项分布,要么成对数据,直接碰卡方公式可能会爆炸,就连算出负数结局。
这时候你可能得换个姿势,试试 F 检验,要么用秩和检验。
总而言之,卡方检验就像个老江湖,它见过忒多数据造假,见过忒多标准离谱,故此它一直谨慎地提醒我们:数据配得上它的名字吗? 最终总结一下,卡方检验实际上就是一个数学游戏,通过比较观察值和期望值的差异,用平方比例的方式量化这种差异。
要是你算出的 $chi^2$ 值超过临界值,别怕,直接喊停,认定规则错了。
要是没超过临界值,也别慌,大约率只是巧合。
记住,这个工具再强大,也不能替代你的直觉,毕竟有时候数据做得再好,也可能只是你理解错了罢了。