Spearman相关系数公式详解:计算步骤与实战案例解析 深入解析 Spearman 相关系数:公式、原理与应用
在统计学与数据分析领域,衡量两个变量之间关联程度的方法多种多样。其中,皮尔逊相关系数(Pearson Correlation Coefficient)因其直观性而广为人知,但它有一个严格的假设前提:数据必须服从正态分布且呈线性关系。然而,在现实世界的复杂数据中,许多关系并非线性,或者数据分布并不符合正态要求。 这时,Spearman 等级相关系数(Spearman's Rank Correlation Coefficient)便成为了数据科学家和研究人员不可或缺的工具。本文将深入探讨 Spearman 相关系数的核心公式、计算逻辑、适用场景以及与皮尔逊相关系数的区别。
1. 什么是 Spearman 相关系数?
Spearman 相关系数(通常记为 或 )是一种非参数统计量。与皮尔逊相关系数衡量的是“线性相关”不同,Spearman 相关系数衡量的是两个变量之间的单调关系(Monotonic Relationship)。 简单来说,如果随着变量 X 的增加,变量 Y 也倾向于增加(或减少),无论这种变化是直线的还是曲线的,Spearman 相关系数都能捕捉到这种趋势。它通过将原始数据转换为秩次(Ranks)来实现这一目标,从而对异常值具有更强的鲁棒性。
2. Spearman 相关系数的核心公式
Spearman 相关系数的计算主要基于两个变量的秩次差值。其标准公式如下:
公式符号解析:
(rho):Spearman 相关系数,取值范围为 。 :完全正相关(秩次完全一致)。 :完全负相关(秩次完全相反)。 :无线性或单调相关。 :第 个观测值中,两个变量秩次之差。即 ,其中 是变量 X 的第 个值的秩, 是变量 Y 的第 个值的秩。 :所有观测值秩次差的平方和。 :样本容量(观测值的数量)。
⚠️ 注意:当存在“结”(Ties)时的修正公式
上述简化公式仅在数据中没有重复值(即没有相同的秩次)时精确有效。如果数据中存在大量重复值(即出现“结”,Ties),需要使用更通用的公式,即对秩次应用皮尔逊相关系数公式: 其中 和 分别是变量 X 和 Y 秩次的平均值。在实际编程实现(如 Python 的 `scipy.stats.spearmanr`)中,算法会自动处理这种情况。
3. 计算步骤详解
为了理解公式背后的逻辑,我们通过一个简化的例子来演示计算过程。 假设我们有以下5组数据,研究“学习时长”与“考试成绩”的关系:
| 样本 | 学习时长 (X) | 考试成绩 (Y) |
| A | 2 | 60 |
| B | 4 | 70 |
| C | 1 | 50 |
| D | 5 | 80 |
| E | 3 | 65 |
第一步:将数据转换为秩次(Ranks)
首先,分别对 X 和 Y 从小到大排序并赋予秩次。 X (学习时长) 排序:1(C) < 2(A) < 3(E) < 4(B) < 5(D) 秩次 : C=1, A=2, E=3, B=4, D=5 Y (考试成绩) 排序:50(C) < 60(A) < 65(E) < 70(B) < 80(D) 秩次 : C=1, A=2, E=3, B=4, D=5
第二步:计算秩次差 及其平方
| 样本 | | | | |
| A | 2 | 2 | 0 | 0 |
| B | 4 | 4 | 0 | 0 |
| C | 1 | 1 | 0 | 0 |
| D | 5 | 5 | 0 | 0 |
| E | 3 | 3 | 0 | 0 |
(注:这是一个完美单调递增的例子,为了展示公式威力,假设数据略有不同,例如 E 的成绩变为 75) 修正后的假设数据: E: 学习时长 3, 成绩 75 Y 排序变为:50(C) < 60(A) < 70(B) < 75(E) < 80(D) 新 : C=1, A=2, B=3, E=4, D=5
| 样本 | | | | |
| A | 2 | 2 | 0 | 0 |
| B | 4 | 3 | 1 | 1 |
| C | 1 | 1 | 0 | 0 |
| D | 5 | 5 | 0 | 0 |
| E | 3 | 4 | -1 | 1 |
第三步:代入公式计算
已知 ,。 结果为 0.9,表明学习时长与考试成绩之间存在极强的正单调相关关系。
4. Spearman 与 Pearson 的关键区别
| 特性 | Pearson 相关系数 | Spearman 相关系数 |
| 数据类型 | 连续变量,需满足正态分布 | 连续或有序分类变量,无需正态分布 |
| 关系类型 | 线性关系 | 单调关系(线性或非线性但趋势一致) |
| 异常值敏感性 | 敏感(极端值会显著影响结果) | 不敏感(基于秩次,极端值被压缩) |
| 计算基础 | 原始数据的均值和标准差 | 数据的秩次(排名) |
| 适用场景 | 理想化的科学实验数据 | 现实世界中的调查数据、排名数据、非正态数据 |
5. 何时使用 Spearman 相关系数?
在以下场景中,Spearman 是比 Pearson 更合适的选择: 1. 数据不服从正态分布:当直方图显示数据严重偏斜时。 2. 存在异常值(Outliers):例如收入数据中出现的极高收入者,会扭曲 Pearson 系数,但不会显著影响 Spearman 系数。 3. 数据是等级制的(Ordinal Data):例如用户满意度调查(“非常不满意”到“非常满意”)或比赛排名。 4. 非线性但单调的关系:例如,随着温度升高,冰淇淋销量增加,但可能遵循指数增长而非直线增长。
6. 结语
Spearman 相关系数以其简洁的公式和强大的鲁棒性,成为数据分析工具箱中的一颗明珠。它不苛求数据的完美分布,而是关注变量间的相对顺序和趋势。 在实际应用中,建议先通过散点图观察数据形态,并结合 Shapiro-Wilk 检验判断正态性。如果数据存在非正态、异常值或非线性单调特征,请毫不犹豫地选择 Spearman 相关系数。掌握这一工具,将使你在解读复杂数据关系时更加准确和自信。