置信区间和预测区间,听起来像是在数学课本上背死的一个公式,但在实际搞研究要么做业务决策的时候,它们更像是一种直觉。想想看,要是我们看到一条长得一模一样的线,如何算都是那样,那还值得去纠结它是不是那条线吗?故此在研究状态下,我们更关心的是这条线“大约在哪儿”。 置信区间就是用来回答“下限大约是多少,上限大约是多少”的。它定义的是,我们有百分之几的把握,确实会抓到那条区间里面的那根线。举个好办的例子,假设你要估算某个新药的有效剂量。
要是你算出的是 50 到 55 毫克之间的一个区间,并且说你有 95% 的把握,那实际上是在说,在观测数据覆盖的范围内,真值大约率落在这个框里。
这里的核心逻辑实际上挺朴素:样本数据是有噪声的,统计推断就是在承认误差的前提下,努力把范围收窄。 可是,预测区间和置信区间有时候让人晕头转向,出于它们长得挺像。乍一看,是不是只要把置信区间的上下限加起来?不对,这彻底是两个概念。置信区间关切的是“平均值”这事儿,它是针对总体均值要么总体分布中心位置的估摸,故此它比较稳,好办收敛。而预测区间关切的是“单个个体”的未来状态,它针对的是那些跟总体均值相距较远的未来观测值。
这就好比你在预测明天的气温,置信区间告诉你明天平均气温大约在 15 度左右,而预测区间告诉你,明天那个具体的某一天的气温,大约率在 10 到 20 度之间。 为啥预测区间一般比置信区间要宽?出于后者的方差实际上是个固定值,跟样本大小没关系,它就是数据的天然波动。而前者呢,随着样本量的增添,它也是趋近于一个固定值。
故此当我们面对未来工夫点的时候,不确定性往往不止来自数据本身,还来自那个工夫点本身的不确定性。
这就像你盯着屏幕看,越看越慌,那不是你的眼出了难题,而是你盯着一个具体的点。 再看个数据例子。假设你随机抽了 100 个人做身体测试,发现他们的平均身高是 175 厘米,标准差是 10 厘米。你能够算出一个 95% 的置信区间,大约是 173.5 到 176.5 厘米。
这个区间在 95% 的概率里,覆盖了所有可能存有的 100 个人的真平均身高。
可是,要是你想知道“我”这个具体的未来个体,身高大约是多少?这时候就得用预测区间了。出于每个个体的身高分布都是独立的,并且跟总体均值可能相差不少,这个区间一般会宽大量,比如从 160 到 200 厘米这样(具体数值取决于你用的分布模型推导,但直观感受是它包含的范围更广)。 有人可能会问,要是我把置信区间和预测区间的结局放在一起画图像,是不是会有重叠?这就挺有意思了。在传统的正态分布假设下,要是置信区间和预测区间不重叠,那说明我们对中心值的把握贼大,才能对某个特定个体的预测也贼有把握。但一旦它们启动重叠,那就意味着啥?意味着我们承认我们对“多数情况”的把握挺大,但唯独对“某个具体的人”的预测还不忒行。
这实际上并不丢人,就连是挺正常的。
毕竟,牛和猫长得不一样,就算它们的体重分布曲线长得一模一样,对“一头牛”和“一只猫”的预测区间,那个差距肯定也是有的。 实际上,大量科研人员在文章里写“结局贼显著”,这时候他们用的往往是Confidence Interval(置信区间),出于它展示了变量之间的关系或整体趋势。而描述具体现象的时候,他们往往会画个 Forecasting Range(预测区间),画一个范围线,然后画个靶子,画个点。靶子是总体分布,范围线是预测区间,点就是具体的事件。
要是目标点落在范围线里面,那就算成功。 不过,这里有个小陷阱,就是文献里有时候会把预测的标准差写得挺高,让人质疑是不是哪儿算错了。
实际上大量时候,预测的标准差确实比置信的大,这是逻辑自洽的。
要是你随意搜个数据看看,你会发现,它能放进去,这代表该个体形成了,概率是存有的。至于那个具体的数值,是在预测区间里面,概率更是 100% 形成了。 有时候你会认定,这两个区间到底哪个更关键?实际上并没有绝对的先后。在汇报工作时,要是你的重点是“平均效果”,那用置信区间;要是你的重点是“哪位能达标,具体哪位不中”,那用预测区间。
有时候就连能够把它们结合起来看。
比方说,你给出一个预测区间,然后标注上具体的点,再在旁边打个问号要么打个叉,这比单纯堆砌数字要直观得多。 最终想说,理解这两个区间的区别,实际上是在训练你自己的一种思维方式。
不要执着于把数据逼成完美的正态分布要么完美的中心点,世界压根儿都不那么规整划一。承认数据的噪声,承认未来的不确定性,反而让我们能更从容地面对那些意料之外的事。
毕竟,哪位也没办法 100% 预测未来,能做到的就是尽量地宽一点,让未来落在你的范围内。