数据化决策(期末复习)

697 阅读21分钟

第一章 预测概述

预测:根据事物的客观发展趋势与变化规律,对特定的对象未来发展的趋势或状态做出科学的推测与判断

预测的5大基本原理

  • 系统性原理。 以系统的观点为指导,采用系统分析,实现预测的系统目标。
    • 预测问题的提出
    • 预测模型的建立(变量及其关系)
    • 预测方法的解决
    • 预测过程的组织和预测结果的应用
  • 惯性(连贯性)原理。 事情的发展变化与其过去的行为总有或大或小的联系,过去的行为影响现在,也影响未来,这种现象称之为“惯性现象”。所谓惯性原理,就是研究对象的过去和现在,依据其惯性,预测其未来状态。它是趋势外推法的理论依据,时间序列事件建模
  • 类推原理。 根据已知的某事物的发展变化特征,推断其具有近似特征的预测对象的未来状态,就是所谓的“类推原理”。是从已知领域过渡到到未知领域的探索,是一种重要的创造性方法。类比物之间相似特征越多,类比越可靠。 定性分析
  • 相关性原理。 研究预测对象与其相关事物间的相关性,利用相关事物的特征来推断预测对象的未来状态。(注意区分相关关系与因果关系
    • 同步相关。A发生之后,B马上发生。温度升高---->用电量上升
    • 异步相关。A发生之后,B一段时间后发生。动物疫病---->价格波动
  • 概率推断原理。 受各种内外部因素上的影响,预测对象的未来状态带有随机性。可用概率统计的方法求出各种各种随机事件的概率,当预测结果以较大的概率出现时,可认为这个结果成立。(第六章 马尔科夫预测)

预测的评价,自成功,自失败预测(第七章)

预测的评价

准确性:预测对象的未来特征具有测不准性。 各种干扰、预测对象变化的复杂程度、人们的认知以及随机现象的随机性都会使预测结果不准确。

预测模型的评价遵循如下原则:

  • 合理性。与事物发展规律一致,符合逻辑。
  • 预测能力。是否具有预测能力:1、预测期间事物发展规律。2、预测模型误差范围。
  • 稳定性。在较长时期内准确的反应预测对象的发展变化。
  • 简单性。预测能力相差不大时,形式简单、容易运用的模型。

自成功与自失败

  • 自成功预测。只要做出了这种预测,其结果就会自动发生。预测与对方相处融洽,必然导致自己重视与对方的交往,促进结果的产生。
  • 自失败预测。只要做出了这种预测,其结果就会自动失败。开车时预测以当前速度行进会撞到行人,做出这样的预测必然导致减速等待行人通过,则预测结果自然不会发生。

个人理解:自成功与自失败的不同主要取决于预测结果是否是自己的或者大众的期望。

预测结果本身会不会被预测结果所影响: eg:预测股价上涨,结果股价确实上涨,产生的原因是我预测的准,还是有了这个预测之后,提升了大家的预期,所以纷纷去买,导致股票上涨。(第二种原因,自成功预测,预测的结果本身,对结果又促进作用。)

预测活动对预测结果考虑,可将预测分为三类:

  • 决策者无法控制,也难以影响预测结果能否实现的预测。eg:天气预报
  • 决策者可以控制预测结果能否实现的预测。eg:自成功预测、自失败预测
  • 决策者只能部分地控制或影响预测结果的实现。这类预测不同程度地含有自成功或自失败的因素。

补充课件:预测的基本知识点

预测误差

建立一个模型之后,它的性能的好坏,要有一个评判的标准。,RMSE、MAE反应的是绝对差异。

  • 相对误差。(预测值-真实值)/真实值。百分比的差异。MAPE
  • 绝对误差。RMSE = '\sqrt{\frac1m\sum_{i=1}^m(y_i - \hat{y_i})^2} , MAE = \frac1m\sum_{i=1}^m\begin{vmatrix}(y_i - \hat{y_i})\end{vmatrix}

预测模型构建方式

对一段已知的数据进行一定比例的划分,前面百分之80做训练集,百分之20做测试集。在测试集上进行训练集的误差,根据此误差判别训练集的好坏。在训练集里划分出一个小的验证集,同样是做参数的确定。

多步预测

一步预测或多步预测取决于的是数据最后一个观测值的时间点距离要预测的时间点的间隔。 建模策略,训练的样本集该怎样构建?训练样本里面是否包含预测的数据

  • 滚动策略(直接建模)。123->4, 1234->5,12345->6。得到真实值再预测
  • 迭代策略。123->4, Y4拟合值代入函数进行预测5。用预测值代替真实值预测

没有绝对的好坏,对数据的依赖不同,选择不同的方式

绝对领先的预测模型?

否!但经过各类预测竞赛(M1,M3,M4,NN3,NN5),总结出一些性能普遍较优的模型

第二章 非模型预测

非模型预测预:测者凭借自己的业务知识、经验和综合分析能力,运用已掌握的历史资料和直观材料,对事物发展的趋势、方向和重大转折点做出估计与推测。

指标预测法与类比法

指标预测法: 根据经济发展中各种经济指标的变化,分析判断市场未来发展趋势的方法。

  • 领先落后指标法。 根据与经济发展有关指标的变化同市场变化之间在时间上的先后顺序,来分析判断预测市场发展前景。不同的指标在于①循环转折变化出现的时间②经济景气循环相应转折变化 之间先后出现的时间点。(与之前讲到的同步相关、异步相关类似的概念。)
    • 先期指标(先行指标)。①稳定领先②的经济指标。预警指标体系的主体,对市场行情变化始终起预报或示警作用。
    • 同步指标(一致指标)。①与②几乎同事发生(误差不超过两个月)。总体经济行为的衡量标志。
    • 落后指标(迟行指标)。①稳定的落后于②(约3个月以上,半个周期以内)。检验宏观经济波动过程是否确已超过某个转折点,进入另一景气状态。
  • 扩散指数法。 根据领先经济指标的升降变化,计算出上升指标的扩散指数,以扩散指数为依据来判断市场未来的景气情况。只能有效预计经济形势与市场行情波动转折点。 运用一批经济指标的变化的变化来预测市场未来的发展趋势。扩散指数法比任何单一指标都更具可靠性和权威性。
  • 合成指数法(CI)。 既能分析经济形势或市场行情变化的转折点,,又能在某种意义上反映经济形势或市场行情波动振幅。将扩散指数法找到的一系列指标根据某种依据合成一个指标。

类比法: 利用两事物发生的时间差异和形式上的相同或相似,借用先行的、同类的、相似的事物的有关参数,推断预测目标未来发展趋势与可能水平。

  • 产品类比法。 对同类或者相近产品的历史资料,如销售情况、市场需求等资料进行类比研究。
  • 地区类比法。 依据其他地区(或国家)曾经发生的事件进行类推,同一产品在不同地区有领先滞后的时差,可以根据领先地区的市场情况类推滞后地区的市场情况
  • 行业类比法。 同一产品在不同行业使用时间的先后,利用该产品在先使用行业所展现的特性,类推该产品在后使用行业的规律。
  • 局部总体类比法。 通过典型调查或者其他方式进行一些具有代表性的调查,分析市场动态变化及发展规律,预测和类推全局或大范围的市场变化。

概率预测法的交叉影响分析(P50 计算例题2-11)

交叉影响分析法(交叉概率法): 通过主观估计每个事件在未来发生概率,以及事件之间相互影响的概率,利用交叉影响矩阵考察预测事件之间的相互作用,进而预测目标事件未来发生的可能性。

  • 主观判断估计各事件发生的概率,即初始概率。
  • 构造交叉影响矩阵,反应事件相互影响程度。
  • 根据事件之间的相互影响,修正各事件发生的概率,根据修正后的结果进行预测。

某个事件发生之后,对另外一个事件的影响。利用随机数,确定事件是否发生,在此事件的基础上修改其他事件概率,如此迭代,趋于稳定。

第三章 回归预测

相关关系与因果关系的区分

相关关系一定是因果关系的前提,但有相关关系并不一定有因果关系。两个变量之间存在相关关系,不一定说明两者之间存在着因果关系。因果关系,是指一个变量的存在一定会导致另一个变量的产生。而相关性是统计学上的一个概念,是指一个变量变化的同时,另一个因素也会伴随发生变化,但不能确定一个变量变化是不是另一个变量变化的原因。比如天气冷和下雪通常一起发生,说明两者有很强的相关性,但不能肯定是谁导致了谁,所以不确定两者是够有因果关系。

原则上以往建模的前提条件需要事物之间要有因果关系,现在在大数据时代上述思想受到挑战,现在只有相关关系也可以用来建模。只不过这种情况下建立出来的模型的稳定性,一定比不上因果关系建立出来的模型的稳定性。

多元线性回归中的多重共线性问题

多元回归各个自变量之间本身存在相关性(线性或接近线性)的关系,也就是多重共线性。

若干自变量之间的共线性程度很高,产生的后果:

  • 系数估计值的精度大大降低。无法正确判断自变量对因变量的影响程度。变量a、b,对应的系数i、j,因ab之间有相关性,不能保证系数ij之间有没有代替关系。
  • 估计的结果非常敏感。样本容量增大减小,系数的估计值会有很大的变化。
  • 是预测人员错误的剔除对因变量影响很大的自变量或错误的引入对因变量没有显著影响的自变量。
  • 估计的参数出现不和逻辑的符号,使预测失去意义。

第四章 确定型时间序列分析

时间序列:观察记录到的一组按时间顺序排列的数据。

确定型时间序列:数据序列去掉随机扰动后,剩下的可以用确定的时间函数表示。数据=模型+误差(随机扰动)

移动平均(计算P93例题4-2)

  • 优点:简单易行。
  • 不足: 1、每计算一次移动平均,需存储最近N个观察数据。2、对最近的N个观察值等权对待,对t-N期以前的数据完全不考虑。

一次移动平均

哪个参数最重要,决定移动平均的效率的参数:移动期数。 移动期数越多,对原始序列的平滑作用的程度越大。数据的波动程度。通过多次的实验判断更合适的参数。

M_t^{(1)} = \frac{X_t+X_{t-1}+...+X_{t-N+1}}{N} = \frac{\sum_{i=0}^{N-1}X_{t-i}}{N}

X_t为t周期的实际值,N为计算移动平均值所选定的数据个数,跨越期即移动期数。 t+1期的预测值取

\hat{X}_{t+1} = M_t^{(1)}

也就是说预测第Y期,要从Y-1期开始算M_t^{(1)}(N)

N即移动期数。经过移动平均法计算后,随机波动显著减小。N越大,修匀的程度越强,波动也越小,这时变化趋势反应就越迟钝。反之则相反。在实用上,一般用对过去数据预测的均方误差S作为选取N的准则。一次移动平均法应用于非平稳模型会有严重的滞后性。

  • 一般只适应于平稳模式。
  • 一般只适用于下一时期的预测。

二次移动平均

在一次平均数的基础上,二次移动平均为

M_t^{(2)} = \frac{M_t^{(1)}+M_{t-1}^{(1)}+...+M_{t-N+1}^{(1)}}N

建立直线趋势预测模型(例题4-4 P97)

设时间序列\{X_t\}从某时期开始具有直线趋势,且认为未来时期也按此直线则趋势变化,则设此直线趋势预测模型

\hat{x}_{t+T} = a_t + b_tT

t为当前的时期数,T为由t至预测期的时期数,T = 1,2,...;a_t为截距,b_t为斜率,两者又称平滑系数。可运用移动平均计算平滑系数

a_t = M_t^{(1)} + (M_t^{(1)} - M_t^{(2)}) = 2M_t^{(1)} - M_t^{(2)}
b_t = \frac{2(M_t^{(1)} - M_t^{(2)})}{N-1}

指数平滑:α的作用

意义:利用平滑系数\alpha来实现不同时间的数据的非等权处理。距离现在越远的数据,权重越小。衰减的速度取决于\alpha的大小,\alpha越大,衰减越快,\alpha越小,衰减越小。

作用:\alpha较大表示较倚重近期数据所承载的信息,修正的幅度也较大,采用的数据序列也较短;\alpha较小表示修正的幅度也较小,采用的数据序列也较长。

指数平滑最适用于进行简单的时间序列分析和中短期预测。

一次指数平滑

一次指数平滑值为

s_t^{(1)} = \alpha X_t + \alpha(1-\alpha)X_{t-1} + \alpha(1-\alpha)^2X_{t-2} + ...

预测公式为

\hat{X}_{t+1} = S_t^{(1)}

二次指数平滑

二次指数平滑值为

S_t^{(2)} = \alpha S_t^{(1)} + \alpha(1-\alpha)S_{t-1}^{(1)} + \alpha(1-\alpha)^2S_{t-2}^{(1)} + ...

预测公式为

\hat{X}_{t+T} = a_t + b_tT

其中

a_t = S_t^{(1)} + (S_t^{(1)} - S_t^{(2)}) = 2S_t^{(1)} - S_t^{(2)}
b_t = \frac\alpha{1-\alpha}(S_t^{(1)} - S_t^{(2)})

\alpha为平滑系数,T为所需预测超前期数,S_t^{(1)}为一次指数平滑值,S_t^{(2)}二次指数平滑值。

季节指数法

指经济变量在一年以内以季(月)的循环为同期特征,通过计算销售量(或需求量)的季节指数达到预测目的一种方法。

不考虑长期趋势的季节指数法

  • 计算历年同季度(月)的平均数。r_i,i = 1,2,3,4
  • 计算各年季平均值。\overline{y}_i,i = 年份的个数,\overline{y}_n = \frac14(y_{4n-3} + y_{4n-2} + y_{4n-1} + y_{4n})
  • 计算各季(月)的季节指数。以历年同季(月)的平均数(r_i)与全时期的季(月)平均数(\overline{y})之比为季节常数\alpha_i,即\alpha_i = \frac {r_i}{\overline{y}},\overline{y}为步骤二中所求值的平均数。
  • 利用季节指数法进行预测。假设\hat{y}_t为第t月的预测值,\alpha_t为第t月的季节指数,y_i为第i月的实际值,\alpha_i为第i月的季节指数,则
\hat{y}_t = y_i\frac{\alpha_t}{\alpha_i}

第五章 随机型时间序列

残差 = 真实值 - 拟合值

差分:\nabla X_n = X_n - X_{n-1},引入差分算子\nabla=1-Bn阶差分可定义为\nabla^n = (1-B)^n

平稳性时间序列:时间序列的均值与自协方差函数不随时间变化而变化。

时间序列的平稳性

时间序列分析建模的流程

  • 根据建模的目的和理论分析,确定模型的基本形式
  • 进行模型识别,即从一大类模型中选择出一类实验模型
  • 将所选模型应用于历史数据,求得模型的参数
  • 检验模型是否合适。合适,预测控制,不合适,返回第二阶段重新选择

模型诊断:残差序列是否符合白噪声的特点。围绕均值上下随机波动

白噪声

  • 白噪声是指功率谱密度在整个频域内均匀分布的噪声。
  • 白噪声序列就是一系列独立分布的正态序列:序列无相关性,无趋势性,有随机性,它服从均值为0,方差为σ2的正态分布,白噪声的每一个时序点都是服从正态分布的。
  • 之所以称为白噪声,是因为他和白光的特性类似,白光的光谱在各个频率上有相同的强度,白噪声的谱密度在各个频率上的值相同。

ARIMA模型中p,q参数的识别方法(140-141)

p:自回归阶数 q:移动平均阶数

p、q参数识别看自相关图与偏自相关图、截尾与拖尾形式。

  • AR(p)。自相关拖尾,偏自相关截尾。p:偏自相关在第几阶截尾
  • MA(q)。自相关截尾,偏自相关拖尾。q:自相关在第几阶截尾
  • ARMA(p,q)。自相关、偏自相关拖尾且较快收敛为0。p:偏自相关 q:自相关。以最简单的形式进行判别。eg(1,1)、(1,2)、(2,1)、(2,2)等进行尝试检验是否符合。
  • ARIMA(p,d,q)。自相关、偏自相关拖尾且(至少有一个下降很慢)。d:差分阶数

滞后算子的表达形式

改写等式为算子表达式(P168第3题)

引入向后推移算子B

B^kX_n = X_{n-k}, B^kC = C, k=0,1,...(C为常数)

基于ARIMA模型的预测(ppt例题18)

AR(p)自回归模型

MA(q)移动平均模型
ARMA(p,q)自回归移动平均(即上面两个公式相加)
ARIMA(p,d,q)求和自回归移动平均模型

有些时间序列常呈现出一种特殊的非平稳性,称之为齐次非平稳性:只要进行一次或多次差分就可以将其化为平稳序列。差分的次数称为齐次化的阶,即d。 差分:\nabla X_n = X_n - X_{n-1},引入差分算子\nabla=1-Bn阶差分可定义为\nabla^n = (1-B)^n

第六章 马尔科夫预测

马尔科夫过程:事物的变化过程仅与近期的状态有关,而与事物过去的状态无关。

马尔科夫预测:事物有很多种状态,在不同状态之间转移的概率

绘制状态转移概率矩阵(例题6-2、6-3)

状态转移过程中行向量相加一定为1,在多步转化之后达到一种稳定的状态。

P^{(n)} = P(0)P^n

稳态概率矩阵的求解(例题6-5)

X = (x_1,x_2,...,x_N)为一状态概率向量,P为状态转移矩阵。若

XP = P

则称X为马尔科夫链的一个平稳分布。根据方程组一下求解X,即稳态分布

\begin{cases}
XP = X \\
\sum_{i=1}^nx_i = 1
\end{cases}

第八章 决策概述

决策的几种类型:确定型、风险型、不确定型

  • 确定型。 自然状态只有一种,不用考虑自然状态而按照既定目标即评价准则选择行动方案。
  • 风险性。 自然状态有两种或两种以上,各种自然状态出现的概率已知。
  • 不确定性。 决策者面临的可能出现的自然状态有多种,但各种自然状态出现的概率未知。

第九章 期望效用理论与前景理论

期望收益、期望效用、前景理论之间的区别与联系

  • 期望效用理论与前景理论是对最基本的期望收益理论进行的改进。
  • 期望收益理论纯粹用经济价值评判方案的好坏,有一定的局限性。
    • 实际决策与理想决策的差异性。绝症病人只要有一线治愈机会就会不惜一切代价求医问药。
    • 决策者的主观因素。在原来的衬衣都要已破旧与还有十几件新衬衣的情况下,去买一件新衬衣。
  • 期望效用理论对不同的决策结果做出期望效用曲线,通过多次问答的过程确定效用曲线上的点,很好的描述了不同决策者之间的决策偏好。
    • 期望效用值,能表述人们主观价值的衡量指标,能综合衡量各种定性、定量的结果。
    • 这个指标可以因人而异,视各人的经济、社会心理条件而定。
  • 前景理论。在不同的风险前景下做出的选择,与期望理论的基本原则并不一致。对于同一个决策者在不同的条件下,它的风险厌恶与风险偏好都不是完全绝对的。在确定损失时会选择风险偏好,在确定收益时则有风险厌恶的倾向。演变出前景理论,将个人风险决策过程分为两步:
    • 编辑阶段。对所给前景做简单的分析,产生一个前景描述。
    • 评价阶段。评价编辑过的前景,然后选择最大有效值的前景。

效用曲线的理解

  • 风险中性型。斜率为1. 产出的增加量与得到的满足感相同的。
  • 风险厌恶型。呈凸状。决策者基于摆脱差的产出带来的期望,此时的斜率比在好的产出时的斜率大,增长快。即基于摆脱差的结果,增长快,对于好的结果没太大感受,增长慢。
  • 风险偏好型。呈凹状。在差的结果时增长较慢,对差的结果没太大感受,在好的结果时增长快,急于趋向好的结果。

反射效果

在确定损失时会选择风险偏好,在确定收益时则有风险厌恶的倾向。人们面临获得时,往往小心翼翼,不愿冒风险;而在面对损失时,人人都称冒险家了。个人注重的并不是某个参考点的财富变动而是最终财富值的预期效用。

第十一章 多目标决策

多目标决策的基本特点

  • 多个目标。
  • 目标之间的不可公度性。各个目标之间没有统一的度量单位。
  • 目标之间的矛盾性。选择一种方案改进某一目标值,可能使另一目标的值变坏。

劣解与非劣解

  • 劣解:方案A的各目标均劣于另一方案B的各目标,方案A可以直接舍去。这样的方案A称为劣解。
  • 非劣解:既不能立即舍去,又不能立即确定为最优解的方案。

多目标转为单目标的几种方法

  • 主要目标优化兼顾其他目标的方法。(线性规划)
  • 线性加权法。(分别给以权重系数相加构成新的目标函数,求最大值)
  • 平方和加权法。(每个目标分别给以一个满意值,目标值减去满意值得到新的序列后再进行线性加权,求最小值,最接近满意值)
  • 乘除法。(目标值越小越好的目标相乘放在分子,目标值越大越好的目标相乘放在分母,求新的目标函数的最小值)
  • 功效系数法。

网络分析法(ANP)与层级分析法(AHP)的不同

网络分析法的决策原理与层次分析法基本相同,不同的是前者建立的是网络结构模型,而后者建立的是层次结构模型。在层次分析法中,元素之间是按照层级结构排列的,并假设同层之间的元素是相互独立的,而且元素之间不存在反馈关系。但是在现实的复杂决策中这一假设往往不能被满足。网络分析法取消了这一假设,它以一种网络化的方式表达元素之间的相互关系,允许元素之间存在相互依赖关系和反馈关系,因而与现实问题更为接近,可以较为全面的分析有关问题。因此ANP(网络分析法)更为深刻的描述了复杂度决策系统,而AHP(层次分析法)可以看做ANP(网络分析法)的一个特例。

模糊决策P323例题13-1,表13-2

  • 确定模糊关系矩阵R
  • 根据主观因素,确定因素权重向量A
  • 向量A与模糊矩阵R之间运用合成算子(P325表13-2)的运算形式计算,获得模糊综合评价向量B
  • 将模糊综合评价向量B在横向上进一步合成,得到单一的综合评价值。

模糊评价的核心就是通过对模糊评价向量B的分析做出综合结论,进行模糊决策。