非线性回归_范文大全

非线性回归

【范文精选】非线性回归

【范文大全】非线性回归

【专家解析】非线性回归

【优秀范文】非线性回归

范文一:非线性回归 投稿:严艱色

非线性回归模型

一、 非线性模型

前面所讲的线性回归模型在一般情况下(特别在不要求较高精度的时候)可以解决许多问题,然而它并非适用于一切问题。现实生活中,尤其是像经济领域这样存在复杂活动的情况下,我们很难直观判定线性模型是否适;更有许多事实表明非线性模型在有的情况下比线性模型更加准确。

当然,我们可以将某些简单的非线性模型通过变量变化,通曲为直,进而利用最小二乘法估计参数。这部分内容属于曲线回归,其思想是将非线性函数通过变量代替的方式转换成线性模型。

1.1曲线回归模型简介

变量间先关关系可分为两大类:线性和非线性关系。对于线性关系在这里就不多说了,而非线性关系又可以画分为两类:本质线性关系(曲线回归模型)和本质非线性关系。如图所示:

所谓的本质线性关系指的是变量关系形式上呈现出非线性表征,但可以通过变量变换转化为线性关系。也即是上面提到的曲线回归。常见的本质线性模型如下表:

曲线

(1)𝑦=𝛽0+𝛽1𝑥+𝛽2𝑥2

𝑥

(2)𝑦=𝛽0𝛽1

变换

令𝑥,=𝑥2

变换后的线性方程 𝑦=𝛽0+𝛽1𝑥+𝛽2𝑥,

,,,,

令𝑦,=ln 𝑦 ,𝛽0=ln 𝛽0 𝛽1=ln⁡(𝛽1) 𝑦,=𝛽0+𝛽1𝑥

(3)𝑦=𝑒𝛽0+𝛽1𝑥 (4)𝑦=𝛽0+𝛽1ln⁡(𝑥) (5)𝑦=𝑒𝛽0+𝛽1 𝑥 (6)𝑦=𝛽0𝑒𝛽1𝑥

令𝑦,=ln 𝑦 令𝑥,=ln⁡(𝑥)

令𝑦,=ln 𝑦 ,𝑥,=1 𝑥

,令𝑦,=ln 𝑦 ,𝛽0=𝑙𝑛 𝛽0

𝑦,=𝛽0+𝛽1𝑥 𝑦=𝛽0+𝛽1𝑥, 𝑦,=𝛽0+𝛽1𝑥,

,

𝑦,=𝛽0+𝛽1𝑥

但此种方式存在明显的局限性,为了说明它,我们先来回顾一下线性回归模型中核心的最小二乘法(OLS)。

1.1最小二乘法回顾

在线性回归中,我们学会了普通最小二乘法(OLS),但它在使用时有相应的前提假设:

(1)正确的期望函数。第一个条件意味着计量模型的适用性,它不仅指出期望函数部分包括所有重要的自变量,同时随机变量部分包括不重要的可以忽略的自变量;此外,还意味着我们需要确定一个较为合理的模型形式(不论是线性还是非线性模型),这一点可以通过观察散点图进行判定。

(2)自变量(Y)等于期望函数与随机变量之和,这一条假设使得Y的概率密度函数可以通过随机变量的概率密度函数加以计算:

𝜌𝛾= 𝑦 𝛽,𝜎2 =𝜌随机变量 y−

(3)随机变量独立于期望函数。简单说来就是随机干扰项与X之间独立,也即任何不包含在模型中的重要变量均与Y没有系统性的关联。

(4)随机变量项服从正态分布。它描述因变量的样本分部,还帮助推导出最小二乘法准则。我们可以通过中心极限定理验证:如果随机变量X中各个子变量的影响都很小,则由自变量合成的随机变量趋近于正态分布。

(5)随机变量具有零均值,齐方差。这里应该指出,残差图能够揭示方差齐性的假设是否成成立。若出现异方差的情况,我们可以通过数据变换或者加权最小二乘法修改模型;若残差图是一条直线则表明正态性的假设成立。(注意:直线不代表是一条水平线)

(6)随机变量之间相互独立。

相应的,在满足了上述前提条件的由普通最小二乘法所求出来的参数估计值服从正态分布、具有无偏性。

通过回顾最小二乘法使用的前提假设,我们可以明白这样一个道理:由于OLS适用的前提条件比较苛刻,任何一条不满足均会导致计量模型参数的估计值非最优,这样就失去了它原有的意义。因此,这里推荐一个正确的做法:

(1)在设立一个计量模型时,要尽可能的采用合理的模型形式; (2)根据模型,进行相应的数据分析;

(3)对有关普通最小二乘法的假设条件进行诊断,若出现自变量或者随机变量的假设不合适,那么修正该模型并且重复上述循环过程以求最优。

1.2曲线回归的局限性

第一,通过变量变化的方式用最小二乘法求解其参数估计值时,难以根据最终结果还原原始数值,即不能确定是否是方程的最优解(尤其涉及到开方、求对数这些对符号很敏感的变换);

第二,能够通过变量变化的非线性模型只是极少部分,对于无法转化的非线性模型的参数的估计,还须借助相应的方法解决;

第三,之前学过的最小二乘法对于更加复杂的拟合方式无法实现,比如最小一乘法、复杂的加权法等。

2非线性回归模型

所谓的非线性回归模型,指的是模型中参数的出现是非线性的。一般可以表示为如下形式:

𝑦𝑖=𝑦 +𝑒𝑖=𝑓 𝑥,𝜃 +𝑒𝑖

其中f为期望函数,x为自变量(组),θ表需要求解的未知参数。此模型与线性回归模型相似,不同的是因变量y是关于自变量x的非线性函数,在有的情况下甚至没有表达式存在。

前面提到过一些简单的非线性模型通过变量变换才用最小二乘法求解参数的方法,尽管它可以帮助我们求解未知参数以及方便我们求解其参数值的初始值等等,然而由于变量变换会带来随机误差项分布的改变,由此进一步影响到最小二乘法求解的含义、模型的使用条件等。例如:

𝜃

𝑌𝑡=𝑋𝑡+𝑒𝑡 (1)

此模型与线性模型类似,我们采用最小二乘法极小化:

𝜃2

𝑆 𝜃 = (𝑌𝑡−𝑋𝑡) (2)

估计θ,S代替S(θ),S对θ求微分后导数等于零得到S的最小值,

∂𝑆∂θ

𝜃 =−2 𝑌𝑡−𝑋𝑡 𝑙𝑜𝑔𝑋𝑡 𝑋𝑡𝜃=0 (3)

(hat西塔)表示,整理(3)式有: 设法求出θ的解,用𝜃

𝜃 𝑌𝑡 𝑙𝑜𝑔𝑋𝑡 𝑋𝑡= (𝑙𝑜𝑔𝑋𝑡)𝑋𝑡2𝜃 (4)

的值时,采用迭代的方法从某一假定数值开始,最终得到最小二最终求解𝜃 。 乘法的估计值𝜃

的性质,仅仅具有 值不再具有线性模型中𝛽此时,通过最小二乘法求解的𝜃

的性质(无 的性质才趋近于𝛽渐近性。换句话说,当样本大小趋近于无穷时,𝜃偏、有效)。

透过上面的例子,我们知道:

一、当需要更加精准的参数估计值时,通过最小二乘法求解的变量变换后的线性模型并非最优,此法要慎重使用;

二、非线性回归模型求解思想类似于线性模型,首先建立含有误差项的函数,使该函数取值最小化,并以迭代方式求解参数估计值。

3非线性模型的类型

范文二:非线性回归 投稿:陶涴涵

非线性回归

一、可化为线性回归的曲线回归

在实际问题当中,有许多回归模型的被解释变量y与解释变量x之间的关系都不是线性的,其中一些回归模型通过对自变量或因变量的函数变换可以转化为线性关系,利用线性回归求解未知参数,并作回归诊断。如下列模型。

y01e

x

-------(1) y01x2x2pxp--------(2)

yae

bx

e

--------------------(3) yaebx-------------(4)

对于(1)式,只需令xex即可化为y对x是线性的形式y01x,需要指出的是,新引进的自变量只能依赖于原始变量,而不能与未知参数有关。

xp

对于(2)式,可以令x1=x,x2=x2,…, xp=xp,于是得到y关于x1,x2,…, 的线性表达式y01x12x2pxp

对与(3)式,对等式两边同时去自然数对数,得lnylnabx,令

,1b,于是得到y关于x的一元线性回归模型:

ylny,0lnay01x

。对于(4)式,当b未知时,不能通过对等式两边同时取自然

数对数的方法将回归模型线性化,只能用非线性最小二乘方法求解。

回归模型(3)可以线性化,而(4)不可以线性化,两个回归模型有相同的回归函数aebx,只是误差项的形式不同。(3)式的误差项称为乘性误差项,(4)式的误差项称为加性误差项。因而一个非线性回归模型是否可以线性化,不仅与回归函数的形式有关,而且与误差项的形式有关,误差项的形式还可以有其他多种形式。

乘性误差项模型和加性误差项模型所得的结果有一定差异,其中乘性误差项模型认为yt本身是异方差的,而lnyt是等方差的。加性误差项模型认为yt是等方差的。从统计性质看两者的差异,前者淡化了yt值大的项(近期数据)的作用,强化了yt值小的项(早期数据)的作用,对早起数据拟合得效果较好,而后者则对近期数据拟合得效果较好。

影响模型拟合效果的统计性质主要是异方差、自相关和共线性这三个方面。异方差可以同构选择乘性误差项模型和加性误差项模型解决,必要时还可以使用加权最小二乘。 二、多项式回归

多项式回归模型是一种重要的曲线回归模型,这种模型通常容易转化为一般的多元线性回归来做处理。

1、常见的多项式回归模型

回归模型yi01xi2xi2i称为一元二阶多项式模型。通常将回归模型中的系数表示成:yi01xi11xi2i,回归函数yi01xi11xi2是一条抛物线方程,通常称为二项式回归函数。回归系数1为线性效应系数,11为二次效应系数。

当自变量的幂次超过3时,回归系数的解释变得困难起来,回归函数也变得很不稳定,对回归模型的应用会收到影响。因而,幂次超过3 的多项式回归模型不常使用。在实际应用当中,常遇到含两个或两个以上自变量的情况,称回归模型:yi01xi111xi212xi222xi2212xi1xi2i为二元二阶多项式回归模型。它的回归系数中分别含有两个自变量的线性项系数1和2,二次项系数11和22,并含有交叉乘积项系数12,交叉乘积项表示x1与x2的交互作用,系数12通常称为交互影响系数。

三、非线性模型

在非线性回归中,平方和分解式SST=SSR+SSE不在成立,类似于线性回归中的复决定系数,定义非线性回归的相关指数:R^2=1-SSE/SST

用非线性最小二乘法求解非线性回归方程,非线性最小二乘是使残差平方和达到最小,这种平方损失函数的优点是数学性质好,在一定条件下具有统计学的一些优良性质,但其最大的缺点是缺乏稳健性。当数据存在异常值时,参数的估计效果变得很差。因而在一些场合,可以用一些更稳健的残差损失函数代替平方和

n

损失函数,例如绝对值损失函数。绝对值残差损失函数为:Q()

i1

yif(xi,)

有时候用最小绝对值法的最大残差比普通最小二乘法的最大残差更大,这是否与最小绝对值法的稳健性相矛盾?其实这正说明了最小绝对值法的稳健性。这是因为最小绝对值法受异常值的影响程度小,回归线向异常值靠拢的程度也小,因而异常值的残差反而大。

四、非线性回归的一些问题

根据实际观测数据配以合适的曲线模型一般有两个重要的步骤。

一是确定曲线类型。对一个自变量的情况,确定曲线类型一般是把样本观测值画成散点图,由散点图的形状来大体确定曲线类型。再就是根据专业知识来确定曲线类型,如商品的销售量与广告费之间的关系,一般用S形曲线来描述;在农业生产中,粮食的产量与种植密度之间的关系往往服从抛物线关系。对于由专业知识可以确定的曲线类型,就用相应的模型去试着拟合,如果拟合的效果可以,问题就解决了。

二是参数估计问题。如果可将曲线模型转化为线性模型,就可用普通最小二乘法去估计未知参数,如果不能用某种变换把它转化成线性模型,则参数的估计就要用非线性最小二乘法进行。非线性最小二乘法比普通最小二乘法要复杂得

多,一般都是用迭代方法。

由于任一连续函数都可用分段多项式来逼近,所以在实际问题中,不论变量y与其他变量的关系如何,在相当宽的范围内总可以用多项式来拟合。例如在一元回归关系中,如果变量y与x的关系可以假定为p次多项式,就可以转化为多元线性回归模型来处理。利用多项式回归模型可能会把已有的数据拟合得十分漂亮,但是,如果对较大的x作外推预测,这种多项式回归函数就可能会得到很差的结果,预测值可能会朝着意想不到的方向转折,可能会与实际情况严重不符。所有类型的多项式回归函数,尤其是高阶多项式回归都具有外推风险。特别的,对于一元回归,只要用一元n-1次多项式就可以把n对数据完全拟合,多项式曲线通过所有n-1个点,残差平方和为零,但是这种的回归拟合却没有任何实际意义。因此,必须谨慎地使用高阶多项式回归模型,因为得到的回归函数只是数据的良好拟合,而并不能如实地表明x与y之间回归关系的基本特征,并会导致不规则的外推。所以在应用多项式回归时,阶数一般不要超过三阶。

一般地说,当非线性回归模型选择正确,回归拟合效果好时,相关指数R2能够如实反映回归拟合效果;而当回归拟合效果差时,相关指数R2则不能够如实反映回归拟合效果,甚至可能取为负值。

范文三:excel非线性回归 投稿:黎褉褊

省 软天  件地

利 用 E cl 件 进 行 非 线性 拟 合 的 非 编 程 方 法  xe 软

安 徽华东 金学院 机科学 230 )  亮 冶 计算 系(402  余   P 卜 2L J 

・-— —_ —- _一   I   l  

要:  

种 在 E cl 件 q进 行 非 线 性 拟 合 的 方 法 , x e软 - 并通过 实例 说 明 了该 方 法的有 效 

性和 实用性  关 键 词 : 数 据 分 析  非线 性 曲线 拟 合  非 线 性规 划   

^ 鹄     非

曲线 拟 合 是 数 据 分 析 和 数 据 处 理 的 重 要 工 作 之 一 。   在 利 用 数 据 对 系 统 的物 理 和 化 学 现 象 进 行 深 人 研 究 时 ,  

有 数 据 x Y各 为 以 列 向 量 ,假 定 它们 具 有 关 系 y f 和 =  (, ,)其 中 : 为 已知 常数 共 n 、 为 待 定参 数 共 m 个 。 x ab, a 个 b   定义最4-乘误差为 : '  

往往需要 利用机理数学模 型和试 验数据拟合 。另 外 由于  机 理 数 学 模 型 是 在 一 定 的物 理 化 学 理 论 基 础 上 建 立 的 ,   所 以各个参 数 以及不 同数据的性 质也是各不相 同的 。因   此 在 进 行 数 据 分 析 的 时 候 ,不 同 的 数 据 往 往 需 要 根 据 它 

在 模 型 中 的地 位 和 特 性 进 行 特 殊 的处 理 :  

E ∑( f,, . bb … b = y ( a ‰ t: , ix   -    ,,  

问题为 : b使得 E为最小 。 求   () 2 规划 问题 的 数学 表示 

目标 函 数 :( ) f O  b 限制 条 件 : (O<   G b )O 其 中 :O为 待 定 参 数 : b   不 失 一 般 性 , 定 需 要 得 到 目标 函 数 的最 小值 。 假   问题 为 :在 满 足 限制 条 件 的前 提 下 求 解 目标 函数 的  最小值以及相应的参数 b 。 O  () 3 拟台 与规 划之 间 的等 价 关 系   显 然 ,令 拟 合 问题 中 的待 定 参 数 b为 规 划 问 题 中 的 

微软公 司 O f e 件 中的 E cl fc 套 i x e 已经成 为许多 场合  下的数据台帐工具 。作 为一种标 准的数据记 录和管理工  具. 它具有 大多数数据分析 时所需 的基本工具 , 包括 图形  和线性 回归 等。 了能够利用 E c l 为 xe 进行更 多的数据分析  工 作 , 些 人 提 出 了 利 用 其 内 嵌 B SCV A 进行 编 程 处  一 A I(B ) 理 的方法 。但 是由于要求进行程序编制 , 以并不是一般  所

工 程技 术人 员 可 以容 易 掌握 的一 种 途 径 。   对 于非 线 性 拟 合 这 个 特 殊 的 问 题 , 过 适 当转 换 . 经 可 

以将它转换为一个非线性规则问题 , 从而利用 E c l xe 附属  的规 划 求 解 工

具 能 很 容 易 地 进 行 处 理 :  

工 具  ( ) 合 问 题 的 数 学 表 示  1拟

参 数 b ,令拟台问题中的最小二乘误差函数 E为规 划问  O 题 中的 目标 函数 , 令规 划 问题 中的限制条件为空 , 求解  则

题 中 的 E函 数 为 非 线 性 函数 ,在 这 里 需 要 规 划 问题 也 是 

因为拟合 问   1 拟合 和规 划的等 价关 系及 E c l x e 中的 规划 求解  该规划问题就可以得到拟台 问题 的解 。显然 ,

个非线性规划问题 。  

不失一 般性 , 以最 小二乘 法为例 , 拟合 问题 的数学 表  示如下 :  

一   一 … … … … 一 一 … … … …   一 … … … 一   一 :   一 一

( )x e 中的规划求解 工具  4E cl 当安装 0 ie套件选择 了规划求解 工具时 ,在软件  fc

… 一   一 一 一   … 一 … … … 一 一 一   … 一 … ; 

( 接上页)  

络化  西安 : 西北 工业 大学 出 版社 , 9   1 6 9

实现基于 v B与 F r a 语 言 的可 视 化混 合 编 程 , 充 分 利  ot n r 可

3 崔俊 芝. 有限 元软件 方 法. 现代 北京 : 国防 工业 出版社 ,  

用v B方便快速 的界面开发与 F r a 语 言强大 的数值计  o rn t 算 能 力 。 文介 绍 的创 建 F r a 动 态链 接 库 并在 V 本 o rn t B应 用 程 序 中调用 Fra ot n动 态 链 接 库 的 方 法 ,为 基 于 V r B与  F r a 言 可视 化 混 合 编 程提 供 了一种 简 单 可 行 的方 法 。 o r 语 t  

参 考 文 献  1 潭 浩强 , 田淑清 F R R O T AN语 言一 OR R 7 F T AN 7结 构 化程  序设 计. 北京 : 清华大 学 出版社 , 9 0 1 9 

2 蔡青.   高光 焘 C / A 系统 的可视 化集 成化 智能 化 网  AD C M

19  95 4 胡衡 江 , 蔡寒 阳・ n o s V Widw 下 B调用 C动态 链接 库 微 型   机与 应用 ,9 7 1 (  19 ;63 ) 5 贾宏 宇 , 俊峰 ・B应用 程序 中用 户 自定义 动态链 接库  赵 V

的关 键技术 计 算 机系统 应用 ,9 8; ) 19 (   5 6 王 向 阳・ 如何在 V s a  ai iu l B sc应用 程序 中调 用动态 链接  库・ 型机 与应用 ,9 9;8 1 微 l 9 1 ()    

( 收稿 日期 :9 9  — 6  l 9 —1 0 ) 2

1 一  6

《 型 期与 应 用 》 0 0 第 5   微 20 年 期

嘧 软天  件地

菜单 的工具菜单 中会出现规划求解项 目, 中该 项 目, 选 填 

写 对 话 框 以 后 .工 具 会 根 据 对 话 框 中 的定 义 自动 进 行 规 

划求解 。  

8 9 87 91 4  6 3  

2 】8 2 53   4 80 4 2 8 5 91 7   7 .0 0 6 2 4 41 28 2 9  3 0   3 34 2 0   2   0 2 0】 3 15 8 5   3   4 21 3 3 0 1 7 03   6  9 0 6 35 0 4 3 9  7 9 8  

表 3 计 算 结 果 

Mi ootE cl 规划求解” 自德克 萨斯 大学奥  c sf x e 的“ r   取

斯 汀 分 校 的 L o   ad n和 克 里 夫 兰 州 立 大 学 的 A ln e n L so l   a

Wae 共 同 开 发 的 Ge e aie   R d c d Grd e t rn n r l d e u e  a in  z

( R 2 ̄线性最优化代码 。线性和整数 规划取 自 Fo t G G) rn—   l e Ss ms 司 的 Jh  t n和 D n F lt i   yt 公 n e o n Was o a  ys a提 供 的  r

有 界 变 量 单 纯 形 法 和 分 支 边 界 法 。 M coot x e irsf  E cl  

41  8 5 6   688 5 3

4 44 7 8   4   91 7 3 >   36 9 3 4 5 95 7 0  

S le 程序代码是 以宏 的方式提供 调用 的。 o r v 使用时不需要  关 - 具 体 的 实 现 方 法 , 只需 要 和 它 的 对 话 框 进 行 交 互  L其

就 可以了。  

45   0

4 0 0  

2 一个 实 例 

下 面是 液 相 吸 附平 衡 式 的实 例  往 D S水 溶 液 中投 人 活 性 炭 ,在 等 温 下 放 置 到 达 吸  B 附平衡  B D S的平 衡浓度 C与 投入 活性炭 的吸 附量 q之  问 的关 系列 于 表 1中。  

30 5  30 0 

2 0 5 

. /

、  

20 0 

10 5  

  . .  

O 

2  0

C  

4  0

∞ 

表 1 待 拟 合 原 始数 据 

6   45 l O l 6 l 1  l27 I  2   I8  f73 0 I-2   8   81  1j 1. 6  I82 90 3  5    I 9   7 -_2 .15  18  l2 . 3 __ 7.l 3  4 13 4 9   07 2 81  80  37  1   4 386 4 46I0  i2  2 2 3 3l 0

图 1 数 据点 和拟旨 线 对照   

应用非线性最小二乘 法估 计下式中的参数 :  

日 b (+ C ) : C/1 a   

3 方 法 讨 论 和 结 论 

从 以上 实例 可 以看 出 , 求 解 过 程 中没 有使 用 任 何 程  在

显 然这个 非线 性函数是 无 法直 接将它线 性 化 的 , 必 

须进行非线性拟 合求解 。 根据经验将初始参数指定 为 :: a 

03 b 10 B 08 . ,= O , = .:表 2 在 E cl 为 xe 中进 行

求 解 的 数 据 准  备情况 :  

础 ∞ 凹   ㈨ 

序的概念 。 求解过程准备阶段的工作为 E c l x e 表格的公式  计算 , 求解过程中人工操作 的仅仅是对话框填充 :所以本 

方 法 在使 用上 是非 常 简便 的 。  

表 2 数据 准备 

1 0.  7 7 2 81 2.   28 5  28     37 3 13 2    3    354 3 86 7 .  16 ,  45    2 68 .  81   .6 l1     5 1    27 1 .  82 lL  48 8 8   13 0 0   2 5 6 94 2   2 .7 4 9 2 447 5 8 8   5 51   3 28 02 4   l  0 2 9 3 8 9 83 5   6  6 4 5 3 58 4 7   8   l 8 81 3 2  5 3 2 52 0 l   5 8 09 8 7 .59 6 6   70 .5 8 8 09 4 41   8 68 0 8   4   23 8 5 2 7 .7I 6   2 22 l2 2 1 598 54   9 3   4 3 7 62 9 9l   9 3  

由于问题 的定义对使 用者透 明 , 以使用者能很方便  所 地根据实 际要求 进行修正 。比如 根据 已知参 数 的物 理化  学 意义设定 参数的变化范 围( 利用规划 问鼯的约束条件) ;   或者指定某参数 为整数( 利用规划求解 中的整 数规划或者  混合规划求解器) 。   另外 ,由于问题 的定 义是 直接在 E cl xe 表上构造 的 .   所 以 可 以 方 便 地 改变 问题 的 构 造 方 法 。从 而 引入 其 它 的  拟合计算方 法。比如在表格 的误差列 中 , 将原来的计算方  法 由误差平方更 改为误差和原值 的 比值 ,则 可以按 照相  对 误 差 的最 小 重 新 求 得 参 数 的估 计 值 。 这 种 改 变 对 于数   值 变化范围 比较大 的情 况具有很实用 的意义 ,而在求解  时 则 只需 要 像 书 写 公 式 一 样 更 改 表 格 中 的 计 算 公 式 , 没  有 增 加 任 何 多余 的操 作 。  

参 考 文 献  1 张治 文 , 何磊 中文 E cl70 f   n o s9 教 程 北  xe . o Widw  5     r

京: 科学 出版 社 , 9 7 19 

他 加 珏  拍   鲫  墨  如   ”  H “ 鲫

2  ∞ 抖9   3    89

5   73

4 .98 7 3 486 4 5  

4 46 3    4    013

49 2 

∞ 2  4 N 5 鲫3 2 1   盯 4 “ 73 5 83 6 8 9 8 64 7  

6 24 9 8   6   4 9 07

96  1 7 781  3 99 .7 8   4 380 9

5 4 88 3   4 9 9 5

误差平方和一  >

l4 6 .9 8 l0 45 6 

表格从左到 右

各列分别为 : 因变量 的原始数 据 、 自变  量 的原始数据 、 根据参数计 算的估计 因变量数据 、 单个样  本点 的误差平方 。将 待定参数 的初始值填写存储 在准备  用 于计算 的单元格 区域 F : 3 并使单 元格 F 1F , 4的数 值 等  于 由误 差 平 方 累 计 的误 差 平 方 和数 值 。   设定规划求 解对话框使 目标单 元为误差平方 和数值  对应 的单 元格 F , 4 并设 目标为求 极小值 , 设定 可变单 元为  

待定 参 数 数 值 对 应 的 3个单 元 格 ( 1F  约束 条件 为 空  F :3, J

2 朱 中南 , 戴迎 春  化工数 据处 理与 实验设 计 . 加工 出版  烃

社 ,9 9 18 

3 邓乃洋 . 约束最 优化方 法 北京 : 无 科学 出版社 , 9 2 18 

4 J n t a Bad No ie r a a t r Esi to   w    o a h n, r   nl a P r mee   tmai n Ne n

Yo k: a e c r s , 9 4 r Ac d mi P e s 1 7  

经过计 算可 得对应 的 3个参 数分别 为 := .5 , = 8 . a O6 4 b 1 5   10, = .7 。 O B 08 8 此时对应 的因变量估计值 以及 误差数 据如 

表 3 图 1 数 据 点 和拟 舍 线 的对 照 。 。 为  

( 收稿 日期 : 9 9 2 2 ) I 9 —1- 0 

《 型 机 与应 用} o o年 第 5期  微 2o

1 一   7

范文四:非线性回归分析 投稿:彭凃凄

SPSS—非线性回归(模型表达式)案例解析

2011-11-16 10:56

由简单到复杂,人生有下坡就必有上坡,有低潮就必有高潮的迭起,随着SPSS的深入学习,已经逐渐开始走向复杂,今天跟大家交流一下,SPSS非线性回归,希望大家能够指点一二!

非线性回归过程是用来建立因变量与一组自变量之间的非线性关系,它不像线性模型那样有众多的假设条件,可以在自变量和因变量之间建立任何形式的模型 非线性,能够通过变量转换成为线性模型——称之为本质线性模型,转换后的模型,用线性回归的方式处理转换后的模型,有的非线性模型并不能够通过变量转换为线性模型,我们称之为:本质非线性模型

还是以“销售量”和“广告费用”这个样本为例,进行研究,前面已经研究得出:“二次曲线模型”比“线性模型”能够更好的拟合“销售量随着广告费用的增加而呈现的趋势变化”,那么“二次曲线”会不会是最佳模型呢?

答案是否定的,因为“非线性模型”能够更好的拟合“销售量随着广告费用的增加而呈现的变化趋势” 下面我们开始研究:

第一步:非线性模型那么多,我们应该选择“哪一个模型呢?”

1:绘制图形,根据图形的变化趋势结合自己的经验判断,选择合适的模型 点击“图形”—图表构建程序—进入如下所示界面:

点击确定按钮,得到如下结果:

放眼望去, 图形的变化趋势,其实是一条曲线,这条曲线更倾向于

在“模型”选项中,勾选”二次项“和”S

通过“二次”和“S “ 两个模型的对比,可以看出S 模型的拟合度

明显高于

“二次”模型的拟合度 (0.912 >0.900)不过,几乎接近

接着,我们采用S 模型,得到如下所示的结果:

结果分析:

1:从ANOVA表中可以看出:总体误差= 回归平方和 + 残差平方和 (共计:0.782) F统计量为(240.216)显著性SIG为(0.000)由于0.000

2:从“系数”表中可以看出:在未标准化的情况下,系数为(-0.986) 常数项为2.672

所以 S 型曲线的表达式为:Y(销售量)=e^(b0+b1/t) = e^(2.672-0.986/广告费用)

当数据通过标准化处理后,常数项被剔除了,所以标准化的S型表达式为:Y(销售量) = e^(-0.957/广告费用)

下面,我们直接采用“非线性”模型来进行操作

第一步:确定“非线性模型”

从绘图中可以看出:广告费用在1千万——4千多万的时候,销售量增加的跨度较大,当广告费用超过“4千多万

从图形可以看出:它符合The asymptotic regression model (渐近回归模型) 表达式为:Y(销售量)= b1 + b2*e∧b3*(广告费用)

当b1>0, b2

第二步:确定各参数的初始值

1:b1参数值的确定,从表达式可以看出:随着”广告费用“的增加,销售量也会增加,最后达到一个峰值,由于:b2

b2*e∧b3*(广告费用)会逐渐趋向于“0” 而此时 Y(销售量)将接近于 b1值,从上图可以看出:Y(销售量)的最大值为12点多,接近13,所以,我们设定b1的初始值为13

2:b2参数值确定:当Y(销售量)最小时,此时应该广告费用最小,基本等于“0”,可以得出:b1+b2= Y(销售量)此时Y销售量最小,从图中可以看出:第一个值为6.7左右,接近7这个值,所以:b2=7-13=-6

3: b3参数值确定:可以用图中两个分离点的斜率来确定b3的值,例如取

(x1=2.29,y1=8.71) 和( x2=5.75, y2=12.74) 通过公式 y2-y1/x2-x1=1.16,(此处可以去整数估计值来算b3的值)

确定参数初始值和参数范围的方法如下所示:

1:通过图形确定参数的取值范围,然后在这个范围里选择初始值。

2:根据非线性方程的数学特性进行某些变换后,再通过图形帮助判断初始值的范围。

3:先使用固定的数代替某些参数,以此来确定其它参数的取值范围。 4:通过变量转换,使用线性回归模型来估计参数的初始值

第三步:建立模型表达式和选择损失函数

点击“分析”—回归——非线性,进入如下所示界面:

如上图中,点击参数,分别添加b1,b2,b3进入参数框内,在模型表达式中输入:b1 + b2*Exp(b3*广告费用) (步骤为:选择“函数组”—算术——Exp函数),将“销售量”变量拖入“因变量”框内

“损失函数”默认选项为“残差平方和” 如果有特需要求,可以自行定义 点击“约束”进入如下所示的界面:

点击“继续”按钮,此时会弹出警告信息,提示用户是否接受建议, 建议内容为:将采用序列二次编程进行参数估计,点击确定,接受建议即可

参数的取值范围指在迭代过程中,将参数限制在有意义的范围区间内,提供两种对参数范围约束的方法:

1:线性约束,在约束表达式里只有对参数的线性运算

2:非线性约束,在约束表达式里,至少有一个参数与其它参数进行了乘,除运算,或者自身的幂运算

在“保存”选项中,勾选“预测值”和“残差”即可,点击继续

点击“选项”得到如下所示的界面:

此处的“估计方法”选择“序列二次编程”的方法, 此方法主要利用的是双重迭代法进行求解,每一步迭代都建立一个二次规划算法,以此确定优化的方向,把估计参数不断的带入损失函数进行求值运算,直到满足指定的收敛条件为止 点击继续,再点击“确定”得到如下所示的结果:

上图结果分析:

1:从“迭代历史记录”表中可以看出:迭代了17次后,迭代被终止,已经找到最优解

此方法是不断地将“参数估计值”代入”损失函数“求解, 而损失函数采用的是”残差平方和“最小,在迭代17次后,残差平方和达到最小值,最小值为(6.778)此时找到最优解,迭代终止

2:从参数估计值”表中可以看出:

b1= 12.904 (标准误为0.610,比较小,说明此估计值的置信度较高) b2=-11.268 (标准误为:1.5881,有点大,说明此估计值的置信度不太高) b3=-0.496(标准误为:0.138,很小,说明此估计值的置信度很高)

非线性模型表达式为:Y(销售量)= 12.904-11.268*e^(-0.496*广告费用) 3:从“参数估计值的相关性”表中可以看出:b1 和 b3的相关性较强,b2和b1或b3的相关性都相对弱一些,其中b1和b2的相关性最弱

4:从anova表中可以看出:R方 = 1- (残差平方和)/(已更正的平方和) = 0.909, 拟合度为0.909,说明此模型能够解释90多的变异,拟合度已经很高了

前面已经提到过,S行曲线的拟合度更高,为(0.916)那到底哪个更合适呢? 如果您的数据样本容量够大,我想应该是“非线性模型”的拟合度会更高! 其实想想,我们是否可以将“非线性”转换为“线性”后,再利用线性模型进行分析了? 后期有时间的话,将还是以本例为说明,如何将“非线性”转换为“线性”后进行分析!!

范文五:第9章非线性回归 投稿:叶垨垩

第九章 非线性回归

9.1 可化为线性回归的曲线回归 9.2 多项式回归 9.3 非线性模型 9.4 本章小结与评注

2011-12-27

1

§9.1 可化为线性回归的曲线回归

可线性化的曲线回归模型, 也称为本质线性回归模型

y=β0+β1 ebx+ε

只须令x′=  e

bx

(b已知) 

 (9.1)

即可化为y对x′是线性的形式   

y=β0+β1x′+ε

需要指出的是,新引进的自变量只能依赖于原始变 量,而不能与未知参数有关。

2011-12-27

2

§9.1 可化为线性回归的曲线回归

y=β0+β1x+β2x2+…+βpxp +ε 

令x1=x,x2=x2,…,xp=xp, 于是得到y关于x1,x2,…,xp的线性表达式 

(9.2)

y=β0+β1x1+β2x2+…+βpxp+ε

 

(9.2)式本来只有一个自变量x,是一元p次多项式回归, 在线性化后,变为p元线性回归。 线性回归模型的“线性”是针对未知参数 βi (i = 0,1,2,…,p)而 言的。对于回归解释变量的线性是非本质的,因为解释变量 是非线性时,总可以通过变量的替换把它转化成线性的。 

2011-12-27 3

§9.1 可化为线性回归的曲线回归

可线性化的曲线回归模型, 也称为本质线性回归模型

y=aeb xeε

对等式两边同时取自然对数,得: lny=lna+bx+ε 令y′=lny, β0=lna,β1=b, 于是得到y′关于x的一元线性回归模型 y′=β0+β1x+ε

(9.3)

2011-12-27

4

§9.1 可化为线性回归的曲线回归

不可以线性化的曲线回归模型, 也称为本质非线性回归模型

y = a eb x + ε

(9.4)

不能通过对等式两边同时取自然对数的方法将回归模型线 性化,只能用非线性最小二乘方法求解。 (9.3)式的误差项称为乘性误差项 (9.4)式的误差项称为加性误差项。 一个非线性回归模型是否可以线性化,不仅与回归函数的 形式有关,而且与误差项的形式有关。

2011-12-27

5

§9.1 可化为线性回归的曲线回归

在对非线性回归模型线性化时,总是假定误差项的形 式就是能够使回归模型线性化的形式,为了方便,常常省 去误差项,仅写出回归函数的形式。 例如把回归模型(9.3)式

y=aeb xeε

简写为

y=aeb x

(9.3)式与(9.4)式的回归参数的估计值是有差异的。对误差项的形式,首先 应该由数据的经济意义来确定,然后由回归拟合效果做检验。过去,由于没 有非线性回归软件,人们总是希望非线性回归模型可以线性化,因而误差项 的形式就假定为可以把模型线性化的形式。现在利用计算机软件可以容易的 解决非线性回归问题,因而对误差项形式应该做正确的选择。

2011-12-27 6

§9.1 可化为线性回归的曲线回归

英文名称 Linear Logarithm Inverse Quadratic Cubic Power Compound S Logistic 中文名称 线性函数 对数函数 逆函数 二次曲线 三次曲线 幂函数 复合函数 S 型函数 逻辑函数 方程形式 y=b0+b1t y=b0+b1lnt y=b0+b1/

t 2 y=b0+b1t+b2t 2 3 y=b0+b1t+b2t +b3t y=b0 t b1 t y=b0 b 1 y=exp(b0+b1/t)

y= 1 1 t + b 0 b1 u

SPSS软件 给出的10种 常见的可线 性化的曲线 回归方程

Growth Exponent

2011-12-27

增长曲线 指数函数

u 是预先给定的常数 y=exp(b0+b1t) y=b0exp(b1t)

7

§9.1 可化为线性回归的曲线回归

除了以上SPSS软件中收入的几种曲线回归外,另外几 种其他常用的曲线回归,例如 1. 双曲函数

x y= ax + b

或等价地表示为

2011-12-27

1 1 = a+b y x

8

§9.1 可化为线性回归的曲线回归

(a>0, b>0)

2011-12-27

9

§9.1 可化为线性回归的曲线回归

2. S型曲线

1 y= −x a + be

此S型曲线当a>0,b>0时,是x的增函数。 当x→+∞时,y→1/a ; x→-∞时,y→0。 y=0与y=1/a是这条曲线的两条渐进线。 S型曲线有多种,其共同特点是曲线首先是缓慢增长,在达 到某点后迅速增长,在超过某点后又变为缓慢增长,并且趋于 一个稳定值。 S型曲线在社会经济等很多领域都有应用,例如某种产品的 销售量与时间的关系,树木、农作物的生长与时间的关系等。

2011-12-27

10

§9.1 可化为线性回归的曲线回归

9

2011-12-27

11

§9.1 可化为线性回归的曲线回归

SPSS软件中的S型曲线y=exp(b0+b1/t): 当b10时,曲线在t的正实轴上是t的减函数,不是通 常意义下的S型曲线。 SPSS软件中的逻辑函数在0

2011-12-27

12

§9.1 可化为线性回归的曲线回归

2011-12-27

13

2011-12-27

14

2011-12-27

15

2011-12-27

16

2011-12-27

17

2011-12-27

18

2011-12-27

19

§9.2 多项式回归

一、几种常见的多项式回归模型 一元二次多项式模型yi=β0+β1xi+β11 x i 2 +εi  的回归函数yi=β0+β1xi+β11 x i 2 是一条抛物线方程,通常 称为二项式回归函数。 回归系数β1为线性效应系数,β11为二次效应系数。 相应地,回归模型 yi=β0+β1xi+β11 x i 2 +β111 称为一元三次多项式模型。

x

3 i

+εi 

2011-12-27

20

§9.2 多项式回归

称回归模型 yi=β0+β1xi1+β2xi2+β11 x i21 +β22 x i22 +β12xi1xi2+εi   为二元二阶多项式回归模型。 它的回归系数中分别含有两个自变量的线性项系数β1 和β2, 二次项系数β11 和β22,并含有交叉乘积项系数β12。 交叉乘积项表示 x1 与 x2 的交互作用。β12 交互效应系数。

2011-12-27

21

§9.2 多项式回归

二、一个应用例子 例9.2 表9.3列出的数据是关于18个35岁~44岁经理的: 前两年平均年收入 x1(千美元) 风险反感(意识)度 x2 人寿保险额 y(千美元) 风险反感度是根据发给每个经理的标准调查表估算得到 的;它的数值越大,风险反感就越厉害。

2011-12-27

22

§9.2 多项式

回归

研究人员想研究给定年龄组内的经理年平均收入,风 险反感度和人寿保险的关系。研究者预计,在经理的收入 和人寿保险额之间成立着二次关系,并有把握认为风险反 感度对人寿保险额只有线性效应,而没有二次效应。但 是,研究者对两个自变量是否对人寿保险额有交互效应, 心中没底。因此,研究者拟合了一个二阶多项式回归模型

yi=β0+β1xi1+β2xi2+β11 x i21 +β22 x i22 +β12xi1xi2+εi

并打算先检验是否有交互效应,然后检验风险反感的 二次效应。

2011-12-27

23

§9.2 多项式回归

序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

2011-12-27

 xi1

66.290 40.964 72.996 45.010 57.204 26.852 38.122 35.840 75.796 37.408 54.376 46.186 46.130 30.366 39.060 79.380 52.766 55.916

xi2  7 5 10 6 4 5 4 6 9 5 2 7 4 3 5 1 8 6

yi 196 63 252 84 126 14 49 49 266 49 105 98 77 14 56 245 133 133

24

§9.2 多项式回归

回归采用逐个引入自变量的方式,

2 依次引入自变量 x1、x2、 x 1 、x2 2 、x1x2,方法如下:

在线性回归对话框中,点入 y 与 x1,然后点 Block 1 of Next, 这时自变量框变为空白,再把 x1、x2 同时点入自变量框中, 然后再点 Block 2 of Next, 自变量框又变为空白,

2 再把 x1、x2、 x 1 同时点入自变量框中,如此依次引入自变量。

2011-12-27

25

§9.2 多项式回归

表9.4

变量 x1 x2|x1 2 |x1,x2 x1

2 x2 2 | x1,x2, x 1 2 , x2 x1x2|x1,x2, x 1 2 合计

偏平方和 104474 2284 1238 3 6 108005

残差 3567 1283 45 42 36

检验系数 β1 β2 β11 β22 β12

偏F值 1238/(45/14)=385 3/(42/13)=0.93 6/(36/12)=2.00

2011-12-27

26

2011-12-27

27

2011-12-27

28

§9.2 多项式回归

得最终的回归方程为:

2 ˆ =-62.349+0.840x1+5.685x2+0.0371 x 1 y

(0.164)(0.164) (0.785)

括号中的数值是标准化回归系数。 这样,研究者就可用这个回归方程来进一步研究经理 的年平均收入和风险反感对人寿保险额的效应。从标准 化回归系数看到,年平均收入的二次效应对人寿保险额 的影响程度最大。

2011-12-27

29

§9.2 多项式回归

【例9.3】 维生素C注射液因长期放置会渐变成微黄 色,中国药典规定可以用焦亚硫酸钠等作为抗氧剂。本 实验考虑3个因素,分别是 EDTA(X1) 无水碳酸钠(X2) 焦亚硫酸钠(X3) 每个因素各取7个水平,选用U7(74)均匀设计表, 取其中的第1、2、3列,实验安排与结果见表9.5。

2011-12-27

30

§9.2 多项式回归

使用逐步回归,回归方程的具体形式是:

2 y = B0 + B1 X 1 + B2 X 2 + B3 X 3 + B11 X 12 + B22 X 2 + B33 X 32 + B12 X 1 X 2 + B13 X 1 X 3 + B23 X 2 X 3

做变量替换转化为9个自变量的线性回归。

2 X 11 = X 12 , X 22 = X 2 , X 33 = X 32

X 12 = X 1 X 2 , X 13 = X 1 X 3 , X 23 = X 2 X 3

2011-12-27

31

§9.2 多项式回归

表9.6

X1 0.00 0.02 0.04 0.06 0.08 0.10 0.12 X2

30 38 46 26 34 42 50 X3 0.6 1.2 0.4 1.0 0.2 0.8 1.4 X 11 0.0000 0.0004 0.0016 0.0036 0.0064 0.0100 0.0144

回归变量表

X 22 900 1444 2116 676 1156 1764 2500 X 33 0.360 1.440 0.160 1.000 0.040 0.640 1.960 X 12 0.00 0.76 1.84 1.56 2.72 4.20 6.00 X 13 0.000 0.024 0.016 0.060 0.016 0.080 0.168 X 23 18.0 45.6 18.4 26.0 6.8 33.6 70.0 y 1.160 0.312 0.306 1.318 0.877 0.147 0.204

2011-12-27

32

§9.2 多项式回归

这个线性回归只有7组观测数据却有10个未知参数,需 要使用逐步回归逐个引入变量。 在SPSS软件逐步回归模块默认的进入变量P值=0.05, 剔除变量P值=0.10的条件下,逐步回归只进行了一步就结 束了,只选入了自变量x2。为了更全面地了解回归的效 果,可以把进入变量的条件放宽一些。 用Option选项把进入变量P值改为0.30,剔除变量P值 改为0.50,重新做逐步回归。 后边同学自己看看即可!

2011-12-27

33

§9.3 非线性模型

一、非线性最小二乘

非线性回归模型一般可记为:  yi = f (xi,θ)+εi , i=1,2,…,n  其中,yi是因变量, 非随机向量xi=(xi1,xi2,…,xik) ′是自变量, θ=(θ0,θ1,…,θp )′是未知参数向量, εi是随机误差项并且满足独立同分布假定,即 ⎧E(ε i ) = 0, i = 1, 2, 别表示; 因变量y是药物反应程度,用百分数表示。 3个参数c0、c1、c2都是非负的,根据专业知识,c0的上 限是100%, 3个参数的初始值取为c0=100,c1=5,c2=4.8。 测得9个反应数据如下:

2011-12-27

38

§9.3 非线性模型

x 1 2 3 4 5 6 7 8 9 y(%) 0.5 2.3 3.4 24.0 54.7 82.1 94.8 96.2 96.4

100 80 60 40 20 0 Y -20 0 X 2 4 6 8 10

图9.3 药物反应程度散点图

39

2011-12-27

§9.3 非线性模型

9.3

2011-12-27

40

输出结果9.4

§9.3 非线性模型

Residual SS C0 C1 C2 172.7877170 100.000000 5.00000000 4.80000000 32.60704344 97.7943996 6.57938197 4.74460195 20.20240372 99.5785656 6.73691756 4.80074972 20.18814307 99.5334852 6.76307026 4.79941696 20.18803580 99.5411768 6.76104089 4.79966204 20.18803473 99.5404448 6.76127044 4.79964160

Iteration 1 2 3 4 5 6

1.1 32.60704344 97.7943996 6.57938197 4.74460195 2.1 20.20240372 99.5785656 6.73691756 4.80074972 3.1 20.18814307 99.5334852 6.76307026 4.79941696 4.1 20.18803580 99.5411768 6.76104089 4.79966204 5.1 20.18803473 99.5404448 6.76127044 4.79964160 6.1 20.18803472 99.5405197 6.76124802 4.79964382

2011-12-27

41

§9.3 非线性模型

Nonlinear Regression Summary Statistics Source DF Sum of Squares Mean Square Regression 3 37839.85197 12613.28399 Residual 6 20.18803 3.36467 Uncorrected Total 9 37860.04000 (Corrected Total) 8 14917.88889 R squared = 1 - Residual SS / Corrected SS = .99865

2011-12-27

42

§9.3 非线性模型

Asymptotic 95 % Asymptotic Parameter C0 C1 C2 Estimate Std. Error Confidence Interval Lower Upper

99.540519687 1.567325937 95.705411276 103.37562810 6.761248019 4.799643816 .421980049 5.728700036 7.793796003 .050165521 4.676893208 4.922394423

输出结果9.4

2011-12-27

43

输出结果9.4

9.9

2011-12-27 44

表9.9

序号 1 2 3 4 5 6 7 8 9 均值 离差平方和 平方和 x 1 2 3 4 5 6 7 8 9 5 60 285

§9.3 非线性模型

y 0.5 2.3 3.4 24 54.7 82.1 94.8 96.2 96.4 50.48889 14917.89 37860.04

ˆ y

0 0.27 3.98 22.48 56.61 81.52 92.34 96.49 98.14 50.20333 15156.55 37839.85

e 0.5 2.03 -0.58 1.52 -1.91 0.58 2.46 -0.29 -1.74 0.285556 19.43162 20.18803

ˆ−y y

-50.48889 -50.21889 -46.50889 -28.00889 6.12111 31.03111 41.85111 46.00111 47.65111 -0.28556 15156.55 15157.28

2011-12-27

45

§9.3 非线性模型

本例回归离差平方和SSR=15156.55,而总离差平方 和SST=14917.89

通过以上分析可以认为药物反应程度y与药剂量x符合以下非线性回 归方程:

ˆ = 99.541 − y

99.541 ⎛ x ⎞ 6.7612 1+ ⎜ ⎟ ⎝ 4.7996 ⎠

2011-12-27

46

§9.3 非线性模型

【例9.5】 龚珀兹(Gompertz)模型是计量经济中的一个常用模 型,用来拟合社会经济现象发展趋势,龚珀兹曲线形式为:

t b yt = k

⋅ a

其中k为变量的增长上限, 0

2011-12-27

47

§9.3 非线性模型

表9.10

年份

我国民航国内航线里程数据

t 1 2 3 4 5 6 7 8 9 10 11 12 13 y 11.41 13.55 13.28 12.92 15.28 17.12 21.67 24.02 24.55 30.55 34.04 38.17 53.36 年份 t

单位:万公里

14 15 16 17 18 19 20 21 22 23 24 25 y 68.21 69.37 78.08 78.02 92.06 100.14 99.89 99.45 103.67 106.32 103.42 115.52

48

1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992

2011-12-27

1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004

§9.3 非线性模型

用SPSS软件的非线性最小二乘法功能求解。 依照Analyze→Regression→Nonlinear的顺序进入非线 性回归对话框。 在回归函数框条中输入k*a**(b**t),再给出参数的初 值。龚珀兹中的参数k是变量的发展上限,应该取其初值略 大于最大观测值。本例最大观测值是115.52,不妨取k的初 值为120。a和b都是0到1之间的数,可以取其初值为0.5。 经过31步迭代后收敛,部分输出结果如下:

2011-12-27

49

§9.3 非线性模型

9.5 输出结果8.5

Parameter Estimates 95% Confidence Interval Parameter a b k Estimate .01243 .8927 150.0 Std. Error .006 .015 15.814 Lower Bound .000 .862 117.162 Upper Bound .025 .923 182.756

2011-12-27

50

§9.3 非线性模型

ANOVA(a) Sum of Source Regression Residual Uncorrected Total Corrected Total

Dependent variable: y a R squared = 1 - (Residual Sum of Squares) / (Corrected Sum of Squares) = .976.

Mean df 3 22 25 24 Squares 38173.826 37.264

Squares 114521.478 819.818 115341.296 34222.087

2011-12-27

51

§9.3 非线性模型

用非线性最小二乘法求得的三个参数估计值为 k=150.0,a=0.012 43,b=0.892 7 其中k=150.0为回归模型估计的国内航线里程增长上限。 图9.4是用Excel绘制的国内航线里程趋势预测图,其中粗实线是观 测值,虚细线是预测值。

140 120 100 80 60 40 20 0 1975 1980 1985 1990 1995 2000 2005 2010 2015

图9.4 龚珀兹曲线拟合国内航线里程趋势图

2011-12-27 52

§9.3 非线性模型

上面的过程中回归迭代给出了一些警告错误,这是由 于回归迭代过程中的参数取值超出了允许范围造成的,可 以通过对参数取值范围增加一些限制解决,用非线性回归 对话框中的Constraints按钮实现。 另外如果参数的初值给得不够准确回归迭代不收敛 时,对参数增加一些限制可能就收敛了。例如本例中把k 的初值改为130回归迭代不能收敛,但是增加一个k>116的 限制回归迭代就收敛了。

2011-12-27

53

§9.3 非线性模型

龚珀兹模型和几种常见的非线性回归模型可以用三和值 法求解,见参考文献[15]第13章。 在正态误差假

定下,非线性回归的最小二乘估计与极大 似然估计是相同的,而极大似然估计具有好的大样本性 质,例如渐近无偏性、渐近正态性、一致性等。因而非线 性最小二乘估计值比三和值更精确,可以把三和值法的参 数估计值作为求解非线性最小二乘的初值。

2011-12-27

54

§9.3 非线性模型

【例9.6】 下表9.11是我国从1950——2005年历年大陆总 人口数,试用威布尔(Weibull)曲线拟合数据并做预测。 威布尔曲线如下:

y = k − a ⋅b

tc

其中参数k是变量发展的上限,参数a >0, 00。

2011-12-27

55

§9.3 非线性模型

表9.11

年份 1950 1951 1952 1953

我国历年大陆总人口数

t 1 2 3 4 y 5.5196 5.63 5.7482 5.8796 年份 1978 1979 1980 1981

单位:亿人

t 29 30 31 32 y 9.6259 9.7542 9.8705 10.0072

1975 1976 1977

26 27 28

9.242 9.3717 9.4974

2003 2004 2005

54 55 56

12.9227 12.9988 13.0756

2011-12-27

56

§9.3 非线性模型

根据人口学的专业预测,我国人口上限为16亿人, 因此取k的初值=16,取b的初值=0.5,取c的初值=1。 对以上初值把t=1时(即1950年)=5.5196代入,得,

a = 2(k − y1 ) ≈ 2(16 − 5.5) = 21

用以上初值做非线性最小二乘,得下面的输出结果 9.6。从中看到,人口上限为k=15.76亿人,这与人口学预 测的人口上限16亿人完全一致。图9.5是用Excel绘制的人 口趋势预测图,其中粗实线是观测值,虚细线是预测 值。

2011-12-27

57

§9.3 非线性模型

输出结果8.6 9.6 Parameter Estimates 95% Confidence Interval Parameter k a b c Estimate 15.760 10.135 .997 1.551 Std. Error .650 .693 .000 .071 Lower Bound 14.455 8.746 .996 1.408 Upper Bound 17.064 11.525 .998 1.694

2011-12-27

58

§9.3 非线性模型

ANOVA(a) Sum of Source Regression Residual Uncorrected Total Corrected Total Dependent variable: y a R squared = 1 - (Residual Sum of Squares) / (Corrected Sum of Squares) = .997. Squares 5266.738 .884 5267.622 319.677 df 4 52 56 55 Mean Squares 1316.685 .017

2011-12-27

59

2030 2025

2015

§9.3 非线性模型

2010 2005 2000 1995 1990 1985 1980 1975 1970 1965 1960 1955 1950 1945 8 6 16 14 12 10 4

图9.5 威布尔模型预测我国人口趋势图

2020

2011-12-27

60

§9.3 非线性模型

【例9.7】 柯布—道格拉斯生产函数研究。在计量经 济学中有一种熟知的C-D(Cobb—Douglas)生产函数

y = AK α Lβ

其中,y为产出,K(资本)、L(劳力)为两个投入 要素,A>0为效率系数、α和β为K和L的产出弹性, A、α、β 均为待估参数。

2011-12-27

61

§9.3 非线性模型

α是产出对资本投入的弹性系数,度量在劳动投入保持不变

时资本投入增加1%时产出平均增加的百分比。

β是产出对劳动投入的弹性系数,度量在资本投入保持不变

时劳动投入增加1%时产出平均增加的百分比。 两个弹性系数之和 α+β 表示规模报酬(r

eturns to scale)。

α+β =1表示规模报酬不变,即1倍的投入带来1倍的产出; α+β <1表示规模报酬递减,即1倍的投入带来少于1倍的产出; α+β >1表示规模报酬递增,即1倍的投入带来大于1倍的产出。

2011-12-27

62

§9.3 非线性模型

可以按两种形式设定随机误差项:  (1)乘性误差项,模型形式为 y = AK α Lβ eε 。  (2)加性误差项,模型形式为 y = AK α Lβ + ε   对乘法误差项模型可通过两边取对数转化成线性模型。 lny=lnA+ α lnK+ β lnL   令 y′=lny,β0=lnA,x1=lnK,x2=lnL,则转化为线性回归方程:   y′=β0+ α x1 + βx2+ ε

2011-12-27

63

表9.12 年份

t

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

GDP

3624.1 4038.2 4517.8 4862.4 5294.7 5934.5 7171.0 8964.4 10202.2 11962.5 14928.3 16909.2 18547.9 21617.8 26638.1 34634.4 46759.4 58478.1 67884.6 74462.6 78345.2 82067.5 89468.1 97314.8 105172.3

K

1377.9 1474.2 1590.0 1581.0 1760.2 2005.0 2468.6 3386.0 3846.0 4322.0 5495.0 6095.0 6444.0 7517.0 9636.0 14998.0 19260.6 23877.0 26867.2 28457.6 29545.9 30701.6 32611.4 37460.8 42355.4

L

40152 41024 42361 43725 45295 46436 48197 49873 51282 52783 54334 55329 64749 65491 66152 66808 67455 68065 68950 69820 70637 71394 72085 73025 73740

§9.3 非线性 模型

2011-12-27

1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002

lnGDP lnK lnL 8.195361 7.228316 10.60043 8.303554 7.295871 10.62191 8.415780 7.371489 10.65398 8.489287 7.365813 10.68568 8.574462 7.473183 10.72095 8.688538 7.603399 10.74583 8.877800 7.811406 10.78305 9.101016 8.127405 10.81724 9.230359 8.254789 10.84510 9.389532 8.371474 10.87394 9.611014 8.611594 10.90291 9.735613 8.715224 10.92105 9.828112 8.770905 11.07827 9.981272 8.924922 11.08967 10.19010 9.173261 11.09971 10.45260 9.615672 11.10958 10.75277 9.865817 11.11922 10.97641 10.08067 11.12822 11.12556 10.19866 11.14114 11.21805 10.25617 11.15368 11.26888 10.2937 11.16531 11.31530 10.33207 11.17597 11.40164 10.39242 11.18560 11.48571 10.53105 11.19856 11.56336 10.65385 11.20830 64

§9.3 非线性模型

其中,y是国内生产总值GDP (单位:亿元), K是资金投入,包括固定资产投资和库存占用资 金(单位:亿元), L是就业总人数(单位:万人)。 (1)假设随机误差项为相乘的,我们可以用两边取对数 的办法,按照(9.16)式将模型转化线性形式,对数变换 后的数据见表9.12,用SPSS作线性回归得如下结果:

2011-12-27

65

§9.3 非线性模型

输出结果9.7

Sum of Model 1 Regression Residual Total Squares 32.236 .060 32.296 df 2 22 24

Coefficients(a) Unstandardized Coefficients B (Constant) lnK lnL -2.086 .902 .361 Std. Error 1.903 .035 .201 .936 .065 Standardized Coefficients Beta t -1.096 25.863 1.794 Sig .285 .000 .087

ANOVA Mean Square 16.118 .003 F 5917.774 Sig. .000

a Dependent Variable: lnGDP

2011-

12-27

66

§9.3 非线性模型

得两个弹性系数为α=0.902,β =0.361,资金的贡献率 大于劳动力的贡献率。 规模报酬α+β =0.902+0.361=1.263>1表示规模报酬递增。 效率系数A= e − 2 .0 8 6 =0.1242。 其中系数β 的显著性概率P值=0.087,显著性较弱。 得乘性误差项的C-D生产函数为:

y = 0.1242 K

0.902 0.361

L

2011-12-27

67

§9.3 非线性模型

对加性误差项模型,不能通过变量变换数转化成线性模 型,只能用非线性最小二乘法求解未知参数。以上面乘性 误差项的参数为初值做非线性最小二乘,经过81步迭代得 下面的输出结果9.8。其中参数β的置信度为95%的置信区 间为(-0.555 ,1.565),包含0在内,因而不能认为β非 0,显著性较弱。 得加性误差项的C-D生产函数为:

y = 0.020 K 0.922 L0.505

2011-12-27

68

§9.3 非线性模型

输出结果9.8

Parameter Estimates 95% Confidence Interval Parameter A alpha beta Estimate .020 .922 .505 Std. Error .104 .064 .511 Lower Bound -.196 .789 -.555 Upper Bound .236 1.056 1.565

2011-12-27

69

§9.3 非线性模型

乘性误差项模型和加性误差项模型所得的结果还是有较大差异的, 其中乘性误差项模型认为 yt 本身是异方差的,而l nyt 是等方差的。 加性误差项模型认为 yt 是等方差的。 从统计性质看两者的差异,前者淡化了yt值大的项(近期数据)的 作用,强化了yt值小的项(早期数据)的作用,对早期数据拟合的效果 较好。 而后者则对近期数据拟合的效果较好。

2011-12-27

70

§9.3 非线性模型

三、其他形式的非线性回归 非线性最小二乘是使残差平方和 Q(θ) = ∑ ( y i − f ( x i ,θ)) 2 达极小的方法,其最大的缺点是缺乏稳健性。当数据存在异 常值时,参数的估计效果变得很差。因而在一些场合,我 们希望用一些更稳健的残差损失函数代替平方损失函数

i =1 n

2011-12-27

71

§9.3 非线性模型

利用SPSS的非线性回归程序,可以用数值计算 法求解多种损失函数的回归估计值。以下以例3.2 北京经济开发区数据为例,说明用SPSS软件的最 小绝对值法求解方法。 绝对值残差损失函数

Q( θ) = ∑ | yi − f ( xi ,θ) |

i =1 n

2011-12-27

72

§9.3 非线性模型

1.进入非线性回归对话框,在因变量框中点入y,在 Model Expressions框中输入回归方程表达式 b0+b1*x1+b2*x2; 2.给参数赋初值,以普通最小二乘估计值为初始值,初 始值为b0=-327.039,b1=2.036,b2=0.468,点Continue返回非 线性回归对话框; 3.点选Options选项,进入Options选项框选择数值计算方 法,默认的计算方法是Levenberg-Marquardt方法,将其改为 Sequential quadratic program方法,点Continue返回非线性 回归对话框。用自定义损失函数计算时必须做这个改动; 4.点Loss进入Loss Function对话框给出损失函数

,默 认的损失函数是Sum of squared residuals,将其改为Userdefiend loss function,然后输入ABS(y-b0-b1*x1-b2*x2),点 Continue返回非线性回归对话框; 5.点Save保存残差变量和预测值:

2011-12-27 73

2011-12-27

74

2011-12-27

75

2011-12-27

76

范文六:一元非线性回归 投稿:唐姰姱

一元非线性回归

有时,回归函数并非是自变量的线性函数,但通过变换可以将之化为线性函数,从而利用一元线性回归对其分析,这样的问题是非线性回归问题。

为了检验X射线得到杀菌作用。用200kv的X射线照射杀菌,每次照射6分钟,照射次数为x,照射后所剩的细菌数为y,下表是一组试验结果

x

1

2 3 4 5 6 7 y

783 621 433 431 287 251 175

x

8 9 10 11 12 13 14

y

154 129 103 72 50 43 31

x

15 16 17 18 19 20

y

28 20 16 12 9 7

根据经验知道y关于x的曲线回归方程如

ˆaey

bx

试给出具体的回归方程,并对其对应的决定系数R^2和剩余标准差s。

一、首先描出数据的散点图,如下图

散点图呈现出一个明显的向下且下凸的趋势,可能选择的函数关系很多,比如我们可以给出如下三个曲线函数:

1b

a

x (1) 1.y

2.yaxb (2) 3.yae (3)

bx

二、参数估计

1.为了能采用一元线性回归分析方法,我们做如下变换 vlny u=x 则(1)式的曲线图就化为如下的散点图

uu

2

i

= 3655 vi=87.22497

u=182.75 v=4.361248

2i

=1611149 uivi=21281.69

nu=667951.3 nuv=15940.36

luu= 943197.8 luv=5341.329

B1=

luv

=130.9375 luu

B

=v- B1=-388.301

得出方程

v=-388.301+130.9375x

四、结束语

对于可化为线性模型的回归问题,一般先将其化为线性模型,然后再用最小二乘法求出参数的估计值,最后再经过适当的变换,得到所求回归曲线。在熟练掌握最小二乘法的情况下,解决上述问题的关键是确定曲线类型和怎样将其转化为线性模型。确定曲线类型一般从两个方面考虑:一是根据专业知识,从理论上推导或凭经验推测、二是在专业知识无能为力的情况下,通过绘制和观测散点图确定曲线大体类型。

范文七:SPSS非线性回归 投稿:彭瘗瘘

SPSS数据统计分析与实践

主讲:周涛 副教授 北京师范大学资源学院 2007-12-18

教学网站:http://www.ires.cn/Courses/SPSS

第十四章:非线性回归

Contents:

1. 非线性回归概述 2. SPSS实例 3. 常用的非线性模型

SPSS procedures for Regression

1.

2.

3.

The Nonlinear Regression procedure allows you to create powerful and flexible models for nonlinear relationships between a dependent variable and one or more independent variables. The Linear Regression procedure provides more statistics for models that are intrinsically linear. The Curve Estimation procedure allows you to more easily specify certain nonlinear models, and can be useful for quickly comparing several different types of models.

Linear vs. Nonlinear models. Regression models, whether linear or nonlinear, assume that the form of the model is Y=F(X,B) +error, where Y is the dependent variable, X represents the predictors, and F is a function of X. In linear models, F is of the form:

F ( X , B) = ∑ b j X j

j =1

p

Where xj is the jth predictor, and bj is the jth regression coefficient. Note that for a model to be considered linear, F must be a linear function of the parameters, not necessarily the predictors. Thus, y=bx2 + error is a linear predictors model. Additionally, some models in which the error is multiplicative, such as y=ebxerror, are linear models under the log-transformation: ln(y) = bx + ln(error). These model are known as intrinsically linear. Nonlinear models are all other forms of F.

Parameters estimation in Nonlinear Regression

A difference from linear regression is that the solution of the normal equations usually requires an iterative numerical search procedure because analytical solutions generally cannot be found. To make things still more difficult, multiple solutions may be possible.

Basic Ideas for parameter estimation

Examples for Search methods

Methods of parameter estimation (1)

解析解(Analytic solution) 梯度下降算法(Gradient descent algorithms) Steepest-descent quasi-Newton Levenberg-Marquardt 剃度下降法的优点:速度快 算法相对简单

缺点:通常只能找到“Local minimum” 需要提供“Gradient vector”

∇ y J = ∂J / ∂y k

Methods of parameter estimation (2)

解析解(Analytic solution) 梯度下降算法(Gradient descent algorithms) 全参数空间搜索算法(Global search methods) 优点:能搜索到全局最优参数(Global minimum) 很多算法不需要提供“Gradient vector” 缺点:速度慢,需要消耗较大的计算时间

代表性算法:模拟退火(Simulated annealing) 遗传算法(Genetic Algorithms)

马尔可夫链蒙特卡洛法(Markov chain Monte Carlo)

Example

Example

Example

SPSS解决方案

1. 2.

根据散点图或经验确定模型 根据经验给出初始值和参数空间(非常重 要)

Example

A retailer wants to examine the relationship between money spent on advertising and the

resulting sales. To this end, they have collected past sales figures and the associated advertising costs. This data file was previously analyzed using Linear and Quadratic models via the Curve Estimation procedure, and the the Quadratic model was found to be superior to the Linear model for this situation. However, the retailer is concerned that the Quadratic model may not be appropriate because it suggests that increased advertising will eventually decrease sales. Use Nonlinear Regression to fit an appropriate model.

Step 1: Scatter plot

The resulting scatterplot shows that sales increase with increased advertising; however, the sales return on advertising investment appears to decrease with increased spending, until increased advertising has no further effect on sales. An appropriate model for this kind of pattern is the asymptotic(]渐近线的) regression model.

Step 2: Choosing Model

The asymptotic regression model (渐近回归模型) has form: b3 X

Y = b1 + b2 e

When b1>0, b2= from the dropdown list. Type 0 as the constraint Click Add Select b2 as the parameter to be constrained. Select

Step 4: Running Nonlinear Regression (3) Constrains

Step 4: Running Nonlinear Regression (3) Constrains

Click OK in the warning. The sequential quadratic programming algorithm (顺序二次规划)will be used instead.

Step 4: Running Nonlinear Regression (4) Save variables

6. Click Save in the Nonlinear Regression dialog box.

• Select Predicted values and Residuals.

Step 5: Output and Interpreting

Parameter Estimates 95% Confidence Interval Lower Bound Upper Bound 11.636 14.173 -14.556 -7.979 -.782 -.209

Parameter b1 b2 b3

Estimate 12.904 -11.268 -.496

Std. Error .610 1.581 .138

The parameter estimates table summarizes the modelestimated value of each parameter. Parameters in a nonlinear regression model usually do not have the same interpretation as linear regression coefficients, and often vary from model to model.

Step 5: Output and Interpreting

Parameter Estimates 95% Confidence Interval Lower Bound Upper Bound 11.636 14.173 -14.556 -7.979 -.782 -.209

Parameter b1 b2 b3

Estimate 12.904 -11.268 -.496

Std. Error .610 1.581 .138

As previously discussed, b1 represents the maximum possible sales, even if infinite advertising money were available. Its small standard error with respect to the value of the estimate suggests that you can be confident in the estimate.

Step 5: Output and Interpreting

Parameter Estimates 95% Confidence Interval Lower Bound Upper Bound 11.636 14.173 -14.556 -7.979 -.782 -.209

Parameter b1 b2 b3

Estimate 12.904 -11.268 -.496

Std. Error .610 1.581 .138

b2 is the difference between maximum possible sales and sales when no advertising money is spent. Its standard error is large and confidence interval is wide compared to the value of the estimate, so there is some uncertainty here.

Step 5: Output and Interpreting

Parameter Estimates 95% Confidence Interval Lower Bound Upper Bound 11.636 14.173 -14.556 -7.979 -.782 -.209

Parameter b1 b2 b3

Estimate 12.904 -11.268 -.496

Std. Error .610 1.581 .138

b3 controls the rate at which the maximum is reached, the so-called ed Total Corrected Total Sum of Squares 2748.519 6.778 2755.297 74.520 df 3 21 24 23 Mean Squares 916.173 .323

Dependent variable: Detrended sales a. R squared = 1 - (Residual Sum of Squares) / (Corrected Sum of Squares) = .909.

The Uncorrected Total represents the entire variability in the dependent variable, while the Corrected Total is adjusted to only reflect variability about hich the proportion drops appears to decrease with time, until the virus threat is essentially eliminated. An appropriate model for this kind of pattern is the asymptotic regression model (渐近线回归模型). A segmented model that uses a logistic equation for the first 19 hours and an asymptotic regression for the remaining hours should provide a good fit and interpretability over the entire time period.

Choosing starting values for the logistic model

The logistic model has form:

b1 Y= 1 + b2 e −b3 X

Generally, b1>0, b2>0, and b3>0. This model has an .027

The parameter estimates table summarizes the modelestimated value of each parameter. The standard errors of the logistic model's parameter estimates are considerably larger than those of the asymptotic regression model, relative to the values of the estimates. This is due in part to the fewer observations available to fit the logistic portion of the model; the rest is likely due to greater variation in the data during the first 20 hours.

Outputs

ANOVAa Source Regression Residual Uncorrected Total Corrected Total Sum of Squares 4.884 .082 4.966 1.212 df 6 36 42 41 Mean Squares .814 .002

Dependent variable: Proportion of infected messages a. R squared = 1 - (Residual Sum of Squares) / (Corrected Sum of Squares) = .933.

The ANOVA table provides a breakdown of the sum of squares, a measure of variability in the dependent variable, for this model. The Residual sum of squares and Corrected Total are used to compute r2. An r2 value of 0.933 means that the model accounts for about 93.3% of the variability in the dependent variable.

Scatter Plot

These residuals do not show a pattern, thus the model is acceptable in the sense the residuals are independent of the fit values

常用非线性模型: 2D Model

1. Polynomial

Model a*x+b a*x^2+b*x+c a*x^3+b*x^2+c*x+d a*x^4+b*x^3+...+e a*x^5+b*x^4+...+f a*x^6+b*x^5+...+g a*x^7+b*x^6+...+h a*x^8+b*x^7+...+i a*x^9+b*x^8+...+j a*x^10+b*x^9+...+k Group Polynomial Polynomial Polynomial Polynomial Polynomial Polynomial Polynomial Polynomial Polynomial Polynomial Description First Order Polynomial Second Order Polynomial Third Order Polynomial Fourth Order Polynomial Fifth Order Polynomial Sixth Order Polynomial Seventh Order Polynomial Eighth Order Polynomial Ninth Order Polynomial Tenth Order Polynomial

常用非线性模型: 2D Model

2. Single Parameter Convex/Concave Curves

Model log(x-a) 1/(1+a*x) exp(x-a) x^a a^(1/x) 1/(x+a) 1-1/(x^a) Group Single Parameter Convex/Concave Single Parameter Convex/Concave Single Parameter Convex/Concave Single Parameter Convex/Concave Single Parameter Convex/Concave Single Parameter Convex/Concave Single Parameter Convex/Concave Description

Root Model

常用非线性模型: 2D Model

3. Two Parameter Convex/Concave Curves

Model

log(a+b*x) a*x^b a*b^x a*exp(b*x) a*exp(b/x) exp(a+b*x) a*b*x/(1+b*x) x/(a*x+b) 1/(a+b*x) a/(1+b*x) a*(x-b) a*(1+x)^b a+b*log(x) 1/(a+b*log(x)) a*x^(b*x) a*x^(b/x) a*x/(b+x) a+b/x

Group

Description

Power (Freundlich) Modified Power Exponential Modified Exponential Rectangular Hyperbola Reciprocal Model

Two Parameter Convex/Concave Two Parameter Convex/Concave Two Parameter Convex/Concave Two Parameter Convex/Concave Two Parameter Convex/Concave Two Parameter Convex/Concave Two Parameter Convex/Concave Two Parameter Convex/Concave Two Parameter Convex/Concave Two Parameter Convex/Concave Two Parameter Convex/Concave Two Parameter Convex/Concave Two Parameter Convex/Concave Two Parameter Convex/Concave Two Parameter Convex/Concave Two Paramet

er Convex/Concave Two Parameter Convex/Concave Two Parameter Convex/Concave

Logarithm Model Reciprocal Logarithm Model Geometric Model Modified Geometric Model Saturation Growth Model Hyperbolic Model

常用非线性模型: 2D Model

4. Three Parameter Convex/Concave Curves

Model a*b^x*x^c a*b^(1/x)*x^c Hoerl Model Modified Hoerl Model 1/(a+b*x+c*x^2) Three Parameter Convex/Concave Reciprocal Quadratic (Holliday) exp(a+b/x+c*log(x)) Three Parameter Convex/Concave Vapor Pressure Model a+b*x+c/x^2 Three Parameter Convex/Concave Heat Capacity Model a/(1+b*x+c*x^2) Three Parameter Convex/Concave Group Description Three Parameter Convex/Concave Three Parameter Convex/Concave

常用非线性模型: 2D Model

5. Single Parameter Curves with Maxima and Minima

Model cos(x+a) sin(x+a) 1-exp(-a*x^2) exp(-a*x^2) Group Description Single Parameter with Max and Min Single Parameter with Max and Min Single Parameter with Max and Min Single Parameter with Max and Min Trigonometric Trigonometric II

常用非线性模型: 2D Model

6. Two Parameter Curves with Maxima and Minima

Model a*cos(x)+b*sin(x) Group Two Parameter with Max and Min Description

常用非线性模型: 2D Model

7. Three Parameter Curves with Maxima and Minima

Model x/(a+b*x+c*x^2) a+b*cos(x)+c*sin(x) exp(a+b*x+c*x^2) x/(a+b*x+c*sqr(x)) a*x^b*exp(-c*x) x^a*exp(b-c*x) a*x^b*(1-x)^c Group Description Three Parameter with Max and Min Three Parameter with Max and Min Three Parameter with Max and Min Three Parameter with Max and Min Gunary Model Three Parameter with Max and Min Three Parameter with Max and Min Three Parameter with Max and Min Beta Distribution Model a*exp((-(x-b)^2)/(2*c^2)) Three Parameter with Max and Min Gaussian Distribution Model

常用非线性模型: 2D Model

8. Single Parameter Sigmoidally Shaped (S 形曲线)

Model 1-exp(-x^a) exp(-x^a) Group Description Single Parameter Sigmoidally Shaped Single Parameter Sigmoidally Shaped

常用非线性模型: 2D Model

9. Two Parameter Sigmoidally Shaped (S 形曲线)

Model Group Description 1-exp(-a*x^b) Two Parameter Sigmoidally Shaped 1-exp(-a*b^x) Two Parameter Sigmoidally Shaped exp(-exp(a-b*x)) Two Parameter Sigmoidally Shaped

常用非线性模型: 2D Model

10. User Defined Models

常用非线性模型: 3D Model

1. 3 Parameter Power

a*x1^b*x2^c a*b^x1*x2^c a*x1^b*c^x2

常用非线性模型: 3D Model

2. 3 Parameter Polynomials

a+b*x1+c*x2 a+b*x1+c*log(x2) a+b*x1+c/x2 a+b*log(x1)+c*x2 a+b*log(x1)+c*log(x2) a+b*log(x1)+c/x2 a+b/x1+c*x2 a+b/x1+c*log(x2) a+b/x1+c/x2

常用非线性模型: 3D Model

3. Four Parameter Polynomials

a+b*x1+c*x2+d*x2^2 a+b*x1+c*log(x2)+d*log(x2)^2 a+b*x1+c/x2+d/x2^2 a+b*x1+c*x1^2+d*x2 a+b*x1+c*x1^2+d*log(x2) a+b*x1+c*x1^2+d/x2 a+b*log(x1)+c*x2+d*x2^2 a+b*log(x1)+c*log(x2)+d*log(x2)^2 a+b*log(x1)+c/x2+d/x2^2 a+b*log(x1)+c*log(x1)^2+d*x2 a+b*log(x1)+c*log(x1)^2+d*log(x2) a+b*log(x1)+c*log(x1)^2+d/x2 a+b/x1+c*x2+d*x2^2 a+b/x1+c*log(x2)+d*log(x2)^2 a+b/x1+c/x2+d/x2^2 a+b/x1+c/x1^2+d*x2 a+b/x1+c/

x1^2+d*log(x2) a+b/x1+c/x1^2+d/x2

END

范文八:实验8多元线性回归与非线性回归 投稿:许圵圶

实验 8

多元线性回归分析与非线性回归分析

多元线性回归分析研究多个变量的数量伴随关系,内容主要包括模型的假定与检验、参数的估计与检验、回归诊断与预测。很多非线性回归问题都可以转化为线性回归问题处理,如多项式回归、指数回归、对数回归、幂函数回归等。

8.1 实验目的

掌握使用 SAS多元线性回归分析与非线性回归分析的方法。

8.2 实验内容

一、用“分析家”作多元线性回归分析 二、用 INSIGHT模块作多项式回归 三、使用 REG过程作回归分析 四、一元非线性回归分析

8.3 实验指导

一、用“分析家”作多元线性回归分析

【实验 8-1】某研究人员需要分析我国固定资产投资状况的影响因素,选取 5个可能的影响因素:国内生产总值、商品房屋销售额、财政支出、社会消费品零售总额、进出口总额,统计 1987~2001共 15年的各项指标如表 8-1所示( sy8_1.xls)所示。试在 0.05的显著性水平下进行多元回归分析,判断哪些因素对固定资产投资有着显著影响,给出回归方程。

表 8-1 15年的统计数据

年度 1987 1988 1989 1990 1991

固定投资总国内生产总商品房屋销售

额 值 额 3791.7 4753.8 4410.4 4517 5594.5

11962.5 14928.3 16909.2 18547.9 21617.8

1100967 1472164 1637542 2018263 2378597

财政支

出 2262.18 2491.21 2823.78 3083.59 3386.62

社会消费品零售

总额

5820 7440 8101.4 8300.1 9415.6

进出口总额 3084.2 3821.8 4155.9 5560.1 7225.8

1. 生成数据集

在“分析家”中直接打开上面的 Excel数据表(sy8_1.xls),选择编辑状态,修改每个变量的属性,将变量名分别改为:年度: n、固定投资总额: y、国内生产总值: x1、商品房屋销售额:x2、财政支出:x3、社会消费品零售总额: x4、进出口总额:x5。

以数据集 Mylib.sy8_1存盘。

2. 全回归分析

1)选择主菜单“ Statistics(统计)”→ “Regression(回归)”→“Linear(线性) ”,打开 “Linear Regression(线性回归)”对话框。

2)选择变量列表中的变量 y,单击“Dependent”按钮,选定响应变量,选择变量列表中的变量 x1、 x2、x3、x4、x5,单击“ Explanatory”按钮,选定解释变量,如图 8-1所示。

图8-1 Linear Regression对话框

3)单击“ OK”按钮,得到分析结果如图 8-2所示。

图8-2 多元回归分析结果

分析结果包括方差分析表、拟合的汇总信息以及回归系数估计值与显著性检验。方差分析表中显示模型的作用是显著的( F统计量的值为 1567.35,p值

1)重复上面 2中 1),在“Linear Regression(线性回归)”对话框(图 8-1)中,单击“ Model”按钮,打开“Linear Regression:Model”对话框。在 “Method”选项卡中选择“ Stepwise selection(逐步选择法)”,如图 8-3所示。

两次单击“OK”按钮,得到分析结果。

2)在显示结果中,第 1步记录了只有 x1进入回归方程的回归分析结果,其中回归方程和系数的检验

2

均为显著,此时 R=0.9911,C(p)=58.5161;接着第 2步是自变量x1和x2进入回归方程后的回归分析结果,回归方程及 x1和x2的系数检验均为显著,但常数项检验不显著。接着第 3步是自变量 x1、x2和x3进入回归方程后的回归分析结果。其中回归方程及所有系数检验均为显著,常数项检验也显著。且 2

R=0.9984提高了, C(p)=5.5226减少了。

图8-3 选择逐步回归法

图8-4 逐步回归第 1、2步、3步及最后结果

在图 8-4右下中指出在 0.05的检验水平下,不能再有其它变量进入模型。比较 R和C(p)的值(图 8-4右),应取包含变量 x1、x2和x3的第三个模型作为较优的模型,对应的回归方程是:

2

y = 3023.27814 + 0.36911x1 + 0.00078157x2 − 2.09048x3

4. 回归诊断

进行回归诊断的步骤如下:

1) 重复上面2中的1),在打开的“ Linear Regression(线性回归) ”对话框中,单击“Plots”

按钮。在打开的“ Linear Regression:Plots”对话框中,选择“ Residual”选项卡,按图 8-5所示选择有关复选框。

2)两次单击“OK”按钮,得到回归诊断结果,在“分析家”窗口的项目管理器中依次双击“Residual Plots”下的“ Plot of STUDET vs PRED”和“ Plot of RESIDUAL vs NQQ”得到标准化后的残差图(图 8-6左)和残差的 QQ图(图 8-6右)。

从标准化后的残差图(图 8-6左)看出,数据点随机地散布在零线附近,表明模型中误差等方差、独立性的假设没有问题。残差的 QQ图(图 8-6右)近似一条直线,可以初步判定残差来自正态分布总体,所建回归模型是有效的。

3)对残差作进一步检验:

在上述操作打开的“Linear Regression(线性回归)”对话框中,单击 “Save Data”按钮。在打开的“ Linear Regression:Save Data”对话框中,选中“Crate and save diagnostics data”复选框,并将列表中的

第二项“ RESIDUAL Residuals”添加到左边方框内,如图 8-7所示。

两次单击“OK”后得到分析结果。

4)在“分析家”窗口的项目管理器中双击“Diagnostics”下的“Diagnostics Table”可以看到在数据集中生成了残差数据,如图 8-8所示。

图8-8 生成残差数据

将“Diagnostics Table”存盘(sy8_1_r)后在“分析家”中打开。

5)选择主菜单“ Statistics(统计)”→“Descriptive(描述性统计) ”→“Distributions…(分布)”,打开“ Distributions”对话框,选择变量列表中的 _RESID,单击“ Analysis”按钮,选定分析变量,如图 8-9左所示。

图8-9 设置选项

6)单击“ Fit(拟合)”按钮,在打开的对话框中选择拟合的分布类型: Normal,使用样本估计量 (Sample estimates),如图 8-9右所示。

7)两次单击“OK”按钮,并在分析家窗口的项目管理器中双击“ Fitted Distributions of sy8_1_r”项,得到对残差 _RESID的正态分布检验结果,如图 8-10所示。

图8-10 残差分布检验结果

三种检验均有p值>0.05,因此不能拒绝残差来自正态总体的假定。 5. 预测

通过回归诊断得知模型:

y =3023.27814 + 0.36911x1 + 0.00078157x2 − 2.09048x3

是合适的,可以用于预测。

1) 假定 02,03年国内生产总值( x1)、商品房屋销售额( x2)、财政支出(x3)的数据已存入

数据集 Mylib.sy8_1_new中,如图所示。

图8-11 数据集 Mylib.sy8_1_new

2) 重复上面逐步回归步骤,并在图 8-1所示的“ Linear Regression(线性回归)”对话框中,单击

“predictions”按钮,打开“ Linear Regression:predictions”对话框。按图 8-12所示进行预测的 Input(输入)、Output(输出)设置。

图8-12 “Linear Regression:predictions”对话框

3) 两次单击“ OK”,得到结果。在分析家的项目管理器中点击“ predictions”可以看到预测结果,如

图 8-13所示。

图8-13 预测结果

二、用 INSIGHT模块作多项式回归

【实验 8-2】某研究人员统计了房地产行业 2003年主营业务收入和净利润的关系,从中随即抽取 20家上市公司,统计后的主营业务收入和净利润如表 8-2(sy8_2.xls)所示。试采用多项式回归方程给出净利润y与主营业务收入x的关系。

1. 生成数据集

将表 8-2在 Excel中修改后导入成 SAS数据集 Mylib.sy8_2,在 INSIGHT中打开后如图 8-14所示。其中变量 n、x、y分别表示股票代码、主营业收入和净利润。

2. 回归分析

为了大致地了解y与x的关系,首先利用INSIGHT作y与x的带有曲线拟合的散点图,具体方法是: 1) 选择菜单“ Analyze(分析)”→“Fit(Y X) (拟合)”打开“ Fit(Y X)”对话框,选择变量如图 8-15

所示。

单击“OK”,得到拟合线性模型:

y =β0+β1 x +ε

主要部分如图 8-16所示。

从图8-16可以发现,虽然模型检验显著,但R2只有0.6494,且常数项未通过检验。为改进模型,移动图 8-16右上第一张表中“ Degree(Polynomial)”栏下的滚动条,可以做高次多项式拟合试验,其中 R-Square、F Stat可以说明拟合的效果。

作二次和三次多项式拟合试验的结果如图 8-17所示。

拟合三次多项式的 R已接近 94%,不需要再高的阶次了。重新回到“Fit(Y X)”对话框,按图 8-18左设置分析变量,可以拟合下面的三次多项式模型:

2

图8-18 设置拟合变量

单击“ Output”按钮,按图 8-18右选择输出结果,两次单击“ OK”后,得到拟合结果,如图 8-19所示。

虽然模型检验通过,但常数项未通过检验,进一步改进模型,再次回到“ Fit(Y X)”对话框,按图 8-18进行有关设置后,取消常数项复选框,如图 8-20所示。

单击“OK”按钮,得到拟合模型

主要部分如图 8-21、8-22所示。

其中模型和系数检验均通过,且 R高达 84.98%,所以该模型为比较理想的模型,最后的回归方程具体形式为:

2

3. 回归诊断

从图 8-22可以看出残差数据随机独立并大致服从均值为零的正态分布。

三、使用 REG过程作回归分析

【实验 8-3】某种水泥在凝固时放出的热量 y(cal/g)与水泥中四种化学成分x1,x2,x3,x4有关,现测得 13组数据,如表 8-3(sy8_3.xls)所示。试从中选出主要的变量,建立 y关于它们的线性回归方程。

1. 建立数据集

输入以下代码建立数据集 sy8_3并显示:

data mylib.sy8_3; input x1 x2 x3 x4 y; cards;

7 26 11 56 11 31 7 52 11 55

6 8 8 6 9 60 78.5 20 104.3 47 87.6 33 95.9 22 109.2 6 102.7

1 29 15 52 74.3

3 71 17

1 31 22 44 72.5 2 54 18 22 93.1 21 47

4 26 115.9

1 40 23 34 83.8 11 66

9 12 113.3

10 68 ;

8

12 109.4

Title '数据集 sy8_3'; Proc print ; run;

运行结果如图8-23所示。

2. 向后逐步剔出法进行回归

执行以下代码:

proc reg data = Mylib.sy8_3; var y x1 - x4;

model y = x1 - x4/selection=backward; plot residual. * predicted.; run;

输出结果如下:

向后逐步剔除法的分析结果给出回归模型:

残差对预测值的散点图显示如下:

3. 结果分析

采用向后逐步剔除法回归的第 0步是做全回归,结果如图 8-24所示,所有系数均未通过检验(P值均大于 0.05),向后逐步剔除法第 1步将变量x3剔除,结果如图 8-25所示,其中 x2和x4的系数仍不能通过检验,接下来第 2步将变量 x4剔除,结果如图 8-26所示,此时的回归方程及x1和x2的系数均能通过检验,残差对预测值的散点图(图 8-28)基本正常符合模型假定,所以方程 Y = 52.57735 + 1.46831x1 + 0.66225x2为有效回归方程。

四、一元非线性回归分析

【实验 8-4】已知数据如表 8-4(sy8_4.xls)所示。试分别采用指数回归、对数回归、幂函数回归和倒幂函数回归 4种非线性回归方法进行回归分析,并选择一个较好的回归方程。

表 8-4 实验数据

1. 生成数据集

运行下面程序生成并显示数据集 sy8_4,如图

8-29所示。

data sy8_4; input x y; cards;

1.1 109.95 1.2 40.45 1.3 20.09 1.4 24.53 1.5 11.02 1.6 7.39 1.7 4.95 1.8 2.72 1.9 1.82 2 1.49 2.1 0.82 2.2 0.3 2.3 0.2 2.4 0.22; run;

title '数据集sy8_4'; proc print; run;

由图可见 x和y有一定的非线性关系,根据散点分布的形状考虑用下面几种非线性回归方法建立非线性回归方程,并从中选出较为合适的回归方程。 2. 对x和y作相关分析 执行如下代码:

/*画 x和 y的散点图 */

goptions ftext='宋体

'; proc gplot data = sy8_4; plot y*x; title 'x和 y的散点图';

symbol v=dot i=none cv=orange ; run;

/*求 x和 y的相关系数 */ proc corr data = sy8_4; var x y; run;

运行上面程序,得到散点图(图 8-30左)以及 x与 y的相关系数(图 8-30右):

由图可见,x和y有一定的非线性关系,根据散点分布的形状考虑用下面几种非线性回归

方法建立非线性回归方程,并从中选出较为合适的回归方程。

首先考虑倒幂函数拟合,执行如下代码:

goptions ftext='宋体'; data new1; set sy8_4; u = 1/x; v = y;

run; /*画 u和 v的散点图 */ title 'u和 v的散点图'; proc gplot data = new1;

plot v*u; 图8-31 u和v的散点图 symbol v=dot i=none cv=red ; run;

运行结果得到散点图 8-31,由图可见,u

和 v有着较弱的线性关系。做线性回归:

proc reg data = new1; var v u; model v = u; print cli; title '残差图'; plot residual. * predicted.; run;

运行结果如图 8-32和图 8-33所示。

倒幂函数回归结果(图 8-32):方差分析表中显示模型的作用是显著的( F统计量的值为

24.95,p值

残差对预测值的散点图 (图 8-33)表明,残差有一定趋势,不符合模型的假定,以上回归方程无效。

4. 幂函数y =ax回归

考虑幂函数拟合,执行如下代码:

data new2; set sy8_4; u = log(x);

v = log(y); run; /*画 u和 v的散点图 */

b

title 'u和 v的散点图';

run; title '残差图';

proc gplot data = new2; plot v*u; symbol v=dot i=none cv=red ;

proc reg data = new2; var v u; model v = u; print cli; plot residual. * predicted.; run;

得到散点图如图 8-34所示:

幂函数回归的结果见图 8-35左:

残差对预测值的散点图 (如图8-35右)表明,残差有微弱趋势,不符合模型的假定,上

面回归方程不佳。

5. 指数函数y =aebx 回归

考虑指数函数拟合,执行如下代码:

data new3; set sy8_4; u = x;

v=log(y);

title 'u和 v的散点图';

run; /*画

u和 v的散点图 */

proc gplot data = new3; plot v*u; symbol v=dot i=none cv=red ; run; title '残差图'; proc reg data = new3; var v u; model v = u; print cli; plot residual. * predicted.;

run;

得到散点图如图 8-36所示:指数函数回归结果见图 8-37左:

图8-36 u与v的散点图

图8-37 指数函数回归结果与残差对预测值的散点图

得回归方程:v = 9.58399 – 4.73895u 即: y =14530.28e−4.73895x

从残差对预测值的散点图 (如图8-37右)可以看出,残差基本符合模型的假定,上面回归方程有效。

6. 对数

y =a +b ln x 回归

考虑对数函数拟合,执行如下代码:

data new4; set sy8_4; u = log(x); v = y;

title 'u和 v的散点图';

run; title '残差图';

proc reg data = new4; var v u; model v = u; print cli; plot residual. * predicted.; run;

run; /*画 u和 v的散点图 */

proc gplot data = new4; plot v*u; symbol v=dot i=none cv=red ;

得到散点图如图 8-38所示。对数函数回归结果见图 8-39左。

图8-38 u与v的散点图

图8-39 对数函数回归结果

得回归方程: v = 64.58847 – 91.11730u即:y = 64.58847 – 91.11730lnx

从残差对预测值的散点图 (如图8-39右)可以看出,残差有二次趋势,不符合模型的假定,上面回归方程无效。

7. 结论

比较上述 4个回归方程,第三种指数函数回归的 Root MSE(均方残差平方根)最小(0.25991)、R-Square(判定系数R2)最大(0.9844),效果最好。

执行下述代码,得到模型y =14530.28e−4.73895x 的拟合图形如图8-40所示。

data new5; set new1;

y1 = 14530.28*exp(-4.73895*x);

run; title '回归图'; run;

proc gplot data = new5; plot y*x=1 y1*x=2/overlay ; symbol v=dot i=none cv=red ; symbol2 i=sm color=blue;

图8-40 指数函数拟合图形

8.4 上机演练

【练习 8-1】某学校20名一年级女大学生体重(公斤)、胸围(厘米)、肩宽(厘米)及肺活量(升)实测值如表8-5(lx8_1.xls)所示。试对影响女大学生肺活量的有关因素作多元回归分析。

表 8-5 20名一年级女大学生肺活量及有关变量测量结果

编号 1 2 3 4 5

6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

体重X1/公斤

51.3 48.9 42.8 55.0 45.3 45.3 51.4 53.8 49.0 53.9 48.8 52.6 42.7 52.5 55.1 45.2 51.4 48.7 51.3 45.2

胸围X2/厘米

73.6 83.9 78.3 77.1 81.7 74.8 73.7 79.4 72.6 79.5 83.8 88.4 78.2 88.3 77.2 81.6 78.3 72.5 78.2 74.7

肩宽X3/厘米

36.4 34.0 31.0 31.0 30.0 32.0 36.5 37.0 30.1 37.1 33.9 38.0 30.9 38.1 31.1 30.2 36.5 30.0 36.4 32.1

肺活量Y/升

2.9 3.11 1.91 2.63 2.86 1.91 2.98 3.28 2.52 3.27 3.10 3.28 1.92 3.27 2.64 2.85 3.16 2.51 3.15 1.92

【练习 8-2】在光刻工艺过程中,要求找出国产光致抗蚀剂显影的腐蚀速率与显影时间的关系,实验中观测的数据经整理如表 8-6(lx8_2.xls)所示。

表 8-6 腐蚀速率与显影时间的关系

试分别采用指数回归、对数回归、幂函数回归和倒幂函数回归四种非线性回归方法分别给出回归

方程,并选择一个较为合适的回归方程。

8.5 实验报告

请按练习内容写出包括如下内容的实验报告: 一、实验目的;

二、实验内容及程序与结果分析;

三、实验体会(问题、评价、感想与建议等 )。

范文九:多元线性回归与非线性回归 投稿:任濩濪

实验三 多元线性回归与非线性回归

实验目的:

1、 学会多元线性回归的参数估计方法;

2、 掌握多元线性回归的检验方法,包括拟合优度检验、F检验和t检验,尤其是掌握调

整的判断系数和F检验的内容;

3、 掌握非线性回归的参数估计方法,尤其是能够利用EViews软件进行参数估计。 实验内容:

1、下表列出了某地区家庭人均鸡肉年消费量Y与人均可支配收入X、鸡肉价格P1、猪肉价格的相关数据P2,试利用这些资料,设定适当的模型进行回归分析。

(1)、计算相关系数

(2)绘制散点图

2建立模型

2、为了度量投资和劳动投入之间的替代弹性,当今著名的CES(恒定替代弹性)模型形式设定为

lnV/Lln01lnW

其中,V/L表示单位劳动的附加值,L表示投入的劳动,W表示实际工资率。系数1表示劳动与资本之间的替代弹性。用下表给出的数据,验证估计的弹性是1.324,并且它和1在统计上无显著差异。

范文十:第五章-非线性回归 投稿:黎閉閊

第五章 非线性回归

5.1 估计

5.1.1 极值估计

1.基本设定

经典非线性回归的基准模型设定如下:

其中, 来表示样本

此处所谓的非线性是指

形式。

对应的,矩阵表示如下:

(5-2)

(5-1)

和参数

的函数。

是参数

的非线性函数,而不是指样本本身是非线性的

不妨定义

的参数空间为

,K为参数的个数。

,则最小化目标函数

为了估计参数

,通常需要设定某个随机目标函数

称为参数的极值估计量。 的解

可知,LS估计、ML估计和GMM估计都属于极值估计。 在证明极值估计量的性质之前,先做如下假定。

假定5-1

: 且

,有

假定5-2:对某一定义在

上的非随机函数

成立。

假定5-3

为紧集; 连续;且

上唯一最小化

为了避免误解,此处引入

来表示参数

的真值。 假定5-3在很多时候也称为可识别条件。 如果函数

可导,则假定5-3对应目标函数一阶条件

一解为

,或者说, 为总体矩条件

的唯一解。

的唯

2.一致性

如果假定5-1至5-3成立,则有

证明:

由假定5-3可知,对任意的

;其中

,存在

使得对任意的

都有

的邻域。

证明完毕。

5.1.2 LS估计

1. 估计

非线性模型的LS估计也称为NLS估计。同样的,由LS估计的思想可知,NLS估计的最优化目标函数可设定如下:

上式对

求一阶导,可得:

(5-3)

其中,

令一阶导为0,可解得:

,。

(5-4)

为了验证式(5-4)的解为最优解,还需要验证目标函数的二阶导。式(5-3)对

求二阶导,可得:

(5-5)

注意到,当

时,由外生性假定可知,上式中等式右边大括号内的第二项收敛于0,则上式可渐近等价于:

(5-6)

所以,式(5-6)的NLS估计为目标函数的最优解。

另外,与线性回归一样,此时方程的回归标准误可计算如下:

其中,

为回归残差。

(5-7)

2.拟合程度

在非线性回归中,回归方程估计的残差平方和

不再一定小于总变差

,因此,定义的可决系数

不再处于

之间。通常认为此时R2不能反映回归方程的拟合程度。

注意到,此时R2的取值范围为

;而当R2小于0时,意味NLS估计得到的残

差平方和比Y对常数回归的残差平方和还要大,因此,我们可以认为此时的模型设定肯定

。 不是一个好模型。假如把坏的模型设定排除出去,则我们仍然还是有

基于上述的分析,可见,R2仍然是度量回归方程拟合程度的一个重要指标。

3.参数约束检验

NLS估计具有良好的渐近正态性(见后面MM估计的分析),因此,在线性回归框架下

构建的参数检验统计量基本可以扩展到非线性分析的框架。唯一的不同的是,NLS估计量在实际计算时是使用迭代的方法,它是建立在估计量一致性的基础上,这就意味着,在非线性回归的框架下,参数约束检验的统计量只具备有大样本性质。

例如,检验估计系数

,可构造如下的Wald统计量:

更详细的假设检验将在ML估计中介绍,此处暂略过。

(5-8)

5.1.3 ML估计

不妨假定

,则由式(5-1)可知有,

对应的对数似然函数为:

(5-9)

(5-10)

上式对

求一阶导,可得:

令上述一阶导为零,可解得与式(5-4)相同的最优化条件。可知此时NLS估计与ML估计等价。

更一般的非线性回归方程设定如下:

此时,NLS估计的最优化目标函数为:

(5-11)

ML估计的最优化目标函数为:

其中, 为与参数无关的常数。

由于NLS估计没有考虑到密度函数转换中的Jaccoby行列式,它不再等价于ML估计,因此NLS估计不再一定是一致估计。注意到,此时如果ML估计一阶条件对应的总体矩形式成立,则NLS估计一阶条件对应的总体矩形式必定不成立。

5.1.4 MM估计

假定(可识别假定):对参数空间 中的任意

,有

其中,Z

为工具变量, 为参数 的真值。

由定义可知,参数的MM估计对应求解如下样本矩条件:

此处工具变量Z是解释变量X的函数,为

的满列秩矩阵。

(5-12)

1.一致性

注意到,MM估计作为GMM估计的一个特例,同样也是极值估计的特例,其一致性的证明可根据极值估计量的一致性得到。参考Davidson和Mackinnon(2003)的处理,以下给出估计量一致性的一个直观的说明。

假定

存在,其中

为于n无关的常数向量。 式(5-12)取概率极限,可有

由可识别假定可知有,实参数的一致估计。

,所以有

,即式(5-12)解得的估计量为真

2.渐近正态性

假定有如下结论成立:

其中,

将式(5-12)乘以

为有限正定矩阵,,则有

为有限可逆矩阵。

处中值展开,上式可转化为:

(5-13)

(5-14)

则式(5-14)可转化如下:

由中心极限定理有

所以有,

(5-16)

(5-15)

3.渐近有效性

的定义有,

易知,当

差阵为

但是,由于

时,

的渐近协方差阵可以达到最小,此时渐近协方

作为Z的MM估计并不可行。实际计

含有未知参数,使用

算时,我们必须找到其对应的可行估计量。

5.2 数值计算

通常,由最优化目标函数解得的一阶条件都是比较复杂的非线性函数,基本无法直接求出估计量的解析解;因此,实际计算时必须使用迭代的方法来计算其数值解,其中最常用的为Newton-Raphson迭代和Gauss-Newton迭代。

5.2.1 Newton-Raphson迭代

已知最小化目标函数为

一阶Taylor近似展开,得到

,给定

的任意初始值

的一个近似

(5-17)

,令

处进行

其中,

则关于

最小化

记方程的解为

的一阶条件为:

,则由上式有:

(5-18)

式(5-18)给出了Newton-Raphson迭代的核心思想。

如果二阶近似函数

是严格凸函数,此时

,则由式(5-18)解得的

为 的最优解

( 为

的二阶导)。如果

的一个很好的近似,

则我们有理由相信,

应该很接近

的最优解

更一般的,式(5-18)可表示为:

(5-19)

其中,下标“(j)”表示迭代的步数。

它表示以第j次迭代的结果作为Taylor展开的迭代估计。

Newton-Raphson迭代的思想是从某个初始点开始,通过一阶优化条件逐步寻找更接近真实解的点。当

具有良好的性质时,通过这种迭代总是可以很快的收敛到最优解。特别是

为二次函数(此时对应线性回归的情形)并有全局最小值点

时,上述的迭代过程仅用一次即可收敛。

但是,Newton-Raphson迭代在很多情况下并不能有效收敛于最优解,尤其是在某一步j,

处非凸时,效果更差。注意到,式(5-5)给出了矩阵

的计算公函数

式,显然,它不能保证

。因此,为了改进收敛的性质,实际计算时常用某个正定的

来近似替代

修正的Newton-Raphson迭代公式计算如下:

参数

用于控制收敛的步长,常通过极小化如下函数得到,

(5-20)

实际计算时, 也可以根据具体情况设定相应的取法,只要能保证算法的每一步都

在不断接近目标值,这种取法便是正确的。

图5-1 数值迭代方向图

已知

,当

时有

,所以有

;当

时。这意味着,当

具有良好性质时,通过上述的迭代可

,所以

收敛到参数的真值。

另外,无论是使用式(5-19)还是式(5-20)进行迭代,为了反映迭代结果收敛,我们必须还设定某些使得计算机终止迭代的准则。

一个比较合乎逻辑的终止准则为:

(5-21)

其中, 为设定的收敛精度,比如0.0001或0.00001等。

需要强调的是,即使是修正的Newton-Raphson迭代方法在遇到目标函数包含多个局部极小值的情形,也经常会落入局部最小值,而不能收敛到全局最小值。对于多个极小值的问题,通常需要用到比较复杂且计算费时的方法来寻找其最优解,我们不细展开。我们建议使用者应尽可能使用几个不同的初始点进行迭代,考察收敛结果的稳定性。

5.2.2 Gauss-Newton迭代

Gauss-Newton迭代是Newton-Raphson迭代的一个特例。事实上,它对应迭代公式(5-20)中

取如下形式的情形,

(5-22)

此时,式(5-20)可转化为:

古典的Gauss-Newton迭代对应上式中

的情形。

(5-23)

上式中等号右边的第二项可以通过一个人工的辅助回归得出,这种回归称为Gauss-Newton回归(Davidson和Mackinnon,2003),它可以表示为:

其中,b为估计参数,e

为残差;则式(5-23)又可转化为:

(5-25)

为伪回归元(Psuedo-regressors)。

(5-24)

这就意味着,Gauss-Newton迭代可以转化为使用Gauss-Newton回归的迭代估计结果来不断修正原来的估计结果。

另一种推导Gauss-Newton迭代公式的方法则是基于对非线性函数

的中值展开。 令

处中值展开,则由式(5-2)有

简化整理,可得

记上式的LS估计为

,则有

(5-26)

简单的比较可知,上式刚好对应式(5-23)在

在使用Gauss-Newton迭代时,如果矩阵

算法无法收敛,此时应该使用其他满足正定的

的情形。

非常接近奇异,可能会使得

矩阵。

5.3 格点搜索

5.3.1 非嵌套检验

考察如下两个备选模型:

(5-27)

(5-28)

假如我们要从以上两个模型中挑选出更合理的模型,显然,这是一个非嵌套检验的问题,但是,注意到式(5-27)和式(5-28)的因变量是不同的,经典线性回归中介绍的J检验和Cox检验不再适用。

下面介绍一种更一般的非嵌套检验——PE检验。 不妨设定对应的两个模型如下:

其中,函数

单调且连续可微。

定义超级模型:

上式可简单变换如下:

(5-29)

其中,

具体检验时,先估计

,a为某个有限的常数。

对应的模型,得到

,代入上述超级模型中参

对应的变量,再使用ML估计或NLS估计得到

,根据估计结果检验

如果拒绝则拒绝

对应的模型。同样的,也可以对换检验的零假设与备则假设。

将上述的超级模型变换为:

检验

,如果拒绝则拒绝

对应的模型。 例如,对上述的线性与对数线性模型,我们有

(5-30)

其中, 和

分别对应线性或对数线性模型下的拟合值。 如果

,则拒绝线性模型;如果

,则拒绝对数线性模型。

5.3.2 Box-Cox变换

事实上,式(5-27)的线性模型与式(5-28)的对数线性模型只是Box-Cox模型的两个特例,更一般的,我们可以在Box-Cox模型的框架下通过确定模型参数的取值来挑选最优的模型。

Box-Cox模型的设定如下:

(5-31)

其中,

, 称为Box-Cox

变换,。

容易知道,当

时,上式可转化为线性模型,而当

时,上式则可转化为对数线性模型。

式(5-31)常用的估计方法为ML估计。注意到,由于因变量中含有未知参数,此时的NLS估计不再是一致估计。

以下我们介绍一种新的数值搜索的方法——格点搜索(GS:Grid Searching)。

假如我们已经知道式(5-31)中参数

的取值,则式(5-31)可转化为普通的线性方程,我们可以使用LS估计来获得参数

的一致估计。这就意味着式(5-31)的估计可分解为两步:首先确定参数

的取值,然后对于给定

的取值估计参数

。由于参数

的取值范围有限,所以,只要给定一定的精确度,我们总可以覆盖其在定义域内的所有取值。

具体的,格点搜索可归纳为如下两步:

Step-1:给定定义域内参数

的任意取值,估计线性回归方程。

Step-2:根据某个确定的指标,选择

最优的取值。

实际计算时,格点搜索可以使用残差平方和最小或对数似然函数值最大等作为挑选模型的指标。利用残差平方和最小作为选取指标所挑选出的估计结果对应NLS估计的收敛结果,而利用对数似然函数值最大作为选取指标所挑选出的估计结果对应ML估计的收敛结果。

格点搜索的方法可以避开NLS估计或MLE所可能遇到的不收敛的情况,找到近似的最优解;但是,其使用同样具有一定的局限性,使用格点搜索时,作为搜索的参数必须存在一个有限的搜索范围。

另外,格点搜索的方法还会低估其他参数

的渐进协方差阵。

证明:

ML估计和格点搜索方法对应的参数的协方差阵分别可计算如下:

ML

估计:

GS

方法:

由分块矩阵求逆的公式可知,; 。

证明完毕。

更一般的,Box-Cox模型中因变量与自变量的Box-Cox变换的参数也可以允许不同。例如,

(5-32) 此时,同样可以使用格点搜索同时对参数

进行二维的搜索。

第 11 页 共 12 页

练习题

1

.非线性方程设定为:

Newton-Raphson迭代与Gauss-Newton迭代的迭代公式。

,试推导其参数NLS估计的

第 12 页 共 12 页

站点地图