제7장 주요내용 및 질문

제7장 주요내용 및 질문

7.1 Introduction

7.2 Methods of Finding Estimators

확률변수의 분포가 정의되고 그 분포로부터 n개의 관측값을 얻었을 때, 확률변수의 분포를 결정하는 모수 θ의 추정량을 어떻게 찾을 것인가에 대해 생각해본다. 찾은 추정량이 '좋은' 추정량인지를 판단하는 방법에 대해서는 7.3절에서 다룬다.

Method of Moments(적률법)
적률법에 의한 추정량은 유일하지 않다: Example 7.2.3에서 Var(Y_i)의 추정량으로 다음 세가지 중 어떤 것이든 가능한데; E(Y_i²)-(E(Y_i))², 2E(Y_i), 2E(Y_i)(E(Y_i)/r_i)=2(E(Y_i))²/r_i , Satterthwaite 근사에서는 제일 마지막 식을 이용하였다.

최대가능도추정량을 반복법(iterative method)으로 구해야 할 때 적률법에 의한 추정량을 초기값으로 쓰면 최대가능도추정량을 빨리 찾을 수 있다.

Maximum Likelihood Estimators(최대가능도추정량)
최대가능도추정량이 갖는 좋은 성질(optimality properties)은 10.1절에서 다룬다.

최대가능도추정량을 찾을 때 항상 가능도함수(또는 로그를 취한 가능도함수)를 미분하는 것은 아니며(예: Example 7.2.9와 Exercise 7.9), Example 7.2.5와 7.2.6에서와 같이, 미분해서 찾을 수도 있지만 가능도함수의 상한을 이용해서 직접 구할 수도 있다. 또한 Example 7.2.8에서와 같이 모수의 영역에 제한조건이 있을 때 주의해야 한다.

최대가능도추정량을 가능도함수를 미분해서 찾을 수 있기 위해서는 우선 모수공간(parameter space)의 내부점(interior point)에서 가능도함수가 최대가 된다는 가정이 필요하다.(Exercise 7.9에서는 이 가정이 만족되지 않는다.) 그리고 일차미분을 0으로 하는 해는 최대가능도 추정량이 되기 위한 필요조건이지 충분조건은 아니며, 해가 유일한지, 그리고 모수 θ가 스칼라일 때는 이차미분값이 음이 됨을, 모수 θ가 벡터일 때는 이차미분 행렬이 음정치행렬(negative definite matrix)임을 확인해야 하는데(Apostol(1977), Theorem 13.10 참조), 주어진 행렬이 음정치행렬임을 확인할 수 있는 방법 중의 하나가 Example 7.2.12의 조건 b와 c이다. 일차미분을 0으로 하는 해가 유일하지 않다면 global maximum point가 아닐 수 있다. [Q] MLE는 유일한가?

MLE의 불변성(Invariance Property of Maximum Likelihood Estimators)

Numerical instability of MLEs: 자료값이 조금 변할 때 MLE가 크게 변할 수 있다 (Example 7.2.13).

Bayes Estimators
Bayesian approach, prior distribution, posterior distribution

사후분포(posterior distribution)가 결합분포에 비례함을(즉, π(θ|x)∝π(θ)f(x|θ) ) 이용하면, x의 marginal distribution을 구하지 않고 θ의 사후분포를 알 수 있다.

conjugate prior distribution(켤레사전분포 또는 공액사전분포): [Q] 왜 conjugate prior를 선호하는가?

[Q] 이 교재에서는 사후평균 E(θ|X)을 θ의 Bayes Estimator로 정의하였는데, E(θ|X)가 θ의 추정량으로서 어떤 좋은 성질을 갖는가? [A] E(θ|X)는 사후기대손실을 최소로 하는 추정량이다. 즉, E(θ|X) = arg min_a∫(θ-a)²π(θ|x)dθ.

[Q] 291쪽에 나오는 fiducial inference에서도 θ에 관한 likelihood를 정의하는데 Bayesian inference와 fiducial inference는 어떻게 다른가?

The EM Algorithm

7.3 Methods of Evaluating Estimators

관심있는 모수 θ에 대한 (또는 τ(θ)에 대한) 추정량이 여러 개 있을 때 어떤 추정량을 선택할 것인가? '좋은' 추정량의 기준은 무엇인가?

MSE의 정의와 식 (7.3.1). MSE는 분산과 같은 척도모수(scale parameter)의 추정량에 대한 기준으로는 적절하지 않다(이유는?). MSE를 위치모수(location parameter)의 추정량의 성능을 판단하는 기준으로 택할 수 있으나, 모든 θ에 대해 MSE를 최소로 하는 추정량은 있을 수 없다(왜?)는 단점이 있다.

그래서 우선 가능한 추정량의 범위를 제한한 다음 그 범위에 속하는 추정량 중에서 MSE를 최소로 하는 추정량을 좋은 추정량으로 정하면 되는데, 추정량의 범위를 제한하는 한가지 방법이 비편향추정량(unbiased estimator)들만 생각하는 것이다. 추정량이 비편향이면 그 추정량의 MSE는 곧 분산이 되므로 최소분산을 갖는 비편향추정량(UMVUE 또는 best unbiased estimator)은 MSE 기준으로 볼 때 좋은 추정량이라고 할 수 있다. 즉 UMVUE는 비편향추정량들 중에서 MSE를 최소로 하는 추정량이다. [Q] 좋은 추정량이 되기 위해서는 비편향추정량이 되어야만 하는가?

UMVUE를 어떻게 찾나? 또는 주어진 비편향추정량이 최소분산을 갖는지를 어떻게 판단할 수 있는가? 한가지 판단방법은 추정량의 분산이 Cramer-Rao 하한을 만족하는지를 보는 것인데, 정리7.3.19에 의해 최소분산을 갖는 비편향추정량은 유일하므로, 주어진 비편향추정량의 분산이 Cramer-Rao 하한과 일치하면 그 추정량이 유일한 UMVUE가 된다. 하지만 이 값은 하한값이므로 반드시 이 값을 분산으로 갖는 비편향추정량의 존재가 보장되지는 않는다. 그렇다면, 주어진 비편향추정량의 분산이 Cramer-Rao 하한을 만족하지 않을 때, 이 추정량이 최소분산을 갖는지 아니면 더 작은 분산을 갖는 다른 비편향추정량이 존재하는지를 어떻게 알 수 있는가?

위 물음에 대한 부분적인 답이 정리7.3.23에서 주어진다. 즉, 주어진 비편향추정량이 완비충분통계량(Complete Sufficient Statistic)의 함수이면 이 추정량이 유일한 UMVUE가 된다는 것이다. 그리고 347쪽 세 번째 문단과 Example7.3.24에서 완비충분통계량의 함수이면서 τ(θ)의 비편향추정량을 찾기가 어려울 때 τ(θ)의 UMVUE를 찾는 방법이 설명되고 있는데 이 방법은 때때로 유용하게 쓰인다.

그 외, 정리7.3.9(Cramer-Rao Inequality)의 증명과정과 Fisher information, Lemma 7.3.11, Rao-Blackwell 정리(정리7.3.17), 추정량이 UMVUE가 되기 위한 필요충분조건인 정리7.3.20에 대해 알아두자.

Bayes rule
- Example 7.3.26과 Example 7.3.27: X의 분포와 손실함수(loss function)의 정의에 따라 최소위험(the smallest risk) 추정량이 달라진다.
- (7.3.19)식의 의미: Bayes risk를 최소화하는 베이즈규칙(Bayes rule)을 찾을 때, 주어진 x값에서 θ에 대한 사후기대손실(the posterior expected loss)을 최소화하는 추정량을 찾으면 된다. 따라서 제곱오차손실(squared error loss)이 주어졌을 때 베이즈규칙은 θ에 대한 사후분포의 기대값이 된다 (Example 7.3.28).

10.1 Point Estimation

좋은 추정량이 가져야 할 성질 중에서 일치성(consistency)이 있는데, 이 일치성은 한 추정량이 아니라 추정량의 수열(a sequence of estimators)에 관한 성질이다. 그리고, MLE는 일치성을 가지는데(정리10.1.6), 대략적인 증명 방법에 대해서 언급하고 있다.

이 절의 주된 내용(정리 10.1.12)은 대표본일 때 MLE는 '좋은' 성질을 갖는다는 사실이다. 먼저 MLE는 점근효율추정량(asymptotically efficient estimator)이다. 즉 n →∞일 때, MLE의 분산은 Cramer-Rao 하한을 만족하므로 점근적으로 최소분산을 갖는 추정량이라고 할 수 있다. 또한, 교재에서 언급되지 않았지만, 적절한 조건(regularity conditions; Miscellanea 10.6.2 또는 Cramér (1946) 500쪽 참조) 하에서 MLE는 근사적으로 정규분포를 따른다. 이 두 성질을 합쳐서 "MLE는 BAN(Best Asymptotically Normal) 추정량이다"라고 한다. MLE는 일치성도 갖고 있고 (엄밀히 얘기하면, 일치성은 asymptotic normality가 성립하면 자동적으로 만족되어야 하는 성질이므로 (Example 10.1.3) 정리 10.1.12가 있으면 정리 10.1.6은 필요없다) 또 불변성(invariance property)이라는 좋은 성질도 갖고 있다. 결론적으로 표본의 크기가 클 때 MLE는 최적추정량(optimal estimator)이라고 할 수 있다.

주어진 표본 크기 n에서 어떤 추정량의 정확한 분산을 알 수는 없으나 추정량의 점근적 분포는 알 수 있는 경우가 흔히 있다. 이럴 때 limit of the variances (Def. 10.1.7)는 알 수 없으나 variance of the limit distribution (Def. 10.1.9)은 알 수 있다. 예: log[p_n/(1-p_n)]

relative efficiency vs. asymptotic relative efficiency (Def. 10.1.16):

observed information number vs. expected information number

Bootstrap
- basic idea of bootstrap method: purpose and how it works
- bootstrap samples, bootstrap estimate of standard error (or bootstrap standard error)
- nonparametric bootstrap and parametric bootstrap

제7장, 10.1절 연습문제 (숙제)

1 6 8 10 11 12 13 14 19 20 22

39 41 42 44 49 56 66 10.9