제6장 주요내용 및 질문
모집단의 특성 θ에 관한 정보를 알기 위해 n개의 관측값 X1, X2, ... ,Xn을 얻었을 때, 이 n개의 값의 리스트가 다 필요한 것은 아니다. 그렇다면 어떻게 자료를 요약(summary), 또는 축약(reduction)할 수 있는 것일까? 이 장에서는 자료축약(data reduction)의 세 가지 원칙에 대해 공부한다.
[Q] 다음 문장이 의미하는 바는 무엇인가? "Data reduction in terms of a particular statistic can be thought of as a partition of the sample space."
6.2 The Sufficiency Principle
인수분해 정리는 통계량 T(X)가 충분통계량이 되기 위한 필요충분조건에 관한 정리라는 점에 유의하고 증명을 이해하자.
Example 6.2.8: x의 범위가 모수 θ에 의존하는 경우 주의를 요함.
Theorem 6.2.10: 분포가 지수족일 때 인수분해정리에 의해 충분통계량을 쉽게 찾을 수 있다.
정의할 필요성과 그 정의. 그리고 찾는 방법(Theorem 6.2.13, Example 6.2.14, Example 6.2.15).
최소충분통계량의 일대일 함수는 다시 최소충분통계량이 되므로 최소충분통계량이 유일하지는 않지만, 최소충분통계량에 의한 분할집합(partition sets)의 수 또는 최소충분통계량이 가질 수 있는 값의 개수는 유일하다.
[참고] 지수족일 때(보다 엄밀하게는 full rank인 지수족일 때, full rank exponential family의 정의는 Lehmann (1983), Theory of Point Estimation의 28쪽 참조), 충분통계량 T(X)=(∑t1(Xj), ... ,∑tk(Xj))는 최소충분통계량이 된다. (Example 5.9 in Lehmann(1983))
정의
필요성: 두 통계량이 독립임을 보이기가 일반적으로 쉽지 않은데, 보조통계량임을 이용하면 독립성을 쉽게 보일 수 있는 경우가 있다 (Theorem 6.2.24, Basu의 정리와 Example 6.2.26, Example 6.2.27 참조). 보조통계량 자체는 모수 θ에 관한 정보를 주지 않으나 다른 통계량과 같이 쓰일 때 모수에 관한 중요한 정보를 줄 수 있다 (Example 6.2.20),
주어진 통계량이 보조통계량인지를 밝히는 방법: 통계량의 분포를 직접 구해 그 분포가 θ에 무관함을 보인다 (Example 6.2.17에서는 pdf를 Example 6.2.18과 6.2.19에서는 cdf를 구했음).
정의
필요성: 주어진 문제에서 충분통계량은 여러 개가 있을 수 있다. 이 때 가장 축약을 많이 하는 충분통계량, 즉 최소충분통계량은 어떤 성질을 갖고 있을까? 이 의문에 도움을 주는 개념이 통계량의 완비성(completeness)인데, '충분완비통계량은 최소충분통계량임(A complete sufficient statistic is always minimal)'이 알려져 있다. 이 절에서는 완비성이 최소충분통계량과 보조통계량이 독립이 되기 위한 조건(Theorem 6.2.24: Basu의 정리)으로 쓰였으나, 7장(Theorem 7.3.23)에서 어떤 추정량이 최소분산비편향추정량(UMVUE 또는 best unbiased estimator)이 되기 위한 조건으로 쓰이기도 한다.
주어진 통계량 T(X)가 완비통계량인지를 밝히는 방법: 정의에 따라, 모든 θ에 대해 Eθg(T)=0를 만족시키는 함수 g는 0함수(즉, g(T)=0)밖에 없음을 보이면 되는데, 구체적으로 보이는 방법은 문제에 따라 달라진다. (Example 6.2.22, 6.2.23)
지수족일 때 충분통계량 T(X)는 완비통계량이다. (Theorem 6.2.25, 증명 생략)
증명: 증명에서 minimality는 쓰이지 않았음에 유의. 즉, 정리에서 minimal sufficient 를 sufficient로 대치해도 정리는 성립한다. complete하면서 sufficient한 통계량은 minimal sufficient하므로 complete & minimal sufficient를 complete & sufficient로 바꾸어도 내용적으로는 마찬가지다.
용도: 이 정리의 용도는, 두 통계량의 독립성을 보이고 싶을 때 joint distribution을 구하지 않고도 보일 수 있다는 데에 있다. 하지만 Basu의 정리을 이용할 수 있으려면 통계량의 완비성을 보여야 하는데, 일반적으로 통계량의 완비성을 보이기 힘들지만 지수족인 경우는 정리 6.2.25를 이용하면 완비성을 따로 증명할 필요가 없다. Basu의 정리의 용도는 Example 6.2.26과 6.2.27 참조. Example 6.2.26에서는 통계량의 기대값을 구하는 데에 Basu의 정리를 이용하였다.
6.3 The Likelihood Principle
6.3절에서는, 가능도함수(likelihood function)가 θ에 관한 정보를 다 갖고 있다고 하는, 더 정확히 얘기하면, '두 관측값 x와 y에서 가능도함수의 비가 θ에 무관하면 두 관측값에서 얻는 정보(또는 추론, 결론 )는 같다 '라는 Likelihood Principle(291쪽)을 소개하고, 서로 다른 두 실험의 경우(Formal Likelihood Principle, 293쪽)로 확장하였다.
6.4 The Equivariance Principle
물 끓는 온도 θ를 추정하는 문제를 생각해 보자. 현재 위치의 고도나 물에 있는 이물질 등으로 인해 물 끓는 온도가 100도와 다를 수 있다. 섭씨로 온도를 재서 얻은 값을 x라고 할 때, 이론적인 값 100과 관측값 x에 각각 0.5의 가중치를 둔 추정량 T(x)=0.5x + 0.5(100)을 생각해보자. 이 추정량에 대해 어떻게 생각하는가? Exercise 6.39에서와 같이 이 추정량은 Formal invariance를 만족하지 않으므로 Invariance principle에 위배된다. 따라서 Invariance principle을 인정한다면 T(x)는 좋은 추정량이 아니다.
정규분포에서 평균과 분산이 모두 알려져 있지 않을 때, 분산의 충분통계량은 무엇일까? 분산에 대한 정보는 표본분산이 다 갖고 있는 것이 아닐까? Example 6.2.14에서 표본평균과 표본분산이 평균과 분산의 최소충분통계량임을 보였으나, 이 사실로부터 표본분산이 분산의 충분통계량이 된다고 말할 수는 없다. 이 때 이 절에서 소개하고 있는 Equivariance principle을 인정하면 분산의 추정량은 표본분산만의 함수가 되어야 함을 밝힐 수 있다. (제1판 Example 6.3.5 참조)
제6장 연습문제(숙제)
1 3 6 8 9 (a b) 10 12 14 15 17 18 22 30