라오-블랙웰 정리

• 충분통계량이 주어졌을 때 불편추정량의 조건부기대통계량을 구하는 방식으로 균일최소분산불편추정량(uniformly minimum variance unbiased estimator, UMVUE)을 구하는 정리

예시

• 예를 들어 동전을 3번 던졌을 때 나온 결과가 앞면 2번, 뒷면 1번이라고 하자. θ(앞면일 확률)을 추측하고 싶다면

• 만약 우리가 동전 결과를 “앞-뒤-앞”이라고 받았다면, 사실 중요한 건 앞면이 몇 번 나왔는지지, 그 순서(앞뒤앞인지, 뒤앞앞인지)는 중요하지 않다
• 즉, “앞면의 총 횟수”만 알아도 θ에 대한 정보를 전부 담고 있으며 이게 바로 충분통계량(sufficient statistic)이다.

라오–블랙웰 정리의 아이디어

• T(X):충분통계량, θ^: 어떤 추정량 (예: 아무 방법으로 만든 것) 일 때

θ^_RB=E[θ^∣T(X)]

• θ^_RB 는 충분한 정보 T(X)를 알고 있을 때의 추정량의 평균값이다.
• 아무 추정량이라도, 충분통계량을 이용해 평균을 취하면 분산이 더 작고 좋은 추정량으로 바꿀 수 있다.

Var(θ^_RB)≤Var(θ^)

• 따라서 새로 만든 θ^_RB 는 항상 분산이 작거나 같다.
  • 원래 추정량보다 평균적으로 덜 흔들리고, 더 안정적이고 정확하다는 뜻
• 쉬운 비유로 정리하자면
  • “전체 반죽 맛을 보는 것”이 원래 추정량.
  • “설탕 성분만 뽑아서 보는 것”이 충분통계량.
  • 설탕만 봐도 단맛을 더 정확히 알 수 있으니까, 그걸 기반으로 한 추정이 더 정확해진다.

참고자료

• 통계학의개념및제문제 - 한국방송통신대학교 출판문화원
• 라오-블랙웰 정리 설명