통계학
최근 수정 시각:
모집단에서 넘어옴
분류
|
|
통계학의 일부를 내포하는 이미지[1] |
統計學 / Statistics
통계학은 산술적 방법을 기초로 하여, 주로 다량의 데이터를 관찰하고 정리 및 분석하는 방법을 연구하는 수학의 한 분야이다. [2]
표준국어대사전에 따르면 사회 현상을 통계에 의하여 관찰ㆍ연구하는 학문. 불확실성에 대한 논리를 부여하는 학문으로 경험과학의 한 분야이자 대부분 학문의 기초를 담당한다.[3]
한국 통계법에 의하면 통계작성기관이 정부정책의 수립·평가 또는 경제·사회현상의 연구·분석 등에 활용할 목적으로 산업·물가·인구·주택·문화·환경 등 특정 집단이나 대상 등에 관하여 직접 또는 다른 기관이나 법인, 단체 등에 위임 위탁하여 작성하는 수량적 정보(통계법 제3조 제1호)로서 통계는 주로 숫자(numbers)를 의미하는 것으로 되어있다.
통계학에 대한 여러 정의가 있는데 모두 축약하면 자료를 연구하는 학문, 데이터를 분석하는 학문으로 압축할 수 있다.
통계학은 산술적 방법을 기초로 하여, 주로 다량의 데이터를 관찰하고 정리 및 분석하는 방법을 연구하는 수학의 한 분야이다. [2]
표준국어대사전에 따르면 사회 현상을 통계에 의하여 관찰ㆍ연구하는 학문. 불확실성에 대한 논리를 부여하는 학문으로 경험과학의 한 분야이자 대부분 학문의 기초를 담당한다.[3]
한국 통계법에 의하면 통계작성기관이 정부정책의 수립·평가 또는 경제·사회현상의 연구·분석 등에 활용할 목적으로 산업·물가·인구·주택·문화·환경 등 특정 집단이나 대상 등에 관하여 직접 또는 다른 기관이나 법인, 단체 등에 위임 위탁하여 작성하는 수량적 정보(통계법 제3조 제1호)로서 통계는 주로 숫자(numbers)를 의미하는 것으로 되어있다.
통계학에 대한 여러 정의가 있는데 모두 축약하면 자료를 연구하는 학문, 데이터를 분석하는 학문으로 압축할 수 있다.
기재 시 가나다 순으로 정렬하고, 항목화 해주시기 바랍니다. 나무위키에서 순환링크는 금지입니다.
- 모집단(population)은 관측 대상이 되는 전체 집단이다.
- 표본(sample)은 모 집단에서 일부만 조사한 것이다.
- 표본 평균(sample mean) 는 표본의 평균이다. 모두 더한 후 n으로 나눈다.
- 모 표준 편차(population standard deviation) σ는 모 집단의 표준 편차이다. 모 분산 σ2에 제곱근을 씌워서 구한다.
- 표본 표준 편차(sample standard deviation) s는 표본의 표준 편차이다. 표본 분산 s2에 제곱근을 씌워서 구한다.
- 첨도(kurtosis): 그래프가 위로 뾰족한 정도이다.
- 확률 변수(random variable): 표본 공간에서 정의된 실수 값 함수이다.
- 이산 확률 변수(random variable of discrete type): 확률 변수 X가 취할 수 있는 모든 값을 x1, x2, x3, ... 처럼 셀 수 있을 때 X를 이산 확률 변수라고 한다.
- 확률 질량 함수(probability mass function): 이산 확률 변수 X가 취할 수 있는 값 x1, x2, x3, ... 의 각각에 대해서 확률 P(X=x1), P(X=x2), P(X=x3), ... 을 대응시켜주는 관계이다.
- 연속 확률 변수(random variable of continuous type): 적절한 구간 내의 모든 값을 취하는 확률 변수이다.
- 확률 밀도 함수(probability density function): 연속 확률 변수 X에 관한 확률을 결정하는 함수 f(x)이다.
- 기댓값(expected value)은 통계에서는 평균과 같다고 생각하면 된다. 가능한 값마다 확률을 곱해서 모두 더한 것이다. 확률 변수 X의 평균으로 보통 E(X)라고 쓴다.
- 자유도(degrees of freedom): "변인의 수 빼기 제약"이다.
통계학은 사회과학의 부분으로는 사회통계 및 데이터를 분석하기 위해 이용한다. 영어이름부터가 State의 학문으로, 국가에 관한 특성을 연구하기 위해 만들어졌다. 몇천만에서 몇십억을 다루는 통계를 연구하는 통계학은 태생적으로 사회과학과 떼어놓을 수 없다.
실험분석이나 자료해석이 필요한 연구분야에서 논문을 쓰려면 통계 지식이 필요하다. 대부분의 논문은 통계 분석을 거쳐 논문의 결론을 제시하는 구조다. 따라서 대학원 진학시에는 기본적인 테이블 결과 해석 정도는 할 줄 알아야 하며, 최소한 기초통계학과 회귀분석에 대한 지식을 마련하는 것이 연구에 직/간접적인 도움이 될 것이다. 또한 자기 연구에 통계를 직접 써먹고 싶다면 SPSS, SAS, Stata, R, MATLAB, JAMOVI 등 통계 분석 프로그램을 다루는 법도 배울 필요가 있다. 엑셀 함수(trend, slope, linest 등) 및 데이터분석 메뉴에서 다중회귀분석을 지원한다.
특히 경제학에선 통계학이 빠질 수 없다. 통계를 다루는 주무부처인 대한민국 통계청부터가 과학기술정보통신부나 행정안전부가 아닌 기획재정부의 외청이다. 학계에서도 완전히 이론적인 모형을 다루는 일부 전공[4]을 제외하면 거의 모든 세부전공에서 끼고 사는 것이 데이터와 통계학이며, 실무에서는 중급 이상의 통계학 이론은 그렇게까지 강조하지는 않지만, 그럼에도 불구하고 현실의 데이터를 직접 돌리는 작업은 필수적이다. 경제학에서 쓰이는 통계학을 경제통계학(Statistics for Economics / Economic statistics) 혹은 계량경제학(Econometrics)이라고 부른다.
실험분석이나 자료해석이 필요한 연구분야에서 논문을 쓰려면 통계 지식이 필요하다. 대부분의 논문은 통계 분석을 거쳐 논문의 결론을 제시하는 구조다. 따라서 대학원 진학시에는 기본적인 테이블 결과 해석 정도는 할 줄 알아야 하며, 최소한 기초통계학과 회귀분석에 대한 지식을 마련하는 것이 연구에 직/간접적인 도움이 될 것이다. 또한 자기 연구에 통계를 직접 써먹고 싶다면 SPSS, SAS, Stata, R, MATLAB, JAMOVI 등 통계 분석 프로그램을 다루는 법도 배울 필요가 있다. 엑셀 함수(trend, slope, linest 등) 및 데이터분석 메뉴에서 다중회귀분석을 지원한다.
특히 경제학에선 통계학이 빠질 수 없다. 통계를 다루는 주무부처인 대한민국 통계청부터가 과학기술정보통신부나 행정안전부가 아닌 기획재정부의 외청이다. 학계에서도 완전히 이론적인 모형을 다루는 일부 전공[4]을 제외하면 거의 모든 세부전공에서 끼고 사는 것이 데이터와 통계학이며, 실무에서는 중급 이상의 통계학 이론은 그렇게까지 강조하지는 않지만, 그럼에도 불구하고 현실의 데이터를 직접 돌리는 작업은 필수적이다. 경제학에서 쓰이는 통계학을 경제통계학(Statistics for Economics / Economic statistics) 혹은 계량경제학(Econometrics)이라고 부른다.
- "통계교육 연구의 역사와 한국의 통계교육 - 탁경주, 이경화"를 참고했음.
통계학과 수학이 같은 분야이냐 아니냐에 대해선 많은 논쟁이 있었다.
통계학의 학문적 독립성을 역설했던 Moore는 “통계학은 수학이 아니라 경험과학에서 비롯된 수리과학”으로 규정하였다. 동시에 다음과 같은 근거를 제시한 바 있다.
- 통계학은 수학과 다른 독자적인 주제를 다루고 있다.
- 역사적으로 통계학은 수학과 별개의 학문으로 발생하였다.
- 통계학의 실제는 수학적이지 않다.
- 통계학은 학문적 정체성을 다루는 철학적 이슈가 다르다.
- 통계학은 수학적 아이디어를 사용하나, 수학은 통계적 아이디어를 수용하지 않는다.
대개 학문적 독립성은 연구 대상, 연구 내용, 연구 방법에 의해 설명된다 [18, p. 495]. 통계학은 불확실성을 내포한 경험적 자료(data)가 연구 대상이며 연구 내용은 맥락에 의존하는 경험과학의 성격을 띠고 있다. 반면, 수학은 수학 그 자체가 연구 대상이자 동시에 연구 방법인 형식과학이다.
반면 이안 해킹은 통계학의 논리적 확률론적 기반을 마련하면서 다른 결론을 내렸다. 그는 1960년대에 Logic of Statistical Inference (1965)를, 그리고 70년대에는 The Emergence of Probability (1975)를, 이어 90년대에는 The Taming of Chance (1990)를 낸 바 있다. 또한 그는 확률과 귀납 논리에 대한 책(Hacking, 2001)을 내는 등, 과학철학과 과학사 양쪽을 넘나들며 통계학과 확률을 지속적으로 연구해왔다. 해킹의 화두는 모든 일에는 그 일을 일어나게 할 수밖에 없는 조건들이 미리 존재하기 마련이라는 ‘결정론’(determinism)이다. 그 중에서도 그는 모든 물리적인 일들의 미래를 결정해주는 법칙이 존재한다는 물리법칙적 결정론(physical-law determinism)과 확률의 관계를 주목하였다. 즉, 그의 관점에서 통계는 확률을 도출해내는 방법으로, 수학의 연장이다.
각 대학의 수학과 학부 교육과정에서는 '수리통계학'이나 그와 비슷한 이름의 한 학기, 또는 두 학기에 걸친 전공과목이 개설된다. 이 과목은 학교에서 전공선택으로만 정해놨다면 아예 안 듣고 졸업하는 것도 가능은 하지만, 수학과 외의 이공계열이나 상경계열 대학원 진학, 구직활동, 하다못해 중등교원 임용시험을 준비하더라도 수학과 나와서 수학으로 먹고 살 것을 염두에 뒀다면 반드시 들어야 하는 과목이다.
일부 대학의 통계학과는 수학과와 함께 신입생을 모집하거나 학부 전체를 아예 통합하여 운영하기도 한다. 운영상으로 분리되어 있어도 상술한 수리통계학과 그 선수과목 등 일부 과목은 함께 듣게끔 커리큘럼이 짜여있을 수도 있다.
수리적인 견지에서 통계학을 연구하는 수리통계학은 확률분포의 성질, 통계량의 충분성(sufficient statistics), 통계검정의 효용성(most powerful test) 등에 대한 증명, 확률과정(stochastic process)의 수리적 성질에 초점을 맞추는 반면, 응용통계학적인 견지에서는 통계적 모형에 대한 추정방법 개발과 구현, 분석결과의 해석 등에 방점이 놓여있다.
아래의 분야들은 어느 대학을 가든 '통계이론', '응용통계' 등의 이름으로 묶여 학부의 경우 전공 필수로 지정되고, 대학원의 경우 1년차에 수강을 마치는 것이 필수로 되어 있는 경우가 대부분이다. 이후 각론으로 들어가기 위한 기초를 공부한다.
- 통계계산
컴퓨터 기술이 발달하면서 통계적 자료분석 방법은 점차 고도화되고 복잡해졌다. 특히 최근에는 분석해야할 데이터가 매우 커지고 방대해짐에 따라, 어떻게 하면 더 빠른 알고리즘을 이용하여 분석할 수 있을 지가 중요한 문제로 대두되었다. 이 분야에서는 통계에 사용되는 계산 방법, 즉 컴퓨팅 기술을 주로 다루며, 빅 데이터 프로세싱, 이미지 및 영상 처리, 기계학습(머신 러닝) 등에 요긴하게 응용된다.
- 회귀 분석(regression analysis)
다루게 되는 데이터의 형태에 따라, 여기에 접근하기 위한 이론적 관점이나 통계적 기법 등이 달라지게 된다.
- 다변량자료분석
둘 이상의 측정 변수(다변량 자료)를 다루는 분야이다. 예를 들어 단순히 각 사람들의 키만을 조사해 분석하는 게 아니라, 각 사람들의 키, 몸무게, 허리둘레, 성별 등등 많은 변수를 조사하여, 그 변수들이 가지고 있는 분포를 종합적으로 고려하여 데이터를 분석하기 위한 방법이다. 변수가 많기 때문에 시각화가 어렵고, 많은 변수를 한 번에 다루기 위해 행렬 이론 등이 많이 사용된다. 차원을 줄이고 정보를 요약하는 방법을 많이 다룬다. 학부 수준에서는 몇 개의 주성분을 뽑아내어 차원을 축소하는 주성분 분석, 숨겨진 요인을 찾는 요인 분석(인자분석), 자료를 분류 및 군집화하는 판별분석 및 군집분석 등을 다룬다.
- 범주형자료분석
우리가 관심 대상으로 하는 자료는 키, 몸무게 등 수치적, 연속적으로 나오는 자료도 있지만, 성별 등 범주가 나누어져 있는 자료들이 있다. 이러한 범주형 자료를 분석하는 방법을 다룬다.
- 생존 분석/생존자료분석
불완전한 데이터 중 특수한 형태를 다루는 분야이다. 예를 들어 어떤 병에 대한 신약의 효과를 검증하기 위해 환자들을 모아 그 수명 시간을 조사하고자 하는 상황을 생각해보자. 이 때, 병이 악화되어 이미 수명이 다 한 사람은 수명을 정확히 알고 있지만, 아직 생존한 환자는 그 수명을 정확히 알지 못하고 '현 시점보다는 오래 산다'는 사실만 알게 되며 따라서 데이터가 불완전해진다. 이와 같은 불완전 자료를 분석하는 방법을 다루며 의학통계에 주로 응용된다.
- 시계열 분석 (time-series analysis)
시계열 자료, 즉 시간이 흐르며 관측된 자료를 다루는 분야이다. 주가 지수, 물가 지수, 월별/연별 강수량 등의 자료가 모두 시계열자료이다. 이러한 시계열자료의 두드러지는 특징은 한 시점에 여러 개의 데이터를 얻기 힘들다는 점과(시간이 흘러 버리므로), 관측치끼리 서로 연관이 있다(예를 들어, 오늘의 주가 지수는 어제의 주가 지수에 영향을 받을 수밖에 없다)는 점이다. 실생활의 수많은 자료가 시계열자료이므로 자료를 분석하고자 할 때 매우 중요한 분야 중 하나이다.
- 베이즈 통계학 (베이지언 통계학, 베이지안 통계학)
토머스 베이즈의 베이즈 정리에 바탕을 두고 정립된 통계학의 흐름.
소위 '빈도주의(frequentist)'라 불리는 전통적인 통계학의 관점에서는, 모수를 상수이지만 알려져 있지 않은 것으로 보고, 값이 알려져 있지만 랜덤한 확률변수인 관측치를 이용하여 모수를 추정하는 데에 초점이 맞춰져 있었다. 그러나 베이즈주의자(Bayesian)의 관점은 약간 다르다. 우리가 모수를 직접 알지 못하므로, 이 불확실성을 확률분포로 표현하여, 모수가 어떤 확률분포에서 얻어진 값인 것으로 여긴다.
이러한 관점에서는 확률 역시 사건에 대한 믿음의 정도로 해석되고, 자료를 관찰하기 전의 '믿음의 정도'는 자료를 관찰한 후 이 자료에 따라 업데이트된다고 본다. 즉, 자료를 관찰하기 전에 가지고 있었던 모수에 대한 불확실성(=정보, 믿음의 부족)은 자료를 관찰함으로써 업데이트되게 되고, 이 업데이트의 과정은 베이즈 정리에 의해 이루어지게 된다.
여기서 데이터를 관찰하기 전에 가지고 있던 '불확실성에 대한 믿음'을 사전분포(prior distribution)라 하며, 이는 사전에 내가 알고 있는 정보에 의해 결정된다. 이후 관측치를 얻어 관측치를 보고 모수에 대해 알고 있는 정보를 업데이트하는데, 데이터로부터 오는 모수에 대한 정보를 가능도 또는 우도(likelihood)라고 부른다. 결과적으로 사전분포와 가능도를 모두 고려하여 모수에 대한 새로운 분포를 계산하게 되는데, 이를 사후분포(posterior distribution)라 한다.[6]
모든 것을 손으로 계산해야 했던 시절에서는 사전분포와 사후분포의 관계를 깔끔하게 도출할 수 있는 문제가 제한적이었기 때문에, 그다지 많이 사용되지 못했다. 그러나 컴퓨터 기술의 발달로 인하여, 특히 마코프 체인 몬테 카를로 방법의 개발에 의해 사후분포를 도출할 수 있는 방법이 개발되면서 급성장하게 되었다.
- 대수적 통계학(Algebraic statistics)[7]
- 정보 기하학(information geometry)[8]
- 5급 공개경쟁채용시험, 입법고시 : 선택과목 통계학(5급공채 행정직렬 재경직 및 입법고시 재경직), 기상통계학(5급공채 기술직렬 기상직), 통계(5급공채 기술직렬 데이터직)
- 7급 공개경쟁채용시험 : 통계학(통계직)
- 9급 공개경쟁채용시험 : 통계학개론(통계직)
- 중등교원임용경쟁시험 : 수학 중 통계 파트
- 연구직 공무원 채용시험 : 실험통계학(농촌진흥청 농업연구사)
- 실용수학자격시험 3급 이상
- 독학학위제 1과정 선택과목 중 통계학개론
4대 저널로는 JASA(Journal of the American Statistical Association), JRSSB(Journal of the Royal Statistical Society: Series B), Biometrika, The Annals of Statistics이 있다.
![top10-analytics-...](http://i.namu.wiki/i/yp5ggoKAvEWnmHT1YMm84lhOI_RKd_ogSi-k1uITZ5aBSPK_MxDwL9UHqaJ1qbBx0TSa8D9T1yPpJBz-G9TpuiqMql5CDqKekPDQ6v7jlQucDDmqcJ53OE_H6XgPHWdZ7ZUcri4IK-eSH1iSXHzDYg.webp)
![top-analytics-da...](http://i.namu.wiki/i/mx3dF2VUQ2BlHw8R-ye9QSKlRi50Wd1RnTSh1tTgI-9_lzEHZY6jlwUqLvdccKz8O4JzDihbCYX8-ghgX6fVkGYRpRrYD2dGDVgGiS-8po4wGGTs-_0TOUYI8kK7rqurOlNu3lqJXGklu7prrFI9wQ.webp)
- 상용 소프트웨어: 스프레드 시트를 제외한 통계처리용 소프트웨어의 경우, 그 가격이 매우 비싸 개인이 구매하기는 쉽지 않다. 대학교, 연구기관, 회사 등에 있는 경우 해당 기관에 소속되어 있다는 것을 전제로 발급되는 라이센스를 이용하여 쓰게 되는 경우가 많다.
- STATA
- 오픈 소스 소프트웨어
- R: 'S'라는 통계 프로그래밍 언어의 발전형.(#) 오픈 소스 소프트웨어이기 때문에 무료로 이용이 가능하고, 통계 연구자들이 '라이브러리(library)'라 불리는 확장기능을 끊임없이 개발, 발표하고 있어 폭넓은 용도로 활용이 가능하다. 초기에는 '오픈 소스 소프트웨어를 어떻게 신뢰하느냐' 하는 불안감으로 인해 사용을 꺼리는 곳도 있었지만, 반대로 회사의 이익 때문에 소스 코드를 공개하지 않는 상용 소프트웨어에 비하면 투명한 개발/유지 보수가 가능하다는 이해방식도 널리 퍼지고 있다. 현재는 GUI환경의 R스튜디오도 널리 학계등에서사용된다.
- JAMOVI
- Julia: 과학계산에 특화된 LLVM에 기반한 컴파일 언어. 컴파일 언어이기에 R, Python에 비해 매우 빠른 속도를 보인다. Bayesian 통계학과 관련된 연구에 자주 쓰이는 편이다.
- Python: 엄밀히 말하면 통계 소프트웨어가 아니라 범용 프로그래밍 언어이다. 하지만 Pandas, NumPy, StatsModels, scikit-learn 등의 패키지를 이용한 통계 분석이 가능하다.
- ROOT: 입자물리학에서 널리 쓰이는 소프트웨어인데, GUI나 3D 등 별의별 것들을 다 담고 있지만 그 중에서도 입자물리를 하기 위해 필요한 수많은 통계 도구들을 갖추고 있다는 것이 이 프로그램의 특징이다. 예를 들어 가우스 분포는 물론이고 Landau 분포, crystal ball 분포, Breit-Wigner 분포 등 입자물리에서 자주 등장하는 다양한 분포들을 기본 패키지로 다룬다. 또한 회귀 분석, 가설 검정은 당연히 포함되어 있고 ML (maximal likelihood)을 활용한 전반적인 것들, unfolding, TMVA (Toolkit for Multivariate Data Analysis)[9] 등 입자물리학자들의 데이터 통계 분석을 위한 다양한 분석 툴 또한 갖추고 있다. LGPL (최소) 2.1 라이선스를 따르기 때문에 누구나 부담없이 사용 가능하다.
이 문단은
- 천몇백 명 표본으로 통계를 내는 각종 조사들은 신뢰할 수 없다. 대한민국 5천만 국민의 의견을 제대로 반영하려면 최소한 십만 명은 표본으로 삼아야 할 것이다.
- 물론 표본의 크기가 커질수록 더 신뢰할 수 있는 데이터가 되기는 한다. 그러나 표본조사론에 따르면, 인구수가 얼마이든지 간에 95% 신뢰수준에서 약 3% 오차범위내로 추정하려면 대략 천명으로 충분하다. 즉, 천 개의 무작위 추출된 표본이면 모집단의 모수를 충분히 추정할 수 있다는 것이다. 그 이상의 표본추출은 비용낭비이다. 또한, 단순히 표본이 커진다고 좋은게 아니라, 표본이 커지면 커질수록 비표본오차가 커지게 된다. 그렇기때문에 비판의 초점은 적절한 표본 추출 방법이 사용되었는가, 정말 무작위 추출이 되었는가, 질문지는 편향을 유도하지 않는 가 등에 조사방법에 있어야지 표본 수에 있으면 안된다. 조사방법만 제대로 되었다면 천 개의 표본이라도 전 세계 인구를 모집단으로 하는 모수 추정을 95% 신뢰수준에서 3% 오차범위내로 추정할 수 있다.
- 1,000명 조사에 응답률 10%이면 사실은 100명의 응답만으로 결론을 도출한 것이다.
- 10,000명에게 전화를 걸어서 1,000명이 응답했다는 뜻이다.
- 일반적으로 낮은 응답률은 여론조사에 걸리는 시간과 비용의 증가로 이어져서, 영세한 조사업체의 결과를 왜곡시킬 가능성을 높인다. 단, 사회 데이터를 분석할 때에는 응답률이 낮다는 사실 자체가 하나의 의미 있는(meaningful) 신호일 수 있음도 고려해야 한다. 응답하기를 거부한 사람들이 갖고 있는 생각이 조사결과에 반영될 리 없고, 이는 결국 응답률이 낮을수록 조사에 응하기로 한 소수의 사람들의 의견만을 반영했다는 의미가 되기 때문에 편향된 결과가 도출될수 있다. 이를 '무응답 편향' 이라 한다.
- 사실 이 유명 어록은 "모든 통계는 무조건 거짓말이다!" 가 아니라 "통계도 얼마든지 조작이 가능하니까 믿기 전에 한번 의심해 봐라" 정도의 의미로 받아들이는 게 더 바람직하다. 통계학에 이해가 깊으면 깊을수록, 아주 사소한 표본추출 방식만을 가지고도 어지간히 교육받은 사람들까지도 맘껏 농락하는 게 가능하다. 그러니까 오히려 이 어록은 통계학에 대해서 기초적으로라도 배워 놓으라는 뜻일 수 있다.[10]
특히 사회과학에서는 꼭 조작이 아니더라도 동일 주제를 놓고 서로 다른 기관에서 조사를 하면 서로 다른 결과가 나오기도 한다. 이는 각 통계마다 조사방법론에 차이가 있기 때문이다. 예를 들어 전세계의 행복순위를 확인하기 위해서 각국 국민들을 설문조사하는데, 각국마다 100명씩 표본을 추출한다면 당장 리히텐슈타인의 표본과 중국의 표본 간의 대표성에는 차이가 있을 것이다. 또한 "전반적으로 당신은 행복하십니까?" 라고 묻는 것과, "당신은 하루 중 몇 번 정도 행복을 느끼십니까?" 로 묻는 것은 분명히 다르다.[11] 이런 차이를 알면 알수록, 알지 못하는 일반인들을 교묘하게 속이는 것은 쉬워진다.
여담으로 이 유명 어록은 마크 트웨인이 벤저민 디즈레일리의 말을 인용한 것이다. 그러나 벤저민 디즈레일리의 어떤 저술에도 이런 말을 했다는 증거는 존재하지 않기에 이 문구는 역설적이게도 자기자신조차 거짓말일 수도 있다.
- 빈도주의 (Frequentist) 추론 통계학에서, 모평균을 추정하기 위해 95% 신뢰수준에서 신뢰구간을 구할경우, 이는 실제 모평균이 95% 확률로 신뢰구간 내에 존재하고 있다는 뜻이다.
- 95% 신뢰수준이란, 동일한 조사를 100번 반복할경우, 이중에 약 95번에 해당하는 조사에서 구해진 95개의 신뢰구간이 실제 참값을 포함할것 이라는 의미이다. 즉, 이미 구해진 신뢰구간은 어떤 모수에 대한 추정치 범위이나, 해당 범위가 무조건 참값을 포함하거나 95% 확률로 참값을 포함한다는 의미가 아니다. [12] # (26:00부터)
95% 확률로 실제 모수 참값이 존재하는 범위를 구하고 싶다면 빈도주의가 아닌 베이지안 추론 통계학을 통해 95% 신용구간을 구하면 된다.라고 서술되어 있었으나, 아주 큰 오해로 베이지안 추론과 빈도주의 추론에서 다루는 확률은 그 정의부터 다를 뿐더러 베이즈 추론의 95% 신용구간은 일반적으로 빈도주의의 95% 신뢰구간과 일치하지 않는다. 단, 점근적으로는 후자가 성립함을 보일 수 있는 경우가 있는데 이를 Bernstein-von Mises Theorem 이라 한다.
- p-값이 0.05보다 작다(p<0.05)는 것은 주어진 가설이 참일 확률은 95% 이상이라는 것을 의미한다.
- 그렇지 않다. 미국통계학회에 따르면 영가설이 참이고 다른 모든 가정들이 타당할 경우 관찰된 결과 이상으로 극단적인 결과를 얻을 확률이 5% 이하임을 의미한다. 이는 현직 과학자들도 자주 틀리는 개념이며, 이에 대한 학계 내부의 반성의 목소리도 많다.
- 통계분석에 있어서 상관관계가 나오는 것만이 좋은 데이터다.
- 꼭 그렇지만은 않아서, 연구주제에 따라서는 두 변인 간에 아무런 유의미한 관계가 없다고 밝혀지는 것이 중요한 경우도 있다. 실제 한 연구를 예로 들면, NGO에 고용되어 일하는 직원들의 근속년수와 임금수준 간에는 상관관계가 사실상 존재하지 않는다고 한다. 상관계수는 0에 극히 가깝게 나왔지만 그 자체로 논의거리가 나오니 좋은 연구로 취급된 사례다.
영가설을 기각하지 못하는 것이 연구자가 바라는 바인 경우도 있다. 예컨대 통계모형 제작에 필요한 요인분석 과정에서 Goodness-of-fit 검정을 하는 경우에는 p-값이 0.05 이상으로 크게 나오지 않으면 전체 분석을 다시 해야 한다.
[1] 그냥 그래프 몇개 있는 것처럼 보이지만 자세히보면 시계열 정보부터 시작해 막대 그래프로 표현된 다변량 정보, 확률과정, 격자무늬로 표현된 패널데이터가 있다.[2] 그러므로 적어도 학부 수준의 수학을 아예 모르면 통계학을 제대로 배울 수 없다 그리고 때로는 통계학이 수학보다 응용 범위,분야,학문이 더 폭넓기도 하다.[3] 한국대학 인문사회계열에 진학하면 통계기법을 배우는 모습을 쉽게 볼 수 있다.[4] 주로 미시경제학, 그 중에서도 게임이론과 같은 통계와 직접 관계없는 연역 모델링을 하는 사람들이 여기에 해당한다. 물론 이것도 데이터를 돌리지만 않는 것이지 확률의 개념은 거의 모든 미시이론에 들어가 있으며, 같은 미시라도 응용성이 조금만 가미되면 현실의 데이터를 무조건 들여다봐야 한다.[5] 서울대학교 통계학과 홈페이지[6] 사전에 알고 있는 정보를 사전분포라는 이름으로 분석에 활용하기 때문에, 아무런 자료가 없는 경우에는 자료를 분석하는 사람이 생각하는 '주관적 확률' 역시도 필요한 경우에는 분석에 포함시킬 수 있다. 물론 이런 경우는 있을 수 있는 모든 경우의 수에 대해 동일하거나 아주 미세한 차이만 있는 사전분포를 사용하여, 모든 가능성이 동등하게 고려될 수 있도록 한다. 만약 특정한 경향성을 가지고 있는 '주관적 확률'을 사용하고자 한다면, 여기에 대해서 정당화를 할 수 있어야 한다.[7] https://en.wikipedia.org/wiki/Algebraic_statistics[8] https://en.wikipedia.org/wiki/Information_geometry[9] 입자물리학자들이 쓰는 다양한 기계학습 방식을 간편하게 쓸 수 있는 라이브러리이다.[10] 이 맥락에서 정반대로 "통계학을 모르는 사람은 고등교육을 받은 사람이 아니다" 라는 어록도 있다.[11] 극명한 사례를 들자면, 대한민국의 양성평등 순위는 세계에서 몇 등일까? 세계경제포럼(WEF)에 따르면 우리나라는 2013년 기준으로 136개국 중 111위로 최하위권이다. 그런데 유엔개발계획(UNDP)의 성불평등지수(GII)에 따르면 우리나라는 2011년 기준 146개국 중 11위로 최상위권에 속한다! 이렇게 엄청난 차이가 나타나는 것도 가능하다. #관련기사[12] 위 고정관념의 표현이 애매한 것 같아 원문을 옮긴다. "VERY COMMON ERROR : The confidence interval IS NOT the probability that the population mean lies within the interval."
이 저작물은 CC BY-NC-SA 2.0 KR에 따라 이용할 수 있습니다. (단, 라이선스가 명시된 일부 문서 및 삽화 제외)
기여하신 문서의 저작권은 각 기여자에게 있으며, 각 기여자는 기여하신 부분의 저작권을 갖습니다.
나무위키는 백과사전이 아니며 검증되지 않았거나, 편향적이거나, 잘못된 서술이 있을 수 있습니다.
나무위키는 위키위키입니다. 여러분이 직접 문서를 고칠 수 있으며, 다른 사람의 의견을 원할 경우 직접 토론을 발제할 수 있습니다.