Какая оценка параметра называется состоятельной, несмещенной, эффективной?

1) Состоятельная оценка

Состоятельная оценка в математической статистике -- это точечная оценка, сходящаяся по вероятности к оцениваемому параметру.

Определения

· Пусть -- выборка из распределения, зависящего от параметра. Тогда оценка называется состоятельной, если

по вероятности при.

В противном случае оценка называется несостоятельной.

· Оценка называется сильно состоятельной, если

почти наверное при.

Свойства

· Из свойств сходимостей случайных величин имеем, что сильно состоятельная оценка всегда состоятельна. Обратное, вообще говоря, неверно.

· Выборочное среднее является состоятельной оценкой математического ожидания X i .
· Периодограмма является несмещённой, но несостоятельной оценкой спектральной плотности.
2) Несмещённая оценка

Несмещённая оценка в математической статистике -- это точечная оценка, математическое ожидание которой равно оцениваемому параметру.

Определение

Пусть -- выборка из распределения, зависящего от параметра. Тогда оценка называется несмещённой, если

В противном случае оценка называется смещённой, и случайная величина называется её смещением.

· Выборочное среднее

является несмещённой оценкой математического ожидания X i , так как если

· Пусть случайные величины X i имеют конечную дисперсию DX i = ? 2 . Построим оценки

Выборочная дисперсия,

Исправленная выборочная дисперсия.

Тогда является смещённой, а S 2 несмещённой оценками параметра? 2 .

3) Эффективная оценка

Текущая версия (не проверялась)

Определение

Оценка параметра называется эффективной оценкой в классе, если для любой другой оценки выполняется неравенство для любого.

Особую роль в математической статистике играют несмещенные оценки. Если несмещенная оценка является эффективной оценкой в классе несмещенных, то такую статистику принято называть просто эффективной.

Эффективная оценка в классе, где -- некоторая функция, существует и единственна с точностью до значений на множестве, вероятность попасть в которое равна нулю ().

Оценка параметра называется эффективной, если для неё неравенство Крамера -- Рао обращается в равенство. Таким образом, неравенство может быть использовано для доказательства того, что дисперсия данной оценки наименьшая из возможных, то есть что данная оценка в некотором смысле лучше всех остальных.

В математической статистике неравенством Крамемра -- Рамо (в честь Гаральда Крамера и К.Р. Рао) называется неравенство, которое при некоторых условиях на статистическую модель даёт нижнюю границу для дисперсии оценки неизвестного параметра, выражая её через информацию Фишера.

Пусть texvc не найден; См. math/README - справку по настройке.): X_1,\ldots, X_n,\ldots - выборка для распределения , зависящего от параметра Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \theta \in \Theta . Тогда оценка Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \hat{\theta} \equiv \hat{\theta}(X_1,\ldots,X_n) называется состоятельной, если

Невозможно разобрать выражение (Выполняемый файл texvc по вероятности при Невозможно разобрать выражение (Выполняемый файл texvc .

В противном случае оценка называется несостоятельной.

Оценка Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \hat{\theta} называется си́льно состоя́тельной , если

Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \hat{\theta} \to \theta,\quad \forall \theta\in \Theta почти наверное при Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): n \to \infty .

На практике «увидеть» сходимость «почти наверное» не представляется возможным, поскольку выборки конечны. Таким образом, для прикладной статистики достаточно требовать состоятельности оценки. Более того, оценки, которые были бы состоятельными, но не сильно состоятельными, «в жизни» встречаются очень редко. Закон больших чисел для одинаково распределённых и независимых величин с конечным первым моментом выполнен и в усиленном варианте, всякие крайние порядковые статистики тоже сходятся в силу монотонности не только по вероятности, но и почти наверное.

Признак

Если оценка сходится к истинному значению параметра "в среднем квадратичном" или если оценка асимптотически несмещенная и её дисперсия стремится к нулю, то такая оценка будет состоятельной.

Свойства

Из свойств сходимостей случайных величин имеем, что сильно состоятельная оценка всегда состоятельна. Обратное, вообще говоря, неверно.
Поскольку дисперсия состоятельных оценок стремится к нулю, часто со скоростью порядка 1/n, то состоятельные оценки сравниваются между собой асимптотической дисперсией случайной величины Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \sqrt {n} (\hat{\theta}-\theta) (асимптотическое математическое ожидание этой величины равно нулю).

Связанные понятия

Оценка называется суперсостоятельной , если дисперсия случайной величины Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): n (\hat{\theta}-\theta) стремится к конечной величине. То есть скорость сходимости оценки к истинному значению существенно выше чем у состоятельной оценки. Суперсостоятельными, например, оказываются оценки параметров регрессии коинтегрированных временных рядов.

Примеры

Выборочное среднее Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \bar{X} = \frac{1}{n} \sum\limits_{i=1}^n X_i является сильно состоятельной оценкой математического ожидания Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): X_i .
Периодограмма является несмещённой , но несостоятельной оценкой спектральной плотности .

См. также

Напишите отзыв о статье "Состоятельная оценка"

Отрывок, характеризующий Состоятельная оценка

Искренний, глубоко-печальный рассказ Изидоры омертвил болью наши детские сердца, даже не давая время очнуться... Казалось, не было предела бесчеловечным мукам, причиняемым чёрствыми душами уродливых палачей этой удивительной и мужественной женщине!.. Мне было искренне боязно и тревожно, только лишь думая о том, что же ждало нас по окончании её потрясающего рассказа!..
Я посмотрела на Стеллу – моя воинственная подружка испуганно жалась к Анне, не сводя с Изидоры потрясённо- округлившихся глаз... Видимо, даже её – такую храбрую и не сдающуюся – ошеломила людская жестокость.
Да, наверняка, мы со Стеллой видели больше, чем другие дети в свои 5-10 лет. Мы уже знали, что такое потеря, знали, что означает боль... Но нам ещё предстояло очень многое пережить, чтобы понять хоть малую часть того, что чувствовала сейчас Изидора!.. И я лишь надеялась, что мне никогда не придётся такого на себе по-настоящему испытать...
Я зачарованно смотрела на эту прекрасную, смелую, удивительно одарённую женщину, не в силах скрыть навернувшихся на глаза горестных слёз... Как же «люди» смели зваться ЛЮДЬМИ, творя с ней такое?!. Как Земля вообще терпела такую преступную мерзость, разрешая топтать себя, не разверзнув при этом своих глубин?!.
Изидора всё ещё находилась от нас далеко, в своих глубоко-ранящих воспоминаниях, и мне честно совсем не хотелось, чтобы она продолжала рассказывать дальше... Её история терзала мою детскую душу, заставляя сто раз умирать от возмущения и боли. Я не была к этому готова. Не знала, как защититься от такого зверства... И казалось, если сейчас же не прекратится вся эта раздирающая сердце повесть – я просто умру, не дождавшись её конца. Это было слишком жестоко и не поддавалось моему нормальному детскому пониманию...
Но Изидора, как ни в чём не бывало, продолжала рассказывать дальше, и нам ничего не оставалось, как только окунутся с ней снова в её исковерканную, но такую высокую и чистую, не дожитую земную ЖИЗНЬ...
Проснулась я на следующее утро очень поздно. Видимо тот покой, что подарил мне своим прикосновением Север, согрел моё истерзанное сердце, позволяя чуточку расслабиться, чтобы новый день я могла встретить с гордо поднятой головой, что бы этот день мне ни принёс... Анна всё ещё не отвечала – видимо Караффа твёрдо решил не позволять нам общаться, пока я не сломаюсь, или пока у него не появится в этом какая-то большая нужда.
Изолированная от моей милой девочки, но, зная, что она находится рядом, я пыталась придумать разные-преразные способы общения с ней, хотя в душе прекрасно знала – ничего не удастся найти. Караффа имел свой надёжный план, который не собирался менять, согласуя с моим желанием. Скорее уж наоборот – чем больше мне хотелось увидеть Анну, тем дольше он собирался её держать взаперти, не разрешая встречу. Анна изменилась, став очень уверенной и сильной, что меня чуточку пугало, так как, зная её упёртый отцовский характер, я могла только представить, как далеко она могла в своём упорстве пойти... Мне так хотелось, чтобы она жила!.. Чтобы палач Караффы не посягал на её хрупкую, не успевшую даже полностью распуститься, жизнь!.. Чтобы у моей девочки всё ещё было только впереди...

Определение. Случайная величина называется оценкой неизвестного параметра , если значение этой случайной величины, найденное по результатам серии из измерений, может быть принято за приближенное значение этого параметра т.е. если справедливо равенство .

Пример. Если в качестве неизвестного параметра рассматривается вероятность наступления некоторого события , то оценкой этого параметра служит частость наступлений события в независимых испытаниях (см. статистическое определение вероятности и теорему Бернулли).

Пример. Пусть случайные величины имеют одинаковое математическое ожидание, т.е. . Тогда оценкой значения общего математического ожидания таких случайных величин служит среднее арифметическое этих случайных величин. Важным частным случаем рассмотренной ситуации является следующий

Пример . Оценкой некоторого параметра служит среднее арифметическое результатов независимых измерений этого параметра (см. теорему Чебышёва).

При непосредственном использовании приближенного равенства говорят о точечном оценивании неизвестного параметра.

Возможно также интервальное оценивание неизвестного параметра. Для того, чтобы объяснить, в чем оно состоит, введем в рассмотрение следующие понятия.

Определение. Для произвольного интервал называется доверительным интервалом ;сама величина называется в этом случае предельной ошибкой выборки .

Определение. Вероятность того, что неизвестное значение оцениваемого параметра накрывается доверительным интервалом, называется доверительной вероятностью.

Таким образом, если – оценкапараметра , то

– доверительная вероятность (мы предполагаем, что оценка является непрерывной случайной величиной).

Интервальное оценивание состоит, например, в вычислении доверительной вероятности для заданной предельной ошибки выборки.

Решение задачи интервального оценивания связано с определением характера закона распределения используемой оценки .

Рассмотрим теперь некоторые свойства оценок.

Определение. Оценка параметра называется несмещенной , если математическое ожидание этой оценки равно оцениваемому параметру, т.е.

Определение. Оценка параметра называется состоятельной , если для произвольного выполняется следующее предельное соотношение

Другими словами, оценка параметра состоятельна, если эта оценка сходится по вероятности к данному параметру. (Напомним, что примеры сходимости такого рода дают теоремы Бернулли и Чебышёва, см. § 6.2.)

Определение. Несмещенная оценка некоторого параметра называется эффективной , если она обладает наименьшей дисперсией среди всех несмещенных оценок, найденных по выборке заданного объема.

Пример. Частость наступления некоторого события является несмещенной, состоятельной и эффективной оценкой вероятности этого события. Заметим, что свойства несмещенности и состоятельности частости были фактически рассмотрены нами ранее в несколько ином контексте. Действительно, несмещенность частости – равенство – является одним из свойств биномиально распределенной случайной величины (см. § 3.3). Состоятельность частости утверждается теоремой Бернулли (см. § 6.2).

Пример . Среднее арифметическое некоторого числа независимых и одинаково распределенных случайных величин является несмещенной и состоятельной оценкой общего математического ожидания этих случайных величин. Действительно, несмещенность – есть свойство 5 математического ожидания (см. § 3.3). Состоятельность утверждается теоремой Чебышёва (см. § 6.2).

) задач математической статистики .

Предположим, что имеется параметрическое семейство распределений вероятностей (для простоты будем рассматривать распределение случайных величин и случай одного параметра). Здесь - числовой параметр, значение которого неизвестно. Требуется оценить его по имеющейся выборке значений, порожденной данным распределением.

Различают два основных типа оценок: точечные оценки и доверительные интервалы .

Точечное оценивание

Точечное оценивание - это вид статистического оценивания, при котором значение неизвестного параметра приближается отдельным числом. То есть необходимо указать функцию от выборки (статистику)

значение которой будет рассматриваться в качестве приближения к неизвестному истинному значению .

К общим методам построения точечных оценок параметров относятся: метод максимального правдоподобия , метод моментов , метод квантилей .

Ниже приводятся некоторые свойства, которыми могут обладать или не обладать точечные оценки.

Состоятельность

Одно из самых очевидных требований к точечной оценке заключается в том, чтобы можно было ожидать достаточно хорошего приближения к истинному значению параметра при достаточно больших значениях объема выборки . Это означает, что оценка должна сходиться к истинному значению при . Это свойство оценки и называется состоятельностью . Поскольку речь идет о случайных величинах, для которых имеются разные виды сходимости, то и данное свойство может быть точно сформулировано по-разному:

Когда употребляют просто термин состоятельность , то обычно имеется в виду слабая состоятельность, т.е. сходимость по вероятности.

Условие состоятельности является практически обязательным для всех используемых на практике оценок. Несостоятельные оценки используются крайне редко.

Несмещенность и асимптотическая несмещенность

Оценка параметра называется несмещенной , если ее математическое ожидание равно истинному значению оцениваемого параметра:

Более слабым условием является асимптотическая несмещенность , которая означает, что математическое ожидание оценки сходится к истинному значению параметра с ростом объема выборки:

Несмещенность является рекомендуемым свойством оценок. Однако не следует слишком переоценивать его значимость. Чаще всего несмещенные оценки параметров существуют и тогда стараются рассматривать только их. Однако могут быть такие статистические задачи, в которых несмещенных оценок не существует. Наиболее известным примером является следующий: рассмотрим распределение Пуассона с параметром и поставим задачу оценки параметра . Можно доказать, что для этой задачи не существует несмещенной оценки.

Сравнение оценок и эффективность

Для сравнения между собой различных оценок одного и того же параметра применяют следующий метод: выбирают некоторую функцию риска , которая измеряет отклонение оценки от истинного значения параметра, и лучшей считают ту, для которой эта функция принимает меньшее значение.

Чаще всего в качестве функции риска рассматривают математическое ожидание квадрата отклонения оценки от истинного значения

Для несмещенных оценок это есть просто дисперсия .

Существует нижняя граница на данную функцию риска, называемая неравенство Крамера-Рао .

(Несмещенные) оценки, для которых достигается эта нижняя граница (т.е. имеющие минимально возможную дисперсию), называются эффективными . Однако существование эффективной оценки есть довольно сильное требование на задачу, которое имеет место далеко не всегда.

Более слабым является условие асимптотической эффективности , которое означает, что отношение дисперсии несмещенной оценки к нижней границе Крамера-Рао стремится к единице при .

Заметим, что при достаточно широких предположениях относительно исследуемого распределения, метод максимального правдоподобия дает асимптотически эффективную оценку параметра, а если существует эффективная оценка - тогда он дает эффективную оценку.

Достаточные статистики

Статистика назвается достаточной для параметра , если условное распределение выборки при условии того, что , не зависит от параметра для всех .

Важность понятия достаточной статистики обуславливается следующим утверждением . Если - достаточная статистика, а - несмещенная оценка параметра , тогда условное математическое ожидание является также несмещенной оценкой параметра , причем ее дисперсия меньше или равна дисперсии исходной оценки .

Напомним, что условное математическое ожидание есть случайная величина, являющаяся функцией от . Таким образом, в классе несмещенных оценок достаточно рассматривать только такие, которые являются функциями от достаточной статистики (при условии, что такая существует для данной задачи).

(Несмещенная) эффективная оценка параметра всегда является достаточной статистикой.

Можно сказать, что достаточная статистика содержит в себе всю информацию об оцениваемом параметре, которая содержится в выборке .

К оцениваемому параметру.

Определения

Пусть $X_1,\ldots, X_n,\ldots$ - выборка для распределения , зависящего от параметра $\theta \in \Theta$ . Тогда оценка $\hat{\theta} \equiv \hat{\theta}(X_1,\ldots,X_n)$ называется состоятельной, если

по вероятности при

n \to \infty

В противном случае оценка называется несостоятельной.

Оценка $\hat{\theta}$ называется си́льно состоя́тельной , если

\hat{\theta} \to \theta,\quad \forall \theta\in \Theta

почти наверное при

n \to \infty

Признак

Если оценка сходится к истинному значению параметра "в среднем квадратичном" или если оценка асимптотически несмещенная и её дисперсия стремится к нулю, то такая оценка будет состоятельной.

Свойства

Из свойств сходимостей случайных величин имеем, что сильно состоятельная оценка всегда состоятельна. Обратное, вообще говоря, неверно.
Поскольку дисперсия состоятельных оценок стремится к нулю, часто со скоростью порядка 1/n, то состоятельные оценки сравниваются между собой асимптотической дисперсией случайной величины $\sqrt {n} (\hat{\theta}-\theta)$ (асимптотическое математическое ожидание этой величины равно нулю).

Связанные понятия

Оценка называется суперсостоятельной , если дисперсия случайной величины $n (\hat{\theta}-\theta)$ стремится к конечной величине. То есть скорость сходимости оценки к истинному значению существенно выше чем у состоятельной оценки. Суперсостоятельными, например, оказываются оценки параметров регрессии коинтегрированных временных рядов.

Примеры

Выборочное среднее $\bar{X} = \frac{1}{n} \sum\limits_{i=1}^n X_i$ является сильно состоятельной оценкой математического ожидания $X_i$ .
Периодограмма является несмещённой , но несостоятельной оценкой спектральной плотности .

См. также

Напишите отзыв о статье "Состоятельная оценка"

Отрывок, характеризующий Состоятельная оценка

– О, господи помилуй, – прибавил опять дьякон.
– Вы пройдите вот туда то, они там. Она и есть. Все убивалась, плакала, – сказала опять баба. – Она и есть. Вот сюда то.
Но Пьер не слушал бабу. Он уже несколько секунд, не спуская глаз, смотрел на то, что делалось в нескольких шагах от него. Он смотрел на армянское семейство и двух французских солдат, подошедших к армянам. Один из этих солдат, маленький вертлявый человечек, был одет в синюю шинель, подпоясанную веревкой. На голове его был колпак, и ноги были босые. Другой, который особенно поразил Пьера, был длинный, сутуловатый, белокурый, худой человек с медлительными движениями и идиотическим выражением лица. Этот был одет в фризовый капот, в синие штаны и большие рваные ботфорты. Маленький француз, без сапог, в синей шипели, подойдя к армянам, тотчас же, сказав что то, взялся за ноги старика, и старик тотчас же поспешно стал снимать сапоги. Другой, в капоте, остановился против красавицы армянки и молча, неподвижно, держа руки в карманах, смотрел на нее.
– Возьми, возьми ребенка, – проговорил Пьер, подавая девочку и повелительно и поспешно обращаясь к бабе. – Ты отдай им, отдай! – закричал он почти на бабу, сажая закричавшую девочку на землю, и опять оглянулся на французов и на армянское семейство. Старик уже сидел босой. Маленький француз снял с него последний сапог и похлопывал сапогами один о другой. Старик, всхлипывая, говорил что то, но Пьер только мельком видел это; все внимание его было обращено на француза в капоте, который в это время, медлительно раскачиваясь, подвинулся к молодой женщине и, вынув руки из карманов, взялся за ее шею.
Красавица армянка продолжала сидеть в том же неподвижном положении, с опущенными длинными ресницами, и как будто не видала и не чувствовала того, что делал с нею солдат.
Пока Пьер пробежал те несколько шагов, которые отделяли его от французов, длинный мародер в капоте уж рвал с шеи армянки ожерелье, которое было на ней, и молодая женщина, хватаясь руками за шею, кричала пронзительным голосом.
– Laissez cette femme! [Оставьте эту женщину!] – бешеным голосом прохрипел Пьер, схватывая длинного, сутоловатого солдата за плечи и отбрасывая его. Солдат упал, приподнялся и побежал прочь. Но товарищ его, бросив сапоги, вынул тесак и грозно надвинулся на Пьера.
– Voyons, pas de betises! [Ну, ну! Не дури!] – крикнул он.
Пьер был в том восторге бешенства, в котором он ничего не помнил и в котором силы его удесятерялись. Он бросился на босого француза и, прежде чем тот успел вынуть свой тесак, уже сбил его с ног и молотил по нем кулаками. Послышался одобрительный крик окружавшей толпы, в то же время из за угла показался конный разъезд французских уланов. Уланы рысью подъехали к Пьеру и французу и окружили их. Пьер ничего не помнил из того, что было дальше. Он помнил, что он бил кого то, его били и что под конец он почувствовал, что руки его связаны, что толпа французских солдат стоит вокруг него и обыскивает его платье.