Распределения в математической статистике характеризуется многими статистическими параметрами. Оценка неизвестных параметров распределения на основе различных данных выборки позволяет построить распределения случайной величины.

Найти статистическую оценку неизвестного параметра распределения -- найти функцию от наблюдаемых случайных величин, которая даст приближенное значение оцениваемого параметра.

Статистические оценки можно разделить на несмещенные, смещенные, эффективные и состоятельные.

Определение 1

Несмещенная оценка -- статистическая оценка $Q^*$, которая при любом значении объема выборки, имеет математическое ожидание, равное оцениваемому параметру, то есть

Определение 2

Смещенная оценка -- статистическая оценка $Q^*$, которая при любом значении объема выборки, имеет математическое ожидание, не равное оцениваемому параметру, то есть

Определение 4

Состоятельная оценка -- статистическая оценка, при которой при объеме выборки, стремящейся к бесконечности, стремится по вероятности к оцениваемому параметру $Q.$

Определение 5

Состоятельная оценка -- статистическая оценка, при которой при объеме выборки, стремящейся к бесконечности, дисперсия несмещенной оценки стремится к нулю.

Генеральная и выборочная средние

Определение 6

Генеральная средняя -- среднее арифметическое значений вариант генеральной совокупности.

Определение 7

Выборочная средняя -- среднее арифметическое значений вариант выборочной совокупности.

Величины генерального и выборочного среднего можно найти по следующим формулам:

  1. Если значения вариант $x_1,\ x_2,\dots ,x_k$ имеют, соответственно, частоты $n_1,\ n_2,\dots ,n_k$, то
  1. Если значения вариант $x_1,\ x_2,\dots ,x_k$ различны, то

С этим понятием связано такое понятие как отклонение от средней. Данная величина находится по следующей формуле:

Среднее отклонение обладает следующими свойствами:

    $\sum{n_i\left(x_i-\overline{x}\right)=0}$

    Среднее значение отклонения равно нулю.

Генеральная, выборочная и исправленная дисперсии

Еще одними из основных параметров является понятие генеральной и выборочной дисперсии:

Генеральная дисперсия:

Выборочная дисперсия:

С этими понятия связаны также генеральная и выборочная средние квадратические отклонения:

В качестве оценки генеральной дисперсии вводится понятие исправленной дисперсии:

Также вводится понятие исправленного стандартного отклонения:

Пример решения задачи

Пример 1

Генеральная совокупность задана следующей таблицей распределения:

Рисунок 1.

Найдем для нее генеральное среднее, генеральную дисперсию, генеральное среднее квадратическое отклонение, исправленную дисперсию и исправленное среднее квадратическое отклонение.

Для решения этой задачи для начала сделаем расчетную таблицу:

Рисунок 2.

Величина $\overline{x_в}$ (среднее выборочное) находится по формуле:

\[\overline{x_в}=\frac{\sum\limits^k_{i=1}{x_in_i}}{n}\]

\[\overline{x_в}=\frac{\sum\limits^k_{i=1}{x_in_i}}{n}=\frac{87}{30}=2,9\]

Найдем генеральную дисперсию по формуле:

Генеральное среднее квадратическое отклонение:

\[{\sigma }_в=\sqrt{D_в}\approx 1,42\]

Исправленная дисперсия:

\[{S^2=\frac{n}{n-1}D}_в=\frac{30}{29}\cdot 2,023\approx 2,09\]

Исправленное среднее квадратическое отклонение.

Распределение случайной величины (распределение генеральной совокупности) характеризуется обычно рядом числовых характеристик:

  • для нормального распределения N(a, σ) - это математическое ожидание a и среднее квадратическое отклонение σ ;
  • для равномерного распределения R(a,b) - это границы интервала , в котором наблюдаются значения этой случайной величины.
Такие числовые характеристики, как правило, неизвестные, называются параметрами генеральной совокупности . Оценка параметра - соответствующая числовая характеристика, рассчитанная по выборке. Оценки параметров генеральной совокупности делятся на два класса: точечные и интервальные .

Когда оценка определяется одним числом, она называется точечной оценкой . Точечная оценка, как функция от выборки, является случайной величиной и меняется от выборки к выборке при повторном эксперименте.
К точечным оценкам предъявляют требования, которым они должны удовлетворять, чтобы хоть в каком-то смысле быть «доброкачественными». Это несмещённость , эффективность и состоятельность .

Интервальные оценки определяются двумя числами – концами интервала, который накрывает оцениваемый параметр. В отличие от точечных оценок, которые не дают представления о том, как далеко от них может находиться оцениваемый параметр, интервальные оценки позволяют установить точность и надёжность оценок.

В качестве точечных оценок математического ожидания, дисперсии и среднего квадратического отклонения используют выборочные характеристики соответственно выборочное среднее, выборочная дисперсия и выборочное среднее квадратическое отклонение.

Свойство несмещенности оценки .
Желательным требованием к оценке является отсутствие систематической ошибки, т.е. при многократном использовании вместо параметра θ его оценки среднее значение ошибки приближения равно нулю - это свойство несмещенности оценки .

Определение . Оценка называется несмещенной , если ее математическое ожидание равно истинному значению оцениваемого параметра:

Выборочное среднее арифметическое является несмещенной оценкой математического ожидания, а выборочная дисперсия - смещенная оценка генеральной дисперсии D . Несмещенной оценкой генеральной дисперсии является оценка

Свойство состоятельности оценки .
Второе требование к оценке - ее состоятельность - означает улучшение оценки с увеличением объема выборки.

Определение . Оценка называется состоятельной , если она сходится по вероятности к оцениваемому параметру θ при n→∞.


Сходимость по вероятности означает, что при большом объеме выборки вероятность больших отклонений оценки от истинного значения мала.

Свойство эффективной оценки .
Третье требование позволяет выбрать лучшую оценку из нескольких оценок одного и того же параметра.

Определение . Несмещенная оценка является эффективной , если она имеет наименьшую среди всех несмещенных оценок дисперсию.

Это означает, что эффективная оценка обладает минимальным рассеиванием относительно истинного значения параметра. Заметим, что эффективная оценка существует не всегда, но из двух оценок обычно можно выбрать более эффективную, т.е. с меньшей дисперсией. Например, для неизвестного параметра a нормальной генеральной совокупности N(a,σ) в качестве несмещенной оценки можно взять и выборочное среднее арифметическое, и выборочную медиану. Но дисперсия выборочной медианы примерно в 1.6 раза больше, чем дисперсия среднего арифметического. Поэтому более эффективной оценкой является выборочное среднее арифметическое.

Пример №1 . Найдите несмещенную оценку дисперсии измерений некоторой случайной величины одним прибором (без систематических ошибок), результаты измерения которой (в мм): 13,15,17.
Решение. Таблица для расчета показателей.

x |x - x ср | (x - x ср) 2
13 2 4
15 0 0
17 2 4
45 4 8

Простая средняя арифметическая (несмещенная оценка математического ожидания)


Дисперсия - характеризует меру разброса около ее среднего значения (мера рассеивания, т.е. отклонения от среднего - смещенная оценка).


Несмещенная оценка дисперсии - состоятельная оценка дисперсии (исправленная дисперсия).

Пример №2 . Найдите несмещенную оценку математического ожидания измерений некоторой случайной величины одним прибором (без систематических ошибок), результаты измерения которой (в мм): 4,5,8,9,11.
Решение. m = (4+5+8+9+11)/5 = 7.4

Пример №3 . Найдите исправленную дисперсию S 2 для выборки объема n=10, если выборочная диспресия равна D = 180.
Решение. S 2 = n*D/(n-1) = 10*180/(10-1) = 200

) задач математической статистики .

Предположим, что имеется параметрическое семейство распределений вероятностей (для простоты будем рассматривать распределение случайных величин и случай одного параметра). Здесь - числовой параметр, значение которого неизвестно. Требуется оценить его по имеющейся выборке значений, порожденной данным распределением.

Различают два основных типа оценок: точечные оценки и доверительные интервалы .

Точечное оценивание

Точечное оценивание - это вид статистического оценивания, при котором значение неизвестного параметра приближается отдельным числом. То есть необходимо указать функцию от выборки (статистику)

,

значение которой будет рассматриваться в качестве приближения к неизвестному истинному значению .

К общим методам построения точечных оценок параметров относятся: метод максимального правдоподобия , метод моментов , метод квантилей .

Ниже приводятся некоторые свойства, которыми могут обладать или не обладать точечные оценки.

Состоятельность

Одно из самых очевидных требований к точечной оценке заключается в том, чтобы можно было ожидать достаточно хорошего приближения к истинному значению параметра при достаточно больших значениях объема выборки . Это означает, что оценка должна сходиться к истинному значению при . Это свойство оценки и называется состоятельностью . Поскольку речь идет о случайных величинах, для которых имеются разные виды сходимости, то и данное свойство может быть точно сформулировано по-разному:

Когда употребляют просто термин состоятельность , то обычно имеется в виду слабая состоятельность, т.е. сходимость по вероятности.

Условие состоятельности является практически обязательным для всех используемых на практике оценок. Несостоятельные оценки используются крайне редко.

Несмещенность и асимптотическая несмещенность

Оценка параметра называется несмещенной , если ее математическое ожидание равно истинному значению оцениваемого параметра:

.

Более слабым условием является асимптотическая несмещенность , которая означает, что математическое ожидание оценки сходится к истинному значению параметра с ростом объема выборки:

.

Несмещенность является рекомендуемым свойством оценок. Однако не следует слишком переоценивать его значимость. Чаще всего несмещенные оценки параметров существуют и тогда стараются рассматривать только их. Однако могут быть такие статистические задачи, в которых несмещенных оценок не существует. Наиболее известным примером является следующий: рассмотрим распределение Пуассона с параметром и поставим задачу оценки параметра . Можно доказать, что для этой задачи не существует несмещенной оценки.

Сравнение оценок и эффективность

Для сравнения между собой различных оценок одного и того же параметра применяют следующий метод: выбирают некоторую функцию риска , которая измеряет отклонение оценки от истинного значения параметра, и лучшей считают ту, для которой эта функция принимает меньшее значение.

Чаще всего в качестве функции риска рассматривают математическое ожидание квадрата отклонения оценки от истинного значения

Для несмещенных оценок это есть просто дисперсия .

Существует нижняя граница на данную функцию риска, называемая неравенство Крамера-Рао .

(Несмещенные) оценки, для которых достигается эта нижняя граница (т.е. имеющие минимально возможную дисперсию), называются эффективными . Однако существование эффективной оценки есть довольно сильное требование на задачу, которое имеет место далеко не всегда.

Более слабым является условие асимптотической эффективности , которое означает, что отношение дисперсии несмещенной оценки к нижней границе Крамера-Рао стремится к единице при .

Заметим, что при достаточно широких предположениях относительно исследуемого распределения, метод максимального правдоподобия дает асимптотически эффективную оценку параметра, а если существует эффективная оценка - тогда он дает эффективную оценку.

Достаточные статистики

Статистика назвается достаточной для параметра , если условное распределение выборки при условии того, что , не зависит от параметра для всех .

Важность понятия достаточной статистики обуславливается следующим утверждением . Если - достаточная статистика, а - несмещенная оценка параметра , тогда условное математическое ожидание является также несмещенной оценкой параметра , причем ее дисперсия меньше или равна дисперсии исходной оценки .

Напомним, что условное математическое ожидание есть случайная величина, являющаяся функцией от . Таким образом, в классе несмещенных оценок достаточно рассматривать только такие, которые являются функциями от достаточной статистики (при условии, что такая существует для данной задачи).

(Несмещенная) эффективная оценка параметра всегда является достаточной статистикой.

Можно сказать, что достаточная статистика содержит в себе всю информацию об оцениваемом параметре, которая содержится в выборке .

План лекции:

    Понятие оценки

    Свойства статистических оценок

    Методы нахождения точечных оценок

    Интервальное оценивание параметров

    Доверительный интервал для математического ожидании при известной дисперсии нормально распределённой генеральной совокупности.

    Распределение хи-квадрат и распределение Стьюдента.

    Доверительный интервал для математического ожидании случайные величины, имеющей нормальное распределение при неизвестной дисперсии.

    Доверительный интервал для среднего квадратического отклонения нормального распределения.

Список литературы:

    Вентцель, Е.С. Теория вероятностей [Текст] / Е.С. Вентцель. – М.: Высшая школа, 2006. – 575 с.

    Гмурман, В.Е. Теория вероятностей и математическая статистика [Текст] / В.Е. Гмурман. - М.: Высшая школа, 2007. - 480 с.

    Кремер, Н.Ш. Теория вероятностей и математическая статистика [Текст] / Н.Ш. Кремер - М: ЮНИТИ, 2002. – 543 с.

П.1. Понятие оценки

Такие распределения, как биномиальное, показательное, нормальное, являются семействами распределений, зависящими от одного или нескольких параметров. Например, показательное распределение с плотностью вероятностей , зависит от одного параметра λ, нормальное распределение
- от двух параметровm и σ. Из условий исследуемой задачи, как правило, ясно, о каком семействе распределений идёт речь. Однако остаются неизвестными конкретные значения параметров этого распределения, входящие в выражения интересующих нас характеристик распределения. Поэтому необходимо знать хотя бы приближённое значение этих величин.

Пусть закон распределения генеральной совокупности определён с точностью до значений входящих в его распределение параметров
, часть из которых может быть известна. Одной из задач математической статистики является нахождение оценок неизвестных параметров по выборке наблюдений
из генеральной совокупности. Оценка неизвестных параметров заключается в построении функции
от случайной выборки, такой, что значение этой функции приближённо равно оцениваемому неизвестному параметруθ . Функция называетсястатистикой параметра θ .

Статистической оценкой (в дальнейшем просто оценкой ) параметраθ теоретического распределения называется его приближённое значение, зависящего от данных выбора.

Оценка является случайной величиной, т.к. является функцией независимых случайных величин
; если произвести другую выборку, то функция примет, вообще говоря, другое значение.

Существует два вида оценок – точечные и интервальные.

Точечной называется оценка, определяемая одним числом. При малом числе наблюдений эти оценки могут приводить к грубым ошибкам. Чтобы избежать их, используют интервальные оценки.

Интервальной называется оценка, которая определяется двумя числами – концами интервала, в котором с заданной вероятностью заключена оцениваемая величина θ .

П. 2 Свойства статистических оценок

Величину
называютточностью оценки . Чем меньше
, тем лучше, точнее определён неизвестный параметр.

К оценке любого параметра предъявляется ряд требований, которым она должна удовлетворять, чтобы быть «близкой» к истинному значению параметра, т.е. быть в каком-то смысле «доброкачественной» оценкой. Качество оценки определяют, проверяя, обладает ли она свойствами несмещённости, эффективности и состоятельности.

Оценка параметраθ называется несмещённой (без систематических ошибок), если математическое ожидание оценки совпадает с истинным значением θ :

. (1)

Если равенство (1) не имеет места, то оценка называетсясмещённой (с систематическими ошибками). Это смещение может быть связано с ошибками измерения, счёта или неслучайным характером выборки. Систематические ошибки приводят к завышению или занижению оценки.

Для некоторых задач математической статистики может существовать несколько несмещённых оценок. Обычно предпочтение отдают той, которая обладает наименьшим рассеянием (дисперсией).

Оценка называетсяэффективной , если она имеет наименьшую дисперсию среди всех возможных несмещённых оценок параметра θ .

Пусть D () – минимальная дисперсия, а
– дисперсия любой другой несмещённой оценкипараметраθ . Тогда эффективность оценки равна

. (2)

Ясно, что
. Чем ближе
к 1, тем эффективнее оценка. Если
при
, то оценка называетсяасимптотически эффективной .

Замечание : Если оценка смещённая, то малости её дисперсии ещё не говорит о малости её погрешности. Взяв, например, в качестве оценки параметраθ некоторое число , получим оценку даже с нулевой дисперсией. Однако в этом случае ошибка (погрешность)
может быть сколь угодно большой.

Оценка называетсясостоятельной , если с увеличением объема выборки (
) оценка сходится по вероятности к точному значению параметраθ , т.е. если для любого

. (3)

Состоятельность оценки параметраθ означает, что с ростом n объема выборки качество оценки улучшается.

Теорема 1. Выборочная средняя является несмещённой и состоятельной оценкой математического ожидания.

Теорема 2. Исправленная выборочная дисперсия является несмещённой и состоятельной оценкой дисперсии.

Теорема 3. Эмпирическая функция распределения выборки является несмещённой и состоятельной оценкой функции распределения случайной величины.

Статистические оценки параметров генеральной совокупности. Статистические гипотезы

ЛЕКЦИЯ 16

Пусть требуется изучить количественный признак генеральной совокупности. Допустим, что из теоретических соображений удалось установить, какое именно распределение имеет признак. Отсюда возникает задача оценки параметров, которыми определяется это распределение. Например, если известно, что изучаемый признак распределён в генеральной совокупности по нормальному закону, то необходимо оценить (приближённо найти) математическое ожидание и среднеквадратическое отклонение, так как эти два параметра полностью определяют нормальное распределение. Если же имеются основания считать, что признак имеет распределение Пуассона, то необходимо оценить параметр , которым это распределение определяется.

Обычно в распределении исследователь имеет лишь данные выборки, например, значения количественного признака , полученные в результате наблюдений (здесь и далее наблюдения предполагаются независимыми). Через эти данные и выражают оцениваемый параметр.

Рассматривая как значения независимых случайных величин , можно сказать, что найти статистическую оценку неизвестного параметра теоретического распределения означает найти функцию от наблюдаемых случайных величин, которая и даёт приближённое значение оцениваемого параметра. Например, как будет показано далее, для оценки математического ожидания нормального распределения служит функция (среднее арифметическое наблюдаемых значений признака):

.

Итак, статистической оценкой неизвестного параметра теоретического распределения называют функцию от наблюдаемых случайных величин. Статистическая оценка неизвестного параметра генеральной совокупности, записанная одним числом, называется точечной . Рассмотрим следующие точечные оценки: смещенные и несмещённые, эффективные и состоятельные.

Для того, чтобы статистические оценки давали «хорошие» приближения оцениваемых параметров, они должны удовлетворять определённым требованиям. Укажем эти требования.

Пусть есть статистическая оценка неизвестного параметра теоретического распределения. Допустим, что при выборке объёма найдена оценка . Повторим опыт, то есть извлечём из генеральной совокупности другую выборку того же объёма и по её данным найдём оценку и т.д. Повторяя опыт многократно, получим числа , которые, вообще говоря, будут различаться между собой. Таким образом, оценку можно рассматривать как случайную величину, а числа – как возможные её значения.

Ясно, что если оценка даёт приближённое значение с избытком, то каждое найденное по данным выборок число будет больше истинного значения . Следовательно, что в этом случае и математическое (среднее значение) случайной величины будет больше, чем , то есть . Очевидно, что если даёт приближённое значение с недостатком, то .


Поэтому, использование статистической оценки, математическое ожидание которой не равно оцениваемому параметру, приводит к систематическим (одного знака) ошибкам. По этой причине естественно потребовать, чтобы математическое ожидание оценки было равно оцениваемому параметру. Хотя соблюдение этого требования, в общем, не устранит ошибок (одни значения больше, а другие меньше чем ), ошибки разных знаков будут встречаться одинакова часто. Однако соблюдение требования гарантирует невозможность получения систематических ошибок, то есть устраняет систематические ошибки.

Несмещённой называют статистическую оценку (ошибку) , математическое ожидание которой равно оцениваемому параметру при любом объёме выборки, то есть .

Смещённой называют статистическую оценку , математическое ожидание которой не равно оцениваемому параметру при любом объёме выборки, то есть .

Однако было бы ошибочным считать, что несмещённая оценка всегда даёт хорошее приближение оцениваемого параметра. Действительно, возможные значения могут быть сильно рассеяны вокруг своего среднего значения, то есть дисперсия может быть значительной. В этом случае, найденная по данным одной выборки оценка, например , может оказаться весьма удалённой от среднего значения , а значит, и от самого оцениваемого параметра . Таким образом, приняв в качестве приближённого значения , мы допустим большую ошибку. Если же потребовать, чтобы дисперсия была малой, то возможность допустить большую ошибку будет исключена. По этой причине к статистической оценке предъявляется требование эффективности.

Эффективной называют статистическую оценку, которая (при заданном объёме выборки ) имеет наименьшую возможную дисперсию.

Состоятельной называют статистическую оценку, которая при стремится по вероятности к оцениваемому параметру, то есть, справедливо равенство:

.

Например, если дисперсия несмещённой оценки при стремится к нулю, то такая оценка оказывается также состоятельной.

Рассмотрим вопрос о том, какие выборочные характеристики лучше всего в смысле несмещённости, эффективности и состоятельности оценивают генеральную среднюю и дисперсию.

Пусть изучается дискретная генеральная совокупность относительно некоторого количественного признака .

Генеральной средней называется среднее арифметическое значений признака генеральной совокупности. Она вычисляется по формуле:

§ – если все значения признака генеральной совокупности объёма различны;

§ – если значения признака генеральной совокупности имеют соответственно частоты , причём . То есть генеральная средняя есть средняя взвешенная значений признака с весами, равными соответствующим частотам.

Замечание : пусть генеральная совокупность объёма содержит объекты с различными значениями признака . Представим себе, что из этой совокупности наудачу извлекается один объект. Вероятность того, что будет извлечён объект со значением признака, например , очевидно, равна . С этой же вероятностью может быть извлечён и любой другой объект. Таким образом, величину признака можно рассматривать как случайную величину, возможные значения которой имеют одинаковые вероятности, равные . Нетрудно, в этом случае, найти математическое ожидание :

Итак, если рассматривать обследуемый признак генеральной совокупности как случайную величину, то математическое ожидание признака равно генеральной средней этого признака: . Этот вывод мы получили, считая, что все объекты генеральной совокупности имеют различные значения признака. Такой же итог будет получен, если допустить, что генеральная совокупность содержит по несколько объектов с одинаковым значением признака.

Обобщая полученный результат на генеральную совокупность с непрерывным распределением признака , определим генеральную среднюю как математическое ожидание признака: .

Пусть для изучения генеральной совокупности относительно количественного признака извлечена выборка объёма .

Выборочной средней называют среднее арифметическое значений признака выборочной совокупности. Она вычисляется по формуле:

§ – если все значения признака выборочной совокупности объёма различны;

§ – если значения признака выборочной совокупности имеют соответственно частоты , причём . То есть выборочная средняя есть средняя взвешенная значений признака с весами, равными соответствующим частотам.

Замечание : выборочная средняя, найденная по данным одной выборки есть, очевидно, определённое число. Если же извлекать другие выборки того же объёма из той же генеральной совокупности, то выборочная средняя будет изменяться от выборки к выборке. Таким образом, выборочную среднюю можно рассматривать как случайную величину, а следовательно, можно говорить о распределениях (теоретическом и эмпирическом) выборочной средней и о числовых характеристиках этого распределения, в частности, о математическом ожидании и дисперсии выборочного распределения.

Далее, если генеральная средняя неизвестна и требуется оценить её по данным выборки, то в качестве оценки генеральной средней принимают выборочную среднюю, которая является несмещённой и состоятельной оценкой (предлагаем это утверждение доказать самостоятельно). Из сказанного следует, что если по нескольким выборкам достаточно большого объёма из одной и той же генеральной совокупности будут найдены выборочные средние, то они будут приближённо равны между собой. В этом состоит свойство устойчивости выборочных средних .

Отметим, что если дисперсии двух совокупностей одинаковы, то близость выборочных средних к генеральным не зависит от отношения объёма выборки к объёму генеральной совокупности. Она зависит от объёма выборки: чем объём выборки больше, тем меньше выборочная средняя отличается от генеральной. Например, если из одной совокупности отобран 1% объектов, а из другой совокупности отобрано 4% объектов, причём объём первой выборки оказался большим, чем второй, то первая выборочная средняя будет меньше отличаться от соответствующей генеральной средней, чем вторая.