До конца XIX века нормальное распределение считалась всеобщим законом вариации данных. Однако К. Пирсон заметил, что эмпирические частоты могут сильно отличаться от нормального распределения. Встал вопрос, как это доказать. Требовалось не только графическое сопоставление, которое имеет субъективный характер, но и строгое количественное обоснование.

Так был изобретен критерий χ 2 (хи-квадрат), который проверяет значимость расхождения эмпирических (наблюдаемых) и теоретических (ожидаемых) частот. Это произошло в далеком 1900 году, однако критерий и сегодня на ходу. Более того, его приспособили для решения широкого круга задач. Прежде всего, это анализ номинальных данных, т.е. таких, которые выражаются не количеством, а принадлежностью к какой-то категории. Например, класс автомобиля, пол участника эксперимента, вид растения и т.д. К таким данным нельзя применять математические операции вроде сложения и умножения, для них можно только подсчитать частоты.

Наблюдаемые частоты обозначим О (Observed) , ожидаемые – E (Expected) . В качестве примера возьмем результат 60-кратного бросания игральной кости. Если она симметрична и однородна, вероятность выпадения любой стороны равна 1/6 и, следовательно, ожидаемое количество выпадения каждой из сторон равна 10 (1/6∙60). Наблюдаемые и ожидаемые частоты запишем в таблицу и нарисуем гистограмму.

Нулевая гипотеза заключается в том, что частоты согласованы, то есть фактические данные не противоречат ожидаемым. Альтернативная гипотеза – отклонения в частотах выходят за рамки случайных колебаний, то есть расхождения статистически значимы. Чтобы сделать строгий вывод, нам потребуется.

1. Обобщающая мера расхождения между наблюдаемыми и ожидаемыми частотами.
2. Распределение этой меры при справедливости гипотезы о том, что различий нет.

Начнем с расстояния между частотами. Если взять просто разницу О — E , то такая мера будет зависеть от масштаба данных (частот). Например, 20 — 5 =15 и 1020 – 1005 = 15. В обоих случаях разница составляет 15. Но в первом случае ожидаемые частоты в 3 раза меньше наблюдаемых, а во втором случае – лишь на 1,5%. Нужна относительная мера, не зависящая от масштаба.

Обратим внимание на следующие факты. В общем случае количество градаций, по которым измеряются частоты, может быть гораздо больше, поэтому вероятность того, что отдельно взятое наблюдение попадет в ту или иную категорию, довольно мала. Раз так, то, распределение такой случайной величины будет подчинятся закону редких событий, известному под названием закон Пуассона . В законе Пуассона, как известно, значение математического ожидания и дисперсии совпадают (параметр λ ). Значит, ожидаемая частота для некоторой категории номинальной переменной E i будет являться одновременное и ее дисперсией. Далее, закон Пуассона при большом количестве наблюдений стремится к нормальному. Соединяя эти два факта, получаем, что, если гипотеза о согласии наблюдаемых и ожидаемых частот верна, то, при большом количестве наблюдений , выражение

Будет иметь .

Важно помнить, что нормальность будет проявляться только при достаточно больших частотах. В статистике принято считать, что общее количество наблюдений (сумма частот) должна быть не менее 50 и ожидаемая частота в каждой градации должна быть не менее 5. Только в этом случае величина, показанная выше, будет иметь стандартное нормальное распределение. Предположим, что это условие выполнено.

У стандартного нормального распределения почти все значение находятся в пределах ±3 (правило трех сигм). Таким образом, мы получили относительную разность в частотах для одной градации. Нам нужна обобщающая мера. Просто сложить все отклонения нельзя – получим 0 (догадайтесь почему). Пирсон предложил сложить квадраты этих отклонений.

Это и есть знамений критерий χ 2 Пирсона . Если частоты действительно соответствуют ожидаемым, то значение критерия будет относительно не большим (т.к. большинство отклонений находится около нуля). Но если критерий оказывается большим, то это свидетельствует в пользу существенных различий между частотами.

«Большим» критерий становится тогда, когда появление такого или еще большего значения становится маловероятным. И чтобы рассчитать такую вероятность, необходимо знать распределение критерия при многократном повторении эксперимента, когда гипотеза о согласии частот верна.

Как нетрудно заметить, величина хи-квадрат также зависит от количества слагаемых. Чем их больше, тем большее значение должно быть у критерия, ведь каждое слагаемое внесет свой вклад в общую сумму. Следовательно, для каждого количества независимых слагаемых, будет собственное распределение. Получается, что χ 2 – это целое семейство распределений.

И здесь мы подошли к одному щекотливому моменту. Что такое число независимых слагаемых? Вроде как любое слагаемое (т.е. отклонение) независимо. К. Пирсон тоже так думал, но оказался неправ. На самом деле число независимых слагаемых будет на один меньше, чем количество градаций номинальной переменной n . Почему? Потому что, если мы имеем выборку, по которой уже посчитана сумма частот, то одну из частот всегда можно определить, как разность общего количества и суммой всех остальных. Отсюда и вариация будет несколько меньше. Данный факт Рональд Фишер заметил лет через 20 после разработки Пирсоном своего критерия. Даже таблицы пришлось переделывать.

По этому поводу Фишер ввел в статистику новое понятие – степень свободы (degrees of freedom), которое и представляет собой количество независимых слагаемых в сумме. Понятие степеней свободы имеет математическое объяснение и проявляется только в распределениях, связанных с нормальным (Стьюдента, Фишера-Снедекора и сам хи-квадрат).

Чтобы лучше уловить смысл степеней свободы, обратимся к физическому аналогу. Представим точку, свободно движущуюся в пространстве. Она имеет 3 степени свободы, т.к. может перемещаться в любом направлении трехмерного пространства. Если точка движется по какой-либо поверхности, то у нее уже две степени свободы (вперед-назад, вправо-влево), хотя и продолжает находиться в трехмерном пространстве. Точка, перемещающаяся по пружине, снова находится в трехмерном пространстве, но имеет лишь одну степень свободы, т.к. может двигаться либо вперед, либо назад. Как видно, пространство, где находится объект, не всегда соответствует реальной свободе перемещения.

Примерно также распределение статистического критерия может зависеть от меньшего количества элементов, чем нужно слагаемых для его расчета. В общем случае количество степеней свободы меньше наблюдений на число имеющихся зависимостей. Это чистая математика, никакой магии.

Таким образом, распределение χ 2 – это семейство распределений, каждое из которых зависит от параметра степеней свободы. А формальное определение критерия хи-квадрат следующее. Распределение χ 2 (хи-квадрат) с k степенями свободы - это распределение суммы квадратов k независимых стандартных нормальных случайных величин.

Далее можно было бы перейти к самой формуле, по которой вычисляется функция распределения хи-квадрат, но, к счастью, все давно подсчитано за нас. Чтобы получить интересующую вероятность, можно воспользоваться либо соответствующей статистической таблицей, либо готовой функцией в специализированном ПО, которая есть даже в Excel.

Интересно посмотреть, как меняется форма распределения хи-квадрат в зависимости от количества степеней свободы.

С увеличением степеней свободы распределение хи-квадрат стремится к нормальному. Это объясняется действием центральной предельной теоремы, согласно которой сумма большого количества независимых случайных величин имеет нормальное распределение. Про квадраты там ничего не сказано)).

Проверка гипотезы по критерию хи-квадрат

Вот мы и подошли к проверке гипотез по методу хи-квадрат. В целом техника остается . Выдвигается нулевая гипотеза о том, что наблюдаемые частоты соответствуют ожидаемым (т.е. между ними нет разницы, т.к. они взяты из той же генеральной совокупности). Если этот так, то разброс будет относительно небольшим, в пределах случайных колебаний. Меру разброса определяют по критерию хи-квадрат. Далее либо сам критерий сравнивают с критическим значением (для соответствующего уровня значимости и степеней свободы), либо, что более правильно, рассчитывают наблюдаемый p-level, т.е. вероятность получить такое или еще больше значение критерия при справедливости нулевой гипотезы.

Т.к. нас интересует согласие частот, то отклонение гипотезы произойдет, когда критерий окажется больше критического уровня. Т.е. критерий является односторонним. Однако иногда (иногда) требуется проверить левостороннюю гипотезу. Например, когда эмпирические данные уж оооочень сильно похожи на теоретические. Тогда критерий может попасть в маловероятную область, но уже слева. Дело в том, что в естественных условиях, маловероятно получить частоты, практически совпадающие с теоретическими. Всегда есть некоторая случайность, которая дает погрешность. А вот если такой погрешности нет, то, возможно, данные были сфальсифицированы. Но все же обычно проверяют правостороннюю гипотезу.

Вернемся к задаче с игральным кубиком. Рассчитаем по имеющимся данным значение критерия хи-квадрат.

Теперь найдем табличное значение критерия при 5-ти степенях свободы (k ) и уровне значимости 0,05 (α ).

То есть χ 2 0,05; 5 = 11,1.

Сравним фактическое и табличное значение. 3,4 (χ 2 ) < 11,1 (χ 2 0,05; 5 ). Расчетный критерий оказался меньшим, значит гипотеза о равенстве (согласии) частот не отклоняется. На рисунке ситуация выглядит вот так.

Если бы расчетное значение попало в критическую область, то нулевая гипотеза была бы отклонена.

Более правильным будет рассчитать еще и p-level. Для этого нужно в таблице найти ближайшее значение для заданного количества степеней свободы и посмотреть соответствующий ему уровень значимости. Но это прошлый век. Воспользуемся ПЭВМ, в частности MS Excel. В эксель есть несколько функций, связанных с хи-квадрат.

Ниже их краткое описание.

ХИ2.ОБР – критическое значение критерия при заданной вероятности слева (как в статистических таблицах)

ХИ2.ОБР.ПХ – критическое значение критерия при заданной вероятности справа. Функция по сути дублирует предыдущую. Но здесь можно сразу указывать уровень α , а не вычитать его из 1. Это более удобно, т.к. в большинстве случаев нужен именно правый хвост распределения.

ХИ2.РАСП – p-level слева (можно рассчитать плотность).

ХИ2.РАСП.ПХ – p-level справа.

ХИ2.ТЕСТ – по двум заданным диапазонам частот сразу проводит тест хи-квадрат. Количество степеней свободы берется на одну меньше, чем количество частот в столбце (так и должно быть), возвращая значение p-level.

Давайте пока рассчитаем для нашего эксперимента критическое (табличное) значение для 5-ти степеней свободы и альфа 0,05. Формула Excel будет выглядеть так:

ХИ2.ОБР(0,95;5)

ХИ2.ОБР.ПХ(0,05;5)

Результат будет одинаковым – 11,0705. Именно это значение мы видим в таблице (округленное до 1 знака после запятой).

Рассчитаем, наконец, p-level для 5-ти степеней свободы критерия χ 2 = 3,4. Нужна вероятность справа, поэтому берем функцию с добавкой ПХ (правый хвост)

ХИ2.РАСП.ПХ(3,4;5) = 0,63857

Значит, при 5-ти степенях свободы вероятность получить значение критерия χ 2 = 3,4 и больше равна почти 64%. Естественно, гипотеза не отклоняется (p-level больше 5%), частоты очень хорошо согласуются.

А теперь проверим гипотезу о согласии частот с помощью функции ХИ2.ТЕСТ.

Никаких таблиц, никаких громоздких расчетов. Указав в качестве аргументов функции столбцы с наблюдаемыми и ожидаемыми частотами, сразу получаем p-level. Красота.

Представим теперь, что вы играете в кости с подозрительным типом. Распределение очков от 1 до 5 остается прежним, но он выкидывает 26 шестерок (количество всех бросков становится 78).

P-level в этом случае оказывается 0,003, что гораздо меньше чем, 0,05. Есть серьезные основания сомневаться в правильности игральной кости. Вот, как выглядит эта вероятность на диаграмме распределения хи-квадрат.

Сам критерий хи-квадрат здесь получается 17,8, что, естественно, больше табличного (11,1).

Надеюсь, мне удалось объяснить, что такое критерий согласия χ 2 (хи-квадрат) Пирсона и как с его помощью проверяются статистические гипотезы.

Напоследок еще раз о важном условии! Критерий хи-квадрат исправно работает только в случае, когда количество всех частот превышает 50, а минимальное ожидаемое значение для каждой градации не меньше 5. Если в какой-либо категории ожидаемая частота менее 5, но при этом сумма всех частот превышает 50, то такую категорию объединяют с ближайшей, чтобы их общая часта превысила 5. Если это сделать невозможно, или сумма частот меньше 50, то следует использовать более точные методы проверки гипотез. О них поговорим в другой раз.

Ниже находится видео ролик о том, как в Excel проверить гипотезу с помощью критерия хи-квадрат.

Критерием согласия называется критерий значимости, применяемый для проверки гипотезы о законе распределения генеральной совокупности, из которой взята выборка.

Чаще всего исследователя интересует, соответствует ли распределение экспериментальных данных нормальному закону. Поэтому примеры будут связаны с проверкой экспериментального распределения на нормальность.

• Критерий Шапиро-Уилки
• Критерий хи-квадрат
• Критерий лямбда Колмогорова-Смирнова

КРИТЕРИЙ ШАПИРО-УИЛКИ

Условия применения: выборка небольшого объема

Н 0 – распределение генеральной совокупности из которой получена выборка совокупности соответствует нормальному закону.

Н 1 - распределение генеральной совокупности из которой получена выборка совокупности не соответствует нормальному закону.

Таблица 1 – Алгоритм расчета критерия Шапиро-Уилки.

№	x	x	Δk	k	ank	ankΔk
1	2	3	4	5	6	7
1	11,8	13,8	2	1	0,5739	1,1478
2	12	13,2	1,2	2	0,3291	0,39492
3	12,1	13	0,9	3	0,2141	0,19269
4	12,3	12,8	0,5	4	0,1224	0,0612
5	12,6	12,6	0	5	0,0399	0
6	12,6	12,6
7	12,8	12,3		Сумма=b = 17966
8	13	12,1
9	13,2	12
10	13,8	11,8

Порядок расчета критерия Шапиро-Уилки

1. Формулируем гипотезу Н 0 о соответствии распределения генеральной совокупности, из которой получены данные нормальному закону. Назначаем уровень значимости α=0,05.
2. Получаем выборку экспериментальных данных (столбец 1 табл.1). В нашем случае n=10.
3. Рассчитываем значение выборочной дисперсии. Для примера S 2 =0, 37.
4. Ранжируем выборку в возрастающем и убывающем порядке (столбцы 2 и 3)
5. Считаем разности Δk (столбец 5)
6. Из таблицы 6 Приложения(см. В.С.Иванов, 1990) находим значения коэффициентов ank (столбец 6)
7. Находим произведение ankΔk
8. Вычисляем b=сумма ankΔk= 1,7966
9. Рассчитываем значение критерия Wф по формуле:

1. Из табл. 7 Приложения (см. В.С.Иванов, 1990) находим критическое значение критерия Шапиро-Уилки для α=0,05 Wкрит= 0,842.
2. Вывод. Так как Wф>Wкрит, можно говорить, что экспериментальные данные соответствуют нормальному закону на уровне значимости 0,05.

КРИТЕРИЙ ХИ-КВАДРАТ

Разработан Карлом Пирсоном . Основан на построении интервального вариационного ряда и сравнении эмпирических (n эм) и теоретических (n т) частот (Рис.1).

Рис.1. Гистограмма, характеризующая эмпирическое распределение и функция плотности вероятностей нормального распределения.

Статистическая гипотеза : плотность распределения генеральной совокупности, из которой взята выборка, соответствует теоретической модели нормального распределения.

Значение фактического критерия хи-квадрат вычисляется по формуле:

Если фактическое значение критерия хи-квадрат больше или равно чем критическое значение критерия хи-квадрат, можно сделать вывод, что эмпирическое распределение не соответствует нормальному закону на уровне значимости α.

КРИТЕРИЙ ЛЯМБДА КОЛМОГОРОВА-СМИРНОВА

Разработан Андреем Николаевичем Колмогоровым и Николаем Васильевичем Смирновым .

Статистическая гипотеза : функция распределения генеральной совокупности (рис. 2), из которой взята выборка, соответствует функции распределения нормального закона.

Рис.2. Красные точки - кумулята, построенная на основе экспериментальных данных, синяя кривая - теоретическая функция распределения (нормальное распределение).

Значение критерия λ ф вычисляется по формуле:

Вывод: если λ ф > λ крит – эмпирическое распределение не соответствует нормальному на уровне значимости α.

ЛИТЕРАТУРА

1. Высшая математика и математическая статистика: учебное пособие для вузов / Под общ. ред. Г. И. Попова. – М. Физическая культура, 2007.– 368 с.
2. Основы математической статистики: Учебное пособие для ин-тов физ. культ / Под ред. В.С. Иванова.– М.: Физкультура и спорт, 1990. 176 с.

Для проверки гипотезы о соответствии эмпирического распределения теоретическому закону распределения используются особые статистические показатели - критерии согласия (или критерии соответствия). К ним относятся критерии Пирсона, Колмогорова, Романовского, Ястремского и др. Большинство критериев согласия базируется на использовании отклонений эмпирических частот от теоретических. Очевидно, что чем меньше эти отклонения, тем лучше теоретическое распределение соответствует эмпирическому (или описывает его).

Критерии согласия - это критерии проверки гипотез о соответствии эмпирического распределения теоретическому распределению вероятностей. Такие критерии подразделяются на два класса: общие и специальные. Общие критерии согласия применимы к самой общей формулировке гипотезы, а именно, к гипотезе о согласии наблюдаемых результатов с любым априорно предполагаемым распределением вероятностей. Специальные критерии согласия предполагают специальные нулевые гипотезы, формулирующие согласие с определенной формой распределения вероятностей.

Критерии согласия, опираясь на установленный закон распределения, дают возможность установить, когда расхождения между теоретическими и эмпирическими частотами следует признать несущественными (случайными), а когда - существенными (неслучайными). Из этого следует, что критерии согласия позволяют отвергнуть или подтвердить правильность выдвинутой при выравнивании ряда гипотезы о характере распределения в эмпирическом ряду и дать ответ, можно ли принять для данного эмпирического распределения модель, выраженную некоторым теоретическим законом распределения.

Критерий согласия Пирсона c 2 (хи-квадрат) - один из основных критериев согласия. Предложен английским математиком Карлом Пирсоном (1857-1936) для оценки случайности (существенности) расхождений между частотами эмпирического и теоретического распределений:

Схема применения критерия c 2 к оценке согласованности теоретического и эмпирического распределений сводится к следующему:

1. Определяется расчетная мера расхождения .

2. Определяется число степеней свободы.

3. По числу степеней свободы n с помощью специальной таблицы определяется .

4. Если , то при заданном уровне значимости α и числе степеней свободы n гипотезу о несущественности (случайности) расхождений отклоняют. В противном случае гипотезу можно признать не противоречащей полученным экспериментальным данным и с вероятностью (1 – α) можно утверждать, что расхождения между теоретическими и эмпирическими частотами случайны.

Уровень значимости - это вероятность ошибочного отклонения выдвинутой гипотезы, т.е. вероятность того, что будет отвергнута правильная гипотеза. В статистических исследованиях в зависимости от важности и ответственности решаемых задач пользуются следующими тремя уровнями значимости:

1) a = 0,1, тогда Р = 0,9;

2) a = 0,05, тогда Р = 0,95;

3) a = 0,01, тогда Р = 0,99.

Используя критерий согласия c 2 , необходимо соблюдать следующие условия:

1. Объем исследуемой совокупности должен быть достаточно большим (N ≥ 50), при этом частота или численность группы должна быть не менее 5. Если это условие нарушается, необходимо предварительно объединить небольшие частоты (меньше 5).

2. Эмпирическое распределение должно состоять из данных, полученных в результате случайного отбора, т.е. они должны быть независимыми.

Недостатком критерия согласия Пирсона является потеря части первоначальной информации, связанная с необходимостью группировки результатов наблюдений в интервалы и объединения отдельных интервалов с малым числом наблюдений. В связи с этим рекомендуется дополнять проверку соответствия распределений по критерию c 2 другими критериями. Особенно это необходимо при сравнительно малом объеме выборки (n ≈ 100).

В статистике критерий согласия Колмогорова (также известный, как критерий согласия Колмогорова - Смирнова) используется для того, чтобы определить, подчиняются ли два эмпирических распределения одному закону, либо определить, подчиняется ли полученное распределение предполагаемой модели. Критерий Колмогорова основан на определении максимального расхождения между накопленными частотами или частостями эмпирических или теоретических распределений. Критерий Колмогорова исчисляется по следующим формулам:

где D и d - соответственно максимальная разность между накопленными частотами (f – f ¢) и между накопленными частостями (p – p ¢) эмпирического и теоретического рядов распределений; N - число единиц в совокупности.

Рассчитав значение λ, по специальной таблице определяется вероятность, с которой можно утверждать, что отклонения эмпирических частот от теоретических случайны. Если признак принимает значения до 0,3, то это означает, что происходит полное совпадение частот. При большом числе наблюдений критерий Колмогорова способен обнаружить любое отступление от гипотезы. Это означает, что любое отличие распределения выборки от теоретического будет с его помощью обнаружено, если наблюдений будет достаточно много. Практическая значимость этого свойства не существенна, так как в большинстве случаев трудно рассчитывать на получение большого числа наблюдений в неизменных условиях, теоретическое представление о законе распределения, которому должна подчиняться выборка, всегда приближенное, а точность статистических проверок не должна превышать точность выбранной модели.

Критерий согласия Романовского основан на использовании критерия Пирсона, т.е. уже найденных значений c 2 , и числа степеней свободы:

где n - число степеней свободы вариации.

Критерий Романовского удобен при отсутствии таблиц для . Если < 3, то расхождения распределений случайны, если же > 3, то не случайны и теоретическое распределение не может служить моделью для изучаемого эмпирического распределения.

Б. С. Ястремский использовал в критерии согласия не число степеней свободы, а число групп (k ), особую величину q, зависящую от числа групп, и величину хи-квадрат. Критерий согласия Ястремского имеет тот же смысл, что и критерий Романовского, и выражается формулой

где c 2 - критерий согласия Пирсона; - число групп; q - коэффициент, для числа групп меньше 20 равный 0,6.

Если L факт > 3, расхождениz между теоретическими и эмпирическими распределениями неслучайны, т.е. эмпирическое распределение не отвечает требованиям нормального распределения. Если L факт < 3, расхождения между эмпирическим и теоретическим распределениями считаются случайными.

Так как все предположения о характере того или иного распределения - это гипотезы, а не категорические утверждения, то они, естественно, должны быть подвергнуты статистической проверке с помощью так называемых критериев согласия.

Критерии согласия, опираясь на установленный закон распределения, дают возможность установить, когда расхождения между теоретическими и эмпирическими частотами следует признать несущественными (случайными), а когда - существенными (неслучайными). Таким образом, критерии согласия позволяют отвергнуть или подтвердить правильность выдвинутой при выравнивании ряда гипотезы

о характере распределения в эмпирическом ряду и дать ответ, можно ли принять для данного эмпирического распределения модель, выраженную некоторым теоретическим законом распределения.

Существует ряд критериев согласия. Чаще других применяют критерии Пирсона, Романовского и Колмогорова. Рассмотрим их.

Критерий согласия Пирсона %2 (хи-квадрат) - один из основных критериев согласия. Критерий предложен английским математиком Карлом Пирсоном (1857-1936) для оценки случайности (существенности) расхождений между частотами эмпирического и теоретического распределений. Критерий Пирсона где к

число групп, на которые разбито эмпирическое распределение;

наблюдаемая частота признака в і-й группе; теоретическая частота, рассчитанная по предполагаемому распределению. Для распределения у} составлены таблицы, где указано критическое значение критерия согласия %2 для выбранного уровня значимости а и данного числа степеней свободы V (см. Приложение 4).

Уровень значимости а - вероятность ошибочного отклонения выдвинутой гипотезы, т.е. вероятность того, что будет отвергнута правильная гипотеза. В статистических исследованиях в зависимости от важности и ответственности решаемых задач пользуются следующими тремя уровнями значимости: 1)

а = 0,10, тогда Р = 0,90; 2)

а = 0,05, тогда Р = 0,95; 3)

а = 0,01, тогда Р = 0,99.

Например, вероятность 0,01 означает, что в одном случае из 100 может быть отвергнута правильная гипотеза. В экономических исследованиях считается практически приемлемой вероятность ошибки 0,05, т.е. в 5 случаях из 100 может быть отвергнута правильная гипотеза.

Кроме того, %2-критерий, определяемый по таблице, зависит и от числа степеней свободы. Число степеней свободы V определяется как число групп в ряду распределения к минус число связей с V

Под числом связей понимается число показателей эмпирического ряда, использованных при исчислении теоретических частот, т.е. показателей, связывающих эмпирические и теоретичес- / л

кие частоты

Так, в случае выравнивания по кривой нормального распределения имеется три связи:

х ~ х" " СУ = а" * х Ш = У

ЭМП теор’ ЭМП ТеОр> ^ 1ЭМП ^ /теор*

Поэтому при выравнивании по кривой нормального распределения число степеней свободы определяется как V = к - 3, где к - число групп в ряду.

В случае выравнивания по кривой Пуассона V = к - 2, так как при построении частот используются две ограничивающие связи: х, 1тг /

Для оценки существенности расчетное значение %2расч сравнивается с табличным %2табл.

При полном совпадении теоретического и эмпирического распределений %2 = 0, в противном случае %2 > 0.

Если Храсч > Xтабл’ Т0 ПРИ заданном уровне значимости а и числе степеней свободы V гипотезу о несущественности (случайности) расхождений отклоняем.

В случае если %2асч ^ Х2табЛ’ заключаем, что эмпирический ряд хорошо согласуется с гипотезой о предполагаемом распределении и с вероятностью (1 - а) можно утверждать, что расхождение между теоретическими и эмпирическими частотами случайно.

Используя критерий согласия?2, необходимо соблюдать следующие условия: 1)

объем исследуемой совокупности должен быть достаточно большим (УУ> 50), при этом частота или численность каждой группы должна быть не менее 5. Если это условие нарушается, необходимо предварительно объединить маленькие частоты; 2)

эмпирическое распределение должно состоять из данных, полученных в результате случайного отбора, т.е. они должны быть независимыми.

Если в эмпирическом ряду распределение задано частостями / \ т.

то у} следует исчислять по формуле

Критерий Романовского Кр основан на использовании критерия Пирсона %2, т.е. уже найденных значений %2, и числа степеней свободы v:

Он весьма удобен при отсутствии таблиц для %2.

Если Кр 3, то не случайны

и, соответственно, теоретическое распределение не может служить моделью для изучаемого эмпирического распределения.

Критерий Колмогорова X основан на определении максимального расхождения между накопленными частотами или частостями эмпирических и теоретических распределений:

X = -2= или X = , iN

где Dud- соответственно максимальная разность между накопленными частотами (F - F") и между накоплен-

ными частостями (р - р") эмпирического и теоретического рядов распределений;

N - число единиц в совокупности.

Рассчитав значение X, по таблице Р(к) (см.

Приложение 6) определяют вероятность, с которой можно утверждать, что отклонения эмпирических частот от теоретических случайны. Вероятность Р(к) может изменяться от 0 до 1. При Р(к) = 1 происходит полное совпадение частот, при Р(к) = 0 - полное расхождение. Если А, принимает значения до 0,3, то Р(к) = 1.

Основное условие для использования критерия Колмогорова - достаточно большое число наблюдений.

Пример. Используя данные табл. 5.17, проверить правильность выдвинутой гипотезы о распределении призывников района по закону нормального распределения. Величины, необходимые для расчета критериев согласия, приведены в табл. 5.19.

Таблица 5.19

Расчет величин для определения критериев согласия Пирсона х2 и Колмогорова X Рост, см Частоты ряда распределения (/п - т")2 т" F F" к- р,\ т т" А 1 2 3 4 5 6 156-160 8 5 1,8 8 5 3 161-165 17 16 0,1 25 21 4 166-170 42 40 0,1 67 61 6 171-175 54 65 1,9 121 126 5 176-180 73 73 0 194 199 5 181-185 57 57 0 251 256 5 186-190 38 30 2,1 289 286 3 191-195 11 11 0 300 297 3 X 300 297 6,0 Сначала рассчитаем критерий Пирсона

Затем выберем уровень значимости а = 0,05 и определим число степеней свободы V. В данном распределении 8 групп и число связей (параметров) равно 3, следовательно, V = 8 - 3 = 5. По таблице Приложения 4 найдем при а = 0,05 и V = 5 критерий Пирсона %2 = 11,07.

Так как %2расч Проверим выдвинутую гипотезу, используя критерий Романовского:

I X2 - V I 16,0 - 5 I 1

кр = ] Г=^ = 1 = --г = 0,3.

Так как Кр Критерий Романовского также подтверждает, что расхождения между эмпирическими и теоретическими частотами несущественны.

Рассмотрим теперь применение критерия Колмогорова А,. Как видно из табл. 5.19, максимальная разность между кумулятивными частотами равна 6, т.е. Б = шах!/1- Р"\ = 6. Следовательно, критерий Колмогорова

X = -?= = = 0,35.

По таблице Приложения 6 находим значение вероятности при X = 0,35: Р(Х) = 0,9997. Это означает, что с вероятностью, близкой к единице, можно утверждать, что гипотеза о нормальном распределении не отвергается, а расхождения эмпирического и теоретического распределений носят случайный характер.

Теперь, подтвердив правильность выдвинутой гипотезы с помощью известных критериев согласия, можно использовать результаты распределения для практической деятельности.

Пример. Используя данные табл. 5.18, проверить гипотезу о подчинении распределения числа неисправностей в автомобилях закону Пуассона.

Исходные данные и расчет величин, необходимых для определения критериев согласия, приведены в табл. 5.20.

Подсчитаем величину %2: 2

Дфасч ^ / 9

(см. табл. 5.20). хХтабл = 9>49

(см. Приложение 4).

Поскольку %2расч Таким образом, выдвинутая гипотеза о распределении числа неисправностей в автомобилях по закону Пуассона не отвергается.

Статистические гипотезы. Критерии согласия.

Нулевой (основной) называют выдвинутую гипотезу о виде неизвестного распределения, или о параметрах известных распределений. Конкурирующей (альтернативной) называют гипотезу , которая противоречит нулевой.

Например, если нулевая гипотеза состоит в предположении, что случайная величина X распределена по закону , то конкурирующая гипотеза может состоять в предположении, что случайная величина Х распределена по другому закону.

Статистическим критерием (или просто критерием ) называют некоторую случайную величину К , которая служит для проверки нулевой гипотезы.

После выбора определенного критерия, например критерия , множество всех его возможных значений разбивают на два непересекающихся подмножества: одно из них содержит значения критерия, при которых нулевая гипотеза отвергается, а другое - при которых она принимается.

Критической областью называют совокупность значений критерия, при которых нулевую гипотезу отвергают. Областью принятия гипотезы называют совокупность значений критерия, при которых гипотезу принимают. Критическими точками называют точки, отделяющие критическую область от области принятия нулевой гипотезы.

Для нашего примера, при значении , вычисленное по выборке значение соответствует области принятия гипотезы: случайная величина распределена по закону . Если же вычисленное значение , то оно попадает в критическую область, то есть гипотеза о распределении случайной величины по закону отвергается.

В случае распределения критическая область определяется неравенством , область принятия нулевой гипотезы – неравенством .

2.6.3. Критерий согласия Пирсона.

Одна из задач зоотехнии и ветеринарной генетики – выведение новых пород и видов с требуемыми признаками. Например, повышение иммунитета, резистентность к болезням или изменение окраски мехового покрова.

На практике, при анализе результатов, очень часто оказывается, что фактические результаты в большей или меньшей степени соответствуют некоторому теоретическому закону распределения. Возникает необходимость оценить степень соответствия фактических (эмпирических) данных и теоретических (гипотетических). Для этого выдвигают нулевую гипотезу : полученная совокупность распределена по закону «А». Проверка гипотезы о предполагаемом законе распределения производится при помощи специально подобранной случайной величины – критерия согласия.

Критерием согласия называют критерий проверки гипотезы о предполагаемом законе неизвестного распределения.

Имеется несколько критериев согласия: Пирсона, Колмогорова, Смирнова и д.р. Критерий согласия Пирсона используется наиболее часто.

Рассмотрим применение критерия Пирсона на примере проверки гипотезы о нормальном законе распределения генеральной совокупности. С этой целью будем сравнивать эмпирические и теоретические (вычисленные в продолжении нормального распределения) частоты.

Обычно между теоретическими и эмпирическими частотами есть некоторое различие. Например :

Эмпирические частоты 7 15 41 93 113 84 25 13 5

Теоретические частоты 5 13 36 89 114 91 29 14 6

Рассмотрим два случая:

Расхождение теоретических и эмпирических частот случайно (незначимо), т.е. можно сделать предложение о распределении эмпирических частот по нормальному закону;

Расхождение теоретических и эмпирических частот неслучайно (значимо), т.е. теоретические частоты вычислены, исходя из неверной гипотезы о нормальном распределении генеральной совокупности.

С помощью критерия согласия Пирсона можно определить случайно или нет расхождение теоретических и эмпирических частот, т.е. с заданной доверительной вероятностью определить, распределена генеральная совокупность по нормальному закону или нет.

Итак, пусть по выборке объема n получено эмпирическое распределение:

Варианты ……

Эмпирические частоты …….

Допустим, что в предположении нормального распределения вычислены теоретические частоты . При уровне значимости требуется проверить нулевую гипотезу : генеральная совокупность распределена нормально.

В качестве критерия проверки нулевой гипотезы примем случайную величину

(*)

Эта величина случайная, так как в различных опытах она принимает различные, заранее неизвестные значения. Ясно, что чем меньше различаются эмпирические и теоретические частоты, тем меньше величина критерия и, следовательно, он в известной степени характеризует близость эмпирического и теоретического распределений.

Доказано, что при закон распределения случайной величины (*), независимо от того, какому закону распределения подчинена генеральная совокупность, стремится к закону распределения с степенями свободы. Поэтому, случайная величина (*) обозначается через , а сам критерий называют критерий согласия «хи-квадрат».

Обозначим значение критерия, вычисленное по данным наблюдений, через . Табулированные критические значения критерия для данного уровня значимости и числа степеней свободы обозначают . При этом число степеней свободы определяют из равенства , где число групп (частичных интервалов) выборки или классов; - число параметров предполагаемого распределения. У нормального распределения два параметра – математическое ожидание и среднее квадратическое отклонение. Поэтому число степеней свободы для нормального распределения находят из равенства

Если для вычисленного значения и табличного значения выполняется неравенство , принимается нулевая гипотеза о нормальном распределении генеральной совокупности. Если же , нулевую гипотезу отвергают и принимают гипотезу, альтернативную ей (генеральная совокупность не распределена по нормальному закону).

Замечание. При использовании критерия согласия Пирсона объем выборки должен быть не менее 30. Каждая группа должна содержать не менее 5 вариант. Если же в группах окажется менее 5 частот, их объединяют с соседними группами.

В общем случае число степеней свободы для распределения хи-квадрат определяется как общее число величин, по которым вычисляют соответствующие показатели, минус число тех условий, которые связывают эти величины, т.е. уменьшают возможность вариации между ними. В простейших случаях при вычислении число степеней свободы будет равно числу классов, уменьшенному на единицу. Так, например, при дигибридном, расщеплении получают 4 класса, но не связанным получается лишь первый класс, последующие уже связаны с предыдущими. Поэтому для дигибридного расщепления число степеней свободы .

Пример 1. Определить степень соответствия фактического распределения групп по количеству больных туберкулезом коров с теоретически ожидаемым, которое было вычислено при рассмотрении нормального распределения. Исходные данные сведены в таблицу:

Решение.

По уровню значимости и числу степеней свободы из таблицы критических точек распределения (см. приложение 4) находим значение . Поскольку , можно сделать вывод, что различие между теоретическими и фактическими частотами носит случайный характер. Таким образом, фактическое распределение групп по количеству больных туберкулезом коров соответствует теоретически ожидаемому.

Пример 2. Теоретическое распределение по фенотипу особей, полученных во втором поколении при дигибридном скрещивании кроликов по закону Менделя составляет 9: 3: 3: 1. Требуется вычислить соответствие эмпирического распределения кроликов от скрещивания черных особей с нормальной шерстью с пуховыми животными – альбиносами. При скрещивании во втором поколении было получено 120 потомков, в том числе – 45 черных с короткой шерстью, 30 черных пуховых, 25 белых с короткой шерстью, 20 белых пуховых кроликов.

Решение. Теоретически ожидаемое расщепление в потомстве должно соответствовать соотношению четырех фенотипов (9: 3: 3: 1). Рассчитаем теоретические частоты (количество голов) для каждого класса:

9+3+3+1=16, значит можно ожидать, что черных короткошерстных будет ; черных пуховых - ; белых короткошерстных - ; белых пуховых - .

Эмпирическое (фактическое) распределение по фенотипам было следующим 45; 30; 25; 20.

Сведем все эти данные в следующую таблицу:

Используя критерий согласия Пирсона вычислим значение :

Число степеней свободы при дигибридном скрещивании . Для уровня значимости находим значение . Поскольку , можно сделать вывод, что различие между теоретическими и фактическими частотами является неслучайным. Следовательно, полученная группа кроликов отклоняется по распределению фенотипов от закона Менделя при дигибридном скрещивании и отражает влияние неких факторов, изменяющих тип расщепления по фенотипу у второго поколения помесей.

Критерий согласия хи- квадрат Пирсона можно использовать и для сравнения друг с другом двух однородных эмпирических распределений, т.е. таких, у которых одни и те же границы классов. В качестве нулевой гипотезы принимается гипотеза о равенстве двух неизвестных функций распределения. Критерий хи-квадрат в таких случаях определяется по формуле

(**)

где и - объемы сравниваемых распределений; и - частоты соответствующих классов.

Рассмотрим сравнение двух эмпирических распределений на следующем примере.

Пример 3. Проводился промер длины яиц кукушек по двум территориальным зонам. В первой зоне была обследована выборка из 76 яиц (), во второй из 54 (). Получены следующие результаты:

Длина (мм)
Частоты
Частоты									-	-	-

При уровне значимости требуется проверить нулевую гипотезу, что обе выборки яиц принадлежат одной популяции кукушек.