Доверительная вероятность. Определение доверительного интервала и доверительной вероятности

В котором с той или иной вероятностью находится генеральный параметр. Вероятности, признанные достаточными для уверенного суждения о генеральных параметрах на основании выборочных показателей, называют доверительными .

Понятие о доверительных вероятностях вытекает из принципа, что маловероятные события считаются практически невозможными, а события, вероятность которых близка к единице, принимают за почти достоверные. Обычно в качестве доверительных используют вероятности Р 1 = 0.95, Р 2 = 0.99, Р 3 = 0.999. Определенным значениям вероятностей соответствуют уровни значимости , под которыми понимают разность α = 1-Р. Вероятности 0.95 соответствует уровень значимости α 1 = 0.05 (5%), вероятности 0.99 - α 2 = 0.01 (1%), вероятности 0.999 - α 3 = 0.001 (0.1%).

Это означает, что при оценке генеральных параметров по выборочным показателям существует риск ошибиться в первом случае 1 раз на 20 испытаний, т.е. в 5% случаев; во втором - 1 раз на 100 испытаний, т.е. в 1% случаев; в третьем - 1 раз на 1000 испытаний, т.е. в 0.1% случаев. Таким образом, уровень значимости обозначает вероятность получения случайного отклонения от установленных с определенной вероятностью результатов. Вероятности, принятые как доверительные, определяют доверительный интервал между ними. На них можно основывать оценку той или иной величины и те границы, в которых она может находиться при разных вероятностях.

Для различных вероятностей доверительные интервалы будут следующими:

Р 1 = 0.95 интервал - 1.96σ до + 1.96σ (рис. 5)

Р 2 = 0.99 интервал - 2.58σ до + 2.58σ

Р 3 = 0.999 интервал - 3.03σ до + 3.03σ

Доверительным вероятностям соответствуют следующие величины нормированных отклонений:

Вероятности Р 1 = 0.95 соответствует t 1 = 1.96σ

Вероятности Р 2 = 0.99 соответствует t 2 = 2.58σ

Вероятности Р 3 = 0.999 соответствует t 3 = 3.03σ

Выбор того или иного порога доверительной вероятности осуществляют исходя из важности события. Уровень значимости в таком случае - эта та вероятность, которой решено пренебрегать в данной исследовании или явлении.

Средняя ошибка (m), или ошибка репрезентативности.

Выборочные характеристика, как правило, не совпадают по абсолютной величине с соответствующими генеральными параметрами. Величину отклонения выборочного показателя от его генерального параметра называют статистической ошибкой, или ошибкой репрезентативности. Статистические ошибки присущи только выборочным характеристикам, они возникают в процессе отбора вариант из генеральной совокупности.

Средняя ошибка вычисляется по формуле:

где σ - среднее квадратическое отклонение,

n - количество измерений (объем выборки).

Выражается в тех же единицах измерения, что и .

Величина средней ошибки обратно пропорциональна численности выборочной совокупности. Чем больше размеры выборки, тем меньше средняя ошибка, а следовательно, меньше расхождение между значениями признаков в выборочных и генеральной совокупностях.

Среднюю ошибку выборки можно использовать для оценки генеральной средней согласно закону нормального распределения. Так, в пределах ±1 находится 68.3% всех выборочных средних арифметических , в пределах ±2 - 95.5% всех выборочных средних , в пределах ±3 - 99.7% всех выборочных средних .

Доверительный интервал пришел к нам из области статистики. Это определенный диапазон, который служит для оценки неизвестного параметра с высокой степенью надежности. Проще всего это будет пояснить на примере.

Предположим, нужно исследовать какую-либо случайную величину, например, скорость отклика сервера на запрос клиента. Каждый раз, когда пользователь набирает адрес конкретного сайта, сервер реагирует на это с разной скоростью. Таким образом, исследуемое время отклика имеет случайный характер. Так вот, доверительный интервал позволяет определить границы этого параметра, и затем можно будет утверждать, что с вероятностью в 95% сервера будет находиться в рассчитанном нами диапазоне.

Или же нужно узнать, какому количеству людей известно о торговой марке фирмы. Когда будет подсчитан доверительный интервал, то можно будет, к примеру, сказать что с 95% долей вероятности доля потребителей, знающих о данной находится в диапазоне от 27% до 34%.

С этим термином тесно связана такая величина, как доверительная вероятность. Она представляет собой вероятность того, что искомый параметр входит в доверительный интервал. От этой величины зависит то, насколько большим окажется наш искомый диапазон. Чем большее значение она принимает, тем уже становится доверительный интервал, и наоборот. Обычно ее устанавливают равной 90%, 95% или 99%. Величина 95% наиболее популярна.

На данный показатель также оказывает влияние дисперсия наблюдений и Его определение основано на том предположении, что исследуемый признак подчиняется Это утверждение известно также как Закон Гаусса. Согласно ему, нормальным называется такое распределение всех вероятностей непрерывной случайной величины, которое можно описать плотностью вероятностей. Если предположение о нормальном распределении оказалось ошибочным, то оценка может оказаться неверной.

Сначала разберемся с тем, как вычислить доверительный интервал для Здесь возможны два случая. Дисперсия (степень разброса случайной величины) может быть известна либо нет. Если она известна, то наш доверительный интервал вычисляется с помощью следующей формулы:

хср - t*σ / (sqrt(n)) <= α <= хср + t*σ / (sqrt(n)), где

α - признак,

t - параметр из таблицы распределения Лапласа,

σ - квадратный корень дисперсии.

Если дисперсия неизвестна, то ее можно рассчитать, если нам известны все значения искомого признака. Для этого используется следующая формула:

σ2 = х2ср - (хср)2, где

х2ср - среднее значение квадратов исследуемого признака,

(хср)2 - квадрат данного признака.

Формула, по которой в этом случае рассчитывается доверительный интервал немного меняется:

хср - t*s / (sqrt(n)) <= α <= хср + t*s / (sqrt(n)), где

хср - выборочное среднее,

α - признак,

t - параметр, который находят с помощью таблицы распределения Стьюдента t = t(ɣ;n-1),

sqrt(n) - квадратный корень общего объема выборки,

s - квадратный корень дисперсии.

Рассмотри такой пример. Предположим, что по результатам 7 замеров была определена исследуемого признака, равная 30 и дисперсия выборки, равная 36. Нужно найти с вероятностью в 99% доверительный интервал, который содержит истинное значение измеряемого параметра.

Вначале определим чему равно t: t = t (0,99; 7-1) = 3.71. Используем приведенную выше формулу, получаем:

хср - t*s / (sqrt(n)) <= α <= хср + t*s / (sqrt(n))

30 - 3.71*36 / (sqrt(7)) <= α <= 30 + 3.71*36 / (sqrt(7))

21.587 <= α <= 38.413

Доверительный интервал для дисперсии рассчитывается как в случае с известным средним, так и тогда, когда нет никаких данных о математическом ожидании, а известно лишь значение точечной несмещенной оценки дисперсии. Мы не будем приводить здесь формулы его расчета, так как они довольно сложные и при желании их всегда можно найти в сети.

Отметим лишь, что доверительный интервал удобно определять с помощью программы Excel или сетевого сервиса, который так и называется.

Ранее нами было рассмотрено определение доверительной вероятности для отдельного измерения X i с помощью табл. 1.1, то есть определение вероятности того, что X i не будет отклоняться от истинного значения более чем на величину ΔX.

Однако, наиболее важной задачей является определение величины отклонения от истинного значения X ист среднего арифметического результатов измерений. Для решения поставленной задачи также можно воспользоваться табл. 1.1, взяв, вместо величины σ величину σ , то есть у / (n 0.5) или с учетом (1.14), для конечного числа измерений

Средняя квадратичная ошибка среднего арифметического S n равна средней квадратичной ошибке отдельного результата, деленой на корень квадратный из числа измерений.

Это фундаментальный закон возрастания точности при росте наблюдений. Из него следует, что для повышения точности измерений в 2 раза необходимо увеличить число измерений в 4 раза. Однако этот вывод относится только к измерениям, в которых точность результата полностью определяется случайной ошибкой.

Обычно выполняется сравнительно небольшое число измерений для n которых определяется величина S n . Если при оценке доверительной вероятности считать, что значение S n совпадает с у и пользоваться табл. 1.1, то будем получать завышенные значения α. Из того, что σ является пределом S n при n → ∞, следует, что S n пропорциональна величине σ . Коэффициент пропорциональности зависит от числа измерений и отражает степень приближения S n к σ . На основании этого интервал ΔX можно представить в виде

Значения величины t αn , носящей название коэффициента Стьюдента, вычислены для различных значений n и α и приведены в табл. 1.2. Сравнивая приведенные в ней данные с данными табл. 1.1, легко убедиться, что при больших n величина t αn стремится к соответствующим значениям величины ε. Это естественно, так как с увеличением n S n стремится к σ .

Используя коэффициенты Стьюдента, мы можем переписать равенство (1.14) в виде

Пользуясь этим соотношением и табл. 1.2, легко определить доверительные интервалы и доверительные вероятности при любом небольшом числе измерений. После выполнения измерений должны быть известны все величины, входящие в это выражение - одни из них могут быть наперед заданы, другие необходимо определить.

Мерой точности результатов измерений является относительная погрешность (ошибка), обычно выражаемая в процентах (%):

Величину ϕ = 1/δ, обратную относительной погрешности называют точностью измерений.

Используя таблицу коэффициентов Стьюдента, можно решить и обратную задачу: по известной абсолютной погрешности измерительного прибора и заданной величине надежности определить необходимое число измерений в серии.

ПРИМЕНЕНИЕ ТЕОРИИ ВЕРОЯТНОСТИ К СТАТИСТИКЕ.

1. Основные понятия.

2. Определение неизвестной функции распределения.

3. Определение неизвестных параметров распределения.

4. Доверительный интервал. Доверительная вероятность.

5. Применение критерия Стьюдента для сравнения генеральных

совокупностей.

6. Элементы теории корреляции.

7. Проверка гипотезы о нормальном распределении генеральной

совокупности. Критерий согласия Пирсона.

Основные понятия.

Математическая статистика - это раздел математики, в котором изучаются методы обработки и анализа экспериментальных данных, полученных в результате наблюдений над массовыми случайными событиями, явлениями.

Наблюдения, проводимые над объектами, могут охватывать всех членов изучаемой совокупности без исключения и могут ограничиваться обследованиями лишь некоторой части членов данной совокупности. Первое наблюдение называется сплошным или полным, второе частичным или выборочным .

Естественно, что наиболее полную информацию дает сплошное наблюдение, однако к нему прибегают далеко не всегда. Во-первых, сплошное наблюдение очень трудоемко, а во-вторых, часто бывает практически невозможно или даже нецелесообразно. Поэтому в подавляющем большинстве случаев прибегают к выборочному исследованию.

Совокупность, из которой некоторым образом отбирается часть ее членов для совместного изучения, называется генеральной совокупностью , а отобранная тем или иным способом часть генеральной совокупности - выборочная совокупность или выборка .

Объем генеральной совокупности теоретически ничем неограничен , на практике же он всегда ограничен.

Объем выборки может быть большим или малым, но он не может быть меньше двух.

Отбор в выборку можно проводить случайным способом (по способу жеребьевки или лотереи). Либо планово, в зависимости от задачи и организации обследования. Для того, чтобы выборка была представительной, необходимо обращать внимание на размах варьирования признака и согласовывать с ним объем выборки.

2. Определение неизвестной функции распределения.

Итак, мы сделали выборку. Разобьем диапазон наблюдаемых значений на интервалы , , …. одинаковой длины . Для оценки необходимого числа интервалов можно использовать следующие формулы:

Далее пусть m i - число наблюдаемых значений , попавших в i -ый интервал. Разделив m i на общее число наблюдений n , получим частоту , соответствующую i -ому интервалу: , причем . Составим следующую таблицу:

Номер интервала	Интервал	m i
		m 1
		m 2
...	...	...	...
k		m k

которая называется статистическим рядом . Эмпирической (или статистической ) функцией распределения случайной величины называется частота события, заключающегося в том, что величина в результате опыта примет значение, меньшее x :

На практике достаточно найти значения статистической функции распределения F * (x) в точках , которые являются границами интервалов статистического ряда:

(5.2)

Следует заметить, что при и при . Построив точки и соединив их плавной кривой, получим приближенный график эмпирической функции распределения (рис. 5.1). Используя закон больших чисел Бернулли, можно доказать, что при достаточно большом числе испытаний с вероятностью, близкой к единице, эмпирическая функция распределения отличается сколь угодно мало от неизвестной нам функции распределения случайной величины .

Часто вместо построения графика эмпирической функции распределения поступают следующим образом. На оси абсцисс откладывают интервалы , ,…. . На каждом интервале строят прямоугольник, площадь которого равна частоте , соответствующей данному интервалу. Высота h i этого прямоугольника равна , где - длинна каждого из интервалов. Ясно, что сумма площадей всех построенных прямоугольников равна единице.

Рассмотрим функцию , которая в интервале постоянна и равна . График этой функции называется гистограммой . Он представляет собой ступенчатую линию (рис. 5.2). С помощью закона больших чисел Бернулли можно доказать, что при малых и больших с практической достоверностью как угодно мало отличается от плотности распределения непрерывной случайной величины .

Таким образом на практике определяется вид неизвестной функции распределения случайной величины.

3. Определение неизвестных параметров распределения.

Таким образом мы получили гистограмму, которая дает наглядность. Наглядность представленных результатов позволяет сделать различные заключения, суждения об исследуемом объекте.

Однако на этом обычно не останавливаются, а идут дальше, анализируя данные на проверку определенных предположений относительно возможных механизмов изучаемых процессов или явлений.

Несмотря на то, что данных в каждом обследовании сравнительно немного, мы бы хотели, чтобы результаты анализа достаточно хорошо описывали бы все реально существующее или мыслимое множество (т.е. генеральную совокупность).

Для этого делают некоторые предположения о том, как вычисленные на основе экспериментальных данных (выборке) показатели соотносятся с параметрами генеральной совокупности.

Решение этой задачи составляет главную часть любого анализа экспериментальных данных и тесно связано с использованием ряда теоретических распределений, рассмотренных выше.

Широкое использование в статистических выводах нормального распределения имеет под собой как эмпирическое, так и теоретическое обоснование.

Во-первых, практика показывает, что во многих случаях нормальное распределение действительно является довольно точным представлением экспериментальных данных.

Во-вторых, теоретически показано, что средние значения интервалов гистограмм распределены по закону, близкому к нормальному.

Однако следует четко представлять, что нормальное распределение - это лишь чисто математический инструмент и совсем необязательно, чтобы реальные экспериментальные данные точно описывались нормальным распределением. Хотя во многих случаях, допуская небольшую ошибку, можно говорить, что данные распределены нормально.

Ряд показателей, такие как среднее, дисперсия и т.д., характеризуют выборку и называются статистиками. Такие же показатели, но относящиеся к генеральной совокупности в целом, называются параметрами. Таким образом, можно сказать, что статистики служат для оценки параметров.

Генеральной средней называется среднее арифметическое значений генеральной совокупности объема :

Выборочной средней называется среднее арифметическое выборки объема :

(5.4)

если выборка имеет вид таблицы.

Выборочную среднюю принимают в качестве оценки генеральной средней.

Генеральной дисперсией называется среднее арифметическое квадратов отклонения значений генеральной совокупности от их среднего значения :

Генеральным средним квадратическим отклонением называется корень квадратный из генеральной дисперсии: .

Выборочной дисперсией называется среднее арифметическое квадратов отклонения значений выборки от их среднего значения :

Выборочное среднее квадратическое отклонение определяется как .

Для лучшего совпадения с результатами экспериментов, вводят понятие эмпирической (или исправленной) дисперсии :

Для оценки генерального среднего квадратического отклонения служит исправленное среднее квадратическое отклонение, или эмпирический стандарт :

(5.5)

В случае, когда все значения выборки различны, т.е. , , формулы для и принимают вид:

(5.6)

Доверительный интервал. Доверительная вероятность.

Различные статистики, получаемые результате вычислений, представляют собой точечные оценки соответствующих параметров генеральной совокупности.

Если из генеральной совокупности извлечь некоторое количество выборок и для каждой из них найти интересующие нас статистики, то вычисленные значения будут представлять собой случайные величины, имеющие некоторый разброс вокруг оцениваемого параметра.

Но, как правило, в результате эксперимента в распоряжении исследователя имеется одна выборка. Поэтому значительный интерес представляет получение интервальной оценки, т.е. некоторого интервала, внутри которого, как можно предположить, лежит истинное значение параметра.

Вероятности, признанные достаточными для уверенных суждениях о параметрах генеральной совокупности на основании статистик, называются доверительными.

Для примера рассмотрим как оценку параметра .

Интервал

Рассмотренные точечные оценки параметров распределения дают оценку в виде числа, наиболее близкого к значению неизвестного параметра. Такие оценки используют только при большом числе измерений. Чем меньше объем выборки, тем легче допустить ошибку при выборе параметра. Для практики важно не только получить точечную оценку, но и определить интервал, называемый доверительным, между границами которого с заданной дове рителъной вероятностью

где q - уровень значимости; х н, х в - нижняя и верхняя границы интервала, находится истинное значение оцениваемого параметра.

В общем случае доверительные интервалы можно строить на основе неравенства Чебышева. При любом законе распределения случайной величины, обладающей моментами первых двух порядков, верхняя граница вероятности попадания отклонения случайной величины х от центра распределения Х ц в интервал tS x описывается неравенством Чебышева

где S x - оценка СКО распределения; t - положительное число.

Для нахождения доверительного интервала не требуется знать закон распределения результатов наблюдений, но нужно знать оценку СКО. Полученные с помощью неравенства Чебышева интервалы оказываются слишком широкими для практики. Так, доверительной вероятности 0,9 для многих законов распределений соответствует доверительный интервал 1,6S X . Неравенство Чебышева дает в данном случае 3,16S X . В связи с этим оно не получило широкого распространения.

В метрологической практике используют главным образом кван-тильные оценки доверительного интервала. Под 100P-процентным квантилем х р понимают абсциссу такой вертикальной линии, слева от которой площадь под кривой плотности распределения равна Р%. Иначе говоря, квантиль - это значение случайной величины (погрешности) с заданной доверительной вероятностью Р. Например, медиана распределения является 50%-ным квантилем х 0,5 .

На практике 25- и 75%-ный квантили принято называть сгибами, или квантилями распределения. Между ними заключено 50% всех возможных значений случайной величины, а остальные 50% лежат вне их. Интервал значений случайной величины х между х 0 05 и х 0 95 охватывает 90% всех ее возможных значений и называется интерквантильным промежутком с 90%-ной вероятностью. Его протяженность равна d 0,9 = х 0,95 - х 0,05 .

На основании такого подхода вводится понятие квантильных значений погрешности, т.е. значений погрешности с заданной доверительной вероятностью Р - границ интервала неопределенности ± D Д = ± (х р - х 1-р)/2 = ± d p /2. На его протяженности встречается Р% значений случайной величины (погрешности), a q = (1- Р)% общего их числа остаются за пределами этого интервала.

Для получения интервальной оценки нормально распределенной случайной величины необходимо:

Определить точечную оценку МО х̅ и СКО S x случайной величины по формулам (6.8) и (6.11) соответственно;

Найти верхнюю х в и нижнюю х н границы в соответствии с уравнениями

полученными с учетом (6.1). Значения х н и х в определяются из таблиц значений интегральной функции распределения F(t) или функции Лапласа Ф(1).

Полученный доверительный интервал удовлетворяет условию

где n - число измеренных значений; z p - аргумент функции Лапласа Ф(1), отвечающей вероятности Р/2. В данном случае z p называется квантильным множителем. Половина длины доверительного интервала называется доверительной границей погрешности результата измерений.

Пример 6.1. Произведено 50 измерений постоянного сопротивления. Определить доверительный интервал для МО значения постоянного сопротивления, если закон распределения нормальный с параметрами m x = R = 590 Ом, S x = 90 Ом при доверительной вероятности Р = 0,9.

Так как гипотеза о нормальности закона распределения не противоречит опытным данным, доверительный интервал определяется по формуле

Отсюда Ф(z р) = 0,45. Из таблицы, приведенной в приложении 1, находим, что z p = 1,65. Следовательно, доверительный интервал запишется в виде

Или 590 - 21 < R < 590 + 21. Окончательно 509 Ом < R < 611 Ом.

При отличии закона распределения случайной величины от нормального необходимо построить его математическую модель и определять доверительный интервал с ее использованием.

Рассмотренный способ нахождения доверительных интервалов справедлив для достаточно большого числа наблюдений n, когда s = S x . Следует помнить, что вычисляемая оценка СКО S x является лишь некоторым приближением к истинному значению s. Определение доверительного интервала при заданной вероятности оказывается тем менее надежным, чем меньше число наблюдений. Нельзя пользоваться формулами нормального распределения при малом числе наблюдений, если нет возможности теоретически на основе предварительных опытов с достаточно большим числом наблюдений определить СКО.

Расчет доверительных интервалов для случая, когда распределение результатов наблюдений нормально, но их дисперсия неизвестна, т.е. при малом числе наблюдений п, возможно выполнить с использованием распределения Стьюдента S(t,k). Оно описывает плотность распределения отношения (дроби Стьюдента):

где Q - истинное значение измеряемой величины. Величины х̅, S x . и S x ̅ вычисляются на основании опытных данных и представляют собой точечные оценки МО, СКО результатов измерений и СКО среднего арифметического значения.

Вероятность того, что дробь Стьюдента в результате выполненных наблюдений примет некоторое значение в интервале (- t p ; + t p)

где k - число степеней свободы, равное (п - 1). Величины t p (называемые в данном случае коэффициентами Стьюдента), рассчитанные с помощью двух последних формул для различных значений доверительной вероятности и числа измерений, табулированы (см. таблицу в приложении 1). Следовательно, с помощью распределения Стьюдента можно найти вероятность того, что отклонение среднего арифметического от истинного значения измеряемой величины не превышает

В тех случаях, когда распределение случайных погрешностей не является нормальным, все же часто пользуются распределением Стьюдента с приближением, степень которого остается неизвестной. Распределение Стьюдента применяют при числе измерений n < 30, поскольку уже при n = 20, ...,30 оно переходит в нормальное и вместо уравнения (6.14) можно использовать уравнение (6.13). Результат измерения записывается в виде: ; P = Р д, где Р д - конкретное значение доверительной вероятности. Множитель t при большом числе измерений n равен квантильному множителю z p . При малом n он равен коэффициенту Стьюдента.

Полученный результат измерения не является одним конкретным числом, а представляет собой интервал, внутри которого с некоторой вероятностью Р д находится истинное значение измеряемой величины. Выделение середины интервала х вовсе не предполагает, что истинное значение ближе к нему, чем к остальным точкам интервала. Оно может быть в любом месте интервала, а с вероятностью 1 - Р д даже вне его.

Пример 6.2. Определение удельных магнитных потерь для различных образцов одной партии электротехнической стали марки 2212 дало следующие результаты: 1,21; 1,17; 1,18; 1,13; 1,19; 1,14; 1,20 и 1,18 Вт/кг. Считая, что систематическая погрешность отсутствует, а случайная распределена по нормальному закону, требуется определить доверительный интервал при значениях доверительной вероятности 0,9 и 0,95. Для решения задачи использовать формулу Лапласа и распределение Стьюдента.

По формулам (6.8) в (6.11) находим оценки среднего арифметического значения и СКО результатов измерений. Они соответственно равны 1,18 и 0,0278 Вт/кг. Считая, что оценка СКО равна самому отклонению, находим:

Отсюда, используя значения функции Лапласа, приведенные в таблице приложения 1, определяем, что z p = 1,65. Для Р = 0,95 коэффициент z p =1,96. Доверительные интервалы, соответствующие Р = 0,9 и 0,95, равны 1,18 ± 0,016 и 1,18±0,019 Вт/кг.

По таблице приложения 1 находим, что t 0,9 = 1,9 и t 0,95 = 2,37. Отсюда доверительные интервалы соответственно равны 1,18±0,019 и 1,18±0,023 Вт/кг.