Уровень значимости – это вероятность того, что мы сочли различия существенными, а они на самом деле случайны.

Когда мы указываем, что различия достоверны на 5%-ном уровне значимости, или при р ≤ 0,05, то мы имеем виду, что вероятность того, что они все-таки недостоверны, составляет 0,05.

Когда мы указываем, что различия достоверны на 1%-ном уровне значимости, или при р ≤ 0,01, то мы имеем в виду, что вероятность того, что они все-таки недостоверны, составляет 0,01.

Если перевести все это на более формализованный язык, то уровень значимости – это вероятность отклонения нулевой гипотезы, в то время как она верна.

Ошибка, состоящая в том, что мы отклонили нулевую гипотезу, в то время как она верна, называется ошибкой 1 рода.

Вероятность такой ошибки обычно обозначается как а. В сущности, мы должны были бы указывать в скобках не р ≤ 0,05 или р ≤ 0,01, а α ≤ 0,05 или α ≤ 0,01. В некоторых руководствах так и делается (Рунион Р., 1982; Захаров В.П., 1985 и др.).

Если вероятность ошибки – это а, то вероятность правильного решения: 1 – α. Чем меньше а, тем больше вероятность правильного решения.

Исторически сложилось так, что в психологии принято считать низшим уровнем статистической значимости 5%-ный уровень (р ≤ 0,05): достаточным – 1%-ный уровень (р ≤ 0,01) и высшим – 0,1%-ный уровень (р ≤ 0,001), поэтому в таблицах критических значений обычно приводятся значения критериев, соответствующих уровням статистической значимости р ≤ 0,05 и р ≤ 0,01, иногда – р ≤ 0,001. Для некоторых критериев в таблицах указан точный уровень значимости их разных эмпирических значений. Например, для φ* = 1,56 р = 0,06.

До тех пор, однако, пока уровень статистической значимости не достигнет р = 0,05, мы еще не имеем права отклонить нулевую гипотезу. В настоящем руководстве мы, вслед за Р. Рунионом (1982), будем придерживаться следующего правила отклонения гипотезы об отсутствии различий (Н₀) и принятия гипотезы о статистической достоверности различий (H₁).

Правило отклонения H₀ и принятия Н₁

Если эмпирическое значение критерия равняется критическому значению, соответствующему р ≤ 0,05, или превышает его, то Н₀ отклоняется, но мы еще не можем определенно принять Н₁. Если эмпирическое значение критерия равняется критическому значению, соответствующему р ≤ 0,01 или превышает его, то H₀ отклоняется и принимается Н₁.

Исключения: критерий знаков G, критерий Т Вилкоксона и критерий U Манна-Уитни. Для них устанавливаются обратные соотношения.

Уровень статистической значимости, или критические значения критериев, определяются по-разному при проверке направленных и ненаправленных статистических гипотез.

При направленной статистической гипотезе используется односторонний критерий, при ненаправленной гипотезе – двусторонний критерии. Двусторонний критерий более строг, поскольку он проверяет различия в обе стороны, и поэтому то эмпирическое значение критерия, которое ранее соответствовало уровню значимости р ≤ 0,05, теперь соответствует лишь уровню р ≤ 0,10.

В данном руководстве исследователю не придется всякий раз самостоятельно решать, использует ли он односторонний или двухсторонний критерий. Таблицы критических значений критериев подобраны таким образом, что направленным гипотезам соответствует односторонний, а ненаправленным – двусторонний критерий, и приведенные значения удовлетворяют тем требованиям, которые предъявляются к каждому из них. Исследователю необходимо лишь следить за тем, чтобы его гипотезы совпадали по смыслу и по форме с гипотезами, предлагаемыми в описании каждого из критериев.