Bootstrap (англ.) – ремешок на заднике ботинка, облегчающий его надевание. В английском языке существует идиома – lift oneself by one's own bootstrap – дословно, поднять самого себя за ремешок собственного ботинка. В переносном смысле – выбиться в люди благодаря собственным усилиям; самому пробить себе дорогу; быть всем обязанным самому себе. В статистике так называется процедура, предложенная Б. Эфроном (Efron, 1979, 1982; Диаконис, Эфрон, 1983). Предположим, что у нас есть данные и некоторая последовательность вычислительных действий, например с использованием нейронных сетей или многомерного шкалирования или любых других эвристических алгоритмов. Мы хотим иметь представление о статистической устойчивости результатов расчета.
Если бы у нас было достаточно много случайных выборок из одной и той же генеральной совокупности, то задача решалась бы просто. Мы бы провели этот расчет на каждой выборке и получили бы распределение, а следовательно, среднее значение, дисперсию и доверительные интервалы для каждой характеристики, которая нас интересует. Проблема состоит в том, что у нас, как правило, имеется только одна выборка. Обычно в этом случае, за неимением лучшего, статистики предполагают (неизвестно откуда) известным генеральное распределение характеристики и считают неизвестными только значения параметров распределения, которые и оценивают по выборке.
Б. Эфрон нашел другой путь. Он предложил размножать исходную выборку. Пусть она состоит из N элементов. Новую выборку получим следующим образом. С помощью датчика случайных чисел с равными вероятностями выберем любой элемент исходной и включим его копию в новую выборку. Повторим процесс N раз. Выборка сформирована.
Новая выборка почти наверняка будет отличаться от исходной, потому что одни элементы исходной выборки случайно несколько раз попадут в новую выборку, другие – ни разу. Поэтому можно получить столько новых выборок, сколько потребуется. Подавляющее большинство из них будет отличаться от исходной выборки и друг от друга.
За прошедшие десятилетия бутстреп-метод хорошо изучен. Основные выводы заключаются в следующем. Среднее значение, полученное по совокупности новых выборок, будет смещено по сравнению с генеральным средним и не будет его оценкой, так как оно, естественно, будет колебаться вокруг среднего исходной выборки. А вот форма распределения и его дисперсия будут очень близки к генеральным для произвольного вида распределения. Поэтому для выборочного среднего можно получить достаточно надежные оценки доверительных интервалов.