Достоинствами критерия наименьших квадратов являются простота математических выводов и легкость вычислительных процедур. Хорошие статистические свойства полученных оценок (несмещенность, состоятельность и эффективность) позволяют строить доверительные интервалы и использовать различные критерии проверки статистических гипотез. Однако следует иметь в виду, что критерий наименьших квадратов очень чувствителен к выбросам – аномальным (нетипичным) наблюдениям. Поэтому перед оцениванием параметров линейной регрессии необходимо очистить выборку от резких выбросов, то есть удалить соответствующие им наблюдения из таблицы данных (их стоит исследовать дополнительно, и может оказаться, что в них имеются скрытые закономерности).