Na análise de regressão linear simples, as estimativas αˆ e βˆ dos parâmetros α e β da reta de regressão podem ser obtidas pelo método de Mínimos Quadrados. Nesse caso, os valores dessas estimativas são obtidos através de uma amostra de n pares de valores Xi Yi com (i =1, 2, ....,n), obtendo-se: Yˆi = αˆ + βˆXi, onde Yˆi é a estimativa de Yi =α + β Xi . Para cada par de valores Xi Yi com (i =1, 2, ...,n) pode-se estabelecer o desvio ou resíduo − aqui denotado por ei − entre a reta de regressão Yi e sua estimativa Yˆi . Sabe-se que o Método de Mínimos Quadrados consiste em adotar como estimativas dos parâmetros α e β os valores que minimizam a soma dos quadrados dos desvios ei.
Desse modo, o Método de Mínimos Quadrados consiste em minimizar a expressão dada por:
