Questões de Concurso

Ao avaliar a performance de diversos modelos preditivos para um problema de regressão e outro de classificação, várias métricas podem ser utilizadas para determinar qual modelo oferece o melhor desempenho. Considere as métricas para regressão e classificação, bem como as técnicas de detecção de overfitting e underfitting.
Nesse contexto, quais métricas devem ser utilizadas para determinar qual modelo oferece o melhor desempenho?

(a)

Para avaliar um modelo de regressão, deve-se utilizar a métrica Accuracy (acurácia) para determinar a proporção de previsões corretas, enquanto, no problema de classificação, o uso do R² ajustado é essencial para medir a variabilidade explicada pelo modelo, ajustada pelo número de features.

(b)

Para modelos de classificação, é importante utilizar a métrica R² para entender a proporção da variância explicada pelo modelo, enquanto o F1-score deve ser utilizado em problemas de regressão em que há um equilíbrio significativo entre as classes.

(c)

Para a detecção de overfitting e de underfitting, pode ser realizada a observação do trade-off entre viés e variância nas curvas de aprendizagem, independentemente do tipo de modelo (regressão ou classificação), sendo as métricas Accuracy e R² ajustado suficientes para medir a performance em ambos os casos.

(d)

No problema de regressão, o RMSE (Root Mean Square Error) é ideal para avaliar a média dos erros ao quadrado das previsões, e, para problemas de classificação, a análise da matriz de confusão permite calcular métricas como Precision, Recall, e F1-score, auxiliando na detecção de overfitting e underfitting.

(e)

No problema de regressão, o uso do MAE (Mean Absolute Error) é preferível ao RMSE (Root Mean Square Error) quando se deseja penalizar fortemente grandes erros, e, para problemas de classificação, a matriz de confusão é suficiente para detectar overfitting e underfitting.