Aplicación Práctica: Regresión Logística

Aplicación Práctica: Regresión Logística en el Ámbito de la Educación

La regresión logística es un método estadístico que se utiliza para modelar la probabilidad de un resultado binario. Es muy utilizada en el campo del aprendizaje supervisado en la ciencia de datos. Aquí están los conceptos clave de la regresión logística:

Variable Dependiente Binaria: A diferencia de la regresión lineal, donde la variable dependiente es continua, en la regresión logística, la variable dependiente es binaria, es decir, solo tiene dos posibles resultados (como sí/no, 0/1, verdadero/falso).

Función Logística/Sigmoide: La regresión logística utiliza una función logística para modelar la probabilidad de que la variable dependiente pertenezca a una de las categorías. Esta función tiene una forma de "S" y convierte cualquier valor de entrada en un valor entre 0 y 1, lo que lo hace adecuado para modelar probabilidades.

Odds Ratio: En la regresión logística, las probabilidades de que ocurra un evento se expresan a menudo en términos de "odds", que es la razón de la probabilidad de que el evento ocurra dividida por la probabilidad de que no ocurra.

Estimación de Máxima Verosimilitud: Se utiliza un método llamado estimación de máxima verosimilitud para estimar los parámetros del modelo. Este método busca maximizar la probabilidad de los datos observados bajo el modelo.

Coeficientes: Los coeficientes en la regresión logística representan el cambio en el logaritmo de odds de la variable dependiente para una unidad de cambio en la variable independiente.

Valor de p y Odds Ratio en la Interpretación: Los valores de p se utilizan para determinar la significancia estadística de los coeficientes, mientras que el odds ratio se usa para entender la fuerza de la asociación.

Multicolinealidad: Al igual que en la regresión lineal, la multicolinealidad entre las variables independientes puede ser un problema, afectando la precisión de las estimaciones de los coeficientes.

Validación del Modelo: La validación de un modelo de regresión logística a menudo implica evaluar su precisión, sensibilidad, especificidad y el área bajo la curva ROC (Receiver Operating Characteristic).

Ejemplo de Proyecto: Predicción del Éxito Académico de Estudiantes de Ingeniería de Sistemas

Objetivo: Desarrollar un modelo de regresión logística para predecir la probabilidad de que los estudiantes de Ingeniería de Sistemas aprueben o no sus cursos, especialmente aquellos considerados críticos o difíciles.

Variables a Considerar:

1. Variable Dependiente (Resultado):

Éxito Académico: Binario (1: aprueba el curso, 0: no aprueba el curso).

2. Variables Independientes (Predictores):

Rendimiento Académico Previo: Promedio de calificaciones anteriores.
Asistencia a Clases: Porcentaje de asistencia a las clases.
Participación en Proyectos o Laboratorios: Binario (1: participa activamente, 0: participación baja o nula).
Horas de Estudio Semanales: Cantidad de horas dedicadas al estudio fuera de clase.
Cursos Simultáneos: Número de otros cursos que el estudiante está tomando.
Evaluaciones Formativas: Puntajes en exámenes o trabajos antes del examen final.

Pasos para Implementar el Proyecto:

1. Recolección de Datos: Obtener datos históricos de estudiantes de Ingeniería de Sistemas, incluyendo sus calificaciones, asistencia, y otros factores mencionados.
2. Preprocesamiento de Datos: Limpieza, codificación de variables categóricas, y normalización de datos.
3. Análisis Exploratorio de Datos: Examinar las distribuciones, correlaciones y posibles anomalías en los datos.
4. Entrenamiento del Modelo de Regresión Logística: Utilizar los datos para entrenar el modelo, ajustando los coeficientes para las variables independientes.
5. Validación y Evaluación del Modelo: Utilizar un conjunto de datos de prueba y métricas como la precisión, matriz de confusión, sensibilidad, especificidad y el área bajo la curva ROC.
6. Interpretación y Aplicación de Resultados: Analizar qué factores tienen más influencia en el éxito académico y utilizar esta información para intervenir de manera proactiva con los estudiantes que podrían estar en riesgo de fracaso académico.

Beneficios Potenciales:

Intervención Temprana: Identificar estudiantes en riesgo permite una intervención temprana.
Personalización del Aprendizaje: Ajustar métodos de enseñanza según las necesidades de los estudiantes.
Mejora Continua: Los resultados pueden informar sobre cómo mejorar los métodos de enseñanza y el diseño de los cursos.

Consideraciones Éticas:

Confidencialidad de los Datos: Asegurarse de que los datos de los estudiantes se manejen de manera confidencial y ética.
Evitar Sesgos: Ser consciente de no crear ni perpetuar sesgos a través del modelo.

He generado un conjunto de datos para el ejemplo de predicción del éxito académico en estudiantes de Ingeniería de Sistemas.

Dataset Exito Academico_Regresion Logistica

En este conjunto de datos hay:

Promedio Calificaciones: Varía de 0 a 10.
Asistencia Clases: Porcentaje de asistencia a clases, varía de 50% a 100%.
Participación Proyectos: Binario, indica si el estudiante participa activamente en proyectos o laboratorios (1) o no (0).
Horas Estudio Semanales: Número de horas dedicadas al estudio fuera de clase, varía de 1 a 20 horas.
Cursos Simultáneos: Número de otros cursos que el estudiante está tomando, varía de 1 a 6.
Evaluaciones Formativas: Puntajes en exámenes o trabajos antes del examen final, varía de 40 a 100.
Éxito Académico: Binario, indica si el estudiante aprueba (1) o no (0) un curso crítico o difícil.

Comparto el código para entrenar el modelo con el dataset:

- Este código realizara los siguientes pasos:
- Carga los datos desde un archivo CSV.
- Prepara las variables independientes (X) y la variable dependiente (y).
- Entrena un modelo de regresión logística utilizando statsmodels.
- Muestra un resumen del modelo, incluyendo los coeficientes y su significancia.
- Visualiza las probabilidades predichas con un histograma.
- Calcula y muestra la curva ROC y el área bajo la curva (AUC), que son medidas comunes del rendimiento del modelo.

import pandas as pd
import numpy as np
import statsmodels.api as sm
import matplotlib.pyplot as plt
import seaborn as sns

# Cargar datos
data = pd.read_csv('Dataset_Exito_Academico_Modificado.csv')

# Definir la variable dependiente y las independientes
X = data[['Promedio_Calificaciones', 'Asistencia_Clases', 'Participacion_Proyectos', 
          'Horas_Estudio_Semanales', 'Cursos_Simultaneos', 'Evaluaciones_Formativas']]
y = data['Exito_Academico']

# Agregar una constante a las variables independientes
X = sm.add_constant(X)

# Crear el modelo de regresión logística
modelo = sm.Logit(y, X).fit()

# Mostrar el resumen del modelo
print(modelo.summary())

# Predicciones (probabilidades)
predicciones = modelo.predict(X)

# Crear un histograma de las probabilidades predichas
plt.hist(predicciones, bins=8, color='blue', alpha=0.7)
plt.title('Histograma de Probabilidades Predichas')
plt.show()

# Curva ROC
from sklearn.metrics import roc_curve, auc

fpr, tpr, thresholds = roc_curve(y, predicciones)
roc_auc = auc(fpr, tpr)

plt.figure()
plt.plot(fpr, tpr, color='darkorange', lw=2, label='Curva ROC (área = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('Tasa de Falsos Positivos')
plt.ylabel('Tasa de Verdaderos Positivos')
plt.title('Característica Operativa del Receptor (ROC)')
plt.legend(loc="lower right")
plt.show()

El código proporcionado es adecuado para analizar el ejemplo anterior sobre la predicción del éxito académico de los estudiantes de Ingeniería de Sistemas utilizando regresión logística. Aquí te detallo cómo se alinea el código con el ejemplo:

Carga de Datos: El código comienza cargando el dataset desde un archivo CSV. Deberás reemplazar 'ruta_a_tu_archivo.csv' con la ruta al archivo CSV que contiene tu dataset.

Preparación de Variables:

Variables Independientes (X): Incluye las características de los estudiantes como el promedio de calificaciones, asistencia a clases, participación en proyectos, horas de estudio semanales, número de cursos simultáneos y evaluaciones formativas.
Variable Dependiente (y): Es el éxito académico, que es una variable binaria indicando si un estudiante aprueba o no.
Modelo de Regresión Logística: Utiliza statsmodels para ajustar un modelo de regresión logística a los datos. Este modelo permite estimar la relación entre las variables independientes y la probabilidad de éxito académico.
Resumen del Modelo: Muestra un resumen estadístico del modelo, que incluye los coeficientes para cada variable, junto con medidas estadísticas como el valor-p, que ayuda a determinar la significancia de cada variable.
Visualización de Probabilidades Predichas: Crea un histograma de las probabilidades predichas de éxito. Esto es útil para ver cómo se distribuyen las probabilidades de éxito entre los estudiantes.
Curva ROC y AUC: Genera una curva ROC (Receiver Operating Characteristic) y calcula el área bajo la curva (AUC). La curva ROC es una herramienta importante para evaluar el rendimiento del modelo de clasificación, especialmente en casos de clasificación binaria.

Este código te proporcionará una comprensión sólida de cómo las diferentes variables pueden influir en el éxito académico de los estudiantes y te permitirá visualizar la efectividad de tu modelo.

Análisis de las graficas:

GRAFICA 1

La gráfica muestra un histograma de las probabilidades predichas por un modelo de regresión logística. Aquí está su interpretación:

Distribución de las Probabilidades: Las barras representan la cantidad de observaciones (en este caso, estudiantes) a los que el modelo asigna diferentes probabilidades de éxito. La escala horizontal va de 0.3 a 0.8, lo que significa que el modelo no asignó probabilidades extremadamente bajas o altas de éxito a ningún estudiante. No hay barras cerca de 0 o 1, lo que indica que el modelo no está demasiado seguro de la predicción de éxito o fracaso absoluto para ninguno de los estudiantes.
Concentración de las Predicciones: La mayoría de las predicciones se concentran alrededor de 0.5 a 0.7. La barra más alta está en el rango de 0.6 a 0.65, lo que sugiere que el modelo predice que la mayoría de los estudiantes tienen una probabilidad de éxito de entre 60% y 65%.
Confianza del Modelo: No hay una clara distinción en las predicciones, ya que no se observan barras muy altas en los extremos del histograma (cerca de 0 o 1). Esto podría sugerir que el modelo tiene una confianza moderada en sus predicciones.
Posible Sobreajuste o Subajuste: Dado que las probabilidades predichas no están muy cerca de 0 ni de 1, podría ser una señal de que el modelo es conservador en sus estimaciones. Esto podría ser indicativo de un subajuste, donde el modelo puede no estar capturando toda la complejidad de los datos, o simplemente que las características no tienen fuertes indicadores unívocos de éxito o fracaso. Esto último puede ser común en fenómenos humanos complejos como el rendimiento académico.
Implicaciones Prácticas: Para los administradores académicos o los consejeros, esta distribución sugiere que para una gran proporción de estudiantes, el modelo no puede con alta certeza predecir el éxito académico. Esto podría ser una indicación de que se requieren datos adicionales o más características relevantes para mejorar la capacidad predictiva del modelo.

Es importante señalar que, mientras este histograma proporciona una vista general de las probabilidades predichas por el modelo, no nos dice nada sobre la precisión real de las predicciones. Para eso, necesitaríamos comparar estas probabilidades predichas con los resultados reales (es decir, si los estudiantes realmente tuvieron éxito o no) y posiblemente examinar una matriz de confusión o la curva ROC.

GRAFICA 2

La gráfica es una Curva Característica Operativa del Receptor (ROC), que se utiliza para evaluar la calidad de las predicciones de un modelo de clasificación. La línea naranja representa la curva ROC del modelo y la línea azul punteada representa la línea de no discriminación, que es el rendimiento de un clasificador aleatorio.

Aquí está cómo interpretar esta gráfica:

Eje X - Tasa de Falsos Positivos (Especificidad): Representa la proporción de negativos reales que fueron incorrectamente identificados como positivos por el modelo. Va de 0 a 1, donde 0 significa ningún falso positivo y 1 significa que todos los negativos reales fueron identificados incorrectamente como positivos.
Eje Y - Tasa de Verdaderos Positivos (Sensibilidad): Representa la proporción de positivos reales que fueron correctamente identificados como tales. Va de 0 a 1, donde 1 significa que todos los positivos reales fueron identificados correctamente.
Curva ROC: La curva muestra la relación entre la tasa de falsos positivos y la tasa de verdaderos positivos a diferentes umbrales de clasificación. Un modelo perfecto se ubicaría en la esquina superior izquierda, con una tasa de verdaderos positivos de 1 y una tasa de falsos positivos de 0.
Área bajo la Curva (AUC): El área bajo la curva ROC es una medida de la capacidad del modelo para discriminar entre las clases positivas y negativas. El AUC varía entre 0 y 1. Un AUC de 0.5 sugiere un modelo sin capacidad de discriminación, equivalente a un lanzamiento de moneda. Un AUC de 1.0 representa un modelo perfecto. El AUC de este modelo es 0.65, lo que indica que tiene una capacidad de discriminación moderada, pero hay margen de mejora.
Interpretación: El AUC de 0.65 sugiere que el modelo es capaz de diferenciar entre los estudiantes que tienen éxito y los que no con una precisión mejor que la aleatoria, pero no es extremadamente preciso. La forma de la curva ROC muestra que, a medida que aumentamos la tasa de verdaderos positivos, también aumentamos la tasa de falsos positivos. El modelo no alcanza altas tasas de verdaderos positivos sin incurrir también en una cantidad significativa de falsos positivos.

En resumen, este modelo podría ser útil en un contexto donde cierto nivel de falsos positivos es aceptable, pero sería prudente buscar maneras de mejorar su capacidad predictiva, posiblemente mediante la ingeniería de características, el ajuste de parámetros o la recolección de más datos o características relevantes.