Pronósticos de puntaje por cada carrera: ¿cómo usarlos?

Hace poco más de 5 años, en primer semestre de 2014, incorporé a las estadísticas de admisión del blog un puntaje pronóstico de referencia para cada carrera de la UN. La idea intuitiva era muy sencilla: a partir de los puntajes de corte pasados de cada carrera, pronosticar para cada una un puntaje que sirviera como guía a los aspirantes a la hora de seleccionar sus primeras y segundas opciones. En la entrada de hoy quiero evaluar qué tan buenos son hoy en día esos pronósticos y cómo deberían ser usados.

Inicio diciendo que al evaluar la calidad de los pronósticos el primer factor a tener en cuenta es considerar en qué contexto será usado y anticipar su uso practico, por tanto, la primera pregunta a realizar es cómo puede ser utilizado el pronóstico de puntaje. Antes de seguir, es importante precisar que los puntajes:

1. Dependen de los lineamientos del sistema de admisión establecido por la Universidad. Por ejemplo, en Bogotá hoy nadie puede obtener un cupo con un puntaje menor a 600, o en Palmira alguien puede ganar un cupo con un puntaje de 430. ¿Quién fija esos umbrales mínimos? La universidad.
2. Dependen de la cantidad de personas que presentan la prueba cada semestre. Hay un efecto de estacionalidad en los puntajes de tal forma que para las pruebas de ingreso a primer semestre de cada año, los puntajes suelen ser generalmente más altos por el simple hecho de que se presentan muchas más personas y hay un suerte de "más competencia".
3. Dependen de la dificultad de las preguntas de la prueba. Si en la prueba de admisión en promedio las preguntas son más difíciles, los puntajes totales tenderán a ser más bajos.
4. Dependen del método de calificación. Actualmente se usa el modelo de Rasch para obtener los puntajes por área y una suma ponderada estandarizada (llamémosla "la fórmula") para obtener el puntaje total estandarizado. Si cambia el modelo o cambia la fórmula cambian los puntajes totales.
5. Pueden ser influenciados por programas o políticas educativas de alto impacto. Si por ejemplo el Estado implementara en un año un programa nacional de refuerzo en matemáticas, es más probable que un aspirante promedio esté mejor preparado y tenga un mayor puntaje en dicha área y por extensión en el puntaje total.

Con esto en mente, convengamos que predecir el puntaje total estandarizado ("puntaje de corte") de una carrera es imposible y nadie puede decir con exactitud cuál será el puntaje del próximo semestre.

Sin embargo, tener una aproximación del puntaje sí puede ser útil para no tomar malas decisiones al momento de inscribir carrera.

Piense por ejemplo que un aspirante que desea estudiar Administración de Empresas en la Sede Bogotá y obtiene un puntaje de 620 puntos. Considere un puntaje promedio histórico de 641 puntos y un pronóstico 627. ¿Sería conveniente que mantuviera su postura de inscribir dicha carrera?

Serie histórica de puntajes de cierre de Administración de Empresas para la Sede Bogotá con pronóstico para el periodo 2019-2. Fuente: APP Consulta de puntajes del blog.

Quiero destacar que desde que incluí los pronósticos he promovido que dichos puntajes sean tomados como una guía, una referencia, y que además no reflejan ni la opinión ni el consentimiento de la Universidad Nacional de Colombia.

Hechas todas las precisiones pertinentes, a lo qué vinimos: ¿qué tan buenos son los pronósticos?.
Veamos primero los puntajes reales y los pronósticos para cada carrera en cada sede para el periodo 2019-2.


Tomando como referencia la información disponible en la sección de estadísticas del blog y los pronósticos que calculé para el periodo 2019-2, y contrastándola con las estadísticas oficiales publicadas por la Universidad, para cada carrera en cada sede calculo un error de pronóstico así:

ERROR DE PRONÓSTICO = PUNTAJE REAL - PUNTAJE PRONOSTICADO
El promedio de los valores absolutos de todos los errores para cada sede, también llamado ERROR MEDIO ABSOLUTO, es de:

17 puntos para BOGOTÁ 50 puntos para MANIZALES 47 puntos para MEDELLÍN 25 puntos para PALMIRA
Otra medida de error que calculé para cada sede fue la RAÍZ DEL ERROR CUADRÁTICO MEDIO, con el cual obtuve un error de:

22 puntos para BOGOTÁ 54 puntos para MANIZALES 52 puntos para MEDELLÍN 29 puntos para PALMIRA
A partir de ambas medidas se puede observar que los mejores pronósticos son en su orden los de Bogotá, Palmira, Manizales y Medellín.

En la Sede Bogotá, las carreras con los puntajes más sobreestimados (es decir, los valores pronosticados son superiores al valor real) fueron los de Geología, Ingeniería Industrial y Diseño Gráfico (con fondo color verde en la tabla de arriba). Por otro lado, las carreras con los puntajes más subestimados (es decir, los valores pronosticados son inferiores al valor real) fueron Física, Farmacia y Matemáticas (con fondo color naranja en la tabla de arriba).

En las Sedes Manizales, Medellín y Palmira todos los puntajes fueron sobreestimados, es decir, el puntaje de las estadísticas del blog y que mostramos en la APP CONSULTA DE PUNTAJES fueron todos más altos a los valores reales.

El hecho que la mayoría de pronósticos sean mayores a los valores que se ven en la realidad permite usar dichos valores como una referencia de un valor que puede casi que garantizar el obtener un cupo. Dicho de otro modo, si después de presentar la prueba de admisión el PUNTAJE OBTENIDO supera al pronóstico cabe esperar una alta probabilidad de obtener el cupo y ser admitido. En caso que el puntaje sea menor al pronosticado, mi sugerencia sería examinar la serie histórica de puntajes a través de la APP CONSULTA DE PUNTAJES para que el aspirante mismo se haga a una idea de si el puntaje obtenido puede ser o no suficiente para obtener el cupo.

Finalmente, en caso de que el puntaje obtenido en la prueba de admisión sea muy cercano al pronóstico y a la serie histórica, esto es, si el puntaje se ubica en una franja muy cercana que no permite asegurar ni descartar la obtención del cupo, mi sugerencia sería INSCRIBIR su carrera de interés de todos modos puesto que no pierde nada al inscribirla y en todo caso procurar seleccionar una segunda opción de carrera (que esté dispuesto a estudiar) con un puntaje de corte menor.