Comité Ejecutivo:

Sr. Jesús Redondo
Sr. Rodrigo Sánchez
Sra. Loreto Egaña
Sr. Juan González
Sr. Eduardo Santa Cruz
Sr. Rodrigo Cornejo
Sra. Jenny Assaél

Asesores Permanentes:

Sr. Marcos Kremerman
Sra. Paula Mena

Consejo Consultivo:

Sr. Luis García
Apoderado
Sr. Guido Flamey
Foro Nacional Educación de Calidad para Todos
Sr. Jorge Pávez
Colegio de Profesores de Chile A.G.
Sr. Darío Vásquez
Colegio de Profesores de Chile A.G.
Sr. Nicolás Grau
Federación de Estudiantes Universidad de Chile
Sr. Raciel Medina
Profesional Asociación Chilena de Municipalidades
Sra. Sonia Pérez
Profesional Fundación para la Superación de la Pobreza
Sra. Beatrice Avalos
Profesional MINEDUC
Sr. Claudio Almonacid
Universidad Metropolitana de Ciencias de la Educación (UMCE)

 

Participantes del Taller de Análisis sobre SIMCE (taller 2005):

Patricia Castañeda, Lorena Meckes, María Mercedes Herrera, Ana María Riveros, Mirtha Abraham, Nora Palma, Selma del Solar, Alma Herrera, Jesús Redondo, Rodrigo Sánchez, Loreto Egaña , Juan González, Eduardo Santa Cruz, Rodrigo Cornejo, Jenny Ássael, Marcos Kremerman, Guido Flamey, Darío Vazquez, Raciel Medina, Sonia Perez, Beatrice Avalos, Claudio Almonacid.

 

La redacción del documento y las opiniones e ideas vertidas en él son de absoluta responsabilidad del Comité Ejecutivo Observatorio Chileno de Políticas Educativas OPECH. Los demás participantes aportaron significativamente en el proceso anterior a la redacción.

 

“SISTEMA DE MEDICIÓN DE LA CALIDAD DE LA EDUCACIÓN SIMCE: BALANCE CRÍTICO Y PROYECCIONES IMPRESCINDIBLES”

– El SIMCE y el contexto de las políticas educativas
– La necesidad de evaluar los sistemas educativos
– ¿Qué es y qué mide el SIMCE?
– Los problemas y sesgos del SIMCE como instrumento de medición estandarizada
– ¿Qué nos dice el SIMCE sobre la calidad del sistema educativo chileno y de nuestras escuelas?
– Efectos negativos de la aplicación de las pruebas SIMCE y el uso de los resultados sobre la educación chilena
– Algunas proyecciones imprescindibles: Sugerencias y propuestas
– Bibliografía

El SIMCE y el contexto de las políticas educativas chilenas.

El sistema de medición de la calidad de la educación (SIMCE) se ha instalado progresivamente como un elemento central de las políticas educativas a partir de 1990. En el marco fijado por la Ley Orgánica Constitucional de Educación (LOCE) en 1989, se consagra un sistema de medición que guarda completa coherencia con principios básicos que sustentan el actual sistema educativo, como son el rol subsidiario del estado, la regulación por mercado y competencia, la privatización del sistema. El financiamiento a través de la subvención por alumno/a en 1981 constituyó la primera manifestación concreta de estos principios, convirtiéndose en el sustento del proceso progresivo de deterioro de la educación pública.

A partir de los 90 las políticas educativas explicitan el propósito de avanzar en calidad y equidad de la educación, iniciándose un extendido proceso de reforma al sistema educativo, dentro de los parámetros legales que se heredaron de la dictadura. Sin duda se han realizado readecuaciones, como por ejemplo el Estatuto Docente; sin embargo, la lógica orientadora no ha variado sustancialmente, constituyendo un ejemplo de ésta la lógica del sistema de medición de la calidad.

Se ha reiterado insistentemente que los resultados de la medición SIMCE deben servir como insumo a las familias para la adecuada elección de establecimientos educativos para sus hijos/as, en otras palabras, para que opere en forma adecuada el mercado de la educación. Se sostiene que los puntajes obtenidos por escuelas y colegios constituyen una información valiosa que permite comparar la oferta educativa en términos de calidad y que obliga, a su vez, a competir a los establecimientos para captar la matrícula que necesitan.

Dos errores, en términos de supuestos, acompañan a este perfil de medición que progresivamente se ha ido perfeccionando y profundizando.

Por una parte, los resultados del SIMCE no han logrado constituirse en un factor prioritario para las familias al momento de elegir establecimientos educativos para sus hijos/as. En los sectores de menores ingresos, que constituyen la mayoría de la población del país, prácticamente no juegan ningún rol. La calidad de la educación, aparentemente, está asociada en el imaginario de las familias, a aspectos más relacionados con el ámbito cultural que con mediciones técnicas de confuso significado. La polémica que recurrentemente se produce en torno a los resultados del SIMCE, en el mundo de especialistas y profesionales de la educación, así como de políticos y opinólogos, aparece lejana a las consideraciones que están presentes al elegir un establecimiento educativo. En cambio, aparecen valorados en forma reiterada aspectos como: la cercanía del hogar, el trato afectuoso de los docentes, la responsabilidad y la preocupación por los alumnos/as, el acceso a útiles escolares y alimentación, la existencia de ambientes protegidos frente a la violencia, la formación en el orden y el respeto. En sectores de mayores ingresos y niveles más altos de instrucción, ante un comportamiento bastante homogéneo de los puntajes SIMCE en los colegios, los factores relacionados con creencias religiosas, idioma extranjero, redes sociales, actividades extraprogramáticas, pasan a tener un peso bastante mayor.

El segundo error, en términos de supuestos relacionados con las mediciones SIMCE, se refiere al concepto de calidad de la educación. En forma parcial y muy recientemente, se ha explicitado desde las políticas educativas que medición de resultados de aprendizaje no es sinónimo de calidad de la educación (1).

La preocupación por avanzar en calidad y equidad en la educación, sin duda ha estado presente en las políticas de los años ‘90 y son muchas las medidas orientadas en esa dirección. Sin embargo, el supuesto de que los objetivos de calidad y equidad se lograrán en la medida que se perfeccione la competencia de ofertas educativas en el mercado, implica una contradicción. El mercado por definición debe asegurar el lucro, no el mejoramiento de la calidad de la educación, especialmente de los sectores de menores ingresos. La ausencia de regulaciones para facilitar la competencia, no ha permitido avanzar en el acceso hacia una educación de calidad, en sectores que no pueden competir según las leyes del mercado (2). Avanzar en calidad y equidad significa, por tanto, intervenir el mercado, en otras palabras, la presencia de “más” Estado. Escenario complejo si el rol del estado, por ley, continúa definido como subsidiario.
La medición SIMCE se encuentra atrapada en estos supuestos contradictorios, lo que ha aumentado la dificultad de encontrar caminos para un mejoramiento efectivo de la calidad de la educación, especialmente para los sectores de menores ingresos, mayoritarios de la población.

El presente Documento de Trabajo se construyó a partir de un proceso de discusión colectivo convocado por el Observatorio Chileno de Políticas Educativas (OPECH) durante los años 2005 y 2006, en el cual participaron docentes de aula, investigadores, representantes de la sociedad civil y funcionarios del Ministerio de Educación.

Comenzaremos discutiendo las características del actual Sistema de Medición de la Calidad de la Educación en el contexto del debate actual sobre la evaluación educativa. Posteriormente abordaremos la evidencia disponible respecto de los resultados SIMCE y los efectos que ha tenido la aplicación de este instrumento y el uso de sus resultados sobre las escuelas chilenas. Finalmente entregaremos algunas conclusiones y recomendaciones generales que apuntan a mejorar la evaluación de nuestro sistema educativo, y la calidad de nuestra educación en general.

1.- La necesidad de evaluar los sistemas educativos.

En la actualidad nadie niega la importancia de evaluar la calidad de la educación brindada por los sistemas escolares. Sin embargo, es fundamental entender que existen muchas alternativas de evaluación al respecto y que, por supuesto, no existe un único sistema de evaluación que genere consenso absoluto entre los educadores a nivel mundial. La evaluación educativa es una disciplina de amplio desarrollo al interior de las Ciencias de la Educación, existen distintas y variadas propuestas epistemológicas y técnicas acerca de qué es evaluar, como evaluar, a qué niveles evaluar, etc. Por cierto no todas las miradas sobre evaluación implican hacer uso de los sistemas de medición estandarizados a los que ya casi nos hemos acostumbrado en Chile.

Por otra parte, la evaluación, como todo acto educativo, no es ni puede ser (aunque quisiéramos) algo neutral. Todas las alternativas de evaluación existentes tienen elementos positivos y negativos. Más aún, el sistema de evaluación que adopta un país tiene enormes consecuencias sobre los procesos educativos que se viven día a día en sus escuelas. La educación finalmente, dicen algunos autores, es lo que se evalúa. Por esa razón nos parece de vital importancia promover la participación de los actores educativos reales y de la sociedad civil en un debate amplio y profundo, hasta ahora inexistente en Chile, acerca de cómo y para qué evaluar la calidad de nuestra educación.

Dos elementos cruciales a abordar en la definición de cualquier sistema de evaluación de la calidad educativa son: qué se entiende por calidad de la educación y qué aspectos del currículum escolar serán evaluados.

Respecto a la calidad educativa, un debate de país podría llevarnos a definir variados indicadores de calidad que apunten a aspectos como: el logro en los aprendizajes de los alumnos, la satisfacción de los actores educativos (estudiantes, apoderados y docentes) (3), indicadores de equidad (capacidad del sistema educativo de entregar más a quienes más lo necesitan y reducir las brechas de desigualdad en la vida de las personas), la retención de alumnos en situación de vulnerabilidad, la calidad de la gestión realizada por sostenedores y autoridades ministeriales, etc. Muchas veces estos objetivos e indicadores pueden resultar contradictorios entre sí y requieren por lo tanto de una orientación y priorización acerca de los objetivos de la educación (4).

Más específicamente, respecto de los logros de aprendizaje y el currículum a evaluar, las opciones también son amplias. Existen varios ámbitos curriculares fundamentales en la formación de niños y jóvenes. Por lo menos se pueden nombrar cuatro:

a) Educación en el ámbito socio afectivo: educación emocional y destrezas sociales e interpersonales.
b) Educación Valórica, de Actitudes y formación en Ciudadanía: actitudes hacia el aprendizaje, valores para vivir en sociedad, educación democrática.
c) Educación Cognitiva: habilidades cognitivas, estrategias cognitivas, capacidad de resolución de problemas, pensamiento crítico, pensamiento creativo
d) Aprendizaje de contenidos que forman parte de las materias escolares (lenguaje, matemáticas, comprensión del medio, etc.) (5).

Como vemos las posibilidades sobre Qué y Para Qué Evaluar son múltiples. La opción que tome un país, ya lo dijimos, tendrá enormes repercusiones sobre las prácticas educativas cotidianas y requerirá, por cierto, del desarrollo de instrumentos de evaluación pertinentes.

2.- ¿Qué es y qué mide el SIMCE?

En nuestro país la Ley Orgánica Constitucional de la Educación LOCE obliga al Ministerio de Educación a evaluar la calidad de los establecimientos educacionales. Ha correspondido al Ministerio de Educación la responsabilidad de hacer efectivo y operativizar este mandato constitucional decidiendo qué y cómo evaluar, para lo cual se construyó el Sistema de Medición de la Calidad de la Educación SIMCE.

Haciendo un breve análisis de este instrumento, podemos constatar que el SIMCE mide centralmente solo una o dos de las áreas curriculares fundamentales descritas más arriba: el rendimiento individual de los estudiantes en pruebas estandarizadas de contenidos tratados en los subsectores curriculares de Lenguaje y Comunicación, Matemáticas y Comprensión del Medio Natural y Social. Progresivamente se le han intentado incorporar ítems que dicen relación con la resolución de problemas y que ponen en juego algunas habilidades y destrezas cognitivas (6).

Esta medición se realiza a través de una prueba censal (a toda la población de niños y niñas del nivel evaluado) aplicada a los cuartos y octavos básicos y a los segundos medios. Los puntajes estandarizados obtenidos por los estudiantes son entregados a la opinión pública en forma de promedios por colegios, los cuales aparecen en listas de ranking que permitirían identificar los colegios con mejores resultados.

3.- Los problemas y sesgos del SIMCE como instrumento de medición estandarizada.

Esta forma de evaluar la calidad de la educación presenta una serie de problemas que deben ser considerados a la hora de analizar los resultados en las pruebas SIMCE. Se trata de problemas de índole metodológica, pedagógica y política, algunos de los cuales han intentado ser abordados por el Ministerio de Educación, otros aún no.

En primer lugar, el tema de la selección curricular. Las reformas curriculares realizadas en la década de los ’90 en nuestro país tuvieron el claro propósito de fijar los parámetros que permitieran desarrollar una educación de calidad. En la práctica es la medición externa la que finalmente define lo que se enseña y ejercita en el aula. El SIMCE ha alcanzado plenamente este objetivo en los niveles y sectores de aprendizaje en los que se aplica, asumiendo el riesgo de empobrecer la implementación del currículum en su conjunto (7).

En el plano técnico y metodológico aparecen varios problemas necesarios de abordar para poder dar a los resultados SIMCE una interpretación más consistente con la evidencia disponible.

El SIMCE es una prueba que intenta ofrecer información acerca de los resultados obtenidos por los establecimientos educacionales. Sin embargo, de acuerdo a las investigaciones actuales, la variabilidad en los resultados escolares obtenidos por los alumnos depende en un porcentaje minoritario de lo que ocurre al interior de las escuelas (no más de un 30%), y en un porcentaje mayoritario de variables extra escolares como el origen socioeconómico, cultural y familiar de los niños (en un 70% y más) (8). Más aún, la variable “rendimiento en pruebas escolares  estandarizadas” es, de todas las áreas del currículum, la que muestra menos sensibilidad al efecto de las variables escolares (9). Siendo así, los puntajes estandarizados SIMCE no están dando cuenta centralmente de la calidad de la educación entregada por los establecimientos educacionales (objetivo planteado por la LOCE), sino más bien del estatus socio cultural de los estudiantes atendidos por las escuelas (lo que habla también de la capacidad de estas para seleccionar a la población que educan y segmentar gravemente el sistema escolar chileno).

En esta misma línea, si lo que se pretende es obtener información acerca de la calidad de la educación ofrecida por los establecimientos educacionales, tiene más sentido utilizar medidas del progreso obtenido por los estudiantes desde su ingreso a la escuela. Esto es lo que se denomina “medición del valor agregado”. De esta manera se puede conocer lo que la escuela “le aporta” al aprendizaje de sus estudiantes, más allá de su capital cultural o nivel de logro previo (10).

Ahora bien, es difícil conocer “lo que la escuela le aporta” a sus estudiantes si nos quedamos solamente con los puntajes promedios obtenidos por los alumnos que allí se educan. La evidencia internacional indica que cuando una escuela mejora, no mejora necesariamente para todos sus estudiantes, o al menos no lo hace en la misma medida (Murillo, 2003; Scheerens, 1999). Por esa razón algunos países han avanzado hacia sistemas de evaluación que permiten monitorear el avance o retroceso en el aprendizaje obtenido por diferentes sub poblaciones que asisten a las escuelas. De esta forma sería posible conocer el avance o retroceso académico de niños y niñas, alumnos con necesidades educativas especiales, alumnos con mayor y menor capital cultural, diferente origen étnico, etc. Un colegio de calidad es aquel en el cual mejoran todos los grupos, no sólo la media.

Incorporar estas consideraciones en el sistema de medición SIMCE sin duda lo harían más complejo y oneroso. Una alternativa posible es que el país se plantee si necesita una prueba censal que no entrega información clara sobre el progreso de los alumnos y la calidad de los establecimientos como ocurre actualmente, o una prueba muestral (que requiere menos gasto) pero que entregue información más relevante y acabada.

4.- ¿Qué nos dice el SIMCE sobre la calidad del sistema educativo chileno y de nuestras escuelas?

En primer lugar, previo a cualquier análisis sobre los resultados SIMCE, es necesario recordar que estamos hablando de un indicador más, necesario pero no único, de la calidad educativa (11). Cualquier análisis debe hacerse teniendo en cuenta esta consideración.

En segundo lugar, como indicábamos más arriba, por las características del sistema de medición SIMCE, sus resultados por sí mismos nos dicen poco acerca de la calidad de los establecimientos educacionales, y nos dicen mucho sobre la inequidad de nuestra sociedad y la alta segmentación socioeconómica que se ha instalado en nuestro sistema escolar durante los últimos años.

No tiene sentido comparar resultados de escuelas que funcionan en condiciones totalmente distintas, con diferencias de hasta 10 veces en el nivel de gasto por alumno, y que reciben a estudiantes de muy distinto status socioeconómico y capital cultural. Lo que sí tiene sentido es preguntarnos como país por qué hemos construido un sistema escolar tan excluyente, esta especie de appartheid educativo, que la misión de la OCDE catalogó como conscientemente estructurado por clases sociales (OCDE, 2004).

Esta segmentación e inequidad de nuestro sistema hará imposible que, como país, mejoremos nuestro rendimiento en evaluaciones como SIMCE o las pruebas internacionales de las que Chile participa (TIMSS, PISA, etc.). La evidencia entregada por estas mismas evaluaciones internacionales muestra que los países con mejores resultados son aquellos que presentan menores índices desigualdad social y mayores niveles de heterogeneidad sociocultural al interior de sus aulas y escuelas (12).

Dos preguntas suelen formularse en el debate nacional cada vez que son entregados los resultados SIMCE: ¿Se han estancado o están mejorando los resultados de nuestra educación? y ¿Obtienen mejores resultados las escuelas particulares que las municipales?

Sobre la primera pregunta habría que considerar un alcance metodológico que no es menor. Toda comparación científica sobre resultados entre distintas mediciones debe realizarse comparando puntajes obtenidos por las mismas escuelas. No son útiles en ese sentido comparaciones de promedios generales nacionales, en las cuales se incorporan escuelas nuevas que no habían sido medidas anteriormente. En la última medición SIMCE, por ejemplo, se incorporaron 1700 nuevas escuelas que no habían sido medidas anteriormente. Se trata, en su mayoría, de escuelas rurales donde estudian niños y jóvenes con bajo capital cultural, lo que debería tender a bajar los promedios nacionales. Este análisis comparativo, dejando fuera las escuelas recién incorporadas, parece no haberse realizado en las últimas entregas de resultados SIMCE.

Más allá de este elemento, que puede ayudarnos a afinar el análisis, habría que decir que los resultados SIMCE a nivel de promedios nacionales nos muestran que no ha habido un progreso estadísticamente significativo en los puntajes de ninguno de los niveles evaluados (4° básico, 8° básico y 2° medio), ni en ninguno de los tres sistemas de administración educacional, desde que las pruebas son comparables, a partir del año 1998. Las mismas características estructurales de inequidad y segmentación que presentan nuestra sociedad y nuestro sistema educativo colocan un “techo” a las posibilidades de mejorar nuestros resultados escolares.

Respecto a la pregunta por los resultados comparativos de las escuelas particulares y municipales, la evidencia, si bien no es totalmente concluyente, nos muestra algunos datos de mucha utilidad. En la década de los ’90, las investigaciones más serias realizadas al respecto, nos indican que pese a que “las familias más motivadas tienden a enviar a sus hijos a colegios privados en Chile, y que los colegios particulares subvencionados tienden, en promedio, a ser más selectivos con sus estudiantes, es sorprendente que la evidencia empírica revele que los estudiantes de un estatus socioeconómico similar (SES) en colegios particulares subvencionados laicos (cerca de dos tercios de todos los estudiantes de colegios particulares subvencionados) obtienen un puntaje algo menor que los estudiantes de establecimientos municipales” (OCDE, 2004:185) (13).

La evidencia entregada por los últimos resultados SIMCE es concluyente en el sentido de que, al neutralizar la variable status socio económico, los niños que provienen de las familias ubicadas en los quintiles de ingreso socio económico I y II (las familias más pobres del país y que albergan a cerca del 50% de la población en edad escolar), obtienen puntajes significativamente mayores en los establecimientos municipales al compararlos con su rendimiento en establecimientos particulares subvencionados.

Por último, las recientes mediciones SIMCE muestran claramente que las únicas escuelas que presentan algún nivel de mejoría en sus puntajes son las escuelas municipalizadas.

5.- Efectos negativos de la aplicación de las pruebas SIMCE y el uso de sus resultados sobre la educación chilena

La política educativa de los ‘90 y 2000 ha consagrado a este instrumento de medición de aprendizajes, como la señal empírica de la calidad de la educación chilena. El SIMCE se ha afinado y perfeccionado técnicamente, sin embargo, en la actualidad constituye un objeto recurrente de debate político, antes que un instrumento eficiente de información y retroalimentación pedagógica.

El uso (y abuso) social de la información emanada de los resultados SIMCE, unido al papel central que éste ha jugado en la definición de lo que es calidad educativa y, en definitiva, en el juicio respecto al cumplimiento o incumplimiento de los objetivos educacionales; han determinado, en alguna medida, lo que acontece en el día a día de nuestras aulas y escuelas.
Enumeraremos aquí los efectos perversos que, a nuestro juicio, ha generado sobre nuestra educación escolar, el uso y comunicación mediática de los resultados SIMCE.

a) La imposición de una “lógica privatizadora”.

La entrega y difusión sistemática de los resultados SIMCE, a lo largo de la década de los ’90, como información descontextualizada de las consideraciones técnicas y metodológicas señaladas más arriba, ha permitido la realización, año a año, de ranking de los puntajes promedios obtenidos por las escuelas, sin establecer relaciones con variables como gasto por alumno, selección de estudiantes, grados de vulnerabilidad social, escolaridad de los padres, etc.: ese conjunto de factores que explica el 70% de los resultados escolares y que no dependen de la calidad del establecimiento.

Los promedios de las escuelas, vistos así, indican que las escuelas particulares pagadas obtienen mejores resultados que las particulares subvencionadas y éstas que las municipalizadas. Existen antecedentes para pensar que, si bien los padres no utilizan mayormente los resultados SIMCE para elegir colegio para sus hijos, sí se ha ido imponiendo en nuestro país un “sentido común” que nos estudien en establecimientos particulares subvencionados, donde podrán conocer a otros niños de un estatus socioeconómico un poco mayor que en uno municipalizado. Incluso, muchos profesores de establecimientos municipalizados, cuando tienen en sus aulas a un niño con resultados sobresalientes, procuran ayudarlo para que se traslade a un establecimiento particular. Se trata de un círculo vicioso que aumenta la segmentación educativa y cuya resolución es un asunto de estado y que escapa a las escuelas.

Durante años, mientras se generalizaba la idea de que las escuelas privadas son mejores, la evaluación SIMCE no tuvo ningún uso pedagógico y se convirtió más bien en una señal para el “mercado educativo”.

Las consecuencias privatizadoras de las políticas educativas de los años ’90, de las cuales el SIMCE ha sido un elemento simbólico, están a la vista de los datos empíricos: entre el año 1990 y el año 2004 hay en Chile 1600 establecimientos particulares subvencionados más y 190 establecimientos municipalizados menos.

b) El empobrecimiento del currículum para nuestros/as niños/as y jóvenes.

El SIMCE se ha convertido en el instrumento privilegiado para pautear y monitorear la implementación de la reforma curricular. Los cambios curriculares realizados durante los últimos años tuvieron el claro propósito de enriquecer la educación de nuestros/as niños/as y jóvenes, propiciando el aprendizaje con sentido y significado, la construcción activa de conocimientos y la pertinencia cultural de los contenidos tratados.

No obstante el SIMCE mide solo una parte de este currículum enriquecido. ¿Qué pasa con las áreas del currículum que no son evaluadas? ¿Se trata de un problema de falta de instrumentos y métodos que permitan evaluar áreas curriculares “menos duras” o de una opción por aquellas materias que se consideran más relevantes? Si se trata de un problema de relevancia volvemos a preguntarnos dónde se dio el debate que permitió decidir al respecto. El Colegio de Profesores y muchos docentes han planteado la inconsistencia de no monitorear y evaluar el cumplimiento de los Objetivos Fundamentales Transversales de la Educación Básica y Media que aluden a la formación valórica, socio afectiva, de la creatividad, etc. Más aún, sabemos de sostenedores municipales y particulares que han optado por reducir las horas destinadas a educación física y otras materias “no evaluadas”, para dedicarlas al reforzamiento de Lenguaje y Matemáticas y al ensayo de pruebas SIMCE. Respecto a este último punto, la evidencia indica que las estrategias de adiestramiento y ensayo, si bien pueden elevar los puntajes en el corto plazo, obstaculizarán otro tipo de aprendizajes, y rápidamente se tocará techo en esta aparente mejora (Hargreaves, 2005).

Por otra parte, destacados educadores latinoamericanos han planteado que esta suerte de “obsesión” con los resultados en las pruebas estandarizadas de contenidos académicos tiene que ver con la imposición de una particular forma de entender la educación en función de la empleabilidad y el desarrollo económico regional. Visión que es promovida por las agencias internacionales que han sido las principales financistas de las Reformas Educativas de los años ’90 en América Latina y otras partes del mundo, como el Banco Mundial y el Banco Interamericano del Desarrollo (Coraggio, L. y Torres, R.M., 1997) (14).

Finalmente, recordemos que existe variada evidencia que indica que los “aprendizajes de contenidos escolares”, por sí solos, son un mal predictor del éxito en la vida futura de niños y jóvenes: éxito laboral, éxito familiar, satisfacción personal y social y calidad de vida (Goleman, 1997; Gardner, 2001).

c) La culpabilización de los docentes y la lógica de la competencia entre las escuelas.

Si bien el mecanismo de la llamada “rendición de cuentas” (“accountability”) es aún objeto de debate entre los investigadores a nivel mundial, en nuestro país hay quienes han intentado (con bastante cobertura mediática por cierto) trasladar la responsabilidad de los rendimientos de los estudiantes exclusivamente hacia los docentes, contraviniendo así toda la evidencia disponible respecto de los factores asociados a los resultados escolares. La rendición de cuentas se transforma, al ser concebida de esta manera unidimensional, en un mecanismo de presión y culpabilización sobre los docentes, pero no de mejora educativa (15).

Por otra parte, la lógica de los ranking de resultados ha contribuido significativamente (junto a otros elementos de nuestra política educativa) a crear algo parecido a un mercado educativo y paralelamente a segmentarlo (16). De esta forma, a la escuela 1 de una comuna le “conviene” que la escuela 2 no mejore, para así subir o mantener su lugar en el ranking. Las escuelas entran en una lógica de competencia y no de colaboración. Al respecto, en algunos países se ha ensayado con relativo éxito la idea de “rendición de cuentas” de una ciudad o comuna. De esta “otra” forma, se fomenta que los colegios aventajados ayuden a las escuelas en desventaja que están cerca de ellos, para subir los resultados de todos (Hargreaves, 2005).

d) Desprofesionalización de los docentes y empeoramiento de sus condiciones de salud laboral.

Esta concepción reducida de “rendición de cuentas” profundiza la presión a la cual están sometidos día a día los docentes, ahora por subir los puntajes SIMCE de su escuela. Sabemos que las condiciones de trabajo de los docentes en nuestro país son muy precarias (sobre todo en el sector particular subvencionado y municipalizado), y que el fenómeno del deterioro de la salud mental y el desgaste emocional ha aumentado enormemente en Chile (Valdivia, 2003; UNESCO, 2005). Sabemos también por investigaciones recientes del peso de las condiciones emocionales de los docentes sobre los aprendizajes de sus alumnos (LLECE, 2002, 2000). El efecto de esta presión sobre los educadores es altamente negativo para los estudiantes.

Por otra parte, en la práctica se da un proceso de homogeneización curricular que constituye un nuevo elemento de desprofesionalización para los docentes, pues implica una pérdida de su ingerencia sobre lo que se entiende por calidad en el trabajo educativo. Esta homogeneización curricular dificulta también la constitución de comunidades de aprendizaje y de proyectos educativos propios en las escuelas, elementos centrales para la mejora educacional.

e) Subutilización de la información SIMCE por parte de los actores involucrados: directivos, docentes, apoderados, paradocentes, alumnos.

La utilización de los resultados del SIMCE podría constituir un apoyo como retroalimentación de la gestión y las prácticas docentes en las escuelas, sin embargo su aprovechamiento es limitado en relación a estas tareas.

Hasta hoy no ha existido capacidad para implementar un análisis riguroso de los datos y, a su vez, trabajarlos a nivel de escuelas, con los actores directamente involucrados. La estrategia simple del ranking de escuelas se ha impuesto, frente a la posibilidad de promover un trabajo reflexivo y de aprendizaje en torno a estos resultados. Esto último se inscribe en una lógica de evaluación y retroalimentación, bastante lejana a la lógica de la medición con fines de competencia que finalmente sigue vigente.

La falta de análisis en profundidad de los resultados por parte del MINEDUC, y las propias limitaciones del instrumento, han desorientado la política educativa que recurre en forma reiterada a la implementación de programas puntuales, centralizados y desarticulados, que en algún momento tuvieron significación, pero que ya muestran su agotamiento como estrategia de mejoramiento educativo.

6. Algunas proyecciones imprescindibles: Sugerencias y propuestas.

Un sistema educativo de calidad requiere contar con instrumentos de evaluación que permitan verificar avances y retrocesos en las tareas y objetivos que se ha fijado. En esa perspectiva, nos parece equivocado el camino que se ha seguido con el SIMCE: confundiendo medición estandarizada con evaluación, privilegiando una lógica de presión y castigo por sobre una lógica de retroalimentación y superación profesional, y enviando a los actores educativos y a la opinión pública en general, señales confusas y equivocadas sobre nuestro sistema educativo. En definitiva, el actual sistema de medición de la calidad de la educación SIMCE ha hecho suyos algunos principios de la educación mercantilizada sin un mayor cuestionamiento al respecto.
Quisiéramos finalizar este documento de trabajo, haciéndonos cargo del diagnóstico realizado, compartiendo algunas sugerencias y propuestas generales. Nos parece que son propuestas viables y esperamos que enriquezcan el debate existente en nuestro país sobre la evaluación del sistema educativo.

a) Generar un amplio debate en la comunidad educativa, y en la sociedad civil en general, respecto al tipo de educación que queremos para Chile y al sentido que le queremos dar a la evaluación del sistema educativo.

El sistema de evaluación de un país está íntimamente ligado al sentido y a los objetivos que tenga su educación. La realización de un debate ciudadano amplio, que aborde la construcción de un proyecto educativo de país y de un sistema de evaluación que le corresponda, es una deuda pendiente en Chile.

Reconocemos los avances que han significado la constitución de la “Comisión para el desarrollo y uso del sistema de medición de la calidad de la educación” (17) convocada por el Ministerio de Educación durante el año 2003, y la jornada nacional de reflexión sobre el SIMCE que se llevó a cabo el año 2005 en los establecimientos educacionales de enseñanza básica. Sin embargo, nos parece fundamental avanzar más, superando las discusiones puramente tecnicistas y abriendo el debate sobre el sentido y la pertinencia del sistema de evaluación.

Este debate nacional que proponemos, debería abordar aspectos como: el tipo de niños y jóvenes, para qué la queremos, qué aspectos de la educación evaluar, cómo podríamos evaluarla, uso de los resultados de la evaluación, alcances de la evaluación (censal o muestral), etc.

Particularmente, creemos indispensable que los docentes de nuestro país se involucren participativamente en la construcción de un sistema de evaluación de la calidad de la educación: en sus propósitos, modalidades, instrumentos, utilidad y confiabilidad.

b) Favorecer la construcción de instrumentos de evaluación de calidad acordes con los proyectos educativos de las escuelas y comunidades.

Uno de los principios fundamentales de la Reforma Educativa dice relación con favorecer el desarrollo, en las escuelas, de proyectos curriculares acordes a la diversidad sociocultural de nuestro país, favoreciendo el aprendizaje con significado por parte de los estudiantes y la pertinencia cultural de los contenidos tratados.

En ese sentido, creemos que se debe propiciar el establecimiento de modelos e instrumentos de evaluación acordes a los proyectos educativos de las escuelas, en tanto comunidades de aprendizaje, y a los proyectos educativos que deben existir a nivel de las comunas y territorios.

Una evaluación de este tipo permitiría abordar aspectos de proceso en el aprendizaje de los estudiantes (imposibles desde una medición estandarizada), a la vez que evaluar áreas del desarrollo educativo que requieren de una mirada más profunda, tales como: desarrollo moral y valórico, aprendizaje socio afectivo, educación ciudadana, etc. De esta forma podríamos frenar el peligroso proceso de homogeneización y empobrecimiento curricular que se está generando a propósito de la aplicación del actual SIMCE.

c) Incorporar información que permita analizar adecuadamente los resultados de la evaluación.

La educación escolar no es un proceso aislado del conjunto de fenómenos que ocurren en nuestra sociedad. No es posible comprender la calidad de los establecimientos educacionales sin incorporar indicadores que, si bien no tienen que ver directamente con procesos de aprendizaje, están altamente asociados a los resultados educativos.

Nos referimos a indicadores como: niveles de selección de alumnos por parte de las escuelas, rotación/permanencia de alumnos, número de alumnos por curso, gasto mensual por alumno, rotación de profesores, carga horaria docente, infraestructura de la escuela, escolaridad de los padres, estatus socioeconómico de las familias, resultados obtenidos por las diferente sub poblaciones atendidas por la escuela (según género, origen étnico, niveles de aprendizaje), progreso de los alumnos desde que ingresan a la escuela (valor agregado), etc.

Muchos de estos indicadores son relativamente fáciles de recoger y nos ayudarían a afinar el análisis respecto a la calidad de la labor pedagógica realizada por los establecimientos educacionales.

d) Enriquecer los indicadores de calidad, a nivel del sistema educativo y de los procesos de aprendizaje de los estudiantes.

Un verdadero sistema de evaluación implica incorporar simultáneamente información a varios niveles. No mejorará nuestra educación si solo conocemos los puntajes que obtiene cada escuela, y no analizamos tendencias sociales del sistema educativo en su conjunto. En ese sentido, es necesario incorporar indicadores tales como: equidad del sistema educativo, cobertura, integración social, atención a la diversidad, etc.

Por otra parte, es necesario contar con instrumentos que nos permitan evaluar a todos los niveles de la administración educacional. Tal como contamos con información acerca de puntajes de los estudiantes y evaluación de las prácticas docentes, necesitamos contar con información relativa a la calidad de la gestión realizada por los sostenedores educacionales y al cumplimiento de los compromisos y metas establecidas por las autoridades del Ministerio de Educación, especialmente en los que dice relación con calidad y equidad. Otros países han implementado con éxito estos sistemas de evaluación multidimensionales.

Finalmente, es urgente contar con algún tipo de información sobre el avance en la aplicación de los Objetivos Fundamentales Transversales del currículum, los cuáles tienen tanta importancia como los Objetivos Verticales que se evalúan. Poco avanzará la calidad de nuestra educación si monitoreamos el aprendizaje de objetivos curriculares instrumentales (lenguaje, matemáticas, ciencias), pero no sabemos nada acerca del aprendizaje de valores, aspectos socio afectivos, destrezas cognitivas complejas (creatividad, pensamiento crítico), ciudadanía, etc.

e) Cambiar el nombre del Sistema de Medición de la Calidad de la Educación.

La sigla del actual SIMCE –Sistema de Medición de la Calidad de la Educación- lleva a muchísima confusión. Sabemos que la calidad del sistema educativo, y la calidad integral de los aprendizajes, son algo complejo y compuesto de variados factores.

En el corto plazo, en la medida que no se realicen los cambios que nuestro sistema de evaluación necesita, es urgente cambiar el nombre de la sigla SIMCE. Proponemos cambiarlo por “Sistema de Medición del Aprendizaje Escolar Instrumental”.

NOTAS

(1) Nos referiremos a este punto más adelante.

(2) Recordemos a este respecto las conclusiones del informe emanado por la misión de la OCDE “Revisión de las políticas nacionales de educación: Chile”: “La educación chilena está influenciada por una ideología que da una importancia indebida a los mecanismos de mercado para mejorar la enseñanza y el aprendizaje…” “Los mecanismos de mercado, en la práctica, son generalmente débiles estímulos para la implementación o mejoramiento educacional…” (OCDE, 2004: p. 290).

(3) Recordemos por ejemplo el valor que le asignan los estudiantes al clima escolar, los docentes al ambiente laboral y a las posibilidades de realizar un trabajo colaborativo y autónomo o los padres y apoderados a la acogida que le entrega la institución escolar a sus hijos y a ellos mismos.

(4) Este es el caso, por ejemplo de los indicadores de logro en los aprendizajes de estudiantes de una escuela y la capacidad de retención de alumnos vulnerables por parte de la misma. Estos alumnos vulnerables tenderían a bajar su puntaje promedio, y por lo tanto, su lugar en el ranking SIMCE.

(5) Esta descripción breve de los ámbitos curriculares no pretende ser exhaustiva. Algunos educadores hablan de la necesidad de compatibilizar la formación para la empleabilidad, la formación para la ciudadanía y la formación para el desarrollo personal. Por otra parte el clásico informe “La educación encierra un tesoro”, encargado por UNESCO a una comisión de expertos y que se conoció como Informe Delors, plantea que son cuatro los pilares de la educación en el mundo actual: aprender a conocer, aprender a hacer, aprender a ser y aprender a vivir con otros (Delors (comp): 1996).

(6) Cabe aquí consignar que, en el marco del funcionamiento de la “Comisión para el desarrollo y uso del sistema de medición de la calidad de la educación” convocada por el Ministerio de Educación durante el año 2003, uno de sus miembros representante del Colegio de Profesores de Chile propuso un cambio en el nombre de este sistema de medición desde “Sistema de Medición de la Calidad” a “Sistema de Indicadores de calidad” con el objetivo de dejar en claro a la opinión pública que este sistema de evaluación se hace cargo solamente de una parte de la educación de niños y jóvenes. Lamentablemente, como sabemos, esta propuesta no fructificó.

(7) Nos referimos a esta problemática más adelante.

(8) Scheerens, 1999; Banco Mundial, 1996; Brunner y Elacqua, 2004; Murillo, 2003.

(9) Mayor sensibilidad al efecto escuela han mostrado variables como formación ciudadana, formación en valores o desarrollo personal (Gray, 2006; Murillo, 2003; Hill y Rowe, 1996; Fernández y González, 1998).

(10) Una aproximación al valor agregado de las escuelas en Chile desde 1990 a 1997, cuando los datos SIMCE no son individualizables, se presenta en Redondo et al, 2004.

(11) Si bien a comienzos y mediados de la década de los ’90 se vivió en el mundo, de la mano de la sofisticación de las herramientas estadísticas, una especie de “fiebre” a favor de las mediciones estandarizadas de manejo de contenidos académicos, hoy por hoy se escuchan muchas voces en la comunidad académica internacional que llaman a enriquecer los indicadores de calidad y matizar los alcances de este tipo de pruebas.

(12) Respecto a este último punto, recientes evaluaciones internacionales de aprendizaje han entregado nuevas evidencias del llamado efecto pares (LLECE/UNESCO, 2000). Este efecto, muy conocido en la práctica por los docentes de aula, se refiere al papel fundamental que tiene intercambio entre pares sobre los aprendizajes de los estudiantes. Las nuevas evidencias a las que hacíamos referencia indican que este efecto pares, aumenta notablemente en la medida en que se amplía la heterogeneidad sociocultural de los estudiantes al interior de las aulas.

(13) Ver también McEwan, P. J., and Carnoy, M. (2000). “The effectiveness and efficiency of private schools in Chile’s voucher system”. Educational Evaluation and Policy Analysis, 22(3), 213-239. McEwan, P. J. (2001). The Effectiveness of Public, Catholic, and Non-Religious Private Schools in Chile’s Voucher System. Education Economics, 9(2).

(14) Habría que agregar que se trata de una visión de la empleabilidad y del desarrollo económico que no se hace cargo de los actuales requerimientos de la sociedad de la información y la economía del conocimiento. En este nuevo contexto global cobran vital importancia aspectos como la capacidad de resolver problemas creativamente, la capacidad de resolver problemas nuevos con sentido, la capacidad de trabajar colaborativamente y en redes, etc.

(15) Al respecto ha sido “vergonzoso” el debate mediático alrededor de los resultados de la Evaluación Docente 2005.

(16) Decimos “algo parecido a un mercado educativo” pues compartimos con muchos otros autores la idea de que un mercado propiamente tal es imposible respecto de la educación.

(17) Lamentablemente el trabajo de esta comisión resultó prácticamente desconocido para la gran mayoría de los docentes, estudiantes y apoderados del país. Los docentes, actores fundamentales, fueron representados solamente por un miembro entre dieciocho. Por otra parte, a nuestro juicio, las recomendaciones de esta Comisión se quedan en una discusión tecnicista y no entran al tema de fondo del sentido y consecuencias del SIMCE.

 

BIBLIOGRAFIA

– Banco Mundial (1995): “Priorities and Strategies for Education. AWorld Bank Review”. Washington D.C. : The World Bank.

– Bravo, D., Contreras, D. y Sanhueza, C. (1999): “Rendimiento educacional, desigualdad y brecha de desempeño privado/público: Chile 1982-1997”. Departamento de Economía, Universidad de Chile

– Brunnner, J.J. y Elacqua, G. (2004): “Factores que inciden en una educación efectiva. Evidencia internacional”. Revista virtual “La educación” Año XVLIII-XLIX, Nº139-140, I-II. Organización de Estados Americanos. OEA.

– Carnoy, M. (2005): “La búsqueda de la igualdad a través de las Políticas Educativas: alcances y límites”. Revista electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 2005. Vol. 3, Nº 2.

– Comisión para el desarrollo y uso del sistema de medición de la calidad de la educación (2003): “Evaluación de aprendizajes para una educación de calidad. Informe final”. Ministerio de Educación, Santiago de Chile.

– Coraggio, L. y Torres, R.M. (1997): “La educación según el Banco Mundial”. Buenos Aires: Miño y Dávila.

– Cornejo, R. (2006): “El Experimento Educativo Chileno 20 años Después: Una Mirada Crítica a los Logros y Falencias del Sistema Escolar”. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 4(1), pp. 118-129.

– Delors, J. (comp.)(2000): “La educación encierra un tesoro”.Informe a la UNESCO de la Comisión Internacional sobre la Educación para el siglo XXI. Ediciones UNESCO.

– Donoso, S. y Hawes, G. (2002): “Eficiencia escolar y diferencias socioeconómicas: a propósito de los resultados de las pruebas de medición de la calidad de la educación en Chile”. Educacao e Pesquisa, Sao Paulo, v. 28, n° 2, p. 25-39, jul/dic. 2002

– Fernández, Mª José y González, Arturo (1997): “Desarrollo y Situación actual de los estudios de Eficacia Escolar”. RELIEVE, vol.3 n. 1. Consultado en http://www.uv.es/RELIEVE/v3n1_3.htm obtenido el 5 de enero de 2005.

– Fullan, M.(1993): “Las fuerzas del cambio. Explorando las profundidades de la Reforma Educativa”. Editorial Akal, Madrid 2002.

– Gardner, H. (2001): “La Inteligencia reformulada. Las inteligencias múltiples en el siglo XXI”. Editorial Paidós, Barcelona.

– Goleman, D. (1997): “La Inteligencia Emocional”. Vergara editores. Santiago de Chile.

– Gray, J. (2006). “La Eficacia Escolar y Otros Resultados de la Enseñanza Secundaria: Tres Décadas de Investigación Británica”. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 4(1), pp. 16-28. http://www.rinace.net/arts/vol4num1/art2.pdf. Consultado el 5 de marzo de 2006.

– Hargreaves, A. (2005): “Cuando vivimos en una época de test estandarizados es cuando más se requiere hacer una comunidad de aprendizaje”. Entrevista en Revista Docencia, Nº 27, diciembre de 2005. Colegio de Profesores de Chile A.G.

– Hill P. y Rowe K.J., (1996): “Multi level modelling in school effectiveness research”. School Effectiveness and schoool improvemente, 7 (1), 1-34, citado en Fernández, Mª José y González, Arturo (1997): “Desarrollo y Situación actual de los estudios de Eficacia Escolar”. RELIEVE, vol.3 n. 1. Consultado en http://www.uv.es/RELIEVE/v3n1_3.htm obtenido el 5 de enero de 2005.

– LLECE/UNESCO (2002): “Estudio cualitativo en escuelas latinoamericanas con resultados destacables”. Laboratorio Latinoamericano de evaluación de la calidad de la educación.

– LLECE/UNESCO (2000): “Primer estudio internacional comparativo de lenguaje, matemáticas y factores asociados”. Laboratorio Latinoamericano de evaluación de la calidad de la educación. (Segundo Informe)

– Martinic, S. y Pardo. M. (2003): “La investigación sobre eficacia escolar en Chile. Estado del arte”, en Murillo, F.J. (coord) “La investigación sobre Eficacia Escolar en Iberoamérica. Revisión Internacional sobre el Estado del Arte”. Convenio Andrés Bello. Centro de Investigación y Documentación Educativa. Bogotá.

– McEwan, P. y Carnoy, M. (1999): “The Effectiveness and Efficiency of Private Schools in Chile’s Voucher System”. School of Education. Standford University.http://www.refrat.huberlin.de/aktien/texte/hintergund/CM_chile.pdf

– Ministerio de Educación (2005): “Resultados SIMCE 2005 4° Básico/ Resultados Nacionales”. MINEDUC, Gobierno de Chile.

– Ministerio de Educación (2003): “Prueba SIMCE 4° Básico 2002. Factores que inciden en el rendimiento de los alumnos. Nota Técnica”. Departamento de Estudios y Estadísticas. MINEDUC, Gobierno de Chile.

– Mizala, A., Romaguera, P y Ostoic, C. (2005): “Equity and Achievement in the Chilean School Choice System”. Centro de Economía Aplicada. Departamento de Ingeniería Industrial. Facultad de Ciencias Físicas y Matemáticas. Universidad de Chile.

– Murillo, F.J. (2003a): “El Movimiento de investigación de Eficacia Escolar”, Murillo, F.J. (coord) “La investigación sobre Eficacia Escolar en Iberoamérica. Revisión Internacional sobre el Estado del Arte”. Convenio Andrés Bello – Centro de Investigación y Documentación Educativa. Bogotá.

– Murillo, F.J. (2003b): “Una panorámica de la investigación iberoamericana sobre eficacia escolar”. REICE – Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación 2003, Vol. 1, No. 1.

– Organización para la Cooperación y el Desarrollo Económicos (OCDE) (2004): “Revisión de Políticas Nacionales de Educación: Chile”. OCDE, Paris y Ministerio de Educación, Chile.

– Redondo, J.; Rojas, K. y Descouvieres, C. (2004): “Equidad y Calidad de la Educación en Chile. Reflexiones e investigaciones de eficiencia de la educación obligatoria (1990-2001)”. Universidad de Chile. Facultad de Ciencias Sociales. Vicerrectoría de Investigación. Santiago de Chile.

– Scheerens, J. (1999): “School effectiveness in developed and developing countries; a review of the research evidence”. University of Twente/ The World Bank. June 1999.

– Slee, R y Weiner, G. (coord) (2001): “¿Eficacia para quién?. Crítica de los Movimientos de Escuelas Eficaces y de la Mejora Escolar”. Madrid: Akal.

– Torney-Purta, J.; Lehmann, R. Oswald, H, y Schulz, W. (2001): “Citizen and Education in Twenty-eight Countries: Civic knowledge end engagemente at age fourteen”. International association for the evaluation of educational achievement (IEA).

– UNESCO (2005): “Condiciones de trabajo y salud docente”. UNESCO, Oficina Regional de América Latina y el Caribe. Santiago de Chile.

– Valdivia, G. y otros (2003): “Estudio de la salud laboral de los profesores”. Informe final.