Actividad 5. Aplicación de una prueba

A continuación voy a exponer cuatro ítems de evaluación de un examen de quinto de primaria que se llevó a cabo por parte de mis alumnos el pasado día 5 de diciembre.

Para la elaboración de la prueba, me basé en el documento "TIMSS 2007 Guía del usuario" del Ministerio de Educación. De las cuatro unidades de evaluación escogidas, dos de ellas se aplicaron literalmente a los alumnos de quinto. En cambio, las otras dos se adaptaron a los contenidos propios del nivel y que se han trabajado durante este primer trimestre. 

La adaptación de los ítems ha sido mínima ya que hay que tener en cuenta, que las pruebas TIMSS de 4º de primaria se suelen llevar a cabo en el mes de mayo. Por lo tanto, de mayo a diciembre no hay un periodo excesivamente largo para plantear cambios significativos y sustanciales. Así que en ese sentido, el porcentaje de aciertos puede ser bastante comparable.

ASPECTOS BÁSICOS DE LA PRUEBA.

PRUEBA

Segunda prueba trimestral (primera semana de diciembre) de matemáticas en 5º de primaria. Prueba estructurada en 4 bloques, con un total de 23 ítems. Los ítems de la prueba se corresponden con los criterios de evaluación que recoge el currículum de matemáticas para la educación primaria.

ORGANIZACIÓN DE LOS ÍTEMS

Geometría	Medida	Numeración y cálculo	Resolución de problemas
14,15,16,17,18,19,20	9,10,11,12,13	1,2,3,4,5,6,7,8	12,13,21,22,23
Cada ítem lleva asignado un punto. Los ítems de resolución de problemas llevan asignados dos puntos. (1 punto por la respuesta correcta y 1 punto por la corrección del procedimiento de resolución: datos, operaciones y esquema)

Referentes

PRUEBA TIMSS 2007. Ministerio de educación. Evaluación de 4º de educación primaria.

UNIDADES DE EVALUACIÓN

1. Coloca y resta: 35,7 – 8,96 Respuesta: ___________

2. Coloca y multiplica: 53,7 x 8,75 Respuesta:____________

14. Dibuja el reflejo de la figura a partir del eje de simetría marcado con la línea de puntos. Después pinta de color amarillo el reflejo que te ha salido.

23. Antes de irse Joan quiere repartir los 74 cromos de su colección de GORMITI entre sus ocho amigos. ¿Cuántos caramelos más son necesarios para poder repartir a partes iguales? Respuesta: __________________________

ANÁLISIS DE RESULTADOS

UNIDADES DE EVALUACIÓN (TIMSS 2007. Guía del usuario)
1	TIMSS Pregunta M041278 (p. 125). Examen Pregunta 2. Ítem adaptado para 5º de primaria.
	Contenido: Números (algoritmo de la multiplicación con decimales) Dominio cognitivo: conocimiento
	Número de aciertos TIMSS: 40,5 % Número de aciertos examen: 30 %
	La mayoría no dominan el algoritmo de la multiplicación con decimales. El error más común está en la colocación de la coma. Guía de corrección sencilla y fácil de seguir y aplicar.
2	TIMSS Pregunta M041250 (p. 127). Examen Pregunta 1. Ítem adaptado para 5º de primaria.
	Contenido: Números (algoritmo de la resta con decimales) Dominio cognitivo: conocimiento
	Número de aciertos TIMSS: 43,8 % Número de aciertos examen: 80 %
	La mayoría domina el algoritmo de la resta con decimales. Coloca de forma correcta y calcula sin errores. Guía de corrección sencilla y fácil de seguir y aplicar.
3	TIMSS Pregunta M031235 (p. 140). Examen Pregunta 23. Ítem copiado y contextualizado en un estímulo.
	Contenido: Números Dominio cognitivo: razonamiento
	Número de aciertos TIMSS: 34,5 % Número de aciertos examen: 20 %
	La mayoría no ha sabido aplicar una estrategia de cálculo. Plantean operaciones con los datos numéricos del enunciado y responden de forma incorrecta. Guía de corrección sencilla y fácil de seguir y aplicar.
4	TIMSS Pregunta M031274 (p. 151). Examen Pregunta 14. Ítem copiado.
	Contenido: Figuras geométricas Dominio cognitivo: aplicación
	Número de aciertos TIMSS: 50,6 % Número de aciertos examen: 80 %
	La mayoría dibuja de forma correcta la imagen simétrica. Guía de corrección sencilla y fácil de seguir y aplicar.

 

CONCLUSIONES

Las unidades 1 y 3 han tenido un porcentaje de aciertos inferior en 5º de primaria en comparación con los resultados internacionales de 4º. Sobretodo, hay que destacar la unidad 3 ya que en el examen (ítem 23) se planteó literalmente la misma tarea que en la prueba TIMSS obteniendo unos resultados inferiores. Por lo tanto, podríamos considerar que las tareas que implican razonamiento representan una competencia poco trabajada para mis alumnos de quinto de primaria.

En sentido contrario, las unidades 2 y 4 han tenido un porcentaje de aciertos muy superior en quinto respecto a los resultados internacionales de 4º, tanto en la pregunta adaptada (ítem 1) como en la pregunta que se presentaba de forma literal (ítem 14). Por ello, se podría concluir que el algoritmo de la resta con decimales y la proyección de simetrías representan competencias trabajadas y asimiladas para mis alumnos de quinto de primaria.

Charla #preguntasPISA 15/12/2014

El pasado lunes día 15 de diciembre pudimos disfrutar otra vez, de la compañía de varios expertos que desde mi punto de vista pudieron satisfacer muchas de las dudas que los profesionales nos hacemos en relación a las evaluaciones internacionales. Modestamente me gustaría destacar los aspectos que más me llamaron la atención:

1. Entender las limitaciones que en sí mismas tienen las pruebas PISA. Este tipo de evaluación mide unos capacidades determinadas y no otras cosas. Por lo tanto, es importante comprender la complejidad y el objetivo real de una prueba estandarizada como PISA y tener al mismo tiempo, una visión crítica sobre las extrapolaciones incorrectas que se puedan hacer sobre ellas, especialmente en los medios de comunicación.

2. Parece ser que los malos resultados en las pruebas realizadas con soporte digital, denotan una escasa competencia digital del alumnado español en la resolución de problemas y tareas académicas. La diferencia global de resultados PISA de los alumnos españoles comparados con la media de la OCDE disminuye si las pruebas se realizan en papel. Este hecho debería abrir un proceso de reflexión profunda sobre los usos de las nuevas tecnologías en los centros educativos.

3. Los alumnos repetidores obtienen hasta 120 puntos menos en las pruebas PISA. Es interesante destacar los datos relativos a este grupo de alumnos:

   - Los alumnos no repetidores españoles tienen resultados similares a la media de la OCDE.
   - Los alumnos repetidores españoles tienen resultados similares a los alumnos también repetidores        de los demás países de la OCDE.
   - El 25 % de los alumnos repetidores españoles aprueban PISA.

El único dato significativamente discordante, es el porcentaje de repetidores. Mientras que la media de la OCDE está en el 16 %, en España está alrededor del 33 %.

Es evidente que se debería modificar el tratamiento de la repetición en el sistema educativo español. A la luz de los datos, se ve como en muchos casos (25 %) tal vez haya alumnos que no deberían haber repetido, mientras que por otro lado, en la mayoría de repeticiones habría que plantear otro tipo de medidas educativas para intentar mejorar los resultados.

Cabe destacar, que las recomendaciones sobre la repetición como medida educativa, se han incorporado en los informes realizados hasta la fecha.

Reformar los currículos. Charla#preguntasPISA.

Esta tarde hemos podido disfrutar de una charla interactiva con nuestros expertos sobre las evaluaciones internaciones.

Por todos es sabido la trascendencia mediática que tienen, en especial, las pruebas PISA. Muchos pensamos que deberían tener implicaciones y generar cambios en el sistema educativo. Personalmente destacaría un elemento que se ha ido repitiendo en varias preguntas y respuestas.

En primer lugar, ha quedado claro por nuestros expertos, que PISA evalúa competencias y no contenidos curriculares. En ese sentido no parece que nuestros alumnos tengan el enfoque adecuado en su día a día en el aula, para superar con éxito las tareas que se plantean en estas evaluaciones.

Por lo tanto, creo que es aquí donde radica la cuestión de fondo. El enfoque competencial parece ser el camino más adecuado para desarrollar unos aprendizajes que les permitan enfrentarse a la realidad cuotidiana.

La incorporación de este tipo de pruebas en nuestros centros puede iniciar un cambio en el enfoque metodológico introduciendo un trabajo más práctico y contextualizado. Evidentemente, los centros deberían en una primera fase, familiarizar a sus alumnos con este tipo de pruebas, pero no para preparar o entrenarlos para las evaluaciones, sino con el convencimiento que este modelo puede generar un cambio tan positivo como necesario.

En la charla, se ha citado el ejemplo de Polonia, que tras unos malos resultados en el año 2006, inició un cambio importante en los currículos escolares desarrollando las competencias básicas y probablemente, minizando la estructura clásica de áreas de conocimiento y contenidos.

Así que tras la nueva ley orgánica, LOMCE, los nuevos currículos de educación primaria no parecen introducir ningún cambio significativo en esa línea. El desarrollo de las competencias y su impacto en la realidad del aula no se desprenden demasiado de los nuevos decretos. Sería necesario realizar una reforma profunda de nuestros currículos y plantear un auténtico desarrollo de las competencias básicas en cada etapa educativa.

El desarrollo del proceso de evaluación debería ser uno de los pilares de una futurible reforma curricular, porque la evaluación, tal vez sea el camino más rápido para acelerar el cambio metodológico.

Elaboramos nuestros propios ítems

La actividad final de la unidad 4 nos pide que elaboremos un ítem propio. Aquí os propongo varios ítems de competencia matemática para alumnos de quinto de primaria basados en el estímulo de los relojes de agujas.

ÍTEMS COMPETENCIA MATEMÁTICA.

Estímulo	Contenido	Dominio cognitivo	Dificultad	Nivel
Relojes	Figuras geométricas	Aplicación/ Reproducción	Media/alta	5º primaria

RELOJ 1

RELOJ 2

1. El reloj 1 marca las diez y diez de la mañana. ¿Qué ángulo forman sus agujas?

          Forman un ángulo de ….............. grados.

2. En el reloj 1, traza una línea alargando la aguja que indica las horas hasta las cuatro. Ahora se ha formado un nuevo ángulo entre las dos y las cuatro. ¿Cuántos grados tiene este segundo ángulo?

          Tiene …............. grados.

3. Este segundo ángulo se trata de un ángulo …

          a. complementario

          b. suplementario

          c. recto

          d. obtuso

4. En el reloj número 2, indica una hora en la que las agujas formen un ángulo de 60 º.

5. ¿Cuál es su ángulo complementario?

           Es de …........... grados.

CODIFICACIÓN DE RESPUESTAS
1	R: 120º	Procedimiento: el alumno debe partir del ángulo completo 360 º.	0-1
2	R: 60º	Procedimiento: el alumno debe trazar una línea hasta el 4 y marcar el ángulo 2	0-1
3	R: suplementario	Procedimiento: los ángulos suplementarios forman 180º.	0-1
4	R: Abierta.	Cualquier solución que las agujas formen 60 º. Ejemplo: Las dos en punto.	0-1
5	R: 30 º.	Procedimiento: los ángulos complementarios forman 90 º.	0-1

#MOOCafEOE Competencias: reflexiones generales

Una de las reflexiones más importantes de las evaluaciones PISA radica en la naturaleza de las competencias que pretende evaluar. Los resultados de España no pueden ser nunca buenos si tenemos en cuenta que PISA evalúa competencias cuando todavía la enseñanza de contenidos domina gran parte de nuestro sistema educativo.

Carles Monereo, una de los referentes en metodología de evaluación educativa, en todas sus conferencias expone la máxima siguiente:

"Dime cómo evalúas, y te diré cómo aprenden tus alumnos".

Esta pequeña reflexión filosófica entraña realmente la cuestión de fondo con las pruebas PISA. Si no enseñamos en competencias, los alumnos no aprenden competencias y por lo tanto, no pueden sacar buenos resultados en competencias.

Aquí tenéis un enlace a una de las conferencias imprescindibles en materia de evaluación educativa.

"La evaluación auténtica". Carles Monereo Font

Pruebas: preguntas más frecuentes

A la hora de elaborar un prueba, en mi caso para alumnos de quinto y sexto de primaria, hay que tener en cuenta los criterios de evaluación que el currículum escolar recoge. En las diferentes áreas de conocimiento se especifican con más o menos detalle las habilidades o capacidades que el alumno debe tener en cada ciclo educativo.

A partir de aquí, personalmente, procuro elaborar los ítems en función del contenido que se ha trabajado y teniendo de referencia el criterio de evaluación curricular correspondiente. En cada competencia predominan un tipo de preguntas sobre otras.

En competencia matemática, las preguntas más habituales suelen ser:

Partir de un estímulo que pueda generar varias preguntas, en formato de resolución de problemas, que generalmente serán de respuesta abierta dónde el alumno deberá realizar el procedimiento y escribir la solución.

A modo de ejemplo, algunos de los estímulos más habituales son:
- El sistema monetario planteado en contextos de tiendas y centros comerciales con situaciones reales.
-Áreas y perímetros planteados en situaciones de construcción y elementos reales.

En competencia lingüística, las preguntas más habituales son muy variadas.

En primer lugar, hay que decir que cada una de las pruebas de lengua están estructuradas en cuatro bloques: comprensión oral, comprensión lectora, expresión escrita y conocimiento de la lengua.

Para poner un ejemplo, nos centraremos en la comprensión lectora dónde las preguntas combinan ítems cerrados de opción múltiple con otros ítems abiertos de respuesta corta y elaborada. Para concretar más, para un texto literario de unas trescientas palabras suelo preparar entre seis y ocho preguntas de comprensión que tienen como objetivo analizar tres procesos cognitivos:

- Localización explícita de información. El 50% de las preguntas, combinando preguntas de opción múltiple con otras de respuesta corta.
- Interpretación implícita de información e inferencias. Entre el 50 y el 30%, combinando preguntas de opción múltiple con otras de respuesta corta.
- Reflexión sobre el contenido y la forma del texto. Hasta un 20 % de las preguntas, siempre mediante cuestiones abiertas y de respuesta elaborada.

Por otra parte, las preguntas que procuro evitar son aquellas que tengan un caràcter demasiado abierto y ambiguo, y el mismo enunciado permita varios tipos de respuesta. Una pregunta excesivamente abierta dificultaría la corrección de la misma y al mismo tiempo, relativizaría la evaluación de los criterios de evaluación del currículum, que siempre hay que tener como referente.

Adaptación de ítems liberados.

A continuación voy a exponer dos propuestas de ítems de competencia matemática para alumnos de quinto y sexto de primaria. Para ello, he adaptado dos estímulos que aparecen en los documentos de TIMSS 2011 y de TIMSS 2007.

TIMSS 2011. Preguntas liberadas de matemáticas (8º grado/ 2º ESO)

TIMSS 2011 Matemáticas (2º ESO) (página 9)

ADAPTACIÓN

Nivel	Dominio contenido	Dominio cognitivo	Nivel de desempeño
5º de primaria	Figuras geométricas y medida	Aplicación	Bajo

ESTÍMULO

Patricia tiene baldosas rojas y negras. Ella usa esas baldosas para hacer formas cuadradas. Patricia está reformando su casa u está cambiando las baldosas. Ella quiere poner en la entrada un suelo con la forma que tienes al lado.

a. Si cada baldosa ocupa 1 m² ,¿cuál es la superficie total del suelo?

b. ¿Cuál será el perímetro de las baldosas rojas?

c. ¿Cuál será el perímetro de las baldosas negras?

 

TIMSS 2007. Preguntas liberadas de matemáticas (4º de primaria)

TIMSS 2007 4º primaria (página 159)

ADAPTACIÓN

Nivel	Dominio contenido	Dominio cognitivo	Nivel de desempeño
6º de primaria	Figuras geométricas y medida	Aplicación	Medio

ESTÍMULO

 

a. Aquí están los dos lados de un rectángulo. Dibuja tú los otros dos.


b. Si la base del rectángulo mide 4 cm, calcula su perímetro.


c. Ahora, calcula su àrea.

¿Cómo corriges?

Cuando en una prueba les planteamos a los alumnos una pregunta de desarrollar,

• ¿nos consideramos justos, estrictos o que corregimos con manga ancha?
• ¿qué procedimiento sigues para corregir por igual a todos los alumnos? (estableces criterios mínimos y máximos, comparables)

Una pregunta de desarrollo como podría ser un expresión escrita de lengua, es evidente que tiene un componente mucho más abierto a la subjetividad.

A partir de ahí, hay que establecer criterios de corrección que ponderen e introduzcan elementos objetivos que ayuden a guiar el punto de vista subjectivo del corrector.

Pondremos un ejemplo. Pregunta de expresión escrita de lengua castellana de sexto de primaria.

EXPRESIÓN ESCRITA.

Realiza una argumentación de unas ochenta palabras explicando tu postura sobre el uso de uniformes escolares en tu centro.

Para corregir una pregunta de este tipo, es recomendable usar una rúbrica de evaluación en la que se establezcan los criterios de evaluación del texto.

En este caso, los aspectos que siempre trabajamos en un texto son:

Presentación: letra clara, sin tachones, márgenes correctos y separación de párrafos.

Adecuación: cumplir los requisitos del enunciado. Extensión, tipo de texto, estructura de la argumentación, uso de vocabulario específico del tema, registro adecuado.

Coherencia: exposición clara de la postura, argumentos claros, contraargumentos adecuados, orden lineal y secuenciado de las ideas, concordancia entre postura general y argumentos.

Cohesión: concordancia gramatical en las oraciones (género, número, tiempo verbal), uso de conectores, uso de los signos de puntuación de forma equilibrada y ausencia de repeticiones de vocabulario.

Corrección ortográfica: ausencia de faltas de ortografía propias del nivel (acentuación ordinaria, diacŕiticos comunes, mayúsculas, normas básicas r-rr, j/g, c/s, ...)

A cada criterio se le asignarían una escala de cero a dos puntos, por lo tanto, el texto quedaría valorada con un puntuación sobre diez.

Otra cuestión importante, es el procedimiento de corrección. Para este tipo de preguntas, es recomendable corregir esta pregunta de un tirón de forma aislada. Es decir, ayuda a mantener un mismo criterio corregir la misma pregunta de todos los alumnos, en lugar de ir corrigiendo examen a examen de forma completa. 

Con estos dos elementos, el punto de vista subjetivo que pueda tener cada maestro o profesor queda más estructurado y objetivo.

Comprensión lectora: PIRLS vs. PISA

En la unidad 3, se pide que hagamos una comparación entre los ítems de las pruebas PIRLS y PISA. Para ello hay que analizar los textos "Los ratones patas arriba" y "Un juez justo", y las correspondientes preguntas de comprensión lectora.

Una de las diferencias más significativas radican en la finalidad de las preguntas que inciden en el proceso cognitivo de reflexión sobre el contenido, ya que en las pruebas PISA se plantean ítems abiertos en el que el alumno debe incorporar reflexiones propias a partir de sus conocimientos previos sobre el tema principal de la lectura. Aun teniendo en cuenta la diferencia de nivel evidente, de este modo se podría decir que PISA presupone algunos conocimientos de cultura general que tal vez no recojan los currículos de ciencias sociales de secundaria. Esta presuposición la podemos ver en el criterio de corrección de la pregunta 9 donde la guía especifica:

"Máxima puntuación:
             Código 1:  .... No es imprescindible que demuestre un conomiento exacto del sistema legal nacional pero que tenga en cuenta el conocimiento básico acerca del sistema legal ... que sería esperable en los jóvenes de 15 años."

Por otro lado, en PIRLS las preguntas de análisis de contenido se refieren a elementos del texto, en el que el alumno debe aportar una reflexión apoyada siempre en el mismo texto. No presupone conocimientos previos externos al contenido explícito del texto. Como ejemplo tenemos la guía de corrección de la pregunta 14 (de respuesta abierta):

"Respuesta aceptable (1 punto)

La respuesta evalúa con precisión la credibilidad de los sucesos o personajes de la historia, ...
Elementos no creíbles:  pegar los muebles al techo, los ratones se desmayaron, ..."

En este sentido, los ítems PIRLS tal vez tengan una correspondencia mayor con los currículos de educación primaria que en el caso de PISA con los de secundaria.

Se podría afirmar que algunos de los ítems PISA tengan un componente subjetivo mayor en las respuestas esperadas por los alumnos.

Enlaces:

"Un juez justo" (PISA)
 http://www.mecd.gob.es/dctm/ievaluacion/internacional/pisalectura.pdf?documentId=0901e72b8010c470
"Los ratones patas arriba" (PIRLS)
 http://www.mecd.gob.es/dctm/ievaluacion/internacional/lalecturapirls.pdf?documentId=0901e72b8010b9f5

Uso de ítems liberados

El uso de los ítems liberados en los centros educativos se debería incorporar a varios niveles:

1. Modificar las evaluaciones ordinarias de los centros siguiendo los modelos de pruebas TIMSS y  PISA.
2. Incorporar en las actividades cuotidionas del aula, tareas similares a los ítems de las pruebas TIMSS y PISA.
3. Desarrollar la práctica reflexiva del profesorado en la elaboración y diseño de las actividades y pruebas.

Aquí tenéis algunos enlaces de ítems liberades de pruebas de educación primaria:

 http://es.santillanacloud.com/url/evaluacionesexternas/
http://www.mecd.gob.es/dctm/inee/recursos/itemsliberadoseducacionprimaria.pdf?documentId=0901e72b8143ae4a

ENFOQUES DE LOS MEDIOS

Aquí os expongo dos referencias sobre el informe PISA 2012 en España. Los medios consultados son "elpais.com" y "elmundo.es". Haciendo un vistazo general de las dos noticias destacaría los aspectos siguientes:

Coincidencias generales:

• Las dos noticias incluyen los gráficos más importantes.
• En cada de ellas, el cuerpo de la noticia expone los datos más relevantes de forma objetiva.
• Las dos noticias destacan en titulares los malos resultados de España.

Diferencias de enfoque:

• Las grandes diferencias se dan en los subtítulos y en los aspectos desarrollados en cada noticia.
• Elmundo.es destaca las diferencias internas entre las comunidades autónomas y califica de "mediocres" a muchos alumnos españoles, enfatizando la falta de excelencia. Además destaca los malos resultados en matemáticas, obviando la referencia a lengua y ciencias en los subtítulos. Otro aspecto destacado, se centra en la relación negativa que establece entre la inversión presupostaria en España y los resultados académicos.
• Elpais.com hace referencia a aspectos internacionales del informe (Asia, Finlandia) además de centrarse en los resultados estatales. Por otra parte, destaca que los alumnos "más retrasados" lastran los resultados haciendo referencia al impacto de los alumnos repetidores en los resultados globales. También se utiliza el concepto "estancamiento" para referirse a los resultados generales de lectura y matemáticas, aunque después en el desarrollo de la noticia entre en más detalles. Es importante destacar, el enlace que establece con la noticia relacionada "las tripas del informe" en el que expone la opinión de algunos expertos que cuestionan el análisis de los datos y la validez del modelo estadístico utilitzado en el estudio. Por lo tanto, se puede entender que se intenta ofrecer un enfoque más amplio que relativice los resultados.

Enlaces:

http://www.elmundo.es/espana/2013/12/03/529cf657684341c1678b458e.html

http://sociedad.elpais.com/sociedad/2013/12/03/actualidad/1386063448_866928.html

PISA,TIMSS, TALIS, ... en los medios

“Cuando se hace público un informe sobre educación, ¿a qué fuente o fuentes de información sueles acudir para informarte?”

Cuando los informes PISA, TALIS, TIMSS, ... se hacen eco en los medios de comunicación, especialmente el primero, siempre suelo acudir al informe original que el mismo ministerio de educación cuelga en su página web.

Cuando se trata de evaluaciones diagnósticas autonómicas, en mi caso siempre consulto directamente la web del "Institut d'avaluació de la qualitat del sistema educatiu"  (iaqse) organismo de la Consejería de Educación del Govern de les Illes Balears.

¿Sabías que ...?

#preguntasPISA ¿Sabías que el % de alumnos españoles con lengua materna distinta al idioma de enseñanza es muy superior a la media de la OCDE?