“Más allá de enseñar es
promover el aprendizaje
para trascender en una educación de calidad”
leoneefer
para trascender en una educación de calidad”
leoneefer
Hablar de evaluación para la
calidad de la educación superior es un tema álgido ya que en la educación
superior existe una diversidad de carreras y docentes, que manejan un principio
de libertad de cátedra y este lo extienden en la misma evaluación, es decir,
cada quien define su forma de evaluar por lo que a través del presente artículo haré una breve reseña sobre evaluación posteriormente definiré el concepto de
evaluación y sus diferentes formas, así como lo que debemos hacer al evaluar
para que realmente obtengamos la calidad educativa superior a través de la
evaluación.
Hace algunos años, recuerdo en los inicios de mi infancia y en
mi situación de alumno de primaria empecé a utilizar y tal vez a entender el
concepto de evaluación, cuando los maestros que tuve me indicaban mañana
tenemos examen o sencillamente cuando teníamos que recitar a pie puntillas un
texto, poema, entre otros, y que difícil, era el tener que aprendernos de
memoria lo que nos indicaban los docentes y pobre de aquel que no lo supiera o
estaba reprobado o recibía un castigo por parte del profesor y aún más cuando
el profesor le daba la queja a mis padres sabía perfectamente que tendría que
recibir otro castigo más por parte de ellos, por tales motivos tenía que
memorizar todo para cuando el profesor me lo pedía, y ahora entiendo que este
estilo de aprendizaje y de evaluación fue el memorístico o tradicionalista,
aunque con el tiempo ya no recordara lo aprendido en esa época; Este hecho ocasiona
una paradoja
entre el objetivo o fin de la educación cuando se entiende que la
“educación” por un lado, debe encargarse
de formar personas o ciudadanos que respondan a una necesidad y mejora social, la evaluación tradicional en todo caso hace todo lo contrario cuando al
medir cuantitativamente los “conocimientos”
de los individuos no da lugar ni permite
reflexionar críticamente sobre los conocimientos y procesos de aprendizaje de los estudiantes, ni tampoco les brinda los
medios que les permitan tomar consciencia de su realidad y la capacidad para
transformar ésta a favor de su propio
beneficio.3
Transcurrió el tiempo e ingrese a la secundaria y de alguna forma los
profesores cambiaron un poco su forma de evaluarnos ya que de alguna forma
seguían siendo los mismos métodos, con
la ventaja que ya no solo evaluaban con exámenes sino que, anexaron las tareas,
participaciones y en algunas materias prácticas de campo o de laboratorio, a
este proceso de aprendizaje y evaluación se le conoció como la evaluación desde
la tecnología educativa, desde esta perspectiva, con la intención de realizar
una evaluación objetiva, en la que se puedan cuantificar los conocimientos que
el alumno alcanzó sin que intervinieran juicios derivados de intereses, puntos
de vista, subjetividad del evaluador, se diseñaron “pruebas objetivas”, sin
embargo, de acuerdo con Rothney algo es objetivo, desde el punto de vista
filosófico “cuando existen independientemente del sujeto”(4) y el proceso de evaluación, aún en el caso
de que se utilicen las llamadas pruebas
objetivas, no pueden prescindir de la influencia del sujeto docente, quien es
el que determina los objetivos y elabora los instrumentos.
Por otro lado debemos considerar lo
que apuntaba Villarroel(5), de que las pruebas sean objetivas no les
confiere confiabilidad, puesto que, aun siendo objetivas, pueden no estar
midiendo lo que realmente deberían o pretenden medir, es decir, pueden ser poco
válidas.
Casi al concluir mis estudios de
preparatoria surge la evaluación desde la didáctica crítica en donde diversos
autores como Porfirio Morán Oviedo, definen la evaluación fundamentándose en la
didáctica crítica como un proceso integral académico del educando que informaba
sobre sus conocimientos, habilidades, actitudes, hábitos… como una actividad
que dentro del proceso enseñanza – aprendizaje permitía obtener datos que ofrecían la oportunidad de ir corrigiendo
errores, salvando obstáculos, resaltando aciertos, es decir, que permitían ir
mejorando el quehacer educativo6.
Cuando estudiaba mi carrera
profesional en la Escuela Normal Superior del Estado de Hidalgo, relaciono que se implementó el proceso de
evaluación, de acuerdo al principio de Taba(7), por su parte, consideraba
que la evaluación debía abarcar e iniciarse con la elaboración del currículo
que dentro del plan de estudios de una escuela todo puede ser evaluado:
objetivos, materias medios de enseñanza, docentes, preparación de los
estudiantes, logros de los objetivos, etc.
(4) Rothney,
John. 1970, citado por Villarroel en “Evaluación de los aprendizajes en la
educación superior”. Caracas, Edit.
Paulinas 1974.
¿Qué
es evaluación?
ü La evaluación es el
enjuiciamiento sistemático de la valía o el mérito de un objeto.
ü “Una evaluación también
puede entenderse como un examen
propuesto en el ámbito escolar para que el docente califique los conocimientos, las aptitudes y el rendimiento de sus
alumnos”. Por ejemplo: “Mañana
tengo una evaluación de literatura” u “Hoy me evaluaron en Ciencias Sociales”.1
ü
En general, uno de los objetivos prioritarios de los alumnos es satisfacer
las exigencias de los "exámenes". En palabras de A. de la Orden
(1989):"La evaluación, al prescribir realmente los objetivos de la
educación, determina, en gran medida... lo que los alumnos aprenden y cómo lo
aprenden, lo que los profesores enseñan y cómo lo enseñan, los contenidos y los
métodos; en otras palabras, el producto y el proceso de la educación...
querámoslo o no, de forma consciente o inconsciente, la actividad educativa de
alumnos y profesores está en algún grado canalizada por la evaluación".2
ü El concepto de evaluación es
el más amplio de los tres, aunque no se identifica con ellos. Se puede decir
que es una actividad inherente a toda actividad humana intencional, por lo que
debe ser sistemática, y que su objetivo es determinar el valor de algo (Popham,
1990).
La
acreditación es de carácter académico-administrativo, mientras que la evaluación
y la calificación son de carácter estrictamente académico, refieren el tipo y
nivel de los aprendizajes logrados.
La evaluación comporta una valoración, se
refiere a la calidad. La calificación permite una cuantificación, se refiere a
la cantidad. Al valorar se deben tomar en cuenta varios elementos subjetivos,
por ejemplo: opiniones, sentimientos, percepciones. La medición refiere
únicamente elementos observados y cuantificados. Así es posible evaluar y
acreditar sin que existan calificaciones de por medio.
En la mayoría de las instituciones de
educación superior se califica sin evaluar, en otras palabras, sin juzgar y
valorar la efectividad del proceso enseñanza-aprendizaje para mejorarlo
continuamente.
¿Cómo
evaluar?
Ni la evaluación ni la calificación pueden
depender de un solo instrumento o técnica de evaluación porque de esta manera
únicamente se mide un tipo de aprendizaje. Si en el plan de trabajo el profesor
diseña diferentes objetivos se deben medir los aprendizajes logrados en cada
uno de ellos por medio de la técnica que le corresponda. Todo esfuerzo
realizado por el alumno durante el curso como resultado de las actividades de
aprendizaje debe ser parte de la evaluación.
La evaluación tiene dos objetivos
principales: analizar en que medida se han cumplido los objetivos para detectar
posibles fallas en el proceso y superarlas y, el segundo, propiciar la
reflexión de los alumnos en torno a su propio proceso de aprendizaje
(metacognición). Para lograr estos objetivos la evaluación debe ser
participativa –que los alumnos participen en ella. Completa –debe abarcar todos
los pasos importantes del proceso enseñanza–aprendizaje. Continua –a lo largo
del curso– no debe dejarse para el final del mismo.
Es fundamental considerar que la evaluación
es un proceso de aprendizaje tanto para los alumnos como para los profesores y
la institución.
En la actualidad existen múltiples
alternativas de evaluación. Cualquier decisión debe sustentarse en el enfoque
educativo, el tema, la finalidad, el alumno y el estilo de enseñanza del
profesor.
¿A
quién se evalúa?
A través del siguiente cuadro especificare
qué aspectos se evalúan de cada elemento constitutivo del proceso enseñanza
aprendizaje.
¿A quién se evalúa?
|
¿Qué se evalúa?
|
Al alumno:
|
Conocimientos.
Habilidades.
Capacidades o destrezas.
Actitudes.
Aptitudes.
Intereses y expectativas.
|
Al profesor - facilitador:
|
Dominio del tema.
Trabajo grupal.
Aplicación de técnicas didácticas.
Uso de recursos didácticos.
Manejo de instrumentos de evaluación.
|
Al proceso enseñanza - aprendizaje:
|
Organización y secuencia para el logro de los objetivos.
|
El proceso de evaluación permite verificar el
cumplimiento de los objetivos educativos y comprobar que se ha producido el
aprendizaje previsto. Tradicionalmente se pensaba que evaluar era calificar lo
que el alumno había aprendido después de la fase de enseñanza.
Es importante diferenciar los términos verificación y evaluación del
aprendizaje. Verificación
es el proceso por el que se comprueba lo aprendido por el alumno, mientras que evaluación es el proceso
que valora los resultados y el cómo del proceso educativo, que puede traducirse
o no en una calificación o nota.
Evaluación es el proceso de obtención de información y de su uso
para formular juicios que se utilizan para tomar decisiones.
La evaluación del aprendizaje de los alumnos,
por lo general, permite valorar el grado de cumplimiento de los objetivos
educativos; diagnosticar errores conceptuales; destrezas, habilidades y
actitudes; el proceso y manera en que los alumnos las desarrollan. Se evalúan
también para analizar las causas de un aprendizaje deficiente y tomar las
medidas oportunas.
Es fundamental que la evaluación sea capaz de
valorar de forma efectiva el aprendizaje integral y no busque estimar la mera
memorización. Más importante que la memorización es desarrollar las habilidades
de reflexión, observación, análisis, el pensamiento crítico y la capacidad para
resolver problemas.
¿Cómo elegir un instrumento de evaluación?
Al elaborar el plan de trabajo (la planeación
didáctica) el profesor diseña las unidades
temáticas, tomando en cuenta las
técnicas de aprendizaje y de evaluación del aprendizaje que durante todo el
curso instrumentará, las cuales es posible que modifique al inicio o a lo largo
del curso para mejorar su enseñanza.
Las técnicas de aprendizaje y de evaluación
del aprendizaje deben ir acorde con el enfoque educativo que el profesor elija
y con su estilo de docencia.
Si, por ejemplo, elige la técnica expositiva
es importante que tenga pleno conocimiento de que solamente desarrolla en sus
alumnos las capacidades de atender y hacer apuntes y que con el examen
tradicional que le corresponde únicamente podrá medir las capacidades de
retención, memorización y repetición, pero no podrá medir los objetivos
relacionados con la comprensión y el manejo de información y menos aún los
formativos.
Si se utilizan otras técnicas e instrumentos
de evaluación se propicia que los alumnos desarrollen varias destrezas y
diferentes aprendizajes, por ejemplo, si el profesor solicita a sus alumnos que
realicen una investigación y la presentación de los resultados en un trabajo
escrito, podrá medir entre las capacidades que el alumno desarrolla las de
diseño de un proyecto, búsqueda y localización de fuentes, formulación de
hipótesis, argumentación para refutarlas o aceptarlas, diseño de instrumentos
de captura, análisis de datos, estructura de las conclusiones, fundamentación y
redacción del reporte.
Sin importar el instrumento que se elija se
deberá:
- Precisar qué se quiere conocer por medio de las técnicas de evaluación, es decir el profesor–facilitador deberá responderse ¿cuáles son las capacidades, habilidades y conocimientos que quiero y puedo enseñar?
- Seleccionar una técnica de evaluación que sea consistente con el estilo de enseñar del profesor y pueda ser fácilmente realizada en el aula.
- Antes de efectuarla explicar el propósito de la actividad a los estudiantes.
- En las actividades de evaluación no solicitar más información de la necesaria.
- Después de clase, repasar los resultados y decidir qué cambios deben de realizarse para mejorar el proceso de enseñanza-aprendizaje.
La evaluación actual:
El procedimiento tradicional de evaluación
responde a la educación basada en los contenidos. Se basa en formas de
obediencia institucionalizada y tiende a conducir al proceso educativo a la
rutina escolar y al uso de las medidas coercitivas, por tanto obstaculiza la
búsqueda del pensamiento crítico y creativo.
Mientras que la evaluación tradicional trata
de medir la reproducción de los temas contenidos en los programas, la
evaluación formativa, se interesa por expresar la calidad de búsqueda, a través
de la autoevaluación.
La evaluación actual ha sido pensada para
evaluar competencias. En las nuevas tendencias se pueden encontrar dos centros
de apoyo: uno, centrado en la revisión crítica de las ciencias de la educación
en particular y de las ciencias sociales en general y el otro, más pragmático,
derivado de los nuevos desafíos que introduce el avance vertiginoso de la
ciencia y tecnología.
El segundo centro de apoyo, llamado la nueva
aproximación al conocimiento, parte del reconocimiento de un sistema de
convivencia cada vez más regido por la revolución tecnológica, donde el saber
se contextualiza y se examina en forma de significados sociales, culturales y
éticos. Este nuevo enfoque se sustenta en las siguientes ideas:
• La cognición no es más que uno de los
tantos incidentes del proceso de construcción del conocimiento.
• Se trata que los alumnos aprecien que el
desarrollo del conocimiento provoca efectos directos e indirectos que
trascienden el aula y se relacionan con la organización, la estructura del
trabajo, el desempeño en actividades productivas y pautas de convivencia, cuya
difusión y aplicación permiten que emerjan nuevas necesidades y problemas que,
al no ser satisfechos, se convierten en nuevos desafíos para la construcción y
reconstrucción del conocimiento.
La enseñanza en nuestros días no es sólo la
acción de comunicar, representa una orientación al alumno a encontrarse con la
posibilidad de ser autónomo y a saber fundamentar una argumentación en el
desarrollo de su pensamiento crítico.
La evaluación actual mide el desarrollo de
capacidades para pensar, participar (trabajo colaborativo) y problematizarse.
En este sentido, interesa señalar que el
alumno que aprende es aquel que tiene conciencia de sus preconcepciones, la
manera cómo integra saber-realidad y cómo se identifica con los conceptos
claves, como investigación, ciencia y método para pensar la realidad y poder
transformarla.
La evaluación actual –al igual que la
constructivista- no es la aplicación mecánica de instrumentos de evaluación,
sino que busca valorar la formación del alumno.
La evaluación formativa requiere recoger,
organizar e interpretar la información obtenida de múltiples fuentes con el fin
de dirigir la acción correspondiente en el proceso de instrucción y mejorar el
aprendizaje de los estudiantes. Se citan algunas técnicas que faciliten o completen el proceso
enseñanza-aprendizaje por medio de la evaluación:
- Anecdotario: Es el registro acumulativo y permanente, que hace el docente, de los hechos relevantes realizados o en los cuales ha participado el estudiante. Permite valorar, en especial, la conducta individual y colectiva del estudiante, sus actitudes y comportamientos.
- Debate: Permite una evaluación cualitativa, es posible observar las capacidades del alumno para argumentar así como ciertas actitudes.
- Diarios o bitácoras: Es un registro escrito, de manera permanente, que realiza el rofesor sobre el planeamiento, desarrollo y evaluación de las actividades docentes. Es una descripción del aula en acción que permite al docente hacer explícito el mundo de las relaciones e interacciones que se suceden cuando está animando los aprendizajes (se desarrolla más adelante).
- Encuestas y cuestionarios: Son listados de preguntas, por escrito, que se entregan a diferentes personas que pueden suministrar una determinada información.
- Entrevista: La entrevista es una técnica que busca la formación del alumno. La evaluación se lleva a cabo a través del diálogo. Mediante el diálogo se puede establecer la consistencia del razonamiento, de las adquisiciones y de las capacidades cognitivas del alumno.
- Ensayos: Evalúa calidad de argumentación, manejo de la información, apropiación de conceptos y teorías.
- Escalas de valoración de actitudes: Son instrumentos que aprecian y miden la disposición (a favor o en contra) del estudiante hacia un objeto, grupo o situación.
- Exámenes de desarrollo: Es el examen tradicional de tres a cinco preguntas que el estudiante debe contestar de manera individual. Es una prueba muy fácil de elaborar pero difícil de evaluar porque se presta para sesgos por parte del profesor, cuando conoce a sus autores.
Se puede
mejorar la calidad de esta forma de evaluación elaborando previamente los
patrones de respuesta para las preguntas y capacitando monitores para que lean
las respuestas de los estudiantes y las comparen con los patrones, con tres
posibilidades de valoración: plena concordancia, mediana concordancia y ninguna
concordancia.
- Examen escrito: Es la técnica de evaluación utilizada tradicionalmente. El alumno en estas pruebas recibe una serie de peticiones que ha de contestar o resolver, según sean de carácter teórico o práctico, en un periodo de tiempo determinado, en ocasiones esta técnica varía y se realizan exámenes orales con el mismo procedimiento.
- Examen con posibilidad de consultar bibliografía: Pruebas encaminadas a resolver aspectos o casos con la posibilidad de consultar libros y apuntes previamente preparados por el alumno. Se trata de evaluar la capacidad de obtener información, analizarla y resolver problemas prácticos, más que la memorización de unos conocimientos teóricos.
Un caso
específico de prueba escrita dentro de las pruebas objetivas son los exámenes
tipo test en los que se plantean preguntas cerradas con las respuestas
predefinidas. Los alumnos deben seleccionar la o las respuestas correctas entre
las opciones planteadas. Generalmente suelen ser enunciados breves y respuestas
igualmente no muy extensas. La ventaja de este tipo de prueba es su carácter
objetivo, puesto que la puntuación no depende del profesor que corrige, siendo
posible incluso utilizar un lector óptico. Por una parte, presenta para el
docente la ventaja de la rapidez y facilidad de evaluación. Entre los
inconvenientes, las pruebas de tipo test son de difícil elaboración por parte
del profesor. La falta de concreción de las preguntas y la ambigüedad que
pueden presentar las respuestas son otros problemas. Por otra parte y por lo
general, las materias son ricas en matices y difíciles de encajar en una
evaluación de preguntas cerradas con múltiples respuestas predeterminadas. Este
sistema de evaluación fomenta en los docentes y en los alumnos un enfoque
centrado en los aspectos que se preguntan, por ejemplo, definiciones y
clasificaciones. No desarrollan en el alumno el proceso del pensamiento.
- Grabaciones en audio o vídeo con guía de análisis: Cuando las grabaciones de audio o vídeo se utilizan en la enseñanza y el aprendizaje, los docentes pueden valorar el grado de apropiación de los contenidos de los mismos mediante guías de análisis que deben desarrollar los estudiantes.
- Observación: La observación tiene un sentido de evaluación informal. Tanto el alumno que hace de observador como el observado, deben conocer previamente las reglas del juego. Unos para saber a que atenerse y otros para apreciar el valor de lo observado.
- Portafolio: Es un registro acumulativo que sistematiza la experiencia obtenida en un tema o asignatura y que se puede presentar en un fólder o carpeta de argollas. En el mismo se incluyen materiales de búsqueda bibliográfica, representaciones gráficas del material estudiado (mapas conceptuales, aspectos conceptuales, cuadros sinópticos, resúmenes elaborados por el estudiante sobre textos asignados por el profesor) al igual que ensayos, informes, evaluaciones y las correcciones correspondientes o cualquiera otra producción intelectual.
- Proyectos: Son aplicaciones de un tema o asignatura con los cuales se puede evaluar el grado de apropiación de los conocimientos, habilidades y destrezas intelectuales. Los proyectos permiten el ejercicio de la autonomía y la creatividad de los estudiantes. Los aprendizajes son lentos y exigen gran inversión de tiempo y trabajo, pero los aprendizajes son duraderos. Exigen mucha planeación de parte del docente para que el estudiante reciba todas las orientaciones necesarias antes de emprender el trabajo (más adelante se explica con mayor detalle).
- Pruebas escritas: han sido el medio tradicional de evaluación del alumnado, sobre todo en la universidad. Esta técnica presenta diversas variantes.
- Prueba teórica: El estudiante debe contestar una serie de temas de carácter teórico propuestos por el profesor. Estos temas pueden ser de carácter extenso, donde se evalúa el conocimiento sobre un tema o apartado que el alumno debe desarrollar o cuestiones más concretas y breves. Este tipo de evaluación puede plantear un aspecto determinado derivado del programa de la asignatura impartida o pedir que se relacionen conceptos y conocimientos a través de la relación de los conocimientos adquiridos.
- Examen práctico: En este tipo de examen se deben resolver, unos supuestos o problemas planteados normalmente de carácter cuantitativo, en el que se aplican un determinado instrumento o modelo al fenómeno descrito.
- Pruebas mixtas: Se utiliza de manera conjunta los dos tipos anteriores, se valora tanto el aprendizaje teórico como la capacidad de resolver cuestiones prácticas mediante la aplicación de los conocimientos teóricos adquiridos.
- Pruebas objetivas: Se ocupan del conocimiento factual. La estructura de estas pruebas consiste en un enunciado que especifica en términos precisos los logros previstos. La redacción es tan exacta que sólo admite una interpretación para una única respuesta. Se tiene en cuenta no sólo el número de respuestas correctas, en una relación de buenas sobre el total de preguntas, sino la posición de cada estudiante en relación con el grupo de referencia (posición en la curva de distribución normal de puntajes). Presenta diferentes formas tales como: verdadero-falso, completar frases, opción múltiple (simple o compuesta), etc.
- Seminarios: El seminario, y en particular el seminario de investigación, es una práctica didáctica y evaluativa que fomenta la construcción social del conocimiento. Aunque los aprendizajes son procesos individuales, en el aula se realiza la validación social de los mismos mediante procesos de interacción comunicativa. Las discusiones y debates alrededor del objeto de aprendizaje permiten al docente valorar no sólo el grado de dominio del tema por parte de los estudiantes, sino apreciar la capacidad discursiva y argumentativa de los mismos.
- Solución de problemas: Responde a los enfoques de evaluación actuales. Desarrolla capacidades y habilidades del pensamiento. Mide tanto el proceso de enseñanza-aprendizaje, como el producto (se detalla más adelante).
- Talleres: Son experiencias docentes que permiten demostrar la capacidad de aplicar conocimientos y destrezas en una determinada área del saber. En los talleres se pone en evidencia las capacidades de trabajo individual y colectivo de los estudiantes.
- Tareas, ejercicios y actividades dentro o fuera del aula: Es la forma tradicional de reforzar y valorar los aprendizajes de los estudiantes. Requieren planeamiento e instrucciones muy claras para que la ambigüedad no constituya motivo de desconcierto y desesperanza de parte de los estudiantes al tratar de resolver algo que se les asigna con un alto grado de generalidad.
- Técnica de casos: Apoya a la técnica de solución de problemas (se detalla más adelante).
- Técnica de pregunta: Apoya a la técnica de solución de problemas, propicia el desarrollo del pensamiento abstracto, estimula la participación y retroalimentación de conocimientos (se desarrolla más adelante).
La
evaluación constructivista
Los enfoques
constructivistas orientan diferentes estrategias de evaluación. Privilegian el
papel activo del alumno como creador de significado, la naturaleza autoorganizada
y de evolución progresiva de las estructuras del conocimiento, es decir abordan
la evaluación formativa.
La evaluación,
por tanto, debe estar orientada a evaluar los procesos personales de
construcción personal del conocimiento.
La evaluación
formativa se entiende como un refuerzo que ayuda al alumno a reconstruir el
tema de evaluación y como parte del proceso generador de cambio que puede ser
utilizado y dirigido a promover la construcción del conocimiento.
Los modelos
utilizados tradicionalmente centran la evaluación en cogniciones aisladas sin
considerar su conexión con el marco de conocimientos general y personal del
alumno, esta tendencia a evaluar conocimientos como unidades ordenadas que se
pueden aislar en forma artificial, no favorece la construcción del conocimiento
que exige una evaluación que considere las cadenas complejas de significado y
la interacción dinámica entre los mismos.
Lo esencial en esta perspectiva es el
concepto de integración, es decir, propone que cualquier tipo de conocimiento
puede ser entendido mejor en el contexto de un sistema de significados más
amplio que lo apoye y relacione.
La evaluación
tradicional mide la cantidad de conocimientos u objetivos logrados,
representados como la frecuencia de respuestas correctas en los instrumentos
estructurados.
Las técnicas
tradicionales se dirigen principalmente a evaluar el presente del alumno y en
el mejor de los casos el pasado reciente (evaluación acumulativa), las técnicas
constructivistas enfatizan la evaluación del desarrollo.
La evaluación
tradicional mide la cantidad de información memorizada por los alumnos. En el
enfoque constructivista, se centra la atención en el nivel de análisis, por lo
tanto las capacidades del alumno para clasificar comparar y sistematizar son
claves para la evaluación formativa.
Esta forma de
evaluación obtiene de los alumnos un conjunto de construcciones personales y
únicas con las que estructuran su propio conocimiento, mientras que la
evaluación tradicional sitúa a los alumnos en un conjunto de construcciones
validadas externamente.
La evaluación
en este marco tiene la intención de dar a los estudiantes una oportunidad para
seguir aprendiendo; esto exige que el profesor reconozca las diferencias
individuales y de desarrollo de intereses, capacidades, destrezas, habilidades
y actitudes. Así, la evaluación debe partir verificando lo que los alumnos ya
saben (evaluación diagnóstica).
La evaluación
constructivista mide:
• Los
conocimientos adquiridos y la capacidad de los alumnos para aplicarlos en
situaciones variadas.
• El
desarrollo de destreza, habilidades y cambio de actitudes.
• Si los
alumnos son capaces de establecer una relación con el conocimiento que difiere
de la que demanda el profesor.
• Si los
alumnos contribuyen a aportar un nuevo significado al conocimiento, alterando
incluso la dinámica de la interacción establecida por el docente en el aula.
• La validez
de construcción debe verificar si se está evaluando lo que realmente se espera
que los alumnos construyan, lo que implica una clara definición de capacidades;
una declaración explícita de las normas, que deben ser justas para los alumnos;
una clara definición de criterios de evaluación, cuando será considerada una
construcción buena, mala o regular; e instrucciones comprensibles para la
comunicación de los aprendizajes.
Evaluación
de competencias
La evaluación de la capacidad o del cometido
o desempeño es una técnica de ejecución que requiere que el estudiante elabore
una respuesta o un producto que demuestre su conocimiento, capacidades y
habilidades. Con las técnicas de ejecución se pretende evaluar lo que los
estudiantes pueden hacer,
en lugar de lo que saben y que utilicen lo que saben para poder hacer.
Esta técnica también puede ser útil para el
enfoque de evaluación constructivista.
La
técnica de ejecución:
Esta técnica evalúa el producto resultante:
una escultura, un ensayo escrito dentro de criterios específicos, el resultado
de un experimento, el resultado de un problema. El producto para su evaluación
puede ser comparado con ciertas características esperadas (evaluación interna)
o compararlo con otros productos como modelos (evaluación externa).
Este tipo de evaluación requiere de la
integración de conocimientos sobre contenidos específicos, destrezas,
capacidades, habilidades mentales y ciertas actitudes para lograr la meta.
Algunas de las destrezas que es necesario desarrollar a
través de las asignaturas en la educación son las siguientes:
- Destreza para explicar ideas y
procedimientos, tanto en forma oral como escrita.
- Formular y probar hipótesis, trabajar
con iguales (pares)
en forma productiva.
- Hacer preguntas pertinentes.
- Hacer comentarios útiles cuando se
escucha.
- Elegir problemas interesantes.
- Diseñar buenos experimentos.
- Tener una comprensión profunda de las
teorías.
Criterios
para evaluar una competencia
- Las técnicas de evaluación deben evaluar
los conocimientos, destrezas, capacidades, habilidades, actitudes y
valores.
- Seleccionar las técnicas más pertinentes
pueden ser, por ejemplo, las pruebas escritas, la observación o la
resolución de problemas o una combinación de técnicas, dependiendo de la
habilidad que se desee evaluar y o el área específica de conocimiento.
Acerca de la evaluación:
Algunos supuestos que se empleaban
relativos a la evaluación tradicional
|
Ejemplo de supuestos relativos a la
evaluación del cometido o desempeño que ahora se emplean
|
La evaluación de los cursos separada de las
experiencias de aprendizaje.
|
La evaluación es una parte integral
del aprendizaje.
|
El examen final servía al profesor para
obtener un panorama completo de lo que el alumno había aprendido en el curso.
|
Se debe evaluar por medio de criterios
objetivos y la evaluación en sí debe de retroalimentar al estudiante.
|
El examen de diagnóstico y el examen
final proporcionaban la información necesaria sobre los logros del
estudiante.
|
La evaluación debe realizarse en
múltiples tiempos, formas y contextos.
|
La evaluación cuantitativa era necesaria
tanto para evaluar el conocimiento de las asignaturas como para clasificar a
los alumnos.
|
La autoevaluación es una capacidad que es
necesario desarrollar permanentemente, es una medida necesaria en el proceso
de evaluación.
|
PROPUESTAS
PARA MEJORAR LA CALIDAD DE LA EDUCACIÓN EN
MÉXICO.
DEFINICIÓN DE CALIDAD.
CALIDAD. Conjunto de cualidades que
constituyen la manera de ser de una persona o cosa.
CALIDAD EDUCATIVA. Conjunto De cualidades que
constituyen a la educación.
El CIDAC nos da una definición muy clara de
lo que para la educación en México es la calidad…
"Una definición será aquella que sea
relevante para los estudiantes es decir una educación que tienda un puente
entre los procesos de enseñanza aprendizaje y el entorno socioeconómico,
político y cultural.
Una educación de calidad será una educación
efectiva. Por efectividad educativa se entiende el cumplimiento cabal de los
objetivos que la educación plantea, especialmente los académicos.
La calidad incluye la eficiencia educativa,
es decir la capacidad del sistema educativo de elevar al máximo los
rendimientos académicos de los estudiantes."
La
calidad de la enseñanza superior es un concepto pluridimensional que debería
comprender todas sus funciones y actividades, enseñanza y programas académicos,
investigación y becas, personal, estudiantes, edificios, instalaciones,
equipamiento y servicios a la comunidad y al mundo universitario. Una
autoevaluación interna y un examen externo realizados con transparencia por
expertos independientes, en lo posible especializados en lo internacional, son
esenciales para la mejora de la calidad. Deberían crearse instancias nacionales
independientes y definirse normas comparativas de calidad, reconocidas en un
plano internacional.
Calidad
es un proceso donde las cualidades que manifiesta deben de cubrir las
expectativas y necesidades de quien la requiere, cubriendo las cualidades de
durabilidad y funcionalidad.
El énfasis actual en la evaluación, característico en el
ámbito general de la educación, se manifiesta de forma inequívoca en el sector
universitario en el que se proyectan además las tendencias evaluativas que
apuntan al control de las empresas económicas. En efecto, en la última década,
la preocupación por la evaluación universitaria (profesores, instituciones, programas
de postgrado, fundamentalmente) constituye un rasgo esencial de la educación
superior en los países más desarrollados. En España, la evaluación del
profesorado universitario (calidad de la docencia y productividad científica)
es una práctica generalizada; y la tendencia a converger con las corrientes
europeas y americanas en su preocupación por la calidad de la educación
universitaria se refleja nítidamente en la multiplicación de congresos y
reuniones nacionales e internacionales sobre el tema y en las publicaciones
pertinentes (Actas del I Congreso Internacional sobre Calidad de la Enseñanza
Universitaria, 1991; Mora, 1991; de Miguel, Mora y Rodríguez (Eds.), 1991;Actas
del Congreso Internacional de Universidades, 1992; Actas del Congreso Internacional
de Evaluación de la Calidad, 1996.)
La necesidad de evaluación de las instituciones universitarias
parece obvia. La educación es una actividad propositiva, intencional y, en
consecuencia, la determinación de si se logran, y en qué grado, las metas es un
elemento constitutivo de la propia acción. No sería razonable desentenderse de
los efectos que justifican la actividad. Pero, dado que en la evaluación
universitaria se proyecta, como antes afirmaba, la evaluación desarrollada en
el ámbito económico, se corre el riesgo de que, al trasladar acríticamente los
procedimientos propios del control económico de la Universidad, puedan
distorsionarse los propios procesos educativos y de la producción científica,
considerándolos como un caso particular de la producción de bienes y servicios
en la perspectiva económica. Como afirma Mora (1991), al referirse a la
situación británica, es necesario acabar con la mentalidad obsesiva de
autoanálisis y autojustificación permanente.
Como reacción al economicismo evaluativo (énfasis en los
indicadores de eficiencia y productividad) se ha desarrollado un poderoso
movimiento que pretende centrar la evaluación de la calidad de la Universidad,
utilizando una amplia gama de indicadores, no necesariamente cuantitativos, ya
que el objetivo es valorar y medir lo que se debe, lo que es relevante, y no lo
que se puede, lo fácil. Esto no sólo sería inútil, sino, en muchos casos,
también peligroso, dado que el poder de la evaluación para conformar su propio
objeto, podría en tales circunstancias desviar los objetivos, procesos y
productos de la Universidad.
El objetivo general de este estudio se centra en el desarrollo
y validación de un modelo de calidad universitaria en el que se basa la
derivación, de acuerdo a unas reglas, de indicadores relevantes y utilizables
para la evaluación de Instituciones de Educación Superior.
Se pretende, pues, elaborar un modelo que permita justificar y
legitimar el establecimiento de criterios de calidad universitaria en sus más
importantes dimensiones.
LA CALIDAD DE LA EDUCACIÓN UNIVERSITARIA
| Alumnos competentes para el desarrollo de su vida profesional |
La Evaluación de la Calidad Universitaria exige, en primer
lugar, algunas precisiones en torno a este concepto. El objetivo básico de esta
reflexión se centra en el esbozo de un modelo sistémico de la Educación Universitaria
en el que basar una concepción de la calidad que permite la derivación, de
acuerdo con unas reglas, de indicadores relevantes y utilizables como vía para
la evaluación de las instituciones de Educación Universitaria.
La referencia a la calidad se utiliza indiscriminadamente para
justificar cualquier decisión: reformas e innovaciones universitarias,
proyectos de investigación, conferencias y congresos científicos y
profesionales. Todas estas actividades y otras muchas se colocan bajo el gran
paraguas de la calidad, porque obviamente nadie puede objetar a la
calidad como objetivo de un proyecto, de una institución o de un programa de
acción. Todos deseamos una Educación Universitaria de calidad, nadie desea una
Universidad mediocre. La búsqueda de la excelencia, grado máximo de la
calidad, es un argumento inatacable. El problema comienza cuando
intentamos precisar qué sea la calidad de la educación universitaria, el
concepto en general se presenta ambiguo y equívoco.
El movimiento actual en pro de la elevación de los niveles de
calidad de la Educación superior propone, en primer lugar, un esfuerzo
clarificador del concepto mismo de calidad y sus implicaciones. La bibliografía
disponible en castellano (García Hoz, 1979; Varios, 1981; Pizarro, 1982; González,
1984; Villar, 1984; Hernández, 1985; De la Orden, 1988; Colom, 1988; IX
Congreso Nacional de Pedagogía, 1988; Gómez de Castro, 1988; Rodríguez, 1988;
Skilbeck, 1988; Zahlan, 1988; Lerena, 1989; Malkova, 1989; Braza, y otros
(Eds.), 1991; De Miguel Mora y Rodríguez (Eds.), 1991), resulta a todas luces
insuficiente para precisar operativamente la vaga idea de calidad educativa,
sobre bases consistentes. De hecho, la primera aproximación específica a la
calidad educativa, aparte, claro está, de la permanente y tradicional
referencia a una "buena educación", a una "buena
Facultad", a un "buen plan de estudios" o a
una "buena Universidad", corresponde históricamente al
periodo de euforia planificadora y desarrollista, centrado en la década de los
años sesenta y el concepto es utilizado sin claras connotaciones teóricas.
La calidad se atribuye a la acción de los factores cualitativos,
es decir, de aquellos elementos que no pueden expresarse cuantitativamente, o
presentan serias dificultades a la cuantificación. Estos elementos, se afirma,
están relacionados fundamentalmente con los procesos que determinan la llamada
Eficacia Interna del Sistema o Calidad de la Educación (Diez Hochleitner, 1969;
Beeby, 1970).
Más recientemente, y con referencia a nuestro tema, la calidad
como eficacia interna de los sistemas e instituciones de educación
universitaria aparece como reacción a la insuficiencia de los indicadores
cuantitativos de eficacia y productividad y se vincula a las características,
consideradas cualitativas, de los procesos y productos de la Universidad.
Sin embargo, dado que hoy la educación superior no sólo
preocupa a los participantes en el proceso educativo (profesores, alumnos,
directivos y gestores universitarios) y a los gobiernos y sus agencias, sino también
a los empresarios y empleadores que consideran a las instituciones
universitarias como centros de capacitación de profesionales de alto nivel y de
producción de conocimiento y tecnología esenciales para mantener el ritmo de
desarrollo económico, se ponen de manifiesto nuevas vinculaciones de la calidad
universitaria con factores de costo-efectividad y costo-beneficio.
En este sentido, hay que constatar que pese a la gran masa de
literatura sobre calidad de la educación en la perspectiva de la gestión (control
de calidad, auditoría, valoración, políticas y asignación de fondos, públicos,
etc.), el propio concepto de calidad ha quedado en la penumbra. Partiendo de
este hecho, Harvey y Green (1993), analizan cinco diferentes concepciones de
calidad y su relevancia para la educación superior, que, en mi opinión,
constituye una aportación sustantiva al esclarecimiento del constructo y, en
consecuencia, a su medida y evaluación.
Las visiones de calidad para estos autores son:
- Calidad como fenómeno excepcional.
- Calidad como perfección o coherencia.
- Calidad como ajuste a un propósito.
- Calidad como relación valor-costo.
- Calidad como transformación (cambio cualitativo).
Calidad como fenómeno excepcional.
Esta concepción acepta como axiomático que la calidad es
algo especial. Se pueden distinguir tres variantes de esta noción
de calidad: la idea tradicional, la calidad como excelencia, la satisfacción de
un conjunto de requisitos.
Noción tradicional de calidad. Implica
distinción, gran clase, exclusividad, elitismo (la educación tradicional de
Oxford y Cambridge, por ejemplo) y, en gran medida, inaccesible para la
mayoría. La calidad según esta concepción no puede ser juzgada (valorada), ni
medida, contrastándola con un conjunto de criterios.
No se intenta definir la calidad así concebida, simplemente se
reconoce cuando existe. Obviamente, este concepto de calidad es totalmente
inútil cuando tratamos de evaluar la calidad de la educación superior, ya que
no proporciona medios definibles para determinarla.
Su presencia en las
discusiones universitarias tiende a obscurecer y confundir el significado de
calidad.
La calidad como excelencia. La calidad como superación de altos estándares. Muy vinculada
a la concepción tradicional pero, en este caso, se identifican los componentes
de la excelencia, no es una noción apodíctica. La excelencia radica en los
insumos y en los productos o resultados. Una Universidad que atrae a los
mejores estudiantes, a los mejores profesores (premios Nobel), los mejores
recursos (equipamientos, bibliotecas, etc.), por su propia naturaleza es
de calidad, es excelente y producirá graduados de alta calidad,
independientemente de los procesos docentes o investigadores. Frecuentemente se
confunde con reputación.
El énfasis de esta concepción en los "niveles" de
entrada y salida constituye una medida absoluta de la calidad. La noción de
"centros de excelencia" se apoya en esta concepción.
Esta concepción implica que la calidad mejora si se elevan los
estándares. Un sistema externo de exámenes intenta asegurar la calidad de las
instituciones y permite su comparación. Sin embargo, en la medida en que puedan
establecerse estándares diferentes para distintos tipos de instituciones,
proporciona a todos la oportunidad de aspirar a la calidad. Como afirma Oakland
(1989), en este sentido, es perfectamente asumible que pueda haber un coche
Mercedes Benz de poca calidad y un pequeño coche popular de alta calidad.
Se
trata, obviamente, de un concepto relativo de calidad.
Calidad como perfección o coherencia
Se centra en los procesos y establece especificaciones que hay
que cumplir perfectamente. El lema es "cero deficiencias". Es una
visión diferente de la excelencia. Transforma la idea tradicional
(exclusividad) en algo que cualquiera puede tener. La excelencia se redefine en
términos de conformación a un conjunto de especificaciones de acción,
abandonando la idea de exceder estándares. Se trata de evitar a toda costa
defectos, de ser "perfecto" en cada etapa del proceso o en relación
con la especificación predefinido y medible. La palabra clave es fiabilidad.
Esta concepción está vinculada a la llamada "cultura de
calidad", que supone que todo miembro de la organización (institución de
educación superior) es responsable de la calidad.
Al reconceptualizar la
excelencia en términos de especificaciones y procesos más que de input y
output, esta concepción "democratiza" la calidad y también la
relativiza.
Calidad como ajuste a un propósito
Va más allá de los procesos y los productos o servicios. La
calidad tiene sentido en relación con el propósito del producto o servicio. Se
trata de una definición funcional de calidad. Existe calidad solo en la medida
en que un producto o un servicio se ajusta a las exigencias para cuya
satisfacción fue concebido y realizado. La dimensión más importante de la
calidad es la funcionalidad. Un producto "perfecto" es totalmente
inútil si no sirve para satisfacer la necesidad para la que fue creado.
Naturalmente, el propósito a que sirve el producto o el
servicio puede ser establecido por el cliente, por el proveedor, o a través de
procesos objetivos.
El principio "el cliente es soberano" aplicado a la
educación exige precisiones. Si el cliente es la sociedad, es preciso
determinar sus propósitos y que, en todo caso, sus criterios para establecerlos
pueden ser discutibles.
Calidad como relación costo-valor
Es una posición mantenida por algunos gobiernos, cuando exigen
a las Universidades que justifiquen los costos (inversiones y de operación). La
idea de eficiencia económica está en la base de esta noción. Esta concepción
incluye como central la idea de "accountability" (rendición de
cuentas) al que paga al contribuyente en los sistemas públicos de educación
superior o, más realistamente, al Gobierno.
La medida adoptada, en armonía con esta concepción, para medir
la calidad han sido los llamados "Indicadores de realización o
rendimiento" (performance indicators).
Calidad como transformación
Enraizada en la noción de "cambio cualitativo",
cuestiona la idea de una noción de calidad centrada en el producto,
especialmente en el sector de servicios en que la educación superior se
inscribe. En la educación el proveedor (profesor-institución) no hace
algo para el cliente, sino que hace algo al cliente -le
transforma. Por tanto, la calidad radica, por un lado, en desarrollar las
capacidades del consumidor (estudiante) y, por otro, en posibilitarle para
influir en su propia transformación. En el primer caso, el "valor
añadido" es una medida de calidad en términos del grado en que la
experiencia educativa incremente el conocimiento, las capacidades y las
destrezas de los estudiantes (una medida de calidad es la diferencia entre las
calificaciones de entrada y las de salida de los estudiantes). En segundo caso,
supone implicación del estudiante en la toma de decisiones que afectan a su
transformación que, a su vez, proporciona la oportunidad de ampliar sus
posibilidades de participar en los procesos que le afectan (incremento de la
lucidez, la confianza en sí mismo, el pensamiento crítico, etc.).
Según el análisis de Harvey y Green (1993), las definiciones
de calidad varían y reflejan distintas perspectivas de los individuos y de la
sociedad. Podría decirse que del análisis se deduce que no hay una única
definición correcta de calidad. Es un concepto relativo unido al punto de vista
de quien lo trata.
Ante esta conclusión caben dos soluciones:
1) Tratar de adoptar un punto de vista pragmático combinando
criterios diferentes de calidad para actuar.
2) Intentar definir la calidad a un más alto nivel de
abstracción, dentro del cual tienen cabida las distintas perspectivas en cuanto
concepciones más vinculadas a situaciones concretas.
Nosotros optamos por esta segunda vía, ya que, al nivel de
análisis adoptando por Harvey y Green (1993) la calidad de un sistema educativo
o de una institución, se definiría por un juicio de valor susceptible de
apoyarse en múltiples criterios diferentes entre sí y, en ocasiones,
contradictorios.
Si hemos de avanzar en la caracterización del concepto de
Calidad Universitaria es preciso superar la tendencia a considerar en sí mismas
las características específicas de los elementos de contexto, entrada, proceso,
producto y propósito de la educación en cada institución de calidad y tratar de
identificar los rasgos comunes a todas ellas. Parece evidente que si
consideramos de alta calidad dos o más instituciones universitarias con
culturas y valores diferentes, no podemos vincular la calidad de la educación a
los valores, metas y objetivos, programas, formación del profesorado, etc.,
específicos de cada institución. La calidad deberá radicar, más allá de estos
elementos en que difieren, en alguna característica común a todos ellos. En
consecuencia, para conceptualizar la calidad de la educación es preciso superar
la consideración aislada de las características específicas de los distintos
elementos o componentes y centrar la atención en las relaciones entre ellos.
En efecto, esta hipótesis apunta hacia las relaciones entre
los elementos de la educación universitaria o de instituciones concretas,
integrados en un sistema. Se trataría de identificar las relaciones entre los
componentes de contexto, input, proceso, producto y propósitos del sistema y
valorarlas en función de un conjunto de reglas bien establecido, derivado de un
principio general; la calidad de la educación viene definida por un conjunto
de relaciones de coherenciaentre los componentes de un modelo
sistémico de Universidad o de plan de estudios universitario conducente a un
título.
1.
Lee todo en: Concepto de evaluación -
Definición, Significado y Qué es http://definicion.de/evaluacion/#ixzz2ZA0JvrUM
2.
La Evaluación Educativa: Conceptos, Funciones y Tipos. http://www.oposicionesprofesores.com/biblio/docueduc/LA%20EVALUACI%D3N%20EDUCATIVA.pdf
3.
Evaluación tradicional vs evaluación
alternativa, http://www.google.com.mx/url?sa=t&rct=j&q=evaluacion%20tradicional%20caracteristicas&source=web&cd=8&ved=0CFEQFjAH&url=http%3A%2F%2Flsandovalportafolios.wikispaces.com%2Ffile%2Fview%2F39%2Bevaluacion%2Btradicional%2Bvs%2Balternativa.docx&ei=0aXkUbuVB6jzygGik4CQDA&usg=AFQjCNEr7doChPtVIFx-2kuwmPvls5tJlQ&bvm=bv.48705608,d.aWc
5.
Revista,
“Materiales de apoyo a la Evaluación Educativa, Por qué no intentas otras
formas de medir la calidad” Comisión Nacional de Evaluación de la Educación
Superior (CONAEVA) y Comités Interstitucionales para la evaluación de la
educación superior (CIEES). No. 4, noviembre 1° de 1992.
6.
Revista, “La
evaluación del trabajo académico desde la perspectiva del desarrollo sui
generis de la educación superior en México” Comisión Nacional de Evaluación de
la Educación Superior (CONAEVA) y Comités Interstitucionales para la evaluación
de la educación superior (CIEES). No. 7, diciembre 15 de 1992
8.
Angulo
Rasco, J. Félix, La evaluación del sistema educativo: algunas respuestas críticas al porqué
y al cómo volver a pensar la educación. Madrid, Editorial Morata,
Vol. II, ,1995.
9.
Apodaca,
Pedro Miguel, Arbizu, F. y Olalde, C., “El factor humano en la evaluación del
profesorado universitario: finalidad de la evaluación docente y calidad de la
enseñanza”, en Formación pedagógica del profesorado y calidad de la educación.
Valencia, Servicio de Formación Permanente de la Universidad de Valencia, 1993.
10.
Ausubel,
David, Psicología
educativa, un punto de vista
cognoscitivo. México, Editorial Trillas, 1981.
11.
Benedito
Antoli, Vicente, Innovaciones
en el aprendizaje universitario. Barcelona, Promociones y
Publicaciones Universitarias, 1988.
12.
Casanova Ma.
Antonia, “La evaluación en el momento actual, antecedentes”, en La evaluación educativa.
México, SEP, 1998.
13.
Cobo Suero,
Juan Manuel, La enseñanza
superior en el mundo. Madrid, Editorial Nancea, 1979.
14.
De Alba,
Alicia, “Hacia una reconstrucción histórico-conceptual del campo de la
evaluación educativa”, en Evaluación
curricular. México, UNAM-CESU, 2000.
15.
Lyons, Nona
(comp.), El uso de
portafolios, propuestas para un nuevo profesionalismo docente.
Buenos Aires, Amorrortu, 2000.
16.
López Frías,
Blanca Silvia, Elsa María y Kleen Hinojósa, Evaluación
del aprendizaje, alternativas y nuevos desarrollos. México,
Editorial Trillas, 2000.
17.
Pacheco
Méndez, Teresa y Ángel Diaz Barriga, (coords.), Evaluación académica, CESU-UNAM-FCE, México,
2000.
18.
Schulmeister,
R., “Formación pedagógica para profesores de enseñanza superior”, en Formación pedagógica del profesorado
universitario y calidad de la educación. Valencia, Servicio de
Formación Permanente de la Universidad de Valencia, 1993.
19.
Tenbrink,
Terry D., Evaluación:
Guía práctica para
profesores. Madrid, Nancea S. A. de Ediciones, 1988.
20.
Torres
Santome, Jurjo, El
currículum oculto. Madrid, Ediciones Morata S.A., 1986.
21.
Young,
Robert, Teoría crítica de la
educación y discurso en el aula. Barcelona, Ediciones Paidós, 1993.
No hay comentarios:
Publicar un comentario