ARTÍCULOS

 

Satisfacción de los estudiantes en el
posgrado: elementos de influencia y
políticas para su mejoramiento en una
universidad en Ecuador

 

Graduate students' satisfaction: elements of influence
and policies for its improvement in a university in Ecuador

 

 

Diego F. Raza-Carrillo
Universidad Andina Simón Bolívar, Sede Ecuador diego. raza@uasb.edu.ec
Recibido: Febrero 10, 2022     Aceptado: abril 10, 20212

 

 

---

Resumen

A partir de una revisión bibliográfica sobre satisfacción y calidad en la universidad se hace una crítica al enfoque empresarial de estos conceptos, aceptando que pese a ello es importante comprender la valoración que hace el estudiante a su experiencia universitaria. A continuación se resume el sistema de evaluación de la universidad en la que se realizó el estudio y sus componentes, y a partir del procesamiento de sus más de 250 mil registros en el departamento y período seleccionados, se determina que los elementos de mayor incidencia en la valoración general que hace el estudiante corresponden a los servicios no académicos concesionados (restaurante, cafetería, impresión y fotocopias), seguido de los servicios no académicos gestionados directamente por la universidad (internet dentro del campus y acceso electrónico al parqueadero). En los aspectos académicos los elementos que inciden en una menor valoración del estudiante fueron el aporte de la asignatura a la formación profesional y el nivel académico de la asignatura.

Palabras clave: satisfacción estudiantil, posgrado, evaluación universitaria, calidad

---

Abstract

Based on a bibliographic review on satisfaction and quality in the university, a criticism of the business approach of these concepts is made, accepting that despite this it is important to understand the evaluation that the student makes of their university experience. The evaluation system of the university in which the study was carried out and its components are summarized below, and from the processing of its more than 250 thousand records in the selected department and period, it is determined that the elements with the greatest incidence in the general assessment made by the student corresponds to the conces-sioned non-academic services (restaurant, cafeteria, printing and photocopies), followed by the non-academic services managed directly by the university (internet within the campus and electronic access to the parking lot). In the academic aspects, the elements that affect a lower evaluation of the student were the contribution of the subjectto professional training and the academic level of the subject.

Keywords: student satisfaction, postgraduate, university evaluation, quality

---

 

 

Introducción¹

Uno de los ejes de acción de la Universidad es la enseñanza universitaria, y uno de sus instrumentos de evaluación para el mejoramiento es la medición de la satisfacción o percepción de calidad del estudiante.

Se pretende identificar a modo exploratorio y descriptivo la estructura y comportamiento de la satisfacción estudiantil como uno de los medidores de la efectividad de los procesos académicos y administrativos, que sin ser el único, es el que de manera sistemática se mide en la Universidad en la que se realizó el estudio, para a través de ello indagar sobre los elementos que inciden en esta satisfacción.

 

Importancia y formas de medición de satisfacción o calidad en el ámbito educativo

Las encuestas de satisfacción o calidad aplicadas a los estudiantes tienen el potencial de servir a dos propósitos esenciales: primero como una herramienta para mejorar la educación superior y la experiencia de aprendizaje en general, y, segundo, como un instrumento gerencial para ajustar y adaptar las instituciones de la educación superior a una cambiante y dificultosa realidad económica (Wiers-Jenssen et al., 2002).

Con ello, no solo se cuida de asuntos de interés de la Universidad como la deserción estudiantil y la mala referencia boca a boca que se pueden generar impactándola negativamente (Grebennikov & Shah, 2013), sino que además se permite la elaboración de investigaciones longitudinales y el monitoreo constante de los cambios realizados en la calidad de los servicios, y de la educación ofertada por la entidad universitaria, a partir de la identificación de los aspectos clave que inciden en la satisfacción, así como la determinación exacta para la colocación de recursos (Elliott & Shin, 2002).

Según Harvey (2003) las encuestas tienen como objetivo, en el nivel institucional, el ayudar a las instituciones a comprender la complejidad de la experiencia estudiantil, así como obtener información desde la perspectiva de los estudiantes, con el objetivo de que, por medio de la información recabada, se evidencien temas importantes relacionados a la gestión institucional.

Es por esto por lo que el diseño de los cuestionarios de las encuestas suele emplear una perspectiva de desarrollo estratégico, en el cual la información obtenida pretende abstraer de manera integral los diferentes aspectos de la experiencia estudiantil, así como proveer a las instituciones las herramientas necesarias para que los líderes institucionales puedan actuar de manera directa e incremental en temas de desarrollo de la calidad. Esto proporciona información, no solamente sobre el proceso educativo o de enseñanza/aprendizaje, sino también sobre otros elementos también importantes en la experiencia académica, tales como las facilidades de biblioteca, tecnológicas, salas de estudio, y otras (Wiers-Jenssen et al., 2002).

Sin embargo, el establecimiento de las acciones posteriores a la información entregada por los estudiantes (la técnica de recolección de datos puede variar: focus groups, entrevistas, buzones de sugerencias, encuestas, etc.) debe contribuir de manera efectiva al mejoramiento de los procesos internos de la institución en materia de calidad, para lo cual las percepciones estudiantiles deben ser integradas a un ciclo continuo y regular de análisis, reporte, acción y retroalimentación; o ciclo de la satisfacción como lo denomina Harvey.

Desde el punto de vista institucional, la aplicación de encuestas y cuestionarios, debe enlazarse a la necesidad de las instituciones del sector de perseguir mejoras, tanto en el aspecto educativo como en la operación cotidiana que le permita sobrevivir en el entorno al cual se adscribe (Sallis, 2014). Mas, el definir a las instituciones educativas como proveedoras de servicios, tutoría, guía y asesoramiento no debe limitarlas en su función principal, que es la de enseñar, bajo un estilo que se ajuste a las necesidades e inclinaciones de sus alumnos poniendo acento en la calidad de la experiencia educativa, de no ser así, no habría una contribución sustancial en lo que a la calidad de la educación respecta (Sallis, 2014).

De hecho, el tratamiento inadecuado a los estudiantes como "clientes" de un servicio ofertado por el "proveedor" o universidad, aún cuando genera cierta incomodidad en el mundo académico y es criticado por el autor, sigue proveyendo información útil para mejorar la docencia y la administración educativa (Wallace, 1999 en Banwet y Datta 2003, 236).

 

Medición de la satisfacción estudiantil

En la bibliografía disponible existe un sinnúmero de modelos desarrollados para medir la satisfacción estudiantil, mismos que inicialmente tuvieron un enfoque allegado al tipo de medición industrial, pero aplicados al contexto de la educación, y que fueron evolucionando con los años.

La investigación sobre la satisfacción estudiantil fue estimulada en 1970 por William Spady quien centró su investigación en la rotación de los estudiantes, incorporando para ello la variable de la satisfacción (Okun & Weir, 1990). El Modelo Causal de Rotación de Estudiantes tomó como base a la Teoría del Suicidio planteada en 1897 por Durkheim (2014), para quien el suicidio es la materialización de la ruptura del individuo con el sistema social, asunto que imposibilita su habilidad de integración a la sociedad. De acuerdo a W. Spady, existe una alta probabilidad de que los estudiantes deserten de las universidades cuando existen variables que van en sentido negativo, lo que deriva en un rendimiento académico in-satisfactorio, bajo nivel de integración social y, por ende, de insatisfacción y compromiso institucional. Al contrario, si los efectos van en dirección positiva y son congruentes con la situación inicial, el estudiante logra un desarrollo académico y social acorde tanto con sus propias expectativas como con las institucionales, lo que favorece significativamente su retención en la universidad y al compromiso con ella a largo plazo, lo que puede bien denominarse, fidelidad (Donoso & Schiefelbein, 2007).

Por su parte, el modelo SERVQUAL fue creado en 1985 desde el ámbito empresarial y aún actualmente es aplicado en diversos campos. Inicialmente se creó como un modelo de medición de la calidad del servicio y la satisfacción de los clientes, a partir de varias dimensiones, utilizando para ello un cuestionario que evidencia las expectativas y la percepción. Si bien este modelo es ampliamente reconocido, su enfoque industrial y de negocios contrasta con el contexto educativo, motivo por el cual ha sido sujeto a críticas, sobre todo en lo que tiene que ver con la medición de la satisfacción de los estudiantes, ya que el modelo se dirige hacia la calidad de los servicios de los proveedores. A diferencia de lo antedicho, en el ambiente universitario, la satisfacción estudiantil está determinada por múltiples factores en los que la calidad del servicio es sólo una pequeña parte (Wee-rasinghe et al., 2017).

La Teoría de la Inversión aplicada a la educación se relaciona con el comportamiento de los estudiantes en relación con el desempeño de la institución. Con base en la teoría, los estudiantes perciben que su tiempo, energía y esfuerzo son inversiones que realizan, y que por ello buscan que la institución entregue en retorno ciertos beneficios, de este modo, si los estudiantes perciben que son recompensados por las distintas inversiones que realizan sentirán una mayor satisfacción con la institución académica con la que mantienen una relación de intercambio (Weerasinghe et al., 2017).

El método SERVQUAL mide la satisfacción de los estudiantes desde un punto de vista organizacional, pero la satisfacción está influenciada por la dedicación, percepción, resultados de los estudiantes. Esta brecha fue llenada por Noel-Levitz en 1994, quienes desarrollaron el índice de satisfacción de estudiantes para la educación el cual incluye los servicios de la facultad, la experiencia académica, el soporte de facilidades para los estudiantes, la vida en el campus y la integración social. A partir de ello, Keaveney y Young en el año 1997 introdujeron su modelo de satisfacción para la educación superior el cual mide el impacto de la experiencia estudiantil en la satisfacción de los estudiantes junto con los servicios de la facultad, el personal de apoyo y el tipo de clases considerando la experiencia como una variable mediadora. El modelo se considera generalmente es muy limitado y con pocas variables para evaluar la satisfacción pues ignora las facilidades de la universidad, y los servicios no académicos que recibe el estudiante (Weerasin-gheetal., 2017).

Posteriormente Elliot y Shin desarrollaron un inventario de satisfacción estudiantil más comprensible en el año 2002 cubriendo 11 dimensiones y 116 indicadores para medir la satisfacción de los estudiantes en la educación superior. Las dimensiones fueron: la efectividad del soporte académico, el clima del campus, la vida del campus, los servicios de soporte, la preocupación por el individuo, la efectividad de las instrucciones, el reclutamiento y la efectividad de las ayudas financieras, efectividad en el registro, la seguridad del campus, excelencia en el servicio, y, preocupación central en el estudiante (Weerasinghe et al., 2017).

El paquete de productos de servicio de Douglas en el año 2006 investigó la influencia de los estudiantes en la satisfacción de la educación superior tomando básicamente el tema de los servicios con 12 dimensiones. El concepto de paquete de productos de servicio incluye dos grandes categorías. Las de naturaleza explícita o servicios de infraestructura, materiales, aulas de estudio, decoración y todas las facilidades generales, y, a la parte académica relacionada a los profesores, habilidad de los profesores, conocimiento de la materia, consistencia en la enseñanza, la carga de trabajo, el contenido de estudios y su dificultad. Y las de carácter implícito o psicológico o de bienestar general que tiene que ver con la calidad de las relaciones interpersonales, tales como el trato que los estudiantes reciben de parte de sus profesores y del personal administrativo de la universidad, preocupación por los problemas de los estudiantes, reconocimiento de sus opiniones y emociones, sensación de pertenencia, seguridad, promoción del desarrollo profesional, entre otras (J. Douglas et al., 2006). El método de paquete de productos de servicio provee una mejor comprensión del rango de variables que influencian la satisfacción estudiantil en la educación superior.

Posteriormente en el año 2010 Alves y Raposo (2007) desarrollaron un modelo conceptual para evaluar la satisfacción de los estudiantes. Según este modelo la satisfacción de los estudiantes en la educación superior está determinada por la imagen institucional, las expectativas de los estudiantes, la calidad técnica percibida, la calidad funcional y el valor percibido. Todas estas pueden ser explicadas directa o indirectamente a partir de otras variables; el modelo luego ilustró la lealtad de los estudiantes y la importancia de la publicidad boca a boca como muy importantes elementos de la satisfacción que se extienden a otras personas más allá de los mismos estudiantes. Una crítica importante a este modelo es que de alguna manera ha ignorado las principales funciones de la universidad, es decir el proceso de enseñanza y aprendizaje en la medición de la satisfacción de los estudiantes (Weerasinghe et al., 2017).

Finalmente, autores tales como Shuxin y otros, citados en Weerasinghe, Lalitha, y Fernando (2017) , llevaron a los modelos de satisfacción a un nivel superior en el que consideran la aplicación de modelos híbridos para la medición de la satisfacción. Su modelo conceptual integra dos tipos de análisis el análisis de factores y el análisis PA (Path) o análisis de rutas en español. Este tipo de análisis (PA directo) explica el impacto de la calidad percibida en la lealtad estudiantil, y, el análisis de PA indirecto describe el impacto de la calidad percibida y la expectativa de los estudiantes sobre la lealtad, a través de la satisfacción estudiantil.

Una mayor centralización en el contexto de la educación superior ha llevado a varios investigadores a poner su atención en las características de los servicios y las funciones de las instituciones de la educación superior para desarrollar la dimensionalidad de los servicios educativos.

Athiyaman (1997) utilizó ocho características para analizar los servicios universitarios, entre los que mencionó: enseñanza a los estudiantes, equipo de profesionales para consultas por parte de los estudiantes, servicios de biblioteca, facilidades tecnológicas, tamaño de las aulas, nivel y dificultad del contenido de las materias.

Nuevos instrumentos de medición de la calidad del servicio en educación superior fueron desarrollados en la década de los años 2000, específicamente por Abdullah (2006), quien propuso el modelo HEdPERF (Higher Education Performance) con seis dimensiones: aspectos académicos, aspectos no académicos, reputación, acceso y asuntos relacionados al programa educativo y la comprensibilidad. En este modelo se utiliza medidas cualitativas y cuantitativas y está diseñado exclusivamente para el sector académico.

Autores como Annamdevula y Bellamkonda (2012) desarrollaron el instrumento denominado HiEdQual (Higher Education Service Quality). La versión final del instrumento contiene veinte y siete ítems, dentro de cinco factores o dimensiones de calidad de servicio en el sector de educación superior, a saber: contenido de enseñanza y cursos, servicios administrativos, instalaciones académicas, infraestructura del campus y servicios de apoyo de calidad de servicio dentro del sector de educación superior. El estudio que los autores proponen midió la unidimensionali-dad de los constructos encontrando una relación significativa entre la enseñanza y el contenido del curso, servicios administrativos, facilidades académicas, campus e infraestructura, y, servicios de apoyo que también tienen una influencia importante en la percepción de la calidad de los servicios por parte de los estudiantes en quienes se centró el estudio. La validación y confiabilidad y ajuste del modelo se realizó utilizando el análisis de factores exploratorios y el análisis de factores confirmatorios.

De acuerdo a Sallis (2014), el énfasis que se otorga a las evaluaciones tienen como objetivo institucional el establecer la validez de los programas con los que se cuenta, a fin de que éstos satisfagan las necesidades de sus estudiantes y demás partes interesadas; las evaluaciones deben proveer herramientas de prevención antes que de corrección, de allí que deben ser parte de un proceso continuo que no debe limitarse al término del programa de estudio, ya que bien pueden ser discutidas con los estudiantes para obtener un récord de logros alcanzados. Asimismo, las evaluaciones a más de ser aplicadas a los cursos o clases recibidas para medir el desempeño de las parte académica, deben incluir temas relativos a los servicios varios que las universidades entregan a los estudiantes y que forman parte de la experiencia educativa, por ejemplo, facilidades físicas y de tecnología, el soporte y consejería (Leblanc y Nguyen 1997).

Como se ha dicho, para muchas instituciones las evaluaciones se asientan sobre la base de los cuestionarios dirigidos a los estudiantes para conocer su percepción con respecto a los servicios que brinda la universidad, mas no como herramienta efectiva para conocer el desempeño estudiantil individual o la percepción individual. Desde el lado institucional abre una ventana para establecer la validez del proceso de entrega del curriculum, el marketing de la universidad, la definición de estrategias de planificación y el tratamiento de asuntos de carácter global en la institución (Sallis, 2014).

A pesar de la gran utilización de los modelos antes descritos, ya sea en los términos de la educación superior, o en industrias en general, algunos autores consideran que éstos conllevan ciertas limitaciones, por ejemplo, "la incertidumbre de la postura filosófica, la falta de consideración de la cultura/contexto, y la "legitimación" de la valencia como atributo de calidad del servicio" (Polyakova & Mirza, 2015).

 

Metodología

Se realizó una investigación de tipo descriptiva que busca identificar las características de la calificación que reporta el estudiante a los distintos elementos que se evalúa en uno de los departamentos de la Universidad en la que se llevó a cabo el estudio, tanto académicos como no académicos, y su evolución. Se consideró un diseño de investigación longitudinal de evolución que permita comprender las características y evolución de las variables que son calificadas por los estudiantes en el período de información disponible.

Se tuvo en cuenta la información recogida en el período 2014-2018 a través de los formularios de evaluación que utiliza la Universidad en la que se realizó el estudio, y que dan cuenta de la percepción de calidad del estudiante tanto en aspectos académicos como no académicos.

Esta información, luego de ser depurada y organizada, fue procesada en un paquete estadístico que permitió determinar elementos de su estructura y comportamiento para identificar los elementos que están influyendo en su valoración y aporten a la propuesta de políticas para su mejoramiento.

 

Presentación de resultados

Análisis de la estructura

En el período de análisis (2014-2018), la opinión de los estudiantes se recogió a través de varios instrumentos para evaluar distintas facetas de la gestión universitaria, como ya se ha dicho.

En consideración que la investigación busca analizar valoración que hace el estudiante a distintos aspectos académicos y no académicos de su vida universitaria, el análisis incluyó las cuatro evaluaciones que realiza el estudiante en la universidad objeto de estudio: a la calidad de los servicios (no académicos), a sus tutores de trabajo de titulación, al programa que está cursando, y al docente de cada asignatura, dejando de lado las otras evaluaciones que realizan otros actores dentro de la Universidad y que son parte de su sistema integral de evaluación.

En la Ilustración 2 se puede observar la evaluación promedio que consignaron los estudiantes a los distintos elementos que conforman la estructura de evaluación de la Universidad durante el período de análisis.

La evaluación que se realiza a los docentes es la que es más alta, seguida por la evaluación que hacen a sus tutores de trabajo de titulación. La evaluación más baja que hacen es a los servicios no académicos que ofrece la universidad.

Para probar la significancia estadística de la diferencia del valor más bajo con el resto de valores, se comparó la evaluación que los estudiantes realizaron a la calidad de los servicios (no académicos), con la evaluación que realizaron a los otros elementos, lo cual se puede observar en la Ilustración 3.

A estos valores se aplicó una prueba t de Student cuyo valor resultante fue t = 63.57, con un valor p<0.001, que determina que la diferencia es estadísticamente significativa y que por tanto el valor menor que presenta este elemento de evaluación debe considerarse en cuanto que efectivamente es menor desde el punto de vista estadístico. Resulta interesante y positivo que la valoración más baja que realizan los estudiantes sea a elementos que no son estrictamente académicos sino más bien de apoyo y administrativos, si bien no se puede minimizar su importancia pues se refieren a elementos que tienen estrecha relación con los procesos académicos, tales como la biblioteca, las aulas, el laboratorio de informática; así como elementos que impactan directamente en el bienestar del estudiantes, tales como la cafetería, el restaurante, las áreas sociales de esparcimiento.

A partir de este primer resultado, interesa conocer cuál de los elementos que componen la evaluación a la calidad de los servicios no académicos, es el que mayor incidencia tiene en esta baja calificación por parte de los estudiantes. Para ello se debe primero comprender que no todos los servicios no académicos son provistos directamente por la Universidad: la cafetería, el restaurante, el servicio de fotocopiado (por ejemplo), funcionan bajo un modelo de concesión en el que empresas proveen de este servicio a los estudiantes de la Universidad; y hay otros servicios que en cambio son directamente provistos por la Universidad: la biblioteca, el laboratorio de informática, el mantenimiento de la aulas, entre otros.

Un resultado interesante es que los valores más bajos de calidad percibida que reportan los estudiantes, son los correspondientes a los códigos 113, 121, 122 y 123, que corresponden en todos los casos a servicios tercerizados y que por tanto no se derivan de una gestión directa de la Universidad: el costo de los productos del restaurante, la variedad del menú en el restaurante , los costos en la cafetería, y la atención a los usuarios en la cafetería, que presentan valores estadísticamente más bajos como se muestra en la Ilustración 4.

Al realizar un análisis de los servicios no académicos que dependen directamente de la gestión de la Universidad, se encuentra que aquellos que presentan una valoración más baja por parte de los estudiantes, son aquellos que corresponden a las características y servicios del laboratorio de informática, especialmente el servicio codificado con el número 22 y que corresponde al servicio de internet, que como se observa en la Ilustración 5 presenta un valor más bajo que el resto de elementos evaluados por los estudiantes, con una diferencia que además resultó estadísticamente significativa con un valor de la prueba t de Student det= 18.19 y un valor p<0.001.

El segundo valor más bajo en la categoría de calidad de servicios no académicos es el consignado al elemento codificado con el número 132 y que corresponde al sistema de acceso electrónico al parqueadero, que al igual que el elemento anterior, presenta una calificación bastante más baja que el resto de los elementos, con una diferencia que además es significativa estadísticamente, con un valor de la prueba t de Student de t = 10.49, y un valor p<0.001.

Además de los elementos no académicos que se presentan como los de más baja evaluación por parte de los estudiantes, y si bien ya se ha indicado que los elementos académicos no son aquellos de menor valoración, no es menos cierto que es de gran interés conocer cuáles son los elementos de carácter académico que los estudiantes están valorando en menor medida.

Los estudiantes realizan tres evaluaciones académicas: al docente, al programa, y a sus tutores. En el período analizado los resultados de estas evaluaciones fueron los de la Ilustración 7. Como se puede observar la valoración más alta que consignan los estudiantes es a sus docentes, y la valoración más baja al programa, cuya diferencia con los otros temas evaluados es estadísticamente significativa con un valor de la prueba t de Student de t = 18.87, y un valor de p<0.001.

De las preguntas que componen esta valoración al programa, la que obtuvo la puntuación más baja fue la que está codificada con el número 2, y que corresponde a "Medida en que me satisfizo el nivel académico de los conocimientos que desarrolla y difunde el programa", cuyo valor aparece comparado en la Ilustración 8. La diferencia del valor de esta pregunta con el del resto de preguntas que conforman la evaluación al programa, resultó también estadísticamente significativa con un valor de la prueba t de Student de 5.99 y un valor de p<0.001.

Al analizar los elementos constitutivos de las otros dos tipos de evaluaciones a elementos académicos que realizan los estudiantes (al docente y al tutor), se observa que sus partes constitutivas con menor valoración de calidad, según reportaron los estudiantes, fueron: en el caso de la evaluación al docente el aporte de la asignatura a la formación práctica del estudiante (código 2 de este instrumento de evaluación) y el nivel académico de la asignatura cursada (código 3); en el caso de la evaluación al tutor resulta interesante que el elemento de menor valoración que hace el estudiante es el de su autoevaluación, en el que en la pregunta codificada con el número 12 (cumplimiento propio de los tiempos previstos para desarrollo del trabajo de titulación), consigna el valor más bajo de este instrumento de evaluación.

La comparación de cada uno de estos elementos que tienen menor valoración, con el valor reportado para el resto de elementos (del mismo instrumento de evaluación), aparece en la Ilustración 9, Ilustración 10 e Ilustración 11. En los tres casos la diferencia entre el elemento menor valorado y el resto de los elementos es estadísticamente significativa con valores de prueba t de Student de t = 15.13, t = 14.82, t = 5.11 respectivamente y valores de p<0.001 en todos los casos.

Comportamiento de los elementos evaluados en el período 2014- 2018

Para evaluar el comportamiento se presenta gráficamente en la Ilustración 12 la evolución de la calidad percibida o satisfacción de los estudiantes recogida en los distintos instrumentos de evaluación,

En el gráfico se puede apreciar claramente un estancamiento y caída de todos los elementos evaluados a partir de 2015 y hasta 2017 de manera más pronunciada. Se observa así mismo en el año 2018 una recuperación de todos los elementos excepto el representado por la línea negra y que corresponde a la calidad percibida del programa. La línea roja de mayor grosor es el promedio de todas las evaluaciones realizadas por los estudiantes durante cada año.

Si bien la indagación sobre las razones de este comportamiento deberá dar lugar a otra investigación que ausculte sobre esto en particular, se podría adelantar la hipótesis de que la suspensión de asignaciones financieras por parte del Gobierno Central que se dio durante esos años pudo haber tenido este impacto negativo en la percepción de los estudiantes durante esos años, que se recuperó una vez que se reactivaron dichas transferencias hacia la Universidad.

En el gráfico también llama la atención la evaluación a tutores como aquella de más alta valoración por parte de los estudiantes, y también como aquella de más fuerte repunte en el año 2018. De una parte, hay que tomar con cuidado aquello de que es la evaluación con más alta valoración ya que se debe recordar que esta evaluación la realizan únicamente los estudiantes que han terminado su trabajo de titulación. No se incluye por tanto la evaluación de aquellos estudiantes que por una u otra razón no se han graduado y que seguramente podría modificar los resultados de dicha evaluación. De otra parte, el importante repunte en el año 2018 igualmente habrá que indagar más a profundidad sus razones en otra investigación posterior, pero se puede adelantar la hipótesis que se deba entre otras cosas a la cosecha de primeros resultados importantes de la gestión de la instancia de apoyo en escritura académica para los procesos de elaboración de trabajos de titulación, instancia que en ese momento era recientemente creada.

Luego de este análisis general a los elementos evaluados por los estudiantes, se presenta a continuación la evolución de los distintos componentes de las evaluaciones realizadas por los estudiantes.

Si bien la evaluación a la calidad de los servicios no académicos es la más baja en promedio (línea gris del gráfico anterior), llama más la atención la evaluación al programa académico que cursa el estudiante (línea negra del gráfico anterior), no solo por ser un tema eminentemente académico, sino sobre todo porque además de ser la segunda evaluación más baja que realiza el estudiante, es la única que no presenta un repunte en el año 2018 sino que acentúa su caída.

De manera adicional se revisarán los componentes de la evaluación al docente que, si bien tiene un valor alto en relación con las otras evaluaciones, resulta de interés su análisis más prolijo por ser un elemento clave en la oferta académica de la Universidad.

En cuanto a la evaluación al programa académico: al analizar sus componentes se puede ver que casi todos ellos no logran recuperarse en 2018, a excepción del referido a la medida en que el programa alentó el desarrollo de capacidad analítica y crítica en el estudiante. El resto de los componentes de esta evaluación mantienen una tendencia a la baja en el año 2018, y preocupan particularmente los referidos a la satisfacción con el nivel académico del programa, y al nivel de aporte a la formación práctica que percibe el estudiante en el programa por ser los de valoración más baja. En cuanto a la evaluación al docente, sus elementos constitutivos muestran la dinámica advertida en el análisis general: estancamiento y decaimiento desde el 2015 y hasta el 2017, y recuperación (en casi todos los casos) durante el año 2018. Como ya se indicó en algún análisis anterior: los elementos de la evaluación al docente que menor calificación reportan son los referidos al nivel académico de la asignatura y al nivel de aporte de la asignatura a la formación práctica del estudiante. Estos resultados, junto con los de la evaluación al programa, sugieren la necesidad de revisar los contenidos de las materias de cada programa académico con el fin de mejorar en estos niveles de evaluación.

Ahora bien, en cuanto a los elementos de más baja valoración en la evaluación a la calidad de los servicios no académicos y que son prestados por empresas concesionarias, es decir los referidos al costo y variedad del restaurante, y el costo y atención en la cafetería, su evolución sigue la misma tendencia de decrecimiento ya observada del 2015 a 2017 con recuperación en el año 2018 excepto en la variedad de oferta del restaurante.

En cuanto a la calidad de los servicios no académicos que son gestionados directamente por la Universidad, los que tienen valoración más baja por parte de los estudiantes son el servicio de internet dentro del campus y el sistema de acceso al parqueadero, cuyo comportamiento es bastante errático y sin una tendencia definida.

Elementos de influencia críticos en la valoración que hacen los estudiantes

Como se puede apreciar en la sección anterior, las evaluaciones que realizan a los estudiantes en el período 2014-2018 están compuestas por varios conjuntos de preguntas que indagan respecto de aspectos académicos y no académicos de la vida universitaria.

Los valores más bajos reportados corresponden a las evaluaciones de los servicios no académicos, que tienen que ver con la infraestructura de la universidad (parqueaderos, aulas, bibliotecas, laboratorio de informática), sus servicios de apoyo (fotocopiadoras,comedor, cafetería), y la atención que reciben por parte del personal administrativo (recepción, secretaría del área, secretaría general, tesorería).

Resulta interesante que de estos valores (que son los más bajos en general), particularmente aparecen como los que son más bajos todavía en su valoración, aquellos que son administrados por empresas concesionarias: la cafetería, el comedor, el servicio de impresión y fotocopiado, especialmente en cuanto a sus costos, atención al usuario, y variedad de oferta (en el caso del restaurante y cafetería).

Si se excluyen esos servicios (que como se ha dicho son concesionados), los valores de calidad percibida más bajos que reportan los estudiantes tienen relación con el servicio de internet en el campus, y el acceso electrónico al parqueadero.

Ahora bien, en relación con los elementos académicos de menor valoración por parte de los estudiantes, en la evaluación al docente aparecen el aporte de la asignatura a la formación profesional y el nivel académico desarrollado en la asignatura; y en la evaluación al tutor aparece con la valoración más baja el cumplimiento propio del estudiante a los tiempos previstos de realización del trabajo de titulación. Estos tres elementos mencionados más que decir que son los más bajos, sería correcto indicar que son lo que tienen las menores valoraciones positivas.

Si bien en general los elementos evaluados por los estudiantes tuvieron un estancamiento y caída en el período 2015 al 2017, con un repunte en 2018, llama la atención fuertemente que la valoración que se hace a la calidad del programa académico es la única que no se recupera en el año 2018, concordantemente con sus componentes relacionados al nivel académico del programa, y el nivel de formación práctica del programa percibido por el estudiante.

Políticas para el mejoramiento del proceso y sus resultados

En cuanto a los elementos de incidencia de carácter académico

Si bien estos elementos no son los de más baja valoración por parte del estudiante, son en cambio los de mayor importancia, y siendo así, se sugiere desarrollar y poner en marcha una política de revisión de los contenidos de las asignaturas de todos los programas académicos en la Universidad.

Esta política debería plantearse desde las autoridades de la Universidad, y hacerse operativa a través de los coordinadores académicos de programa para lo cual se podría emprender en una revisión minuciosa de contenidos con la participación no solo de los docentes del programa sino también con un grupo de académicos externos, así como practicantes del campo disciplinar y ex estudiantes, que puedan dar opinión a través de algún tipo de comité consultivo de cada programa que permita asegurar que los contenidos siguen siendo valiosos y relevantes.

La periodicidad de esta revisión debería estar definida en la política, y podría ser cada dos o tres años, pudiendo modificarse este período por las características propias del programa, o por cambios importantes que se puedan dar en normativas específicas, avances tecnológicos, nuevos descubrimientos o prácticas, o distintas necesidades nacionales que se puedan dar por cualquier razón.

Esta revisión cada dos o tres años, debería darse de manera independiente a la obligada revisión integral del programa que debe hacerse al terminar el período de vigencia de la aprobación del programa por parte del organismo regulador de la educación superior en Ecuador, que se da cada cinco años, lo que significa que se propone al menos una revisión adicional dentro de ese período de cinco años, a la mitad de ese lapso.

En cuanto a los elementos de incidencia no académicos

Los elementos no académicos resultaron ser los de mayor incidencia por tener menor valoración por parte de los estudiantes en el período analizado, y por tanto se sugiere revisar, ampliar o mejorar las políticas de gestión de dichos elementos.

De una parte, los elementos de más baja valoración fueron los que tienen relación con los servicios no académicos concesionados (restaurante, cafetería y servicio de impresión y fotocopiado), y por tanto parece importante definir como política la inclusión de SLA² como parte de la evaluación permanente que debiera realizarse a los servicios prestados por las empresas concesionarias, como requisito para su renovación y permanencia, y deberían ser definidos conjuntamente con los beneficiarios de esos servicios: estudiantes, docentes y personal administrativo.

En relación con los servicios no académicos que no son concesionados y que por tanto dependen más directamente de una gestión de la Universidad, se sugiere una política de actualización permanente de los servicios tecnológicos en general, y de manera particular de aquellos menor valorados por los estudiantes: el acceso a internet dentro del campus y el acceso electrónico a parqueaderos.

En cuanto a las prácticas de la Universidad para recoger la valoración que hace el estudiante de distintos aspectos de su vida universitaria

A partir de la revisión de las distintas propuestas de evaluación que se presentan en este estudio, parece importante revisar el sistema de evaluación de la Universidad, incluyendo -de ser el caso- cuestionarios que permitan complementar la información que de cuenta de la experiencia universitaria del estudiante.

Podría considerarse la inclusión de cuestionarios que permitan evaluar variables de carácter implícito o psicológico o de bienestar general que tiene que ver con la calidad de las relaciones interpersonales, tales como el trato que los estudiantes reciben de parte de sus profesores (y no solo del personal administrativo de la universidad), preocupación por los problemas de los estudiantes, reconocimiento de sus opiniones y emociones, sensación de pertenencia, seguridad, promoción del desarrollo profesional, entre otras (J. Douglas et al., 2006), así como la valoración que hacen a la imagen y prestigio del centro de estudios y el programa en particular, y su incidencia en el sentir de su experiencia académica (Alves & Raposo, 2004).

Otro elemento importante a revisar es la necesidad de incluir encuestas de expectativas al inicio de los estudios (H ill, 1995b) y hacerlo de manera continua y no solo al final (Leblanc & Nguyen, 1997), con el fin de valorar la evolución del sentir del estudiante respecto de aspectos clave de su vida universitaria y poder tomar correctivos a tiempo. Esto es particularmente importante en el caso de los docentes, a quienes se le evalúa solo al finalizar el módulo, impidiendo que se puedan tomar correctivos (en caso de detección de problemas) durante la realización del mismo módulo, si bien aquello sería de todas maneras muy complicado por el modelo de organización temporal académica de la Universidad, que funciona organizando sus clases en trimestres.

En relación a la valoración que se hace a tutores, parece importante incluir algún tipo de valoración de proceso (Cheng et al., 2016) que incluya también la opinión de estudiantes no solo al finalizar su trabajo de titulación, sino durante su elaboración, con el fin de incluir la de aquellos que más tarde por cualquier razón no logren graduarse.

Es menester aquí relievar el hecho de que, si bien la dimensión no académica de la universidad no es per se el propósito fundamental de las instituciones de la educación superior, son un soporte institucional en la tarea fundamental de las universidades que es la creación de conocimiento y pensamiento crítico (Akareem & Hossain, 2016; Arambewela et al., 2006; Banwet & Datta, 2003; J. A. Douglas et al., 2015; Leblanc & Nguyen, 1997; Pidgeon et al., 2017; Tan, 2012)SD = 5.5, y por tanto parece necesario mantener y fortalecer los instrumentos de evaluación de estos aspectos.

Finalmente se puede decir que la bibliografía disponible hace referencia a la importancia del anonimato en la aplicación de las encuestas de satisfacción a los estudiantes, lo cual es motivo de duda de los estudiantes de la universidad en la que se realizó el estudio pues en general desconocen los protocolos de confidencialidad de los datos obtenidos, ya que al in-teractuar con la plataforma de evaluación no existen mensajes previos que indiquen al usuario que los datos insertos en su sistema personal no tienen efectos coercitivos o que su información personal puede ser publicada. Por ello resulta importante incorporar información sobre la confidencialidad del proceso para conocimiento de los estudiantes, lo cual contribuirá a información más confiable que permita lograr un mayor impacto (Okun & Weir, 1990).

En cuanto al uso de la información recolectada

Parece conveniente incluir análisis de estructura y comportamiento en los reportes que se elaboran periódicamente por parte de la instancia que gestiona las evaluaciones estudiantiles con el fin de saber qué elementos son aquellos que ameritan mayor preocupación, así como entender de mejor manera su evolución histórica. Esta información debería ser conocida tanto por las autoridades de los departamentos académicos como de cada programa en particular con el fin de incluir los correctivos necesarios.

La misma sugerencia se realiza para el procesamiento de la información de los servicios no académicos de la Universidad, para que las instancias responsables conozcan a tiempo información relevante que les permita tomar decisiones y mejorar la prestación de servicios.

Se sugiere finalmente, considerar la preparación de un resumen ejecutivo de carácter público en el que de manera cuidadosa se informe respecto de las acciones que toma la Universidad para mejorar la prestación de sus servicios no académicos y el cumplimiento de sus funciones académicas.

Esto en consideración de que en la universidad existe una gran cantidad de información recopilada a través de las evaluaciones, pero los estudiantes y otros actores desconocen las acciones resultantes de su aporte en relación con su satisfacción tanto en el tema académico como no académico. Esto último puede resultar contraproducente en cuanto a la disposición y actitud de los estudiantes ante las encuestas, en el sentido de que pueden hacerlo únicamente por su necesidad particular de visualizar sus notas o avanzar con sus trámites de graduación, lo que puede traducirse en una falta de confianza, escepticismo o aversión a participar, más no como una forma de aportación consciente y voluntaria que refleje una conexión con la institución o la creación y formación de lazos de lealtad, cooperación y compromiso entre los estudiantes y la institución educativa de la que son parte, que inclusive puede extenderse luego de terminados los estudios.

El estudiante debe ser un participante fundamental en el proceso educativo y de allí que resulta imperativo, una vez que se ha desarrollado el proceso de evaluación hacer uso de todos los mecanismos informativos que pueda tener la universidad para dar a conocer a su equipo de trabajo docente y no docente, de la misma forma que a los estudiantes, sobre las acciones de mejora que se lleven a cabo, inclusive con el objeto de contar con una retroalimentación efectiva durante el proceso de instauración de tales acciones, lo que implica un cambio en la cultura institucional que utiliza la voz de los estudiantes para tomar decisiones pertinentes y que como efecto producen una mayor satisfacción en todos los niveles, y de manera particular en los estudiantes. Podría, en tal sentido resultar interesante, la elaboración de informes anuales sobre la gestión realizada a partir de los resultados de las evaluaciones como parte del interés institucional en la mejora continua y la calidad de su servicio, frente a sus grupos de interés.

Es importante pues mantener en mente que las evaluaciones tienen como una de sus funciones esenciales, la de proveer información para la consecuente toma de decisiones por parte de las autoridades pertinentes y la mejora continua (Cronbach 1963, Stufflebeam et at. 1971 y Alkin 1969 en Nevo 1983). Adicionalmente, la satisfacción de los estudiantes con la institución educativa a la cual asisten puede estar influenciada por otros agentes relacionados a su nivel de involucramiento con el campus o participación en general, motivación extrínseca o intrínseca, relaciones sociales, percepción o aspiraciones de crecimiento personal y profesional en la sociedad en la que se desenvuelven, y, factores psicológicos tales como el bienestar propio, el sentido de autoeficacia, o el estado de ánimo de los estudiantes al momento de participar de una encuesta o proceso de evaluación (Lindsay, 2015; Love, 2010; Wiers-Jenssen et al., 2002)numerous stakeholders with contradictory infor-mation needs, limited time and budget for evaluation, and conflicting views about evaluation methodology. This situation has spawned numerous approaches to educational evaluation. To better understand the range and diversity of evaluation approaches, this ar-ticle presents four conceptual frameworks or "lenses" developed by experienced educational evaluators to manage the complexity of the evaluation field, select relevant evaluation approaches, and successfully conduct evaluations in challenging education practice settings.","container-title":"International Encyclopedia of Education (Third Edition.

 

Notas

¹ Esta investigación fue financiada por el Comité de Investigaciones de la Universidad Andina Simón Bolívar, Sede Ecuador.

² Service Level Agreement: Acuerdos de nivel de servicio.

 

Referencias bibliográficas

•   Abdullah, F. (2006). The development of HEd-PERF: A new measuring instrument of service quality forthe higher education sector. International Journal of Consumer Studies, 30(6), 569-581. https://doi.org/10.1111 /j.1470-6431.2005.00480.x        [ Links ]

•   Akareem, H. S., & Hossain, S. S. (2016). Determi-nants of education quality: What makes students' perception different? Open Review of Educational Research, 3(1), 52-67. https://doi.org/10.1080/23265507.2016.1155167        [ Links ]

•   Aldridge, S., & Rowley, J. (1998). Measuring cus-tomer satisfaction in higher education. Quality As-surance in Education, 6(4), 197-204. https://doi.org/10.1108/09684889810242182        [ Links ]

•   Alvarado Lagunas, E., Ramírez, D. M., & Téllez, E. A. (2016). Percepción de la calidad educativa: Caso aplicado a estudiantes de la Universidad Autónoma de Nuevo León y del Instituto Tecnológico de Estudios Superiores de Monterrey. Revista de la Educación Superior, 45(180), 55-74. https://doi.org/10.1016/j.resu.2016.06.006        [ Links ]

•   Alves, H., & Raposo, M. (2004). La medición de la satisfacción en la enseñanza universitaria: El ejemplo de la universidade da beirainterior. International Review on Public and Nonprofit Market-ing, 1(1), 73-88.         [ Links ]

•   Alves, H., & Raposo, M. (2007). Student Satisfaction Index in Portuguese Public Higher Education. Service Industries Journal - SERVIND J, 27, 795-808. https://doi.org/10.1080/02642060701453288        [ Links ]

•   Annamdevula, S., & Bellamkonda, R. (2012). Development of HiEdQUAL for Measuring Service Quality in Indian Higher Education Sector. International Journal of Innovation, Management and Technology, 3(4). https://doi.org/10.7763/IJIMT.2012.V3.265        [ Links ]

•   Arambewela, R., Hall, J., & Zuhair, S. (2006). Postgraduate International Students from Asia: Factors Influencing Satisfaction. Journal of Mar-keting For Higher Education, 15,105-127. https://doi.org/10.1300/J050v15n02_05        [ Links ]

•   Athiyaman, A. (1997). Linking student satisfaction and service quality perceptions: The case of university education. European Journal of Marketing, 31(7), 528-540. https://doi.org/10.1108/03090569710176655        [ Links ]

•   Banwet, D. K., & Datta, B. (2003). A study of the effect of perceived lecture quality on post-lecture intentions. Work Study, 52, 234-243. https://doi.org/10.1108/00438020310485967        [ Links ]

•   Cheng, M., Taylor, J., Williams, J., & Tong, K. (2016). Student satisfaction and perceptions of quality: Testing the linkages for PhD students. Higher Education Research & Development, 35(6), 1153-1166. https://doi.org/10.1080/07294 360.2016.1160873        [ Links ]

•   Cronin, J., & Taylor, S. (1994). SERVPERF Versus SERVQUAL: Reconciling Performance-Based and Perceptions-Minus-Expectations Measurement of Service Quality. JournalofMarketing, 58,125-131. https://doi.org/10.1177/002224299405800110        [ Links ]

•   Dewey, J. (1986). Experience and Education. The Educational Forum, 50(3), 241-252. https://doi.org/10.1080/00131728609335764        [ Links ]

•   Donoso, S., & Schiefelbein, E. (2007). ANÁLISIS DE LOS MODELOS EXPLICATIVOS DE RETENCIÓN DE ESTUDIANTES EN LA UNIVERSIDAD: UNA VISIÓN DESDE LA DESIGUALDAD SOCIAL. Estudios pedagógicos (Valdivia), 33(1), 7-27. https://doi.org/10.4067/S0718-07052007000100001        [ Links ]

•   Douglas, J. A., Douglas, A., McClelland, R. J., & Davies, J. (2015). Understanding student satisfaction and dissatisfaction: An interpretive study in the UK higher education context. Studies in Higher Education, 40(2), 329-349. https://doi.org/10.1080/03075079.2013.842217        [ Links ]

•   Douglas, J., Douglas, A., & Barnes, B. (2006). Measuring Student Satisfaction at a UK Univer-sity. Quality Assurance in Education: An International Perspective, 14(3), 251-267. https://doi.org/10.1108/09684880610678568        [ Links ]

•   Durkheim, É. (2014). El suicidio. Ediciones AKAL.         [ Links ]

•   Elliott, K. M., & Shin, D. (2002). Student Satisfaction: An alternative approach to assessing this important concept. Journal of Higher Education Policy and Management, 24(2), 197-209. https://doi.org/10.1080/1360080022000013518        [ Links ]

•   Grebennikov, L., & Shah, M. (2013). Monitoring Trends in Student Satisfaction. Tertiary Education and Management, 19(4), 301-322. https://doi.org /10.1080/13583883.2013.804114        [ Links ]

•   Harvey, L. (2003). Student Feedback [1]. Quality in Higher Education, 9(1), 3-20. https://doi.org/10.1080/13538320308164        [ Links ]

•   I—ill, F. M. (1995a). Managing service quality in higher education: The role of the student as primary consumer. Quality Assur-ance in Education, 3(3), 10-21. https://doi. org/10.1108/09684889510093497        [ Links ]

•   I—ill, F. M. (1995b). Managing service quality in higher education: The role of the stu-dent as primary consumer. Quality Assurance in Education, 3(3), 10-21. https://doi. org/10.1108/09684889510093497        [ Links ]

•   Leblanc, G., & Nguyen, N. (1997). Search-ing for excellence in business education: An exploratory study of customer impressions of service quality. International Journal of Edu-cational Management, 11, 72-79. https://doi.org/10.1108/09513549710163961        [ Links ]

•   Lindsay, G. (2015). Educational Evaluation: Overview. En J. D. Wright (Ed.), International Encyclopedia of the Social & Behavioral Sciences (Sec-ond Edition) (pp. 229-231). Elsevier. https://doi.org/10.1016/B978-0-08-097086-8.92062-2        [ Links ]

•   Love, A. J. (2010). Understanding Approaches to Evaluation. En P. Peterson, E. Baker, & B. McGaw (Eds.), International Encyclopedia of Education (ThirdEdition) (pp. 798-807). Elsevier. https://doi.org/10.1016/B978-0-08-044894-7.01594-3        [ Links ]

•   Nevo, D. (1983). The Conceptualization of Educational Evaluation: AnAnalytical Reviewofthe Litera-ture. Review of Educational Research, 53(1), 117-128. https://doi.org/10.3102/00346543053001117        [ Links ]

•   Okun, M. A., & Weir, R. M. (1990). Toward a judg-ment model of college satisfaction. Educational Psychology Review, 2(1), 59-76. https://doi.org/10.1007/BF01323529        [ Links ]

•   Parasuraman, A., Zeithaml, V. A., & Berry, L. L. (1985). A Conceptual Model of Service Quality and Its Implications for Future Research. 49(4), 41-50. JSTOR. https://doi.org/10.2307/1251430        [ Links ]

•   Pariseau, S. E., & McDaniel, J. R. (1997). As-sessing service quality in schools of business. International Journal of Quality & Reliabili-ty Management, 14(3), 204-218. https://doi. org/10.1108/02656719710165455        [ Links ]

•   Pidgeon, A. M., Davies, N. L., & Stapleton, P. (2017). Factors Influencing University Students' Academic Experience: An International Study. International Journal of Multidisciplinary Perspec-tives in Higher Education, 2(1), 1-8.         [ Links ]

•   Polyakova, O., & Mirza, M. (2015). Perceived service quality models: Are they still relevant? The Marketing Review, 15, 59-82. https://doi.org/10.1362/146934715X14267608178721        [ Links ]

•   Sallis, E. (2014). Total Quality Management in Education. Taylor and Francis.         [ Links ]

•   Tam, M. (2001). Measuring Quality and Performance in Higher Education. Quality in Higher Education, 7(1), 47-54. https://doi.org/10.1080/13538320120045076        [ Links ]

•   Tan, T. (2012). Evaluating Service Encounters: The Effects of Employee Responses on Service Failure and Recovery. IAMURE International Journal of Education, 2. https://doi.org/10.7718/ iamure.ije.v2i1.178        [ Links ]

•   Weerasinghe, S., Lalitha, S., & Fernando, R. L. s. (2017). Students' Satisfaction in Higher Education Literature Review. https://doi.org/10.12691/education-5-5-9        [ Links ]

•   Wiers-Jenssen, J., Stensaker, B., & Grogaard, J. B. (2002). Student Satisfaction: Towards an empirical deconstruction of the concept. Quality in Higher Education, 8(2), 183-195. https://doi. org/10.1080/1353832022000004377        [ Links ]