Un esfuerzo de asociación bajo el liderazgo de expertos en opinión y toma de decisiones ha lanzado ligeramente las implicaciones de mantener el anonimato para los autores durante el proceso de revisión por pares. El estudio, realizado por un equipo de la Universidad de Indiana, Babson College, la Universidad Carnegie Mellon y la Universidad de Chicago, investigó la efectividad de un sistema de evaluación ciego y doble ciego en un escenario del mundo real en entradas para la 39ª Conferencia Anual de la Sociedad para el Juicio.
Los resultados de esta investigación revelan complejidades con respecto a la equidad y la confiabilidad de cada sistema de revisión por pares. Los investigadores descubrieron que, aunque las revisiones anónimas ayudaron a reducir los autores asiáticos, produjeron accidentalmente evaluaciones ligeramente más bajas para las mujeres y los solicitantes de carrera temprana. Es importante que las diferencias de confiabilidad y validez entre los dos sistemas fueran mínimos, lo que indica una cantidad significativa de variabilidad, o ‘ruido’, en las revisiones por pares.
El profesor Tim Pleskac señaló sobre esta variabilidad y señaló: «Con mucho, el mayor efecto que medimos fue la variabilidad entre los revisores, si fueron o no anónimos». Esta observación enfatiza la necesidad de una reevaluación de las prácticas de evaluación actuales, porque revela la dinámica complicada que influye en la evaluación de la evaluación por pares.
A pesar de estos matices, el equipo de investigación finalmente aprobó la implementación de evaluaciones anónimas, lo que requiere cambios para mejorar la equidad y la integridad científica. Una sugerencia innovadora era integrar un sistema de lotería para seleccionar entradas superiores. Pleskac declaró: «Si el proceso es inherentemente ruidoso, debemos usarlo. Seleccionar aleatoriamente del trabajo de alta calidad puede promover la diversidad de ideas y perspectivas en la ciencia».
El origen de este estudio se remonta a las experiencias personales dentro de la sociedad para el juicio y la toma de decisiones, por lo que algunos miembros del comité han observado mejoras en las tasas de aceptación de las autores después del cambio a evaluaciones anónimas. Las conversaciones con respecto a la influencia del prestigio institucional también motivaron la necesidad de una exploración sistemática de este problema.
Para evaluar los dos sistemas de evaluación, el Equipo de Investigación 112 tuvo la entrada de la conferencia de los evaluadores de la facultad 530, de modo que se les otorgue al azar a condiciones anónimas o no anónimas. Un subconjunto de entradas se sometió a una investigación adicional de revisores adicionales para medir la fiabilidad y la validez predictiva de cada proceso de evaluación.
Los resultados revelaron diferencias significativas, en particular con respecto a la demografía del autor. Los primeros autores asiáticos lo hicieron mejor bajo evaluaciones anónimas, de acuerdo con los hallazgos previos de sesgo contra grupos étnicos representados. Por otro lado, los autores masculinos recibieron constantemente evaluaciones más altas que las autores femeninas, lo que sugiere que las diferencias de género constantes en los campos dominados tradicionalmente, como las estadísticas y la teoría de juegos.
En términos de etapa de carrera, las entradas con coautores senior obtuvieron puntajes más altos en evaluaciones no anónimas, mientras que los investigadores en la carrera temprana fueron evaluados más bajos en condiciones anónimas. Esto puede reflejar un sesgo para favorecer a los académicos establecidos, aunque la investigación requería más investigación sobre este fenómeno.
El estudio también enfatizó el ruido inherente dentro de los sistemas de revisión por pares, donde ocurren las opiniones entre los revisores. El análisis mostró que ni el género, la raza ni la antigüedad predicen el éxito final de las presentaciones, ya sea en la recepción del público o los resultados de la publicación.
Los hallazgos desafían las nociones convencionales de equidad en el proceso de revisión por pares y defienden un cambio de paradigma que incorpora arbitrariedad en los métodos de selección. Esta sugerencia tiene la intención de democratizar el discurso científico y promover una gama más amplia de ideas dentro de la comunidad académica.
