¿Cuán “ciegos” son los revisores de conferencias académicas? ¿Pueden los profesores y / o estudiantes de posgrado a menudo reconocer a los autores del trabajo, a pesar de que las revisiones son técnicamente “ciegas”?

Hmm, te estás perdiendo el punto de las presentaciones doble ciego.

El punto no es que los revisores no conozcan los grandes nombres o los grandes proyectos. Eso es muy difícil de ocultar. A menudo puede saber cuándo un documento es escrito por uno de los principales grupos por sus referencias a trabajos anteriores, enfoques y muchos detalles técnicos que no pueden evitarse ni ocultarse.

Pero el objetivo de las revisiones doble ciego no es hacer que las presentaciones de los grandes grupos sean anónimas. El objetivo es hacer anónimos a los de grupos menos conocidos. Entonces, sí, puedo decir que cuando un artículo es de Berkeley o del MIT, eso realmente no aumenta sus posibilidades (a veces en realidad les duele, porque las expectativas son algo más altas). Pero el punto es que si alguien realmente bueno presenta un gran trabajo de una escuela de la que nadie ha oído hablar, no son penalizados por su falta de notoriedad. Ese es el punto de las revisiones doble ciego.

He revisado extensamente las principales conferencias de la EDA y presidí los subcomités temáticos, donde pude averiguar los autores si quisiera (la lista de documentos aceptados debe presentarse con los nombres de los autores). Puede ser fácil adivinar los autores.

• Si el documento cita en exceso publicaciones de un grupo, o describe SuperDuperSoftware versión 3.0, mientras que las versiones anteriores son bien conocidas.
• Algunas personas intentan dividir su trabajo en unidades menos publicables, extendiendo el trabajo anterior.
• Los antecedentes lingüísticos de los autores a veces son obvios: faltan plurales y tiempos pasados: chino; artículos faltantes y verbos modales: eslavos; idioma arcaico – indio, idioma elevado – hablantes nativos de lenguas romances, articulado y preciso – británico, irlandés o australiano (sin mencionar la ortografía británica), preciso pero detallado – alemán.
• Investigadores conocidos tienden a enfatizar diferentes aspectos de sus trabajos: tendencias de la industria, cobertura de investigaciones previas, formalismo matemático, técnicas algorítmicas particulares, evaluación empírica, etc.

Estas pistas pueden conducir a investigadores o grupos particulares, pero no en la mayoría de los casos. Los trabajos que son verdaderamente innovadores y aportan algo nuevo, generalmente no se entregan a los autores. Es por eso que estoy más feliz si no puedo decir quién escribió el artículo bajo revisión.

Como nota al margen, no llamaría a EDA un campo pequeño. Es muy diverso y, por lo tanto, fragmentado, por lo que el número de personas que trabajan en un subcampo particular tiende a ser pequeño. Al mismo tiempo, DAC sigue siendo una de las mayores conferencias de ACM.

Aquí hay dos respuestas: a veces y no. Es cierto que cuanto más sepa sobre alguien y su trabajo, más fácil será reconocerlo (tenga en cuenta que esto también es cierto sobre las revisiones … hay revisores cuyas revisiones puedo desanonizar fácilmente simplemente por cómo escriben). Sin embargo, no hay forma de conocer una fracción significativa de los autores que se someten a un gran lugar o su trabajo. Es posible que pueda reconocer el trabajo de algunos de los grupos más conocidos que continúan con sus esfuerzos o grupos existentes en su subcampo particular. Sin embargo, incluso aquí no es difícil equivocarse. En las conferencias que he presidido (es decir, y podría evaluar mis conjeturas contra la verdad básica), hay aproximadamente un 10% de la cohorte en la que estoy absolutamente seguro de la autoría y estoy un 95% en lo cierto. Probablemente hay un 30% donde no estoy seguro, pero tengo una suposición significativa y esto es 50/50 y el resto está en todo el mapa.

Sin embargo, como escribió Ben, creo que el valor clave de cegar a los autores es que los autores menos conocidos no tienen sus artículos descartados simplemente por falta de notoriedad. La mayoría de los años en la mayoría de las conferencias a las que asisto hay documentos escritos por personas nuevas en el lugar y creo que este resultado es posible al cegar a los autores.

En astrofísica es esencialmente imposible “cegar” al autor de un artículo de un revisor. Si no puede saber quién escribió un artículo después de leerlo, entonces no tiene los antecedentes para ser un revisor.

El punto principal de las revisiones ciegas es cegar al revisor del autor.

Otra cosa es que en astrofísica la práctica general es que el control se realiza a nivel de concesión y no a nivel de papel. La práctica general es que el comité de financiación conoce el nombre del solicitante (y, por lo general, sería imposible esconderse de todos modos), pero una persona en el comité de subvenciones normalmente se abstendrá de juzgar la subvención si hay un conflicto de intereses. Además, estas cosas las hace un comité y, a menudo, de manera que las personas involucradas no se conozcan. Por lo tanto, si envía un documento a tres personas diferentes y todos dan su aprobación, entonces es probable que sea una mala propuesta.

El editor o el proveedor de la subvención toman la decisión final, y pueden anular o, en algunos casos, ignorar la opinión del comité de revisión. Es muy raro que un editor anule el comité si todos piensan que la subvención es mala. Sin embargo, es razonablemente común que el comité de revisión presente opiniones muy diferentes, en cuyo caso no funciona por mayoría de votos (es decir, si 4 personas piensan que la subvención es basura, pero una persona lo apoya firmemente, el financiador a menudo escuchará a esa persona si cree que los argumentos son buenos).

También a veces no quieres cegar al autor. Si el autor tiene una buena reputación, entonces * desea * que se tenga en cuenta en el proceso. También hay momentos en los que * desea * razones financieras para participar en la toma de decisiones. Por ejemplo, si tiene un telescopio o sonda espacial, y una universidad está dispuesta a contribuir con el 30% del costo de la sonda espacial o telescopio, entonces esa universidad tendrá el uso prioritario de ese telescopio. Alternativamente, la práctica general es que si una universidad está dispuesta a gastar dinero para financiar una sonda espacial o un telescopio, el equipo de esa universidad tiene prioridad en los resultados de la investigación de esa sonda, y si usted es un revisor de la conferencia y tiene un documento que proviene de este uso prioritario, entonces desea saber al respecto.

Doble ciego parece una buena idea, pero tales sugerencias generalmente provienen de personas que no investigan mucho. Si te tomas en serio la investigación, rápidamente descubres que hay alrededor de 20 personas en tu campo en el mundo. Todos están relacionados como compañeros de doctorado en un laboratorio, supervisores, supervisores-supervisores, estudiantes y postdoctorados. Abuelos intelectuales, tías, tíos, madre, padre, hermanos y primos. Para bien o para mal, todos conocen a todos los demás.

Cualquier artículo que escribo es instantáneamente reconocible de mi lista de citas donde me cito tantas veces como sea posible y cito a colegas cercanos. Eliminar mi nombre de la página del título no significaría nada.

Depende, por ejemplo, para la conferencia IACIS, que es una conferencia regional de SI, a veces puedo adivinar quién es el autor. Las mismas escuelas y profesores lo presentan todos los años y, por lo general, puedo decir si el documento fue escrito por uno de mis antiguos profesores o un estudiante que estaba en el programa cuando yo estaba. Si es un estudiante de un programa diferente o un profesor que no se presenta cada año, generalmente no lo sé. Ahora tenga en cuenta que solo soy 1 de 3 en la revisión por pares, por lo que si le doy un papel a 10 y los otros dos revisores le dan un 4, entonces tendrá un puntaje promedio de 6 y puede o no ser aceptado. A veces puedo decir por el tema o los detalles quién es el autor, pero la mayoría de las veces no. Incluso si sé quién es el autor, se espera que sea un profesional y lo juzgue solo por mérito académico, y creo que hago un buen trabajo al respecto. También debe justificar por qué clasificó el documento como lo hizo y proporcionar comentarios al autor. Si le doy a un trabajo un 3 sobre 10 y la única respuesta que doy es unos pocos errores gramaticales menores, entonces los editores sospecharán mucho de mi objetividad.

En algunas de las conferencias o revistas de revisión por pares “doble ciego”, he encontrado a los autores sin leer los requisitos de envío de manuscritos, como poner su nombre, identificación de correo electrónico y afiliación en su manuscrito y enviarlos a la identificación de correo electrónico del presidente / editor.

Al final de la Cátedra / Editorial, alguien que maneja de manera diferente a la Cátedra (las cuentas de correo electrónico de la Conferencia o Publicaciones generalmente son administradas por muchos) podría ver de quién provienen dichos manuscritos.

Sería mejor utilizar productos como MyPad Academia (www.mypadacademia.com) que proporciona un anonimato absoluto con los autores y revisores, incluido el proceso de refutación de que ninguna de las partes tiene idea sobre el autor o los revisores.

Quoth, mi tutor y editor de la revista biológica: la presentación anónima también beneficia a las minorías étnicas, las mujeres y los no occidentales. Las tasas de aceptación de los trabajos, por ejemplo, de investigadores indios pueden ser mucho más bajas de lo que deberían ser: algunos países pueden dominar ciertos campos, produciendo grandes cantidades de excelentes trabajos, pero las grandes revistas pueden sesgar sus tasas de aceptación para “equilibrar” a los autores.

Todavía no tengo experiencia personal con esto, pero parece recordar un estudio que informó que el anonimato resultó en la aceptación de más autores no blancos / no occidentales para su publicación. Sin embargo, no puedo encontrar el informe original.

Si todas las citas de IA son de antes de 2012, y ningún científico canadiense mencionó, entonces has sido Schmidhubered …