1. Informes de Evaluación

1.1. Aspectos generales del informe

El informe de evaluación debe redactarse teniendo en cuenta que su contenido puede ser enviado al solicitante. No hay edición ni corrección lingüística de los informes que elaboran los equipos de coordinación, por lo tanto debe cuidarse este aspecto de la redacción.
Antes de valorar en detalle los aspectos concretos del informe de evaluación es recomendable una lectura general del proyecto.

El informe debe ser claro, estar bien argumentado y ser coherente con la puntuación. Deben incluirse comentarios detallados, no ambiguos, que justifiquen la calificación y que no sean una descripción del proyecto.

No deben considerarse aspectos personales ni los que no estén relacionados con los méritos científicos del solicitante. La redacción debe ser educada y no debe contener comentarios despectivos ni humillantes. Evitad el uso de primera persona (yo creo que, en mi opinión).

Cuando se considere conveniente, deben incluirse sugerencias para la mejora de la propuesta.

Se recuerda la necesidad de mantener la más absoluta reserva sobre la evaluación antes, durante y una vez concluida ésta.

1.2. Valoración del CV del candidato

Producción científica: Intentamos valorar la calidad, no la cantidad. En las publicaciones, es importante estimar la contribución personal del investigador, tanto para investigadores jóvenes como para los que están en su etapa más madura.
En general, es una buena idea valorar sobre todo las mejores y más recientes publicaciones del candidato y no dar el mismo valor al resto, sobre todo si son publicaciones menores y en las que el solicitante no ha tenido una contribución evidente.

Deben evitarse las fórmulas en las que todo cuenta y se van sumando puntos por méritos sin importancia. Esto hace que investigadores con pocas contribuciones aunque relevantes, salgan perjudicados. Si se utiliza este tipo de fórmulas, hacedlo con cuidado y solo como un indicador orientativo.

Debe valorarse positivamente la disposición del candidato para iniciar nuevas líneas de investigación y a enfrentarse a problemas importantes. No debe ser penalizado un cambio de área si el investigador tiene potencial para ello. Esto es particularmente importante en los investigadores jóvenes. Es positivo, y no negativo, el que un investigador quiera hacer una estancia posdoctoral en un campo en el que no tiene experiencia, siempre que tenga capacidad intelectual y potencial para aprovecharla y lo acoja un centro/grupo competente donde pueda desarrollar ese potencial.

1.3. Valoración científico-técnica del proyecto

La calidad del proyecto se basa en la importancia de la idea, la viabilidad y la relevancia de los resultados. Deben valorarse positivamente proyectos innovadores, así como líneas de investigación interdisciplinares que supongan un avance en la frontera del conocimiento, aunque impliquen el aprendizaje de nuevos conocimientos y técnicas.

Los resultados de transferencia han de ser valorados positivamente, pero la ausencia de los mismos no debe implicar una disminución en la valoración global.

Ejemplos de comentarios que deben evitarse como argumentos negativos

El candidato tiene poca experiencia en el tema. Sobre todo en el caso de investigadores jóvenes. Si su formación lo permite y el grupo es bueno, la experiencia se adquiere. Será un investigador más completo y mejor formado que los que siempre hacen lo mismo.
El proyecto se relaciona parcialmente con su tesis. Un proyecto relacionado parcialmente con el tema de la tesis puede ser muy positivo.

El candidato no ha sido Investigador Principal de ningún proyecto. Lo habitual es que los investigadores jóvenes no hayan sido IP. Se puede valorar el hecho de haber sido IP, pero no penalizar no haberlo sido. Incluso para investigadores senior, una menor calificación por este criterio no ser adecuada si el investigador ha tenido una participación relevante en proyectos.

El proyecto es ambicioso. El hecho de que un proyecto sea ambicioso no tiene por qué ser negativo, dentro de un orden. Otra cosa es que sea inviable.

La memoria está escrita en inglés. En la convocatoria del Plan Nacional se exige la memoria en inglés por encima de un cierto presupuesto y se permite que en castellano solo se presente un resumen. En otras convocatorias, aunque no haya esta condición, puede estar también permitido. En la ANEP debemos ser capaces de evaluar proyectos en inglés.

El proyecto no es de esta área. En la ANEP tenemos la responsabilidad de evaluar cada solicitud en el mejor contexto posible. En general respetamos la elección del IP. Si observamos que la elección está equivocada, lo mejor es redirigirla al área correspondiente. Estos casos han de comunicarse lo antes posible a Julio Bravo, que informa al IP del cambio.

El investigador no cumple los requisitos administrativos de la convocatoria. Este comentario es importante, pero no debe estar incluido en el informe de evaluación, en el que solo hacemos valoraciones de tipo científico. Los aspectos administrativos no son de nuestra competencia pero debemos informar de ellos: hacedlo en otras observaciones o por email a Julio Bravo.

2. Conflictos de Intereses

El tratamiento de los conflictos de intereses es similar al que se utiliza en las agencias de otros países y en la Comisión Europea.

En general, no deben participar en la evaluación los expertos que se encuentren en alguna de las siguientes situaciones respecto a alguno de los solicitantes:

• Ser familiar (con un grado próximo)
• Ser director de tesis doctoral del solicitante (defendida en los últimos 10 años)
• Colaborar en publicaciones o patentes en los últimos 5 años
• Tener relación contractual o compartir fondos o proyectos de investigación en los últimos 3 años
• Con situaciones similares en otras actividades económicas o científico-tecnológicas
• Haber sido recusado por alguno de los solicitantes o presentar amistad o enemistad manifiesta con alguno de los solicitantes.

Los evaluadores los seleccionan los miembros de los equipos de coordinación de entre los más de 30.000 expertos que tiene en estos momentos la Agencia. Para su selección se combinan criterios de calidad científica, especialización, centros de trabajo y su experiencia investigadora en temas relacionados, pudiendo participar expertos residentes en otros países.

La selección de los evaluadores en la ANEP sigue el procedimiento estándar utilizado por las agencias de evaluación científica de reconocido prestigio internacional. El criterio principal para ser evaluador de un determinado proyecto o actividad es tener experiencia acreditada en el tema y ser un experto reconocido en su ámbito. En investigación, estos requisitos se plasman en publicaciones científicas, patentes, libros, o informes técnicos de calidad contrastada. Por otra parte, se intenta evitar cercanía territorial, conflicto de intereses, adscripción al mismo departamento o colaboración con los solicitantes.

Base de datos de expertos

La ANEP tiene una base de datos de expertos registrada en la Agencia Española de Protección de Datos. Actualmente esta base de datos tiene más de 30.000 expertos. En ella están, por defecto, todos los investigadores que hayan sido responsables de un proyecto financiado en convocatoria competitiva del Plan Nacional de I+D+i evaluada en la ANEP. Además, muchos investigadores se interesan en colaborar con la ANEP en las tareas de evaluación y envían sus CV, que se remiten a las áreas correspondientes para que el coordinador determine si tiene méritos suficientes para ser evaluador. Asimismo, en la ANEP se solicita la colaboración como evaluadores a expertos de instituciones clínicas, empresariales, o de gestión, así como a expertos extranjeros.

La información inicial de los datos profesionales y personal de los expertos la introduce el personal de la ANEP, pero la actualización de esta información la introducen los mismos expertos en la aplicación informática vía Internet, utilizando sus propias claves de acceso. Además, el personal de la ANEP puede confirmarlos y completarlos. Periódicamente se envían mensajes a todos los evaluadores para que actualicen sus datos.

Para colaborar con la ANEP en procesos de evaluación o actualizar los datos, pueden obtener información enviando un correo electrónico a la dirección: sganep@micinn.es

Dependiendo del tipo de solicitud, la evaluación se realiza de diferentes maneras:

• Mediante informes individuales solicitados a expertos y elaboración de un informe final teniendo en cuenta la información aportada por los expertos individuales (mínimo 2). Con la información de los informes individuales, los equipos de coordinación elaboran un informe final para cada proyecto. Este es el método normalmente utilizado para evaluar proyectos de investigación, en particular los que se solicitan para periodos de más de un año.
• En algunas ocasiones, cuando las evaluaciones han de ser comparativas, se necesita hacer una priorización, homogenizar criterios, etc., las solicitudes se evalúan en comisiones de expertos que se reúnen en la ANEP. Este es el caso de evaluación de becas, contratos Ramón y Cajal, Juan de la Cierva, etc.
• Otras veces las comisiones se reúnen como un paso posterior a la evaluación individual del proyecto (evaluación mixta).
• Cuando los proyectos o solicitudes no se adecuan a ninguno de estos métodos, la ANEP diseña un método de evaluación ad hoc para la convocatoria.