Ewaluacja projektów i abstraktów – wpływ indywidualnego stylu ewaluacji na oceny

W artykule przedstawiamy zarys psychologicznego modelu ewaluacji oraz wynik analizy ocen 673 abstraktów zgłoszonych na międzynarodową konferencję i 323 projektów badawczych. W obu przypadkach jeden ewaluator (recenzent) dokonywał oceny wielu projektów lub abstraktów, co pozwoliło na wykazanie wpływu indywidualnych stylów ewaluacji (dla 18 ewaluatorów projektów badawczych i 33 recenzentów abstraktów), operacjonalizowanych przez poziom łagodności/surowości i stopień różnicowania ocen. Pokazano także związek kolejności oceniania z surowością ocen (pierwsze 15 abstraktów ocenianych było surowiej niż reszta), co zinterpretowano za pomocą dwóch alternatywnych wyjaśnień: stabilizacji utajonego wzorca porównawczego oraz zmęczenia.

In this article we present an outline of psychological model of evaluation and results of ratings analysis for 673 abstracts submitted to international conference and 323 grant proposals. In both cases one evaluator (reviewer) evaluated many proposals or abstracts, which allowed us to demonstrate individual evaluation style (for 18 grant proposals evaluators and 33 abstract reviewers), operationalized by leniency/severity level and degree of ratings differentiation. We showed as well relation between rank order and severity rating (first 15 abstracts were rated more severely than others). It is suggested that this relation can be explained by two alternative explanations: stabilization of implicit comparative standard and fatigue.