Математики усомнились в адекватности оценки научных работ
Доклад был подготовлен Комитетом по количественной оценке исследований, в тот, что входили представители Международного союза математиков (International Mathematical Union), Международного совета по промышленной и прикладной математике, а кроме того Института математической статистики (Institute of Mathematical Statistics).
В настоящее час общепринятыми оценками научных работ и деятельности ученых являются импакт-фактор и индекс Хирша. Импакт-фактор колеблется от долей единицы до 50 и рассчитывается на основании статистических данных о цитируемости публикаций за трехлетний отрезок времени в определенных изданиях. Индекс Хирша зависит от количества написанных исследователем работ и количества ссылок на них. Формально определение индекса Хирша звучит так: ученый имеет индекс h, если h из его N статей цитируются как самое меньшее h раз каждая, в то миг как оставшиеся (N - h) статей цитируются менее чем h раз каждая.
Авторы доклада указывают, что одной из основных причин применения импакт-фактор и индекса Хирша является уверенность в их точности, объективности и простоте. Однако в результате своего исследования математики выявили, что зачастую эти критерии используются неправильно. Авторы доклада подчеркнули следующее: во-первых, статистика не является точным методом оценки при ее неправильном использовании. Во-вторых, объективность использования индекса цитирования для оценки научных публикаций является условной, так как многие не до конца понимают термин "цитирование". Во многих случаях цитирование не аналогично импакт-фактору. В-третьих, стремление иметь в распоряжении одно цифра как обычный критерий оценки, не оправдано для научных публикаций. Сложные исследовательские работы тяжело оценить, используя этакий подход "в лоб". Он может повредить развитию науки в целом.
Математики ещё указывают, что, по их мнению, импакт-фактор является чрезмерно грубой и усредненной оценкой научных публикаций. В частности, импакт-фактор журнала не является однозначным показателем того, сколь ценна опубликованная в нем статья. В настоящее момент это является негласным правилом.
Таким образом, оценка научных работ только на основании их цитирования, по мнению авторов доклада, является неполной. Они считают, что для решения этой задачи необходимо спроектировать новый, больше адекватный подход.