Что именно измерял индекс научного цитирования? В первую очередь бросается в глаза бессмысленный и абстрактный, сродни компьютерному, сбор данных. Индекс засчитывал цитаты самого себя, что добавляло самолюбования и без того чрезвычайно заметному в научных кругах нарциссизму. Также засчитывались негативные упоминания: «Статья учёного N — это худшее исследование, какое я когда-либо встречал!» Один балл в копилку учёного N!
Как сказала Мэй Уэст: «Слава не бывает плохой — вы только правильно напишите моё имя!» Цитаты из книг, в противоположность цитатам в научных статьях, не подлежат учету. Зададим более серьезный вопрос: что, если, как это часто бывает, никто и никогда не читает статьи, в которых упоминается данная работа?
Вдобавок отметим провинциализм этого предприятия: в конечном итоге этот индекс учитывает по большей части работы, написанные на английском языке. По мнению Гарфилда, французская наука провинциальна, потому что она не приняла английский язык в качестве языка науки. Что касается социальных наук, такое утверждение по меньшей мере нелепо; при этом, если вы переведете и продадите свою статью сотне тысяч китайских, бразильских или индонезийских учёных, это ничего не даст для вашего индекса цитирования, разве что они выразят свою благодарность в англоязычном журнале или в одном из горстки иноязычных журналов, включенных в волшебный список.
Обратите внимание и на то, что индекс цитирования чисто статистически должен давать преимущество специализациям, по которым производится больше всего исследований, т. наз. «научному мейнстриму» или, выражаясь языком Куна, «нормальной науке». Наконец, заметьте, что «объективированная субъективность» индекса цитирования в сфере общественных наук интересуется исключительно настоящим временем. А если современное направление исследований через три года признают тупиковым? Нынешняя волна публикаций и произведенный ею статистический пик может позволить счастливому исследователю, невзирая на явную ошибку, по-прежнему почивать на лаврах.
Распространяться о недостатках индекса научного цитирования нет нужды. Они интересуют нас лишь потому, что демонстрируют неизбежный разрыв между способами измерений такого рода и качеством, которое они пытаются измерить. Печально, что многие из вышеперечисленных недостатков можно исправить реформами и усовершенствованием методик расчёта индекса, потому что на практике предпочтительны более схематичные, абстрактные и простые в вычислении способы измерения — из-за легкости их использования и, соответственно, более низкой стоимости. Однако кажущееся объективным измерение количества упоминаний скрывает в себе множество «условностей подсчёта», тайком проникших в оценки, глубоко политических по своей сути и имеющих далеко идущие последствия.