«Россия обречена на наукометрию»

За КПБР замолвите слово

Stephen Curry/Max Pixel

Научный руководитель Центра институционального анализа науки и образования Европейского университета в Санкт-Петербурге Михаил Соколов в своей колонке для Indicator.Ru рассуждает о том, «что всех беспокоит»: нужна ли наукометрия гуманитариям, можно ли ее заменить, как и куда должен писать статьи российский исследователь.

Используют ли наукометрию в других странах

То, что министерство науки и формальные показатели существуют только в России — явное преувеличение. На самом деле значительное большинство стран, вообще присутствующих на научной карте мира — от Австралии до Норвегии — в той или иной степени имеют общенациональные системы оценки, в которых продуктивность организации, факультета или даже индивида получают численное выражение, и на основании набранных баллов распределяется финансирование. Скорее, сейчас уже страны, в которых такой системы нет — скажем, США или Германия — могут считаться исключением.

Дальше начинаются нюансы. Есть два принципиальных подхода к построению таких систем. Одна из них основана на рецензировании — собирается жюри экспертов, и они оценивают плоды труда коллег в своей дисциплине. Пример – британская RAE, Research Assessment Exercise (c 2014 — REF, Research Excellence Framework). Там дисциплинарные ассоциации номинируют экспертов, из тех создаются жюри, которые читают по четыре текста, написанные каждым исследователем в данной дисциплине в Британии, затем выставляют за них оценки, эти оценки агрегируют в баллы для факультета, а баллы для факультета — в баллы для всего университета. Второй подход — использовать метрики, данные о количестве публикаций, о наукометрических показателях журнала и о числе цитирований.

В принципе, нельзя сказать, что один подход опирается на экспертов, а второй нет. Согласие редакции принять статью в журнал — это тоже род экспертного заключения. Цитирование также означает, что кто-то из коллег нашел вашу статью полезной (или хотя бы достаточно убедительной, чтобы стоило с ней спорить). Кроме того, нельзя сказать, что один подход опирается на цифры, а второй нет, поскольку количественные оценки выносят и там, и там. Разница скорее в том, что в одном случае есть эксперты, которые специально для целей этого конкурса ставят оценки, а во втором оценка делегирована множеству коллег, которые могут и не задумываться, что косвенно кого-то оценивают для министерства. И даже если задумываются, это не их основная забота. Авторы в журнале, в который все хотят попасть, думают о том, чтобы их статьи не завернули рецензенты, и поэтому будут цитировать работы, которые должны дать рецензентам понять, что они знают литературу. Редакторы журналов в первую очередь заинтересованы в том, чтобы поданные в них статьи читались, а подписки на них покупались библиотеками. Импакт-фактор журнала — это, в конечном счете, оценка работы редакторов; ход мысли в его использовании примерно такой: вот посмотрите, редакция этого журнала на протяжении какого-то времени успешно отбирала статьи, которые потом читались и цитировались, и тем доказала, что к ее мнению о том, какая статья важна и интересна, стоит прислушаться. Импакт-фактор по другим причинам совершенно ужасная метрика, которую ведущие наукометристы давно предлагают заменить чем-то еще, например, долей высокоцитируемых статей, но это уже другая история.

Все это, разумеется, ничего напрямую не говорит о качестве статей, которые опубликованы в журналах с низким импакт-фактором. Однако можно предполагать, что, журналы с высоким импакт-фактором также имеют большие аудитории, это подтверждается данными о тиражах. Логично, что авторы хорошей статьи, которую в такой журнал возьмут, предпочтут опубликоваться в нем, потому что это престижно и увеличит их аудиторию. Так статьи разных уровней сортируются по уровням журналов — вначале журналы первого ряда отбирают лучшие статьи, потому журналы второго — статьи, которые не прошли в первый и так далее. К несчастью, к этой простой схеме примешивается множество нюансов, из-за чего в жизни она работает хуже, чем на бумаге — но в каких-то дисциплинах, вроде экономики, вполне себе работает.

В целом преимущество первого, экспертного подхода в том, что эксперты могут оценить качество текста непосредственно, не опираясь на косвенные показатели типа качества журнала. Кроме того, такой подход не дискриминирует дисциплины с разными практиками публикаций и цитирований (в RAE можно было подавать какие угодно публикации, хоть отпечатанные на ротапринте). С другой стороны, у него есть два недостатка. Во-первых, он гораздо дороже. Во-вторых, его применение упирается в вопрос о том, кто и на каких основаниях будет назначать экспертов. Если есть общенациональные ассоциации, в которых состоит большая часть представителей данной дисциплины, то они могут кого-то делегировать. Но в России таких в большинстве дисциплин просто нет. Академия наук заявила претензии на то, чтобы заниматься подобной экспертизой. Но, похоже, в свое время в глазах Минобрнауки она полностью скомпрометировала себя неудачной попыткой оценить собственные институты в 2011 – 2013 годах. Институты надо было отнести к одной из трех категорий — лидеров, стабильные или с серьезными проблемами. По его итогам только 12 из 370 были отнесены ко второй категории, и лишь один институт — к третьей. Характерно, что вскоре после этого и заработало ФАНО. Кроме того, само же министерство вложило за последние десять лет столько денег в университеты, что они успешно перекупили ведущих ученых, и истина о том, что в РАН сконцентрированы лучшие умы больше не является самоочевидной (а для некоторых социальных наук это просто неверно). В итоге вопрос о том, кто будет назначать экспертов, превращается в неразрешимый.

Альтернативой мог бы быть какой-то дисциплинарный плебисцит, наподобие того, который eLIBRARY.RU проводила при определении списка ведущих журналов — разослать всем ученым, имеющим некоторое число публикаций по данной специальности, письма с предложением номинировать коллег. Но это не снимает вопроса о гигантском объеме работы, которую экспертам придется проделать, и о том, во что вся эта процедура обойдется. В этом смысле похоже, что Россия обречена на наукометрию.

Может ли работающий исследователь не публиковаться на иностранном языке

Безусловно может — если его или ее родной язык английский. Есть два аргумента в пользу сохранения национального языка коммуникации в социальных и гуманитарных науках. Во-первых, для некоторых областей его знание может быть обязательным требованием к специалисту; скажем, вряд ли специалист по Бальзаку может не знать французского, поэтому француз, пишущий о Бальзаке, может быть уверен, что языковой барьер не помешает всем остальным в этой области его прочитать. Во-вторых, социальные науки любят называть своей миссией участие в информировании общества о социальных проблемах и в предложении решений для них, но социальные проблемы решаются в современном мире в рамках политических сообществ, а те, в свою очередь, организованы как национальные государства с их национальными языками.

Тут, однако, можно возразить. Помимо специалистов по русской истории и культуре, есть специалисты по истории и культуре других стран, которые хотели бы знать что-то и о русской истории того же периода — но не настолько, чтобы выучить для этой цели русский. Есть еще специалисты по глобальной истории или исторической социологии, которые не могут надеяться выучить все языки. Есть просто образованные читатели во всем мире, которые хотели бы иметь доступ к последнему слову науки по какому-то вопросу. Если российские историки будут писать только на русском, то историю России для всего остального мира напишут их коллеги, пользующиеся английским. Тут как раз с точки зрения конфликта идеологических позиций между российскими и западными обществоведами, на который ссылался уважаемый академик Тишков и коллеги из Академии наук, было бы желательно, чтобы российские историки писали на языке, понятном в Аргентине. В СССР, скажем, хорошо понимали, что к людям доброй воли во всем мире надо обращаться на их языке.

Более серьезно, можно сказать, что высокоцитируемые англоязычные журналы и правда отказывают российским ученым по идеологическим причинам — но не совсем в том смысле, в каком это подразумевают коллеги из РАН. Мне рассказывали о мытарствах казахстанского ученого, который стремился опубликовать в англоязычном политологическом журнале статью, резюмирующую выводы его диссертации «Личность Н.А.Назарбаева как фактор геополитической стабильности в Центральной Азии» (воспроизвожу услышанную несколько лет назад историю по памяти, так что ее нужно воспринимать как фольклорный сюжет). Статью не брали, но, вероятно, не столько даже в силу предубеждения против Н.А. Назарбаева, сколько потому, что по жанру это была не исследовательская статья, а ода. И это, мне кажется, основная проблема столкновения академических цивилизаций. Я так или иначе рецензировал статьи для многих социологических журналов, русскоязычных и англоязычных. Примерно половина того, что в них приходит от российских авторов — это не то, что англоязычный журнал вообще воспримет как исследовательскую статью, а обозначение авторской позиции по какому-то вопросу с некоторым количеством цитат и примеров. По жанру это часто больше похоже на проповедь. И тут даже не важно, близка ли редакции эта позиция или не близка, важно, что это не попадает в жанровые конвенции научной статьи. В научной статье, предполагают иностранные редакторы и рецензенты, должны быть проблема, гипотезы, методы, данные, собранные для проверки гипотез, результаты проверок. Есть чисто теоретические или обзорные статьи, но они тоже имеют свои правила и на оды и проповеди не похожи.

Когда российские авторы жалуются, что их не опубликовали за идеологию, надо уточнять, как именно этот отказ выглядел. Да, наверное, есть какие-то политически чувствительные темы, в которых рецензентам идеологически не нравится то, во что верит большое число авторов из России, и это сказывается на оценке их статей. Но их не очень много. В социологии — моей собственной области — такой темой, может быть, является социология семьи и миграции. В ней значительная часть российских авторов придерживается взглядов, которые их западные коллеги отвергнут как ретроградные. Но темами этими занимается даже не 5% социологов. А проблемы у остальных 95% совершенно точно иного свойства.

Есть другие типичные сложности с попаданием в высокоцитируемые журналы — например, способность сделать качественный литобзор по текущей периодике или знание методов статистического анализа. И да, с этим у большинства авторов из России все не очень хорошо. Собственно, я тут не говорю ничего такого, что не говорили бы регулярно сами редакторы российских обществоведческих журналов, например, старейшего из социологических, «Социологические исследования».

Почему полезно публиковаться в англоязычных журналах

Вряд ли кто-то не согласится, что и исследовательские статьи писать надо, и литобзор уметь сделать, и статистические методы знать. Но на протяжении долгого времени многие из нас (я сам тут типичный пример) откладывали освоение всего этого, отчасти потому что верили, что на русском нас и так напечатают и прочитают. И, в общем, печатали, потому что редакторам приходилось выбирать из того, что присылали — а оно все было не очень. Плюс, в силу разных исторических причин, в России даже лучшие журналы в социальных науках работали по сетям — редактор заказывал статьи авторам, авторы использовали знакомства, чтобы надавить на редактора. Это не обязательно плохая система сама по себе, но она дает авторам известную власть над редакторами. Хочешь-не хочешь, но у постоянных авторов редакциям приходилось брать все, что те пришлют. Это все, естественно, не работает с иностранными журналами, которые русских авторов не знают вовсе, да и в лучшие из этих журналов — те, в которые все хотят попасть — имеют предложение, настолько превышающее спрос, что редакторы вообще не боятся отказывать авторам, даже если с теми есть уже долгая история сотрудничества.

В этой ситуации нельзя рассчитывать на поблажки и приходится помнить, что любой недочет — пропущенный источник при обзоре литературы, неправильно посчитанный коэффициент — приведет к тому, что статью отвергнут, и публикация в лучшем случае задержится на несколько месяцев. Это создает очень сильный дисциплинирующий эффект. Достоинства подобной системы не надо абсолютизировать, есть много вещей, которые она не может. Она не может научить быть более оригинально мыслящим, и часто жалуются, что она сокращает оригинальность — все стараются следовать одним и тем же рецептам, позволяющим избежать отказа, и в итоге статьи становятся похожи одна на другую. В социологии по крайней мере, это сработало так. Но именно для российского контекста, мне кажется, воспитательные достоинства этой системы велики. Я сейчас сожалею о том, что не начал писать на английском раньше. И в этом смысле допускаю, что КБПР окажет некоторое положительное воздействие. Не в силу того, что способствует справедливому распределению средств (тут все будет сомнительно), сколько в том, что стимулирует людей, которые все собирались наконец дописать статьи и послать их в пресловутый первый квартиль, да откладывали. Потом КБПР забудут, а навыки останутся.

Возвращаясь же к общественной миссии социологии, отчасти сложности отечественных авторов объясняются тем, в англо-американской периодике есть куда более отчетливая граница между научными и общественно-политически изданиями, чем в российской (или, скажем, французской). На английском тоже, разумеется, пишут оды, проповеди и аналитические записки, в том числе их пишут университетские профессора. Но они, как правило, не попадают в издания, считающиеся научными журналами, которые индексирует Web of Science. Есть исключения, но на них российским (или французским, итальянским, аргентинским) ученым лучше не слишком рассчитывать. В условиях новых систем вознаграждения аналогичная дифференциация произойдет во всем мире, только для неанглоязычных ученых надо будет еще и использовать два языка — один для од, один для исследований.

Плохо это или хорошо? Логика бюрократической машины здесь отчасти сделала выбор за нас, так что, наверное, нам остается только пытаться найти преимущества в положении, в котором мы оказались — так же, как можно оплакивать упадок каллиграфии, но пользоваться преимуществами, которые дает клавиатура и текстовые редакторы. В социологии и, думаю, других социальных науках, преимуществом может стать развитие сравнительных подходов. Оставаясь внутри одной страны или одной культуры, по-настоящему не оценить ее специфичность и не объяснить тем, кто находится снаружи, в чем эта специфичность состоит. В этом смысле взаимодействие с зарубежными рецензентами часто само по себе помогает сформулировать и для них, и для себя какие-то важные выводы. Пишешь что-то, что кажется тебе очевидным, а они вдруг начинают возражать «Да не может этого быть!». И понимаешь, что, наверное, им и правда кажется, что не может, потому что вокруг них такого не бывает, но ты-то точно знаешь, что еще как может. И это иногда очень помогает описать некоторые измерения, по которым общества отличаются друг от друга.

Как новые требования к публикационной результативности сработают на уровне организаций

Это нетрудно себе представить. Формальным инструментам оценки свойственно протекание вниз — от организации, к которой они применяются, к ее подразделениям. Сейчас веса, присвоенные разным категориям публикаций, перекочуют в формы премирования или в условия эффективных контрактов. Собственно, в российском и многих других случаях, само появление национальной системы оценки на основе мировых индексов цитирования было примером такого протекания вниз критериев глобальных рейтингов. В этом плане для меня лично было сюрпризом, что министерство стало учитывать квартили и делить публикации на доли до того, как это стали делать выпускающие рейтинги агентства. Возможно, в Минобрнауки уже знают что-то такое, чего не знают простые смертные. Возможно, таким образом пробовали увеличить показатель, который рейтинги (таймсовский (THE – Indicator.Ru) и QS) учитывают — количество цитирований на одного исследователя или на одну статью. Эти показатели проседали от публикаций в мусорных журналах, и, возможно, квартили — это попытка справиться с этим. С другой стороны, характерно, что эта система обращена пока на Академию наук, которая все равно ни в какие рейтинги не входит. Возможно, то, что глобальные рейтинги пока не различают квартили, даст университетам пару лет отсрочки.

Можно ли формализовать оценку монографий

Монографии — головная боль для любой формальной системы оценки научных достижений. Подсчитать для них цитирования можно, Google Scholar или РИНЦ это успешно делают, но, как всегда с цитированиями, основанная на них оценка будет получена с большим опозданием, как минимум на десятилетие, когда оценивать что-либо будет уже поздно. Преимущество импакт-фактора или квартиля в этом смысле состоит в том, что они дают прогноз вероятного будущего количества цитирований, пусть и несовершенный. Но получить такой прогноз для монографий невозможно. Теоретически, можно оценивать издательства, но большинство издательств научной литературы в России функционировали по логике университетского «Вестника» — они обеспечивали потребности сотрудников того или иного учреждения в выпуске монографий; думаю, с половину научных изданий в России вышли к защите чьей-то докторской (замечу, что распространением большинства этих монографий никто никогда не занимался, и они просто перекочевали из подвалов издательств в макулатуру). Никакая деятельная редакционная политика как таковая при это не просматривались, рецензирование обычно было довольно символическим (как в «Вестниках», где авторов часто обязывали самих приносить рецензии вместе со статьями), кроме того, книжным издательствам, в отличие от журналов, никто не запрещал брать с авторов деньги. Те, кто был ассоциирован с организациями поприличнее, в среднем печатали лучшие книги, но в целом качество монографий для любого издательства будет в итоге очень неровным, и их наукометрические показатели могут оказаться практически неразличимыми.

Забавным образом, в социальных науках выиграть могут чисто коммерческие издательства, издававшие популярные учебники — их цитируют в России много — и неассоциированные с государственным учреждениями, вроде НЛО («Нового литературного обозрения» — Indicator.Ru), которые стремились привлечь авторов, чьи книги разойдутся хотя бы тысячными тиражами. В целом, я думаю, попытка наукометрически оценить издательства приведет к интересным сюрпризам. Можно, конечно, пробовать также запустить модель опроса — скажем, опрашивать специалистов в какой-то области, какие вышедших за последние два года книги они считали бы достойными премирования — но, хотя результат будет интересным в любом случае, не факт, что им удастся воспользоваться в управленческих целях.

В целом, мой прогноз здесь – никакое удовлетворительное здесь решение не будет найдено, ни за неделю, ни за более долгий срок, и учет монографий будет обсуждаться в этом контексте еще годами, их авторы будут чувствовать себя дискриминированными, а младшие поколения — мигрировать в сторону статей как доминирующего жанра. Плохо ли это? Опять же, никто, насколько я знаю, не отрицал того, что историкам или философам надо уметь писать статьи, суммирующие результаты их исследований (таковые, напомню, по действующим положениям надо иметь для получения ученой степени). Теперь, разумеется, есть риск, что после суммирующих результаты статей сама монография никогда не выйдет, потому что никаких стимулов писать ее не будет. В лучшем случае, авторы будут писать статьи для научных журналов и книги для широкой аудитории, рассчитывая, что последние опубликуют коммерческие издательства. Если брать социальные науки, это не кажется мне такой уж большой потерей. Но, возможно, для humanities потери больше, и их представителям придется рассматривать публикацию статей как неприятную повинность, которую приходится отрабатывать, чтобы для души писать книгу. Если введение этой повинности будет сопровождаться, однако, отменой каких-то других (например, упразднением бесполезных при совершенно прозрачной системе распределения вознаграждений планов-отчетов), может быть, баланс и не будет отрицательным.

Однако обязательным требованием к любой такой реформе кажется то, что критерии должны объявляться заблаговременно, хотя бы за год, лучше за два, и гарантированно действовать хотя бы пять лет. Формальные правила подразумевают, кроме всего прочего, обязательства для того, кто их вводит. Год-два — минимальный цикл подготовки публикации в социальных науках, это время нужно, чтобы люди могли довести до конца публикации, начатые еще при, так сказать, старом режиме, когда министерство посылало те сигналы, которое оно посылало до недавнего прошлого. А через год или два должны вступить в действие новые правила, и чтобы как-то иметь какой-то эффект, должна быть вера, что они будут действовать хотя бы несколько лет. Условия REF, на который я многократно ссылался, известны за пять-семь лет. Потому что если есть риск, что Минобрнауки передумает, и начнет вознаграждать русскоязычные монографии вместо английских статей, то стимулы для обществоведов начинать долгий цикл подготовки статей в Nature (куда они иногда тоже попадают, но это стоит всегда большого труда) немедленно сокращаются. Чтобы модифицировать поведение с помощью формальных показателей, бюрократам нужно создать какую-то веру в себя, в готовность нести обязательства перед людьми, которые послушались их. А в России не только бюрократы не доверяют ученым, но и ученые не сильно доверяют бюрократам, и особенно не доверяют их способности запланировать что-то на семь лет вперед. Это, возможно, самая существенная проблема в государственной политике стимулирования исследовательской активности.

Как гуманитарии в других странах относятся к наукометрии

В британском RAE/REF употребление наукометрии было отдано на усмотрение панелей, и естественники в основном решили принимать эти данные к рассмотрению, а общественные науки и гуманитарии (кроме экономистов) отказались на них даже глядеть. В общем, что классические гуманитарии — филологи, философы, частично историки или, особенно, историки искусства — могут извлечь из наукометрии, сейчас действительно непонятно (с социальными науками — экономикой, социологией и политологией — таких проблем, кстати, нет). Наукометрия в значительной мере основана на цитированиях, а гуманитарии цитируют очень специфически (прежде всего, попросту очень мало) и непохоже, чтобы распространение наукометрических показателей что-то изменило в их привычках. Это, кстати, опровергает представление о том, что ученые немедленно бросятся накручивать любой показатель, по которому их начнут оценивать — h-индекс с нами уже долгие годы, а литературоведы по-прежнему не цитируют других литературоведов.

Проблема в том, что передача такого решения на усмотрение экспертных панелей опять возвращает нас к проблеме доверия к экспертам, которого в России нет и не предвидится. В этом плане, я боюсь, нас ждет какое-то единообразное решение для всех дисциплин, и оно будет основано на метриках. Но лучшее, возможно, что может спровоцировать КБПР и прочие неприятности — это научную самоорганизацию в ответ на кризис. Если бы министерство встретило ассоциации, которые объединяли бы большинство специалистов в своей области, чью легитимность бы никто не оспаривал изнутри, которые бы предлагали бы проделать адскую работу, связанную с созданием экспертных панелей и качественной оценкой, и, казалось бы, правдоподобным, что они и правда ее проделают, оно могло бы оказаться куда уступчивей. И даже если нет, прецедент такой самоорганизации был бы важным событием. Опять же, министры приходят и уходят, а навыки самоорганизации остаются.

Автор: Михаил Соколов