За многоукладность и разнообразие

Еще месяц для комплексного балла публикационной результативности

Pixabay

В Министерстве науки и высшего образования прошло расширенное заседание рабочей группы по установлению единых требований к порядку формирования государственного задания на проведение научных исследований — она обсуждает доработку методики расчета комплексного балла публикационной результативности (КБПР). Хотя состав группы обновили, а провел заседание лично министр Валерий Фальков, обсуждение пока не привело к новым результатам. Новый срок для выпуска рабочей версии методики — первая декада апреля.

В феврале обсуждение КБПР продолжалось в отделениях РАН, которые представили свои предложения к одному из заседаний Президиума Академии. Президиум предложения рассмотрел, собрал на их основе общую версию и передал ее в Министерство, которое запустило новый цикл работы над методикой. Он начался с расширенного заседания рабочей группы с участием министра науки и высшего образования Валерия Фалькова.

Напомним, основные претензии к первой версии методики расчета КБПР (ее подведомственные Минобрнауки научные институты получили в январе) в следующем: она назначает высокие баллы за публикации в журналах первых квартилей Web Of Science, но не учитывает квартили в Scopus; балл за монографию равен баллу за статью; а фракционный счет (деление «веса» статьи на число соавторов и аффилиаций) может привести к тому, что даже статьи в Nature будут весить сотые или тысячные доли балла. Концентрация на высокорейтинговых международных журналах может еще ухудшить положение российских журналов с меньшими импакт-факторами, а запланированный по методике ежегодный рост КБПР на 10–30% выглядит нереальным даже для сильнейших институтов. В ходе дискуссии к этим замечаниям о самом документе добавились обсуждения адекватности наукометрии в целом и применительно к гуманитарным, общественным, сельскохозяйственным и так далее наукам в частности.

Открывая заседание рабочей группы, Валерий Фальков задал и тон, и границы обсуждения. Надо ли вообще оценивать исследовательскую деятельность в России, и внутренней или внешней должна быть эта оценка? Позиция министра — раз государство финансирует науку, оценивать ее эффективность нужно, причем внешне. И применять при этом формальные показатели не зазорно — количественные системы оценки науки существуют во многих странах мира. Однако, подчеркнул Фальков, это не означает, что показатели должны быть одинаковы для всех наук: унификация исследовательской деятельности вообще вредна. «Нужна многоукладность и разнообразие», — заявил министр. А значит, и готовить методику надо с участием представителей всех наук, на которые она повлияет. Но повлияет не в смысле сокращения средств на выполнение госзадания. Это представление Фальков назвал мифом и подчеркнул, что при невыполнении планового КБПР финансирование не будет срезаться. Наукометрическую оценку не планируется сделать единственной — оценкой научных организаций в стране занимается Российская академия наук, и этот «взгляд со стороны» будет учитываться и дальше. В будущем, после апробации на академических институтах, КБПР будет применяться и для вузов, напомнил министр. Целью обсуждений на заседаниях рабочей группы должно быть не «забалтывание», а решение, которое поможет российской науке развиваться.

Продолжил развеивать мифы о КБПР и обозначил направления, в которых этот показатель должен стать полезным для науки, директор Департамента стратегического развития, мониторинга и оценки Минобрнауки Тимур Броницкий. Он еще раз высказал позицию разработчиков методики, отдельно подчеркнув, что КБПР касается оценки результатов только фундаментальных и поисковых исследований, но не прикладных работ, о важности которых в своей деятельности на заседаниях Президиума РАН и в открытых письмах говорили представители многих институтов РАН, от сельскохозяйственных до политологических. Наряду с элементами методики, которые разработчики готовы менять и настраивать под разные науки, есть принципиальные. Главный из них — фракционный счет, необходимый для борьбы с псевдоаффилиациями. Возмутившие многих ученых коэффициенты «качества» журналов с разбросом от 19,7 для первого квартиля Web Of Science до 1 для четвертого тоже важно сохранить: как уже не раз говорилось, они получены расчетным способом и делают систему стабильной при незначительном изменении параметров.

Среди элементов, которые могут быть изменены, — оценка публикаций в журналах Scopus и других базах, оценка монографий, правила учета статей, написанных в очень больших коллаборациях, специальные коэффициенты для российских журналов и для топовых изданий с высочайшими индексами цитирования. По части из этих направлений разработчики еще до рассылки методики планировали доработку, по некоторым учитываются переданные Президиумом РАН предложения. Они проходят апробацию на массивах данных по публикационной активности институтов за предыдущие годы. Например, в числе предложений РАН были отдельные коэффициенты для гуманитарных наук: от 3 баллов для любой статьи в Web of Science и Scopus до 0,5 за каждый авторский лист научного текста в комментированных переводах классиков или публикациях исторических источников.

После выступления Броницкого министр предложил высказаться о доработке методики остальным участникам заседания, прежде всего представителям общественных и гуманитарных наук. Принципиально новых замечаний не поступило. Например, академик Валерий Тишков фактически повторил предложения, уже переданные в рабочую группу: выше оценивать журналы из российского списка на платформе Web Of Science RSCI, убрать квартильность из расчета КБПР для гуманитарных наук, ввести дифференцированный учет монографий и другой книжной продукции. В дополнение к специальным коэффициентам, которые, по словам Тимура Броницкого, уже проходят апробацию на имеющихся данных, Тишков предложил базовые входные критерии для книг. Включать в публикационные отчеты, согласно его предложению, стоит издания с грифом учреждения, утвержденные ученым советом института первой или второй категории, с номером ISBN, с указанием на рецензентов, выпущенные тиражом не менее 300 экземпляров и объемом не менее семи печатных листов (280 тысяч знаков), зарегистрированные Книжной палатой. Учебные пособия, научно-популярные издания, сборники тезисов конференций, кроме отдельных фундаментальных серий, считать не надо. На вопрос Валерия Фалькова, не приведет ли принятие подобных предложений к валу некачественных монографий, академик ответил, что написать несколько авторских листов монографии лишь для количества не так-то просто, так что вала ждать не стоит. В любом случае риск не выше, чем для журнальных публикаций.

Не все участники заседания согласились с этой позицией. Например, первый проректор Высшей школы экономики, директор Института статистических исследований и экономики знаний Леонид Гохберг назвал учет объема монографий дискуссионным вопросом и предложил опираться в этом случае на списки проверенных издательств. Подумать о списках, по его мнению, стоит и в случае журналов — включение издания в базу Web Of Science или Scopus нельзя считать гарантом качества, это коммерческие продукты, цели создателей которых не всегда совпадают с представлениями о развитии российской науки. И индексы цитирования тоже не показатель — квартили работают чуть лучше для технических и общественных наук, а гуманитарным просто не хватает плотности цитирования. При работе над методикой, по мнению Гохберга, следует помнить о десятках тысяч статей в «мусорных» журналах, и очень внимательно относиться к тому, какую публикационную результативность поощрять.

О журнальной псевдонауке вспомнил в своем выступлении и директор Института философии РАН Андрей Смирнов: он привел пример «тонкой» работы зарубежных научных организаций с научными журналами, когда по контракту издание ежегодно получает десятки тысяч евро на развитие, представители организации входят в редколлегию, но прямой оплаты публикаций от институтов нет, так что формально придраться не к чему. Полагаться на журнальные системы не приходится, значит, нужно более качественно, с настройкой под отдельные науки, учитывать книги. Например, напомнил Смирнов, важны для развития философии сборники статей. Пока же методика расчета КБПР в существующем виде «убивает философию» — количество книг, ежегодно публикуемых сотрудниками Института философии РАН, за последние годы уже упало вдвое, и дальнейшая ориентация на журнальные публикации приведет к еще худшей ситуации.

Более общие вопросы оценки научной работы затронул руководитель центра философских исследований идеологических процессов Института философии РАН Александр Рубцов. Все виды формализованной оценки предполагают, что есть некоторая недобросовестность со стороны ученых, подчеркнул он. Но ни один из этих подходов не работает без этического самоконтроля ученого, более того — ведет к прямо противоположным развитию науки результатам. Наукометрические подходы можно использовать, по мнению Рубцова, для оценки общей ситуации, но не на уровне отдельного ученого или организации — тут внешняя оценка нужна, но в форме экспертизы.

О возможных форматах экспертизы говорил директор Института мировой экономики и международных отношений РАН Федор Войтоловский применительно к монографиям. Так как РАН не может взять на себя еще и экспертизу всех выпускаемых научными организациями книг (тем более в перспективе применения КБПР и к оценке вузов), нужна, возможно, научно-издательская комиссия при Министерстве науки и высшего образования, на оценку в которую будут попадать прошедшие через сито формальных критериев монографии. Отдельно, по мнению Войтоловского, стоит обдумать дополнительные баллы для высококлассных обобщающих научных трудов — книг, над которыми авторы работали годами.

Кроме монографий и других книг, в обновленной методике предлагается учесть с повышающим коэффициентом статьи в российских журналах. Президент Ассоциации научных редакторов и издателей Ольга Кириллова выступила на заседании с коротким докладом о том, как сложно на самом деле определить, что считать российским журналом. Критериями могут быть и регистрация Роскомнадзором, и российское издательство, и язык публикаций. Наиболее разумный, по мнению Кирилловой, вариант — определять отечественное происхождение журнала по его содержанию. Если основная часть редакции работает в России, значит, страной происхождения контента следует считать Россию.

Итог заседания рабочей группы вызвал дежавю: министр Валерий Фальков предложил всем участникам вновь, как и на заседании Президиума РАН месяц назад, оформить свои предложения. Они будут обсуждаться на следующем заседании группы 20 марта. Правда, работа группы будет проходить в новом формате: по инициативе Фалькова в ней будут созданы секции по гуманитарным и общественным, сельскохозяйственным, медицинским наукам и по вопросам КБПР для вузов. Усовершенствовать методику по результатам работы этих секций министр предложил не позднее, чем в первой декаде апреля. «Общий настрой и погруженность в тему свидетельствуют, что в этом непростом вопросе мы способны достигнуть консенсуса. Любая методика создается людьми, и если мы посчитаем, что она нуждается в усовершенствовании, всегда сможем к ней вернуться. Но сейчас я предлагаю двигаться и не разворачивать дискуссию на полтора-два года. Надо продемонстрировать всем, в том числе и обществу, что мы способны договариваться», — заключил Фальков. После его ухода на другое мероприятие заседание продолжалось недолго.

Автор: Екатерина Ерохина