Oleg А. Chagin (olegchagin) wrote,
Oleg А. Chagin
olegchagin

Category:

Дилеммы оценки

На заседании научного совета при Совете безопасности президент РАН Сергеев не только высказывал предложения по улучшению системы управления научно-технологическим комплексом, но также сделал ряд заявлений по механизмам оценки научных исследований.

На их примере (а высказаны они были в соответствии с форматом – кратко и емко) можно рассмотреть ключевые дилеммы в этой области.

Между наукометрией и экспертизой

«[Необходимо] подтянуть фундаментальную науку с тем, чтобы стимулировать создание знаний, которые могли бы в ближайшей перспективе перейти в технологии. Для этого необходимо существенным образом изменить систему оценки результативности фундаментальных исследований, перейти в основном к экспертной оценке. И в качестве основного параметра учитывать то, в каком объеме достижения, которые нам дает фундаментальная наука, пришли в производство», - сказал Сергеев на заседании научного совета при Совете безопасности РФ.

Он напомнил, что основным показателем эффективности научной работы сейчас является количество публикаций. "Принятие числа публикаций в качестве основного параметра выполнения госзаданий привело в последние годы к резкому нарастанию объемов "мусорных" статей и имитации подъема научной результативности", - подчеркнул президент РАН.

Александр Михайлович вслед за очень многими продолжает настаивать на переходе преимущественно к экспертным формам оценки. Однако, недавняя пробуксовка самой РАН по экспертизе госзадания показала – сейчас в стране нет возможностей организации глубокой и профессиональной экспертизы по всему массиву научных работ.

Да, укрупнение тем, которое активно продвигает Минобрнауки и с которым более-менее согласна (пусть и несколько вынужденно) Академия, поможет более детальному изучению хода и результатов работ.

Но никто до сих пор так и не предложил внятной системы массовой экспертизы – а то, что сейчас реализует РАН в значительной степени автоматизировано и формализовано.

Помощник президента Андрей Фурсенко и президент Курчатовского института Михаил Ковальчук чуть не в один голос на последнем заседании Совета по науке и образованию восклицали – так предложите же альтернативу наукометрии. Её просто нет.

Конечно, нужен более тонкий баланс между количественной и качественной оценкой, однако, наукометрия все равно будет превалировать. Не в последнюю очередь – благодаря дешевизне. Бесплатную экспертизу получить весьма сложно (не та пока у нас научная культура), а платная съест много денег и даст примерно те же результаты, что и наукометрия. Да, будут какие-то расхождения, но не столь существенные, как кажется многим.

Перевести же оценку фундаментальной науки от статей к внедрению (а это - патенты) не так просто. Впрямую - невозможно, а в рамках комплекнсных научно-технических программ и проектов будет реализовано через комплексные планы научных исследований с отчетностью все же именно по публикациям.

Очевидным решением является комбинация количественных и качественных методов. Первые должны быть реализованы преимущественно на базовых уровнях оценки – подтем, небольших коллективов, отдельных исследователей. Экспертные оценки - не только и не столько силами РАН, сколько благодаря участию ведущих специалистов из вузов и научных институтов, а также ведущих зарубежных ученых – стоит подключать на макроуровне укрупненных тем, комплексных научно-технических программ и проектов. Собственно говоря, «советская» система управления и принятия решений во многом является инструментом реализации именно высококачественной экспертизы.

Квартили и качество

Александр Сергеев пояснил, что в международных базах данных все журналы подразделяются по качеству публикаций и уровню цитируемости на четыре специальных категории (квартиль). "Если посмотреть публикации российских ученых за 2013-2017 года, то в первом, наиболее важном квартиле, Россия занимает 15-е место, всего 26,8% российских публикаций входит в этот квартиль <...> США - 60%, Китай - 43%. Четвертый квартиль - здесь, наоборот, наши публикации на первом месте", - сказал он.

"По проценту "мусорных" публикаций наша страна, к сожалению, лидирует в списке стран - основных производителей научных публикаций. Из 356 российских научных журналов только три входят в первый квартиль. Всего же индексируется около 13 тыс. изданий <...> Российская научная периодика практически исчезла из перечня значимых научных изданий", - сказал президент РАН.

Проблема мусоризации публикационного пространства стоит весьма остро. Однако, она решается – и на уровне вузов (вспомним «белые списки» в некоторых из них), и в рамках работы операторов международных баз данных (усилия по самоочистке и исключению недоброкачественных журнальных образований), и в рамках общественной работы (тот же журнальный проект Диссернета, пусть и со всеми его недостатками).

С другой стороны, как быстро пришел аппетит во время еды – уже журналы третьего-четвертого квартиля стали якобы не такими качественными. Напомним, что в двух ведущих международных БД – Scopus и Web of Science есть достаточно жесткая (во втором случае – намного более жесткая, чем в первом) система отбора журналов. Если издание в принципе попало в индексы, тем более получило квартиль (а следовательно – импакт-фактор) – это означает, что оно неплохого уровня.

Наполнение низших квартилей – нормальная практика в эпоху экспансии и журналов, и статей на международный уровень. Важнее посмотреть на динамику, оценить стратегии развития журналов, дать им нужную консультационную и финансовую поддержку.

Также стоит отметить усилия многих вузов по обучению своих сотрудников навыкам академического письма и приемам коммуникации с редакциями журналов.

В центре внимания критических замечаний президента РАН Сергеева сам принцип «publish or perish» - «публикуйся или исчезни» - и здесь нельзя не отметить, что в своих абсолютизированных проявлениях он представляет серьезную угрозу для науки. Как и неадекватное раздувание количественных показателей – это приводит к мелкотемью, дроблению идей и «скатыванию» по квартилям вниз.

Но при этом нужно понимать – количественные требования и их повышение базируются на следующих обстоятельствах:
1. Неиспользованном ранее потенциале более эффективной работы (до активного ввода наукометрии научные сотрудники объективно публиковались меньше, чем могли бы);
2. Увеличения количества научных сотрудников – что предусмотрено нацпроектом в рамках привлечения и удержания молодежи, открытия новых лабораторий, сетей научных и научно-образовательных центров мирового уровня и т.п.
3. Расширения финансирования науки, которое объективно произошло за последние годы.
4. Развитие публикационной инфраструктуры – поддержка отечественных журналов и вузов в их программах развития академического письма, стимулирующие выплаты и т.п.

Итог. В любых дебатах о способах оценки всегда нужно оценивать – есть ли реальная альтернатива. Ведь плохо работающий механизм лучше, чем никакого – поскольку без него вообще станет невозможным адекватное распределение средств, концентрация усилий и развитие науки.

https://t.me/scienpolicy/3634
https://t.me/scienpolicy/3633
Subscribe
Comments for this post were disabled by the author