Швейцария предлагает переосмыслить успех в науке

Ура, мы в рейтинге? Часто учёные и вузы искренне гордятся присутствием в рейтинге или достижением некоего индекса цитируемости. Однако все эти «наукометрические показатели» часто просто не дают ученым вздохнуть! Многие говорят, что рейтинги университетов, импакт-факторы научных журналов, индексы цитирования и прочие показатели морально устарели и даже мешают научному прогрессу. Швейцария предлагает оказать содействие внедрению альтернатив — задача, которую легче сформулировать, чем выполнить.

PLACEHOLDER

В недавно опубликованном отчёте Швейцарского совета по науке (Schweizerischer Wissenschaftsrat — SWRВнешняя ссылка) отмечается, что за последние десятилетия в мире зафиксирован серьёзный прирост объёмов и интенсивности научной деятельности — будь то число нанятых научных работников, будь то количество публикаций или же суммы инвестиций в науку в рамках государственно-частного партнёрства. В свою очередь, этот рост привёл к беспрецедентному уровню конкуренции, особенно, когда речь идет о финансировании, присуждении наград, о назначениях на научные должности в университетах, о местах в рейтингах ведущих журналов и о прочих атрибутах научного успеха.

Сегодня над учёными всего мира довлеет один, но беспощадный принцип: «Я публикуюсь, следовательно, я существую». Нет публикаций — и учёного скоро объявляют с научно-практической точки зрения умершим. А это значит, что всё большее значение сейчас придаётся количественным показателям научного успеха (см. инфобокс в конце материала), в большинстве случаев основанным на индексе цитированияВнешняя ссылка и «импакт-фактореВнешняя ссылка» научного журнала.

На недавней конференцииВнешняя ссылка в Берне президент «Академии естественных наук Швейцарии» (Akademie der Naturwissenschaften Schweiz — SCNATВнешняя ссылка) Антонио Лоприено (Antonio Loprieno) назвал такое положение вещей «парадоксом» современной науки. «С одной стороны, применение современных показателей эффективности научной деятельности возросло в геометрической прогрессии наряду с ростом объёмов финансирования науки, что для нас очень хорошо. С другой стороны, мы испытываем опасения относительно их объективности, обоснованности или пригодности», — сказал он.

Чтобы устранить некоторые из этих опасений, Швейцарский совет по науке в 2018 году подготовил ряд рекомендаций (здесь в формате PDFВнешняя ссылка) и предложений с целью изменения подхода швейцарского научного сообщества к методам оценки и финансирования исследований − в частности, в отношении использования качественных показателей наряду (но не в качестве замены) с количественными показателями. 

«В последние годы [количественные] показатели все чаще используются вместо качественных показателей, и такая практика не может служить мотивирующим фактором для учёных, не говоря уже о том, что это угрожает снизить качество научных исследований», — говорится в докладе. «Следует продвигать национальную стратегию, учитывающую разнообразие дисциплинарных и институциональных требований по дифференциации оценочных практик».

Не просто цифра

По мнению критиков, излишнее внимание к количественным показателям отрицательно сказывается на степени надёжности научных результатов, которую эти показатели в первую очередь и призваны обеспечивать, не говоря уже об огромном стрессе, который испытывают сами учёные. «По данным Google, мой индекс Хирша составляет 48, что означает, что у меня есть 48 статей, которые цитировали или на которые ссылались не менее 48 раз. Мне не нравится, когда все, что я делаю, сводят к одному-единственному числу», — указал Стивен Карри (Stephen Curry), профессор структурной биологии Имперского колледжа Лондона, который тоже выступил на конференции в Берне.

«Можно использовать численные данные для определения ряда научных аспектов, но по своей сути научная деятельность является занятием с серьёзным человеческим измерением. Невозможно просто взять и измерить, насколько совершенно то или иное научное достижение; его необходимо подвергнуть обсуждению, анализу и экспертной оценке». Стивен Карри возглавляет руководящий комитет Декларации об оценке научных исследований (San Francisco Declaration on Research Assessment — DORAВнешняя ссылка). Эта структура и этот документ представляют собой одну из попыток пересмотра методов оценки научных исследований, будучи также шагом в сторону определения новых руководящих принципов оценки учёных, их работы и научных учреждений на основе более комплексного подхода, который при этом достаточно эффективно обеспечивает поступательное развитие науки.

Критики также утверждают, что количественные показатели, вроде индекса Хирша, подвержены искажениям, а их расчёт и применение не являются достаточно прозрачными и понятными. По их мнению, эти показатели отбивают желание проводить разносторонние исследования с большой степенью риска и высокой доходностью в угоду конформизму и единообразию. По мнению Эллен Хазелкорн (Ellen Hazelkorn), руководителя отдела исследований политики в области высшего образования Технологического института Дублина (Higher Education Policy Research Unit at the Dublin Institute of Technology), такие показатели представляют особенно серьёзную проблему в период, когда наука воспринимается в обществе в качестве знания, доступного каждому, а не только немногим избранным.

«Как только научное исследование начинает восприниматься в качестве явления, имеющего ценность за рамками академической науки, тогда оно сразу становится классическим «удовлетворением собственного любопытства за государственный счет», но феноменом, приобретающим еще и социальное, и даже национальное звучание», − говорит Э. Хазелкорн. По ее мнению, такие системы оценок, как рейтинг университетов, − включая даже наиболее авторитетный ежегодный рейтинг лучших университетов мира по версии британского издания Times Higher EducationВнешняя ссылка − «совершенно не подходят для обществ с высоким уровнем вовлечения в научную деятельность», фокусируясь только на ответственности за результат в научной сфере, игнорируя общество в целом».

«Рейтинги не представляют трудности для понимания, но эти показатели успеха способствуют росту неравенства и расслоения в наших обществах». По словам Карри, простота также во многом обуславливает привлекательность таких показателей наукометрии, как индекс цитирования и импакт-фактор журнала. «Они облегчают нашу жизнь. Показатели легко подсчитываются, и им присуща столь нам льстящая мнимая объективность».

Давление и престиж

Но какой ценой достаётся эта объективность? Как объяснил Стивен Карри, излишнее внимание к голым наукометрическим показателям может даже замедлить научный прогресс, поскольку оно мотивирует ученых к стремлению отправлять свои работы для публикации в самые престижные журналы, повышая тем самым вероятность получения отказа в публикации или даже ее опровержения, а последнее может подорвать доверие к науке со стороны общественности. 

Кроме того, сужение направленности научной деятельности до необходимости публиковать работы и добиваться признания в научной иерархии означает, что другие важные аспекты научной деятельности — образовательная, информационная, просветительская и наставническая − оказываются обесценены и в итоге могут пострадать. Сегодня подписантами Декларации Сан-Франциско об оценке научных исследований стали почти 14 тыс. лиц и организаций. Лейденский манифест 2015 годаВнешняя ссылка по наукометрии также получил признание в научном сообществе. Оба документа содержат призыв к снижению зависимости от количественных показателей или, по крайней мере, к их использованию в сочетании с другими методами качественного анализа, уделяющими внимание содержательной стороне научных исследований.

Новые альтернативы

Наука продолжает быстро расти и развиваться, и каждый хочет стать в ней лучшим. Поэтому, когда дело доходит до реальных научных исследований, возникает вопрос, а как сделать так, чтобы более комплексные — и, возможно, более затратные по времени − методы оценки результатов научной деятельности вытеснили привычку использования привлекательных, в силу быстроты их получения, но поверхностных показателей?

Для Сары де Рийке (Sarah de Rijcke), заместителя директора Центра научно-технологических исследований (Centre for Science and Technology Studies — CWTSВнешняя ссылка) Лейденского университета в Нидерландах, (где и был, собственно, создан Лейденский манифест), ответ заключается в «портфельном подходе» к оценке научных трудов. Его можно применять, адаптируя к конкретной ситуации, научному учреждению или исследователю.

«Предлагаемые универсальные решения не слишком-то эффективны», — говорит С. де Рийке, потому что виды исследований, получающие наибольшие показатели при традиционных методах оценки, сильно отличаются друг от друга в зависимости от области знания. В качестве же альтернативы она рекомендует применять общие принципы создания «стандартизированного нарратива», когда воедино комбинируются опыт и знания учёного, то, что он «выдаёт на-гора», — от публикаций и грантов до преподавания и вплоть до активности в социальных сетях, — а также его личное влияние на науку и общество.

Комитет DORAВнешняя ссылка на своем сайте также собирает примеры такого подхода. Например, они просят исследователей изложить в свободной форме лучшие свои публикации и труды, используя формат «биографического очерка». Стивен Карри отмечает, что стремление глобального научного сообщества к получению более открытого и свободного доступа к результатам исследований (тенденция, заметная и в ШвейцарииВнешняя ссылка), вероятно, послужит катализатором перемен и в наукометрии. Это станет возможным потому, что журналы в свободном доступе и архивные препринты (вводные предварительные публикацииВнешняя ссылка) могут в большей степени обеспечить рост внимания к содержанию и прозрачности научных работ, нежели традиционные научные журналы, получаемые по ограниченной подписке.

Швейцарская ответственность

А. Лоприено в беседе с журналистами swissinfo.ch сказал, что в Швейцарии, особенно по сравнению с другими европейскими странами, объёмы финансирования науки являются более чем щедрыми, а бюрократическое давление на ученых минимально. И именно поэтому на Швейцарию возложена особенная ответственность в плане разработки «дорожной карты» в сторону качественных наукометрических перемен. «У Швейцарии есть все возможности более инициативно экспериментировать в этой области, пытаясь найти решения, способные помочь и другим странам преодолеть трудности современной системы оценки качества научного труда».

Он также добавляет, что одной из труднейших задач будет оказание достаточной поддержки молодым, начинающим свою научную карьеру ученым в период их перехода к более совершенной методике оценки научной деятельности. «С моей точки зрения, решение этой проблемы заключается в проявлении чуть большего терпения к исследовательским проектам, требующим более длительных сроков реализации. Сейчас мы, как правило, оказываем поддержку и финансирование на краткосрочной основе, что соответствует нынешней конкурентной логике. 

Наличие готовности к финансированию в более долгосрочной перспективе могло бы снизить напряжённость на ранних стадиях карьеры, а также создать систему более равных возможностей». О таких крупных изменениях в культуре научных исследований, по признанию А. Лоприено, легче говорить, чем их добиваться, но это не означает, что они невозможны. «К тому же мы точно хотим пересмотреть нынешнюю культуру оценок. И нам нужно с чего-то начинать, так почему не с решения этого вопроса»?

Оценочные показатели эффективности научной деятельности

«H-индекс», индекс ХиршаВнешняя ссылка является количественной характеристикой продуктивности учёного, группы учёных, научной организации или страны в целом, основанной на количестве публикаций и количестве цитирований этих публикаций. Несмотря на то, что h-индекс определяет как производительность труда учёного, так и уровень его научного влияния, критики считают его излишне упрощённым и непригодным для сравнения уровней эффективности научной деятельности по различным областям знаний.

Импакт-фактор (ИФ)Внешняя ссылка журнала используется для определения рейтинга научных журналов по их значимости в соответствующей области науки. ИФ рассчитывается на основе среднего числа цитирований статей, опубликованных в данном журнале за последние два года. ИФ — это простой метод сравнения, но у него есть недостатки: число цитирований не отражает напрямую качество статьи, не всегда можно провести сравнительный анализ по разным областям знаний, наличие нескольких статей с очень высоким индексом цитирования могут привести к искажению ИФ журнала.

Университетские рейтингиВнешняя ссылка: основу этих рейтингов составляют качество трансфера знаний, индекс цитирования, а также эффективность преподавания. По мере того, как все больше университетов и научно-исследовательских учреждений вступают в борьбу за финансирование, квалифицированный профессорско-преподавательский состав учащихся, глобальные рейтинги становятся все более эффективным инструментом оценки качества и влияния в этих организациях. Однако есть мнение, что рейтинги могут привести к тому, что для их роста образовательные учреждения будут уделять слишком много внимания прорывным направлениям научных исследований, и слишком мало внимания вопросам собственно образовательной деятельности, не говоря уже о социальной ответственности академической науки.

Перевод и адаптация на русский язык: Игорь Петров