?

Log in

No account? Create an account
entries friends calendar profile Мой сайт Previous Previous Next Next
Придется освежить память: о цитировании в науке - sg_karamurza
sg_karamurza
sg_karamurza
Придется освежить память: о цитировании в науке
На сайте centero.ru помещена статья «Цитирование в науке и подходы к оценке научного вклада» (Вестник АН СССР. 1981. № 5). Нужно короткое объяснение, зачем надо было вытаскивать из пыли этот старый текст. Никто бы на него и не посмотрел, если не смягчить его лирикой. История была такая.
В конце 1950-х гг. химик Юджин Гарфилд (США) создал коммерческую фирму «Институт научной информации». Сначала он вынес на рынок очень ценные и дешевые продукты – «Current Contents». Это еженедельные сборники оглавлений ведущих научных журналов, которые только готовились в редакциях к изданию. Всего 8 выпусков – по числу больших областей науки, на которые разделили все журналы. В библиотеку нашего института попали эти книжечки, кто-то из приятелей вчитался, ахнул и заставил ахнуть других. Они поступали к нам по пятницам, и мы ожидали наготове с пачками перфокарт, на которые тогда фиксировали ссылки и краткое содержание. Прочитываешь заглавия нескольких сотен статей, и то и дело попадает тебе блестящая идея – притом в журнале, в который никогда бы не полез. Часть идей прямо идет в дело, а остальные – для общего развития. Как будто волшебное зеркало дали на пару часов. Быстро росла личная библиотека перфокарт. Надо что-то найти – проткнешь всю стопку длинной спицей, потрясешь, и нужные падают.

В общем, мы внимательно следили за продуктами Гарфилда. В начале 60-х годов он начал создавать «Science Citation Index» (SCI), оттолкнувшись от концепции указателя судебных дел в США – прецедентное право требовало, чтобы все дела были связаны ссылками. Ценность SCI и для ученых, и для аналитиков науки, была нам очевидна, в СССР сложилась группа, которая вела методологические разработки. Странно, что эти инструменты очень плохо распространялись в массе ученых. Я в 1989 г. преподавал в университете Сарагосы (Испания), и весь курс провел через библиотеку, где стояли все тома SCI. Никто о них не слышал, а библиотекари не знали, как ими пользоваться. Дело не хитрое – но зачем?
Наша наука в СССР была в то время более восприимчива, и Гарфилд стал довольно часто приезжать, подружился, да и бизнес хорошо шел. Но бизнес оказал и негативный побочный эффект. Наукометрический подход к измерению «продукта» исследований приобрел большую популярность среди администраторов во многих странах. Возник большой рынок. Главным объектом наукометрических измерений стала система научных коммуникаций, прежде всего массивы публикаций и уровень цитируемости авторов. Считалось, что число публикаций отражает количество производимой научной продукции, а цитируемость этих публикаций — качество продукции.
Оба этих тезиса в общем случае неверны, и на основании таких измерений делать вывод о научном работнике нельзя. Научная публикация — это лишь «упаковка» научной продукции, вернее, один из многих видов упаковки. Можно ли сравнивать количество и качество продукта, сравнивая число ящиков?
В СССР тоже возникло влиятельное лобби, которое пыталось навязать «объективные формальные оценки научного труда». Я уже перешел на работу в науковедение, и пришлось ввязаться в эту свару. У меня была поддержка практикующих ученых, я много выступал в крупных институтах – начиная с Дубны и Пущино, Академгородка Новосибирска и до Владивостока. Некоторые простодушные начальники даже предупреждали меня, что если и не перестану мешать прогрессу, то я больше никогда за границу не попаду. Вот чем пугали советского человека, клоуны! Кончилось тем, что в 1981 г. напечатали упомянутую статью. В АН СССР эта вредная для науки инициатива была остановлена.
Гарфилд приезжал ко мне в институт, убеждал, что цитируемость – надежный индикатор качества. Я ему изложил свои доводы, и, думаю, он понял, но промолчал. Рыночный интерес – страшная сила. Потом я был у него в Институте научной информации в Филадельфии и обсуждали более интересные возможности – построение «карт науки» с помощью измерения цитирования и социтирования.
Перестройка и реформы 1990-х гг. смыли у нашей интеллигенции многие блоки коллективной памяти, а также навыки размышления над мало-мальски абстрактными проблемами. Околонаучные предприниматели вновь пошли на приступ и уже без труда захватили лакомый ломоть нашей разделенной культуры. Власть приказала всем, кто хочет подвизаться в науке, скрупулезно подсчитывать число ссылок и неустанно его увеличивать. Скорее всего, министры и чиновники Минобрнауки искренне не знают, почему несется из разрушенных лабораторий глухой стон.
Что делать? Раз власть приказала, нет смысла биться головой об стену. Бесполезно умолять или раздражать правителей логикой и здравым смыслом. Сейчас наш долг – сохранить, что возможно, из смыслов, навыков и стилей нашей науки, чтобы рано или поздно запустить механизм возрождения. Надо подчиниться, но про себя отвергать ложные сущности, иначе они облепят нас, как ракушки. Вероятно, большинство научных сообществ сейчас уверены, что цитируемость дает приемлемую степень истинности оценки. Но ведь и значительная часть уверена, что этот метод дает ложную информацию. Значит, надо вновь обсудить эту проблему – не на митинге, а в методологическом семинаре.
Для этого мы и вытащили эту статью из почти полувековой пыли.

Итак, эта статья 1981 г.:

Кара-Мурза С.Г. ЦИТИРОВАНИЕ В НАУКЕ И ПОДХОДЫ К ОЦЕНКЕ НАУЧНОГО ВКЛАДА // Вестник АН СССР. – 1981, № 5.
Проблема оценки продуктивности ученого, его научного вклада - одна из важнейших теоретических и прикладных проблем науковедения. Стремление создать пусть даже "грубоватую", но в принципе работоспособную методику такой оценки психологически вполне понятно. Но конструирование систем оценки - область очень деликатная: любое решение здесь самым непосредственным образом воздействует на социально-психологические условия работы научных коллективов, затрагивает сферу человеческих отношений и мотивации ученых. И последствия ошибок здесь могут быть весьма серьезными.
Для оценки продуктивности исследователей уже сравнительно давно пытаются использовать различные параметры системы научных коммуникаций. Это вполне объяснимо: через систему коммуникаций поступают в хранилище "отпечатки" научной продукции - публикации. Подсчет этих "отпечатков" на первых порах показался самым простым и естественным подходом к определению научного вклада. Он и сейчас составляет основу большинства формализованных систем оценки научных кадров, хотя и стыдливо, со многими оговорками: трудно найти социолога или администратора, который не постеснялся бы прямо заявить, что число публикаций действительно отражает научный вклад исследователя. Значение качественных аспектов научной деятельности слишком очевидно.
Но вот в середине 60-х годов появился информационный инструмент, который, казалось, давал возможность отразить качество научных публикаций. Это - "Указатель библиографических ссылок" (Science Citation Index - SCI), издаваемый Институтом научной информации (США). Почти 20 лет, в течение которых издается этот указатель, – солидный срок, позволяющий строить довольно представительные временные ряды, и социологи науки стали все активнее использовать открывающиеся здесь возможности. Создатель SCI Ю. Гарфилд с самого начала указывал на широкую применимость указателя в социологии и истории науки [Garfield E. Citation Indexes in Sociological and Historical Research. - American documentation. - 1963. - V.14]. Действительность не обманула этих ожиданий. Более того, нам представляется, что потенциальные возможности SCI в науковедении оценены еще лишь в малой степени, и по мере удлинения временных рядов ценность его будет возрастать. Но можно ли использовать такой измеримый параметр научных коммуникаций, как цитируемость, для оценки вклада в науку отдельных исследователей или целых коллективов?
Исходные посылки тех, кто отвечает на этот вопрос положительно, кажутся вполне обоснованными. Ссылки на предыдущие публикации отражают связи между работами отдельных ученых. Следовательно, чем больше ссылок получают работы ученого, тем в большей степени используется его продукция научным сообществом, тем выше полезность его вклада. Исходя из этих посылок, американские социологи науки Дж.Коул и С. Коул одними из первых применили измерения цитируемости для обоснования весьма радикальных социологических выводов [Известная статья Коулов так и озаглавлена: "Анализ цитирования показывает, что лишь немногие ученые вносят вклад в прогресс науки" (Cole J.R., Cole S. The Ortega hypothesis. Citation Analysis suggest that only a few scientists contribute to scientic progress. - Science. - 1972. - V.178, N 4059. - P.368-375). В ней авторы утверждают, что темпы научного прогресса в физике могут остаться на прежнем уровне, даже если число исследователей-физиков будет резко сокращено. Примечательно, что эта статья появилась в 1972 г., после сильного снижения ассигнований на науку в США, повлекшего за собой безработицу среди ученых - с марта по декабрь 1970 г. в США только из учреждений, занимающихся аэрокосмическими исследованиями, было уволено 175 тыс. исследователей и инженеров (см.: Milton H. Cost-of-Research Index. 1920-1970.- Operations Research. - 1972. - V.20, N 1. - P.1-18)]. Измерение цитируемости быстро стало связываться со злободневными практическими вопросами. Поборники использования SCI для оценки продуктивности ученых, не дождавшись теоретических обоснований, стали выходить с пропагандой этого подхода в широкую печать. Судя по литературе, в некоторых университетах США показатель цитируемости уже вошел в методики формальной оценки сотрудников. Возможность использования цитирования для оценки научного труда видят и некоторые советские социологи. Так, Н.3. Мирская пишет: "Показатель цитирования - основание для определения эффективности научного труда, что особенно важно в плане практических рекомендаций... Цитирование отражает использование публикации, т.е. ее полезность и, следовательно, эффективность деятельности ее автора" [ Мирская Е.З. Механизм оценки и формирования нового знания. - Вопросы философии. - 1979. - N 5. - С.119-130].
Но позволяет ли измерение цитируемости верно оценить научный вклад? Действительно, цитирование отражает связь между работами ученых, говорит об использовании научных результатов - но оно отражает не все связи. Если труды ученого цитируются широко, то это (в общем случае) указывает на то, что его продукция высоко оценивается и в большой степени используется другими учеными. Но обратное утверждение в общем случае неверно. А для того чтобы цитируемость могла служить основой оценки научного вклада, необходимо, чтобы были верны как прямое, так и обратное утверждение,- это кажется очевидным.
Как же получается, что цитирование "высвечивает" лишь часть научных коммуникаций? Рассмотрим механизм цитирования на "микроуровне" - на уровне единичной научной публикации. Чтобы упростить нашу задачу, введем три явно идеализированных предположения: 1) вся использованная в работе автора публикации научная информация изложена в статьях, на которые он может сослаться; 2) все сообщения, несущие необходимую автору для данной работы информацию, достигают этого автора; 3) отбирая статьи, на которые он сошлется в своей публикации, автор руководствуется только релевантностью, ценностью этих статей для своей работы.
Объем информации, которой пользуются при подготовке публикации даже начинающие исследователи, весьма велик. Если бы его удалось весь "упаковать" в научные статьи (наше первое предположение), то их минимальное число достигло бы, вероятно, сотни. Естественно, что процитировать их все невозможно, да и сам институт цитирования потерял бы тогда смысл. В самоорганизующейся системе научных коммуникаций установились определенные нормы цитирования (несколько разные в разных областях науки). В среднем "нормальная" публикация содержит около 15 ссылок. Это значит, что из минимум сотни статей автор отбирает 15 наиболее релевантных для его работы. Другими словами, устанавливается некоторый ценз, порог ценности статьи для данной работы. Этот порог - своеобразный "уровень моря", над которым видна лишь небольшая верхушка айсберга использованной информации - цитированные статьи.
Но если цитируемость связана с пороговыми явлениями, не может быть и речи о линейной зависимости между ценностью статьи и возможностью ее попадания в список цитированных трудов. Все, что ниже порога, получает одинаковую оценку - ноль. Все, что выше порога - единицу. Система работает дискретно, по принципу "все - или ничего". Используя такую двухбалльную шкалу, можно лишь сказать, что цитированные статьи для данной работы более полезны, чем нецитированные. Мы не можем вынести никаких суждений о том, насколько первые полезнее вторых, - изменение происходит скачкообразно. Внутри же обеих групп каждая статья находится в области неопределенности.
На микроуровне ясно, что такая "черно-белая" шкала мало что дает для распределения использованных 100 статей по их полезности: каждая из 85 нецитированных статей может оказаться по своей полезности почти равной любой из цитированных. Таким образом, нарушается первое требование к шкале оценки, которая должна быть достаточно растянутой и непрерывной.
Что же изменяется при переходе к "макросистеме" - крупному массиву публикаций - и сравнению авторов по числу ссылок на них? Мы получаем ряды чисел разумной величины, по которым, как будто, можно ранжировать авторов. Но это - иллюзия. Оттого, что мы складываем неопределенности, выявленные на уровне одной статьи, определенность не возникает. Обсуждая проблему оценки деятельности ученых, С.Н. Хиншелвуд писал: "Иногда заявляют, что для статистики полезны даже грубые результаты. Не может быть более опасной доктрины, чем доктрина, основывающаяся на представлении, что большое число ложных или бессмысленных догадок может быть каким-то образом усреднено, давая нечто имеющее смысл" [Хиншелвуд С.Н. Качественное и количественное. - В сб.: Философские проблемы современной химии. - М.: Прогресс, 1971. - С.21-32.
Кстати, именно большой объем массивов ссылок как аргумент в пользу применения цитируемости вызывает в США критику специалистов: в докладе Science Indicators-72 (ежегодно издаваемый аналитический обзор динамики ряда количественных показателей развития науки в США. - С.К.-М.) написано, что "...недостатки показателя цитируемости нейтрализуются, однако, благодаря огромному числу учитываемых ссылок. Другими словами, возможным источником ошибок можно пренебречь из-за большого размера выборки. В общем случае, как нетрудно видеть, дело обстоит как раз наоборот. Обычно систематическая ошибка, перекос, не зависит от размера выборки, но его роль по мере увеличения выборки относительно возрастает, поскольку случайные ошибки измерения и выборки меньше влияют на средние величины и пропорции" (см.: Kruskal W. Taking data seriously.- In: Toward a metric of science: the advent of science indicators. - N.Y. et al.: Wiley-Interscience Publ., 1978. - P.139-170)].
Так, если какая-то работа цитируется во многих статьях, значит, многократно воспроизводится ситуация, которую мы рассмотрели на "микроуровне", - работа чаще других превышает порог полезности. Это говорит о широте "рынка" для данной работы, о массовости ее потребителя. Такие данные, позволяющие оценить масштабы того или иного научного сообщества, очень важны для науковедения, но можно ли выражать вклад в науку, импульс, даваемый ее развитию какой-то работой, через массовость потребителя?
Анализ показывает, что наиболее массового потребителя имеют методические статьи. Это понятно: разнообразие идей и объектов науки во много раз превышает разнообразие методов. Поэтому каждая идея имеет небольшой "рынок", а одним и тем же методом пользуются при экспериментальных исследованиях, связанных со множеством идей, - и ссылка на этот метод появляется о многих статьях. Кроме того, в отношении изложения методической стороны исследования нормы в науке гораздо строже, чем в отношении идей и интерпретации результатов (на идею можно и не сослаться, на метод - нельзя).
Это хорошо видно при содержательном анализе приведенных в "Current Contents" заголовков наиболее цитируемых статей [См.: Garfield E. Highly cited articles. 39. Biochemistry. - Current Contents. - 1977. - V.9, N 25. - P. 5-12]. По нашим оценкам, из 156 таких статей, относящихся к биохимии, биомедицинским исследованиям и психологии, 118 (т.е. 75,6%) имеют методический характер. И эти методические статьи получают 84,7% ссылок! Все 156 статей имеют 210759 ссылок (в среднем 1351 ссылка на одну статью); 118 методических статей имеют 178448 ссылок (1512 на одну статью), 38 неметодических статей - 32311 ссылок (850 на одну статью). В биохимии одна методическая статья имеет в среднем 1996 ссылок, а неметодическая - 949. В этой области методические статьи собрали 92% ссылок всех 78 статей-чемпионов.
Этот подсчет сделан нами на основании опубликованных Ю.Гарфилдом материалов, хотя сам он считает ошибочным вывод, что методические статьи обязательно получают больше ссылок, чем прочие работы. Свое мнение он обосновывает тем, что статьи в журналах по аналитической химии не отличаются особенно высоким цитированием [См.: Garfield E. Highly cited articles. 40. Biomedical and behavior papers published in the 50's. - Current Contents. - 1977. - V.9, N 29. - P.5-12].
На это можно ответить, что высокая цитируемость методических работ - не вывод, а эмпирический факт. Что же касается журналов по аналитической химии, то их статьи предназначены не для потребителя методов, а для их разработчика - химика-аналитика. Это - не продукт, а "полупродукт", и они, в сущности, не являются методическими статьями. Когда же аналитический метод доводится до "товарного вида" и выносится на широкий "рынок", он публикуется обычно в журналах той области исследований, для которой он предназначен, и цитируется очень обильно.
Однако и в том, что касается создания методов исследования, цитирование не отражает сколько-нибудь адекватно вклад того или иного ученого (или совокупностей ученых). Создание нового научного метода - это процесс, состоящий из ряда стадий. Все стадии важны, но качественно различны (выдвижение идеи, концепции метода; внесение модификаций, направленных на улучшение, упрощение, расширение применимости, - то есть придание методу "товарного вида"; пропаганда и широкое распространение метода). История многих нововведений в науке показывает, что вторая и третья стадии вознаграждаются цитированием несопоставимо щедрее, чем первая. Таким образом, еще более усугубляется ориентация механизма цитирования на работы по "расширению рынка", по доводке нововведений. Вот лишь несколько примеров.
В.Кеннет модифицировал известную с 1930 г. реакцию З.Дише для определения ДНК (предложил нагревать пробу несколько часов при 30oС вместо 3-10 мин. при 100oС, как делал Дише). Эта статья, опубликованная в 1956 г., получила за 1961-1975 гг. 5037 ссылок. М.Шомодьи открыл хороший реактив для определения моносахаридов, и его статья получила 970 ссылок. Н.Нельсон путем небольшой модификации улучшил методику, и его статья получила более 3300 ссылок [См.: Citation classics. - Current Contents. - 1977. - V.9, N 1; ibid., N 26]. В сущности, и абсолютный рекордсмен цитируемости О.Лоури (50 тыс. ссылок) модифицировал ранее известный реактив, добавив к нему еще одну компоненту и расширив границы применимости метода.
Специального интереса заслуживает история создания и распространения аффинной хроматографии, которая была разработана в двух практически одинаковых вариантах почти одновременно в Швеции и США. Американский автор получил на свои работы почти в 10 раз больше ссылок, чем шведские авторы. Это объясняется тем, что он был не только творцом метода, но и активным агентом по его внедрению в самых разных областях исследований [См.: Кара-Мурза С.Г. Технология научных исследований. Изучение создания и распространения аффинной хроматографии с помощью Science Citation Index. - Научно-техническая информация. Сер. 1. - 1979. - N 1. - C.7-12].
Сказанное ни в коей мере не означает, что мы склонны недооценивать значение методических работ, принижать их роль в развитии науки. Мы только хотим подчеркнуть, что создание и распространение методов - лишь один из элементов научной деятельности, по которому в общем случае нельзя судить о целом, обо всей системе. Здесь уместно повторить тезис, с которого мы начали рассмотрение: высокая цитируемость совокупности статей обычно указывает на их высокую полезность, но низкая цитируемость совокупности статей, отличающейся от первой совокупности каким-то существенным признаком, не позволяет утверждать, что их ценность низка. Этот тезис мы пытались обосновать, сделав три упрощающих ситуацию предположения. Как же изменится наш вывод, если мы откажемся от них?
Первое предположение: "Вся использованная в работе научная информация изложена в статьях, на которые может сослаться автор публикации".
Это условие не выполняется по разным причинам. Научное знание производится как в фундаментальных, так и в прикладных исследованиях, и роль последних относительно усиливается в результате тенденции к их "фундаментализации". Но в прикладных исследованиях по целому ряду соображений введены ограничения на публикацию результатов. Да и сложившаяся в них система стимулов не ориентирует работника на высокую публикационную активность. Значительная часть "продукции" фундаментальных исследований также не попадает в научную печать. Многие важные виды знания вообще не приспособлены к публикации (например, информация о неудачных исследованиях или ошибках). В другом случае действуют соображения секретности: фундаментальные исследования все в большей степени становятся неотъемлемой частью прикладных программ и НИОКР военного характера.
Если вся эта научная продукция не публикуется (и, следовательно, не "производит" ссылок), то значит ли это, что она не используется и не может рассматриваться как вклад в науку? Вовсе не значит - во всех странах это "непубликуемое" научное знание является важным продуктом науки и используется весьма широко. Существует целый ряд каналов его распространения: отчеты и доклады, суждения экспертов, выступления на совещаниях, консультации и т.п. В подавляющем большинстве случаев на эти сообщения просто невозможно сослаться. Аппарат ссылок отражает лишь небольшой фрагмент всей получаемой и используемой ученым информации. Очевидно, что это резко сокращает возможность использования цитируемости для оценки вклада в науку. Снятие первого предположения усиливает аргументацию общего вывода, особенно когда речь идет о международных сравнениях. Удельный вес различных каналов в общей системе научной информации в разных странах различен. Например, отсутствие частной собственности на научно-техническую информацию в СССР позволило предоставить всем заинтересованным организациям доступ к отчетам по законченным исследованиям.
Второе предположение: "Все сообщения, необходимые для работы, достигают автора статьи". Это условие также не выполняется. Целый ряд барьеров препятствует проникновению к потребителю даже опубликованной информации. Первый из них - языковой. Этот барьер может быть совершенно непроницаемым, когда речь идет о статьях, опубликованных на совсем незнакомом языке (а большинство зарубежных ученых не знают русского языка и языка других народов СССР). Но даже и для людей, более или менее знающих иностранный язык, этот барьер остается весьма существенным. Его значение усиливается тем, что, как правило, иностранные публикации, особенно книги, часто бывают гораздо менее доступны, чем отечественные издания.
Важный фактор, ограничивающий область поиска информации,- предвзятое мнение о научных достоинствах того или иного журнала. Возникающая обратная связь усугубляет ситуацию: статьи этого журнала цитируются меньше, и неблагоприятное мнение о нем укрепляется.
Все эти барьеры, синергически взаимодействуя и усиливая друга друга, образуют вокруг каждого ученого своеобразную "информационную скорлупу" [Это понятие мы употребляем по аналогии с понятием "скорлупа повседневной жизни", используемым А.Молем (см.: Моль А. Социодинамика культуры. - М.: Прогресс, 1973. - С. 338)]. У одного внутри этой скорлупы оказываются лишь несколько отечественных журналов его узкой области знания, другой регулярно просматривает широкий спектр журналов на трех-четырех языках, третий же пользуется, кроме того, "Current Contents".
Ясно, что ученый может цитировать только те работы, которые оказываются внутри его "информационной скорлупы". В статьях советских ученых много ссылок на работы американских авторов, а американские ученые мало цитируют советские статьи - что из этого следует? Из этого прежде всего следует, что научная литература США находится внутри "информационной скорлупы" советских ученых, а для исследователей США большая часть информационных ресурсов советской литературы недоступна. Но это известно и без SCI: подавляющее большинство советских ученых в достаточной степени владеют английским языком, чтобы читать специальную литературу, а научный шовинизм совершенно чужд советской интеллигенции.
Устранение второго предположения еще сильнее сужает тот сектор системы научных коммуникаций, который отражается в SCI, и еще больше увеличивает неопределенность оценок, сделанных на основании подсчета ссылок. При международных сравнениях эта неопределенность резко возрастает из-за асимметричности потоков информации, отражаемых SCI: оценка научной продуктивности стран, публикующих работы на труднодоступных для американских и западноевропейских ученых языках, занижается настолько, что один этот фактор лишает такие оценки всякого смысла. Асимметричность потоков информации "умножается" на асимметричность самого SCI - в нем, например, отражаются лишь 60 советских журналов (1335 журналов США, 529 - Великобритании, 179 - Нидерландов).
Третье предположение: "При цитировании автор руководствуется лишь ценностью статьи для своей работы".
Это допущение - слишком сильная идеализация. Во-первых, авторы зачастую без необходимости цитируют видных ученых. Ю.Гарфилд пишет: "Цитирование может быть вызвано стремлением автора поднять свою собственную репутацию, связав свою работу с более крупными исследованиями, или стремлением избежать ответственности, ссылаясь на работы других авторов" [Garfield E. To cite or not to cite: a note of annoyance. - Current Contents. - 1977. - V.9, N 35. - P.6]. Расширение использования SCI как инструмента для оценки научной продуктивности индивидуальных работников неизбежно приведет к росту ненужного цитирования. Это нанесет ущерб SCI как исключительно ценному средству информационного поиска и науковедческих исследований.
Еще больше искажений вносит уклонение от цитирования релевантных работ, о которых автор знает. Это, конечно, нарушение научной этики, но разве такие нарушения редки? Важнейшим фактором, предупреждающим такие нарушения, является личное знакомство авторов. Но там же, где личные контакты советских ученых с американскими и западноевропейскими коллегами относительно слабы, в отношении советских статей этот фактор не действует. Замалчивание работ наших авторов - обычное явление. Известны случаи, когда советские исследователи по собственной инициативе посылали иностранным коллегам оттиски своих статей, чтобы предотвратить использование их результатов без ссылки на авторство - и это не помогало. Поскольку цитирование - норма весьма расплывчатая, на поведение автора публикации часто действуют и чисто технические, но существенные на "микроуровне" факторы, например отсутствие пишущей машинки с подходящим алфавитом.
Конечно, уклонение от цитирования не распространяется на ключевые, основополагающие работы. Но наука сейчас - деятельность миллионов людей, и статистика цитирования определяется не столько ссылками на "статьи-чемпионы", сколько сложением тех двух-трех ссылок, которые получают на свои работы большинство исследователей (в 1972 г. каждый отмеченный в SCI автор имел в среднем 6,65 ссылок).
Работы же ученых высшего ранга быстро перестают цитироваться вследствие хорошо известного явления "стирания" их имен. Ю.Гарфилд пишет: "Стирание (obliteration) происходит, когда авторы предполагают, что сделанный ранее научный вклад становится частью общего знания, известного каждому, кто работает в данной области" [Garfield E. To cite or not to cite..., P.6]. Сам факт такого стирания говорит о том, что вклад ученого велик и используется очень широко (Ю.Гарфилд говорит даже о преимуществах быть "стертым"), но это - еще один источник ошибки при использовании SCI как оценочного механизма [Известная статья Дж.Уотсона и Ф.Крика о структуре двойной спирали ДНК, положившая начало современной молекулярной биологии, за 1961-1976 гг. получила всего 552 ссылки, в то время как статьи Лоури, предложившего модификацию метода определения белка, за то же время получили 50 016 ссылок!].
Таким образом, устранение третьего предположения также усиливает общий вывод, который мы обосновали, даже приняв весьма сильные допущения.
Нельзя не отметить, что недавно сам Ю.Гарфилд выступил с обзорной статьей под названием "Является ли анализ цитирования разумным инструментом оценки?" [Garfield E. Is citation analysis a legitimate evaluation tool? - Scientometrics. - 1979. - V.1, N 4]. В этой статье он приводит аргументы противников этого подхода и отстаивает точку зрения, согласно которой измерение цитируемости служит хорошим методом оценки [Правда, Ю.Гарфилд делает при этом ряд оговорок и предупреждает, что измерение должно сопровождаться содержательным анализом. Хорошее напутствие администраторам, которые потому и нуждаются в методике, что не имеют возможности заниматься содержательным анализом!]. Но те аргументы, против которых возражает Ю.Гарфилд, представляются настолько незначительными, что мы о них до сих пор даже не упоминали. Это - наличие "негативного" цитирования с целью критики работы, наличие "самоцитирования" и цитирования сотрудников. Все это - факторы второго порядка. Главное же - пороговые явления в цитировании и невыполнение тех трех условий, о которых говорилось выше.
В заключение необходимо еще раз подчеркнуть, что наши рассуждения касались лишь одной стороны использования SCI - как инструмента для оценки вклада в науку отдельных исследователей или целых стран. Но это рассмотрение ни в коей мере не ставит под сомнение иные, исключительно богатые возможности использования этого указателя в науковедении. Здесь нет смысла перечислять все эти возможности - они уже отражены в обширной литературе.
В рамках статьи трудно с достаточной полнотой осветить все вопросы использования SCI как инструмента оценки в исследовательской и управленческой практике. Необходимо глубокое методологическое рассмотрение, с четкой формулировкой всех допущений и тезисов. Такое рассмотрение тем более важно и актуально, что проблема выходит за рамки академического спора. Достаточно сказать, что данные о цитируемости ученых разных стран используются государственными органами США (Национальным научным фондом) для характеристики национальных научных потенциалов [См. ежегодные обзоры "Science Indicators"]. Известно, что вопрос об оценке научного потенциала целых стран, измерение вклада в науку целых сообществ исследователей в настоящее время представляет не только теоретический интерес - он даже касается не только органов управления наукой. Хотят того социологи науки или нет, этот вопрос приобрел идеологическую и даже политическую окраску. Экономия усилий на анализе этого вопроса оборачивается расширением возможностей для демагогии, яркий пример которой - многочисленные статьи "советологов" о советской науке.
УДК 001.89
17 комментариев or Оставить комментарий
Comments
anisiya_12 From: anisiya_12 Date: Март, 30, 2015 16:49 (UTC) (Ссылка)
Цитируемость - это возможность продаться для учёного, а для наших противников - купить с потрохами наш научный потенциал.
Зачем на это соглашались у нас, когда вводили этот индекс, как меру достижения, открытия и т.д.? Наверное, затем, чтобы удачно продаться.
tradicionalist From: tradicionalist Date: Март, 30, 2015 18:08 (UTC) (Ссылка)
Ладно язык. Наличие статьи в открытом доступе уже дает огромную разницу в цитировании. А в 90-х по мере выхода журналов в Интернет, резко возрастала цитируемость журналов, появлявшихся в интернете.

Но главное, сама идея сравнивать своих с чужими. Это что же за такой господь бог у нас в правительстве завелся, для которого "нет ни эллина ни иудея"? Вон тепловизоры, не требующие охлаждения нам французы перестали поставлять из-за санкций. А у нас бац - свои делают. Конечно с опозданием на несколько лет, но есть. Поскольку с опозданием, статью в иностранный журнал не напишешь, но зато танки ездят с тепловозом, а не с фонариком. Это наверное все-таки важнее.

Вообще такое ощущение, что пятая колонна нарочно морочит людям головы всякой ерундой. Иногда даже не утруждают себя придумать отмазка для откровенного вредительства. Просто ссылаются на других таких же вредителей как на экспертов. Как чертов Греф со стабфондом или Маркс с жена и дети - рабы мужчина. Сослался на "современных экономистов", и дело в шляпе. Кстати, "современный экономист"ссылку получил.
mbskvort From: mbskvort Date: Март, 30, 2015 22:28 (UTC) (Ссылка)
А зачем танку с тепловозом ездить?!
Или это пальцы по клаве бегали впереди сознания,дабы не забыть пятую колонну помянуть?
tradicionalist From: tradicionalist Date: Март, 31, 2015 01:59 (UTC) (Ссылка)

Это 5! Даже покруче точеной иголки :)

Что характерно, сразу заподозрил дурное. На знакомое завернул: по клаве постучать, колонну лягнуть... А потом удивляется как это умные сразу догадываются с кем имеют дело. Очевидный факт, что самому, мягко говоря, кругозора не хватает, и умным это сразу в глаза бросается, в либеральную голову не приходит. Как же, нельзя сомневаться в собственной избранности и отверженности "ватников" :)
youtu.#be/DOwDTyam2Io

Edited at 2015-03-31 06:07 (UTC)
mbskvort From: mbskvort Date: Март, 31, 2015 07:17 (UTC) (Ссылка)

Re: Это 5! Даже покруче точеной иголки :)

Ну согласись,что техническое отставание и полная неспособность нашей науки работать по западным стандартам,о чем собсбственно,и пишет СГКМ, никак не связаны с "пятой колонной"
Ни к селу ни к городу приплел термин.Ты же не для индусов пишешь,а для своих.Тут такая лажа не катит.
tradicionalist From: tradicionalist Date: Март, 31, 2015 15:28 (UTC) (Ссылка)

Re: Это 5! Даже покруче точеной иголки :)

Как не связана? Задача пятой колонны сделать так, чтобы наши военные, крестьяне, промышленность остались без штанов. А "отставание", "неспособность" и прочие фантики - инструменты, с помощью которых пятая колонна выполняет поставленную западными хозяевами задачу. Также как "конкуренция", "инвестиции", "транспарентность".
mbskvort From: mbskvort Date: Март, 31, 2015 22:29 (UTC) (Ссылка)

Re: Это 5! Даже покруче точеной иголки :)

Степанов!
То,что ты неадекват я понял давно,ещё со времен твоего мошенничества с рейтингом своей книжонки для индусов.
Но не до такой же степени!
Ну посуди сам,какие такие могут быть хозяева у детей рабочих,крестьян,военных и прочих, которые окончили советскую школу,поступили в советские ВУЗы,изучали и успешно сдавали самое передовое учение - Марксизм-Ленинизм и потом работали на благо своей страны на заводах и в КБ?Только вот работать многие из них так и не научились потому как ордынская система настроена не на трудолюбие,а на воровство и враньё про свои успехи.Чтобы "потриотизмом" ордынца прикрыть свою неспособность к естественному для любого нормального человека способности трудиться и тем самым улучшать свою жизнь.
Это они что ли,твои соотечественники, пятая колонна?
Просто ты по своей холопьей натуре везде видишь хозяев и делаешь из своего убогого мировоззрения всенленские выводы.Там где просто глупость и бардак неумех тебе грезится заговор закуоисы.
Я бы ,пользуясь твоей терминологией больше уделял внимания "шестой колонне" - круглым дуракам и лодырям.
Но сие тебе недоступно,увы.
tradicionalist From: tradicionalist Date: Апрель, 1, 2015 03:59 (UTC) (Ссылка)

Re: Это 5! Даже покруче точеной иголки :)

"Ну посуди сам, какие такие могут быть хозяева у детей рабочих,крестьян,военных и прочих"

Обыкновенные хозяева. Богатые да влиятельные. Вот дочка рабочих и крестьян Значкова Ольга Владимировна попрыгала на Майдане с плакатом про кружевные трусики и ЕС, изображающим "материализм" из "самого передового учения". Изобразила "гражданскую позицию", как раньше в телешоу изображала официантку. Получила денежку от какой-нибудь "неправительственной" организации ЦРУ, а теперь ищет нового хозяина на актерской бирже уже в Москве.

Взрослый дяденька, ведущий украинского ТВ, Данила Грачев, поливавший "колорадов и ватников" в Донецке, убоявшись призыва тоже сменил хозяина и пристроился на НТВ. Тут же сменил свою, так называемую, "гражданскую позицию". Кто платит - тот и музыку заказывает.

Еще одна девушка тоже изображала из себя "гражданку" с "активной гражданской позицией". Вирусный ролик "Я украинка" широко ходил по сети во времена Майдана. Ролик снят "неправительственной" организацией ЦРУ Whisper to a roar. Вдохновение и исполнительный продюсер ролика, иными словами, хозяин девочки, Лари Даймонд. Член консультативного совета по межждународным отношениям, национального фонда демократии, и советник Госдепа.Этот самый "неправительственный" "Фонд демократии" получает 135 миллионов баксов в год от американского... правительства. Ну и еще пол лимона из других источников на покупку актрисочек, академиков, депутатиков, министриков, нацистиков и т.п.

Просто ты, по своей холопьей натуре и отсутствию мозгов, ничего другого не умеешь, кроме как прислуживать хозяину. Девке про трусики заказали, тебе про иголки точеные. Вот и покрываешь хозяина, чтобы не оскудела рука дающего. Ну а может ты еще глупее той девочки, которая с плакатом про трусики скакала. Она хоть за деньги, а тебе байку про иголки рассказали, ты и понесся с нею галоппом по просторам интернета совершенно бесплатно, как дурень с писаной торбой.

Edited at 2015-04-01 04:02 (UTC)
mbskvort From: mbskvort Date: Апрель, 1, 2015 06:37 (UTC) (Ссылка)

Re: Это 5! Даже покруче точеной иголки :)

Ты дурку-то не включай.
Речь не о вашем брате агитпроповцаж шла,а о пятой колонне,которая всё пыталась-пыталась нагадить обороноспособности страны,но благодаря таким как ты ничего у неё не вышло.Наши танки с тепловозами как бороздили просторы вселенной,так и бороздят.А кончатся танки с тепловозами,то и на фонарики можем перейти.Агитпроп он что у хохлов,что у нас одинаковый.Но этих ушлепков единицы,а я тебя о пятой колонне спрашивал.
Короче.
Будучи до мозга костей патриотом я считаю,что ты,как представитель агитпропа полностью дискредитируешь усилия наших правительственных чиновников поднять имидж нашей страны в глазах прогрессивной мировой общественности.В это дело огромные миллионы вложены,а ты,корысти ради,пишешь всякую ахинею для индусов и папуасов на английском.
Ну,прочтет твою писанину какой - нить житель Науру и что он подумает о моей стране?Мало того,из-за таких как ты Россия ассоциируется с медведем,балалайкой и водкой,так теперь твоими усилиями мы перед всем миром будем выглядеть полными идиотами разъезжающими на танках с тепловозами и без фонариков.
Не одумаешься - настучу на тебя министру культуры Мединскому,чтобы он издал приказ по своему ведомству - твою писанину печатать только на туалетной бумаге,в рулонах.Оторвал кусок,прочитал и сразу же по назначению использовал.
Я возмущен такой бездарной работой агитпропа!
tradicionalist From: tradicionalist Date: Апрель, 1, 2015 07:01 (UTC) (Ссылка)

Re: Это 5! Даже покруче точеной иголки :)

С чего ты хохлов приплел? Откуда у них агитпроп? Национальный фонд демократии поди не хохляцкая организация. Не на хохляцкие деньги работает, и Лари Даймонд не хохол. Да и Катя Чумаченко, которая мужа "президентом" назначила ни разу не украинка, а сотрудница администрации Рейгана и Госдепа. Откуда взяться "украинскому" агитпропу, если там даже президентов и правительств своих нет, все янки по телефону назначают?
mbskvort From: mbskvort Date: Апрель, 1, 2015 07:28 (UTC) (Ссылка)

Re: Это 5! Даже покруче точеной иголки :)

Хохлы для наглядности,что пролить на тебя каплю света - агитпроп везде одинаков:что у Геббельса,что Порошенка,что у нас.
Междкнародный синдикат мошенников и подлецов.
Так что про пятую колонну?
Судя по всему отвечать неохота,а то опять какой нить пердунчик из тебя выскочит)))
tradicionalist From: tradicionalist Date: Апрель, 1, 2015 08:19 (UTC) (Ссылка)

Re: Это 5! Даже покруче точеной иголки :)

Судя по всему, ты включил дурку. Объяснил на пальцах: Ларри Даймонд - хозяин, местная актриса с плакатом про кружевные трусики и ЕС - пятая колонна. Нулланд хозяин, Яценюк - пятая колонна. Чумаченко хозяин, Ющенко - пятая колонна. А ты все прикидываешься шлангом.

У хохлов нет агитпропа. Вся агитация, которая там ведется, была написана еще при Гитлере, а при Рейгане по ней еще и фильмов наснимали: "Harvest of Sorrow", например. Потом те же кадры, которые в 80-х собирали агитки у чиновников немецких оккупационных властей Украины, проживавших в западной Германии, США и Канаде, набили карманы 5 миллиардами долларов и стайкой потянулись в Киев доносить сокровенный гитлеровско-рейгановский агитпроп до аборигенов. Это не украинский агитпроп, повторяю, а гитлеровско-рейгановский. В Киеве они начали выходить замуж за сынков местных фашистских коллаборационистов и делать их "президентами". А потом раздавать фашистским коллаборационистам звания "Героев Украины". И это тоэе агитпроп, но хоть в названии и присутствует слово "Украина", агитпроп этот ни разу не украинский, а гитлевовско-рейгановский.

И это никакой не "наш агитпроп", а холодный объективный факт. А твои байки о "точеных иголках", или там ливановские байки о "неэффективности науки", грефовское блеяние о пользе отправки половины доходов государства на Запад под 2% - как раз агитпроп. И вы с Грефом - пятая колонна. Так понятно? Знаешь почему в законе о "бюджетном правиле" страны получатели российской дани перечислены в порядке английского алфавита? Это потому, что ваш с Грефом хозяин писал распоряжения по-английски.

Edited at 2015-04-01 08:24 (UTC)
mbskvort From: mbskvort Date: Апрель, 1, 2015 09:16 (UTC) (Ссылка)

Re: Это 5! Даже покруче точеной иголки :)

Ну,срезал...)))
Согласно нашим последним сведениям(из СМИ) там жидобандеровцы(!!!) заправляют,а ты куда-то не в ту степь тянешь,Гитлера с Рейганом помянул невпопад.
Про Фетисовскую собственность в Майами ничего не слыхать?Про шубохранилища там всякие,про зарплаты.
Какая -то у тебя хилая пятая колонна нарисовалась.Я,Грефф и всё?А Чубайса забыл чтоли?А столько шуму из-за нас развели...
Шестая колонна(см.выше) поболе будет.
В этом вся ваша агитпроповская суть.Деградирует профессия из-за всяких разных стяжателей и бездарей которые кроме как врать ничего не умеют.Тебя СГКМ просвещает,просвещает.Вон уже до протестантской этики добрались,а от тебя как от стенки горох всё отскакивает.
Слушай!А ты вообщето об этике что-нить слышал?
mbskvort From: mbskvort Date: Апрель, 2, 2015 05:05 (UTC) (Ссылка)

Мдя...Пропал оппонент.

Одно упоминание о шубохранилище своего работодателя способно вогнать в ступор любого балобола.
Надо будет учесть на будущее.)))
mbskvort From: mbskvort Date: Март, 30, 2015 22:59 (UTC) (Ссылка)
Статья прекрасно иллюстрирует пользу и важность протестантской этики.
На Западе есть понятие репутация и поэтому механизм оценки уважающих друг друга людей важен и работает.
У Ордынцев никакой репутации в общепринятом понятии нет.Вот и сговариваются кланы в междусобойчики цитировать друг друга.Или поносить противника погаными словами.
А потом удивляются,что западные издания на них смотрят как на идиотов и от греха подальше не публикуют.
Репутация у вас такая господа советские ученые!Сами её себе наработали вместе со Славой КПСС.
157_gra From: 157_gra Date: Март, 31, 2015 12:23 (UTC) (Ссылка)

тогда удалось, а сейчас какие перспективы?

Да, объяснились с научным сообществом в 1980-х. Был субъект Науки, который мог воспринять эту статью. Были каналы распространения таких знаний. Они превратили знания в силу противодействия. Был ответственный за Науку. Воспользовался. И успокоился.

В реформы Наука стала услугой (и это было молчаливо принято), а с этим на пьедестал влез менеджер.

Сейчас тоже есть "научный субъект". А "языка знаний" для него нет. Он такую статью воспринять не сможет. А вводные по цитированию как показателю качества "научных услуг" воспринимает вполне "разумно". Нерыночный язык для объяснения отсутствует, а рыночным покрывается незначительная и достаточно хорошо контролируемая (например через СМИ) часть нашей жизни.

Вообще стоит задача перевода "советских" знаний об угрозах нашей стране на "язык менеджеров" - другого субъекта у нас не предвидится.
tradicionalist From: tradicionalist Date: Март, 31, 2015 16:31 (UTC) (Ссылка)

Ой, не знаю не знаю. По-моему менеджера могила исправит.

"Вообще стоит задача перевода "советских" знаний об угрозах нашей стране на "язык менеджеров" - другого субъекта у нас не предвидится."

Нужно растить параллельный субъект. Литературу писать популярную по современным научным подходам. Чтобы те, у кого есть мозги и интерес росли параллельно "эффективным манагерам" и со временем оттеснили их на обочину.
17 комментариев or Оставить комментарий