Про те, де вони публікують

чому не варто судити дослідників за журналом "Вплив"

[Серія Плутон] № 0 - Академія, структурно розгорнута
[Серія Плутон] №1 - Дослідження, галузь, що створює знання
[Серія Плутон] № 2 - Академія, видавнича справа та наукове спілкування
[Серія Плутон] №3 - опублікувати, але справді загинути?
[Серія Плутон] №4 - опублікувати або загинути та втратити марно
[Серія Плутон] №5 - про те, де вони публікуються
[Серія Плутон] № 6 - Про кількість публікацій
[Серія Плутон] № 7 - Про основи цитування
[Серія Плутон] № 8 - Про практику посилань
[Серія Плутон] № 9 - Про відстеження цитат
[Серія Плутон] № 10 - Про експертні огляди
[Серія Плутон] № 11 - Закінчення серії

У попередньому дописі ми обговорювали, що є поганою стимулюючою структурою в наукових колах. Більше, оригінальне та надійне знання - це загальна мета наукової академії в цілому. Якщо будь-які небажані наслідки, окрім цих позитивних значень, спричинені стимулом, або не вдасться зафіксувати позитивні значення відповідними засобами, цей стимул може бути визнаний поганим.

Журнал, джерело: Plush Design Studio, Unsplash

Ця публікація пропонує перший екземпляр таких, а саме оцінювання дослідників, де вони публікуються. Сумнівно, що ця практика намагається оцінити, і незалежно від того, що вона оцінює, складні значення знання не можуть бути виміряні такими спрощеними засобами. Структура, в якій підтримується ця практика, надає надмірні повноваження деяким зацікавленим сторонам, що призводить до недостатньої прозорості, непотрібної політики та навіть неетичних проступків.

Чому куди?

Описуючи структуру стимулів академічних наук у попередній публікації, було сказано, що дослідники часто оцінюють їх продуктивність за допомогою своїх бібліографічних записів або списку робіт, які вони опублікували в академічних журналах, у поєднанні з "де вони публікують", використовуючи журнальні фактори впливу проксі-значення цього "куди". Це "де" - це, звичайно, скорочення "того, який рецензований журнал", і, особливо частіше, він передбачає журнали, що входять до основних індексів, таких як Web of Science Core Collection (WoSCC) від Clarivate Analytics або SCOPUS від Elsevier .

На перший погляд, вибір місця для публікації може здатися неймовірно важливим. Виходячи з того, де ви публікуєте результати своїх досліджень, ступінь поширення вашої публікації може серйозно відрізнятися. Тобто, якщо ви виберете належний журнал для своєї публікації, він може бути переданий сотням чи тисячам ваших колег, тоді як поганий вибір може призвести до того, що ніхто у вашій відповідній галузі не прочитає його. Це те, що ви бачите, коли ви перебуваєте в Google "де публікувати". (звичайно, з великою кількістю тих "посібників з бібліотеки", які говорять, що вам потрібно перевірити, чи журнали індексуються в WoS або SCOPUS)

Іншим важливим аспектом, який слід враховувати при виборі "де публікувати", є редакція журналу. Найбільш чіткою функціональністю академічних журналів є рецензування, науковий процес ретельного вивчення експертами на місцях. Цей процес експертної оцінки керується редакціями та колективами. Вони попередньо перевіряють подані рукописи, обирають рецензентів, і вони приймають остаточні рішення щодо того, приймати, відхиляти чи пропонувати перегляд рукописів. Оскільки різні журнали мають різних редакторів, а отже, різні практики огляду, мабуть, дуже важливо вибрати пристойний журнал, який редагують авторитетні фахівці у вашій галузі, які є достатньо кваліфікованими, щоб правильно провести перевірку вашої публікації.

Чому НЕ куди?

Хоча очевидно здається, що важливо вибрати правильне місце для публікації, це все ще НЕ означає, що дослідження слід оцінювати, де воно публікується. Перш за все, незрозуміло, яку саме цінність захоплює. Це, можливо, чудово, якщо він охопить масштаби його розповсюдження, як описано вище. Але це є надзвичайно складним завданням як в контексті, так і в технічному плані. Чи варто дивитись на абсолютну кількість унікальних людей, до яких потрапляє журнал? Унікальні сесії та доступ до університетів та інститутів? Чи така кількість номерів у журналах також відображає масштаби поширення для окремих публікацій? Чи здатні журнали та інформаційні служби реально відстежувати ці статистичні дані? Відповідь - смішно, так чи ні, система насправді ніколи не піклується про цей аспект.
(Altmetrics, статистика використання від Інтернет-інформаційних служб стосується цього аспекту. Але вони є індикаторами, які безпосередньо випливають з окремих публікацій, а не з того, де вона є.)

Хто вирішує де?

Значення, захоплене "де", можливо, може бути виведено з критеріїв включення та процесів оцінювання індексів (WoSCC критерії та процес, процес SCOPUS та плата). Обидва мають спільні вимоги, такі як реєстрація ISSN та англійські (або римські) бібліографічні метадані (тези, довідники тощо), які мають важливе значення для підтримки чистої та керованої бази даних. Ще однією необхідною умовою є те, що вміст журналів рецензується. Це, звичайно, позитивно. Проблема полягає в тому, як вони показані. Оскільки це НЕОБХІДНА умова, журнал, включений до цих покажчиків, повинен бути рецензований. Але як нам знати, коли вони ніколи не доводять, що вони є? Є деякі журнали, які публікують звіти про експертну оцінку разом з оригінальними публікаціями. Що стосується решти журналів в індексах, чи ми просто довіряємо провайдерам індексів, що вони чесно перевіряли практику експертного огляду та самі фактичні дані?

Ця річ іде точно так само, як і з іншими процесами включення. Поза необхідними умовами є ще багато критеріїв, на які вони кажуть, що вони дивляться. Назвіть декілька: «Академічний внесок у цю галузь», «Якість та відповідність заявленим цілям та обсягу журналу», «Положення редактора», «Нова точка зору» та «Цільова аудиторія». Вони, як правило, часто зустрічаються в обох індексах, хоча деякі відмінності у виразах. Всі ці критерії виглядають добре і вигадливо, і знову ж таки, питання полягає в тому, як вони насправді це роблять. Найбільше, що я знаходжу з їх пояснень, - це те, що вони оцінюються своїми редакційними колективами або правліннями (не плутайте це з редакторами журналів). Я в кінцевому підсумку знаходжу НЕ інформацію про редакційну колегію в WoSCC, і на сторінці ради для SCOPUS є кілька випадкових 17 науковців зі своїми приналежностями, кожен з яких представляє одну метадисципліну (17 людей, відповідальних за "визначення" всієї академічної систематики, уау). Коротше кажучи, ми КЛАЙСЬКІ про те, хто вирішує включення журналу, чому вони повинні відповідати за цю роботу чи що насправді вирішили, за якими доказами.

Ми говоримо про індекс індексу. Документи публікуються (таким чином індексуються як частина журналу, в якому він публікується) у журналах, що редагуються польовими експертами. На даний момент ми настільки розслаблені, оскільки багато веб-сторінок журналів дають інформацію про свої редакції. * І тоді ці журнали метаіндексуються в бібліографічних базах даних, таких як WoSCC або SCOPUS, відредагованих деякими випадковими людьми, де ми повністю втрачені хто вони і що робили. Беручи до уваги той факт, що ці показники використовуються у багатьох рішеннях в наукових закладах, як критерії оцінювання, ми дозволяємо деяким комерційним підприємствам вирішувати, куди вчені повинні подавати свої документи, щоб вони вважалися «науковими знаннями» при незрозумілих операціях. Я б сильно сумнівався, чи саме це має бути наука.
(* Дивіться, наприклад, Lancet. Я особисто вважаю, що ця значна інформація про редакторів є мінімальною вимогою.)

Захоплення впливу

Можливо, відповідь найкраще представлений тим числом, яке в основному використовується для цього проксі: Журнали впливу факторів (JIF). Як видно з назви, схоже, що JIF оцінюють вплив журналів. Відклавши сумніви щодо того, що означає цей вплив, здається, що вплив журналів сильно пов'язаний з цитатами, оскільки JIF розраховуються за допомогою графіків цитування. (JIF - середня кількість цитат, отриманих публікаціями цікавого журналу за два попередні роки з усіх публікацій цього індексу цього року. Більше опису див. У Вікіпедії)

Неможливо вбити кількох птахів простим каменем

Це дійсно заплутано, що означає цей вплив. Одне ми можемо чітко сказати. Це означає середнє цитування. Будь то вплив, цінність, просування, внесок чи інше, спрощена, єдина метрика не може (і не повинна) представляти складні та різноманітні аспекти знання. Як добре зображено процесами включення за показниками, внесок у поле, цілі та сферу застосування та їх відповідність та якість, що стоять серед поля, оригінальність ідей, аудиторія, етика, прозорість… назвати їх дуже мало. Ніхто ніколи не знайде способу зафіксувати ці значення за допомогою одного показника.

Використання спрощеної та одиничної метрики завдає серйозної шкоди науці: це призводить до закону про владу *. Створений Робертом Мертоном як "Ефект Метью", цей закон про владу добре зображений виразом "Багаті стають багатішими, бідні стають біднішими". Цей закон про владу в академічних школах небажаний з двох основних причин. i) Новачкам-дослідникам у ранній кар'єрі надається менше можливостей. ii) Мало хто переживає владу, ніж громада, що проти «організованого скептицизму» сучасної науки. Наука досягається пильним вивченням з боку однолітків, а не з боку властей небагатьох.
(* Докази цього закону про владу включають: ціни, закони Лотка, Зіпфа, закони Бредфорда)

"Де" ніколи не відміняє "Що"

Крім занепокоєння щодо використання єдиної метрики, існують критики щодо самого JIF. Перш за все, оскільки він обчислюється з цитат, він успадковує більшість закидів на цитати. Наприклад, цитати можуть бути ігровими, фактичні підрахунки можуть суттєво відрізнятися залежно від використовуваного індексу цитування, а головне, кількість цитат не представляє значення публікації. Так роблять і JIF. Детальніше з цього питання буде розглядатися в подальшому дописі, де обговорюються цитати.

Також зазначається, що JIF не повинні використовуватися для оцінки окремих публікацій. Значення середнього зазвичай трактується як прогностичний захід, але повідомляється, що ви не можете передбачити цитування публікації в журналі з її JIF. В основному це пов’язано з перекошеним розподілом цитат. JIF дуже сильно постраждали від сторонніх людей. Припустимо, у нас є журнал з JIF = 40, ми вибираємо з нього випадкові публікації, щоб побачити його кількість цитат, і ми, швидше за все, побачимо числа, набагато менші за 40. Описуючи цей застереження, "Матеріали природи" припускали в редакції, що журнали краще розкривати їх посилання на цитування.

Найголовніше, що цінність публікації - Universal (U від CUDOS). Він не повинен змінюватись, де він розміщений. Ви експериментували A, зібрали набір даних B, проаналізували за допомогою методу C, отримали результат D. Незалежно від того, розміщуєте його на своєму каналі у Facebook, твіттете, блогуєте, арксуєте чи публікуєте у журналі із надзвичайно високим JIF, його значення не повинно не змінююсь.

Сила перенапруження

Оскільки дослідники оцінюються тим, де вони публікуються, деякі зацікавлені сторони у зв'язку з цим "де" мають відігравати великий вплив на наукові установи. Як описано вище, майже віртуальне визначення науки (або "там, де нам потрібно публікувати, щоб вважатись наукою") контролюється декількома постачальниками індексів.

Авторитетну силу також набувають видавці та журнали. Оскільки більшість журналів мають бінарні рішення щодо поданих рукописів (тобто приймають або відхиляють), дослідники підпорядковуються цим рішенням. Багато видавців та журналів не "формально підтримують архівування" * (тобто препринти та сховища). Хоча існують альтернативні місця для публікації, які можуть підтримувати архівацію, дослідники все ще схильні не використовувати додруків, якщо журнал із високим впливом у своїй галузі не підтримує це. Це єдине, що заважає дослідникам архівуватись перед публікацією, а також в іншому напрямку, тому видавці та журнали можуть вирішити не підтримувати це.
(** за даними SHERPA / RoMEO, 487 з 2566 видавців (19%) формально не підтримують архівування. Розширення цієї статистики на рівні журналу, безумовно, збільшить її кількість. *)

Переповнення публікації

Видавці з авторитетною владою можуть спричинити більше публікацій, а не кращих і надійних знань. Оскільки бізнес-модель більшості видавців отримує прибуток за допомогою підписок і APC (автори сплачують це, подаючи рукописи для відкритого доступу), очевидно, що вони віддають перевагу більшості публікацій. На рівні окремих журналів це може бути неправдою, оскільки більше публікацій може зменшити JIF. (це в знаменнику) Але на рівні видавця це можна координувати, збільшуючи кількість публікацій, одночасно генеруючи більше цитат у своїх журналах. Дійсно, загальна кількість публікацій різко зросла протягом десятиліть, але це питання, чи призвело це також до більш, кращих знань.

Моральні небезпеки

Іншим застереженням є те, що видавці та журнали можуть впливати на загальну спрямованість наукових спільнот та тенденцій. Як уже обговорювалося в попередньому дописі, вони схильні встановлювати політику, яка б призвела до збільшення JIF, наприклад, прийняття захоплюючих поглядів, модних або навіть неправильних тверджень та відхилення поступових, негативних чи повторюваних досліджень.

Ще гірше - проступки, спрямовані на підвищення показника. Журнали, особливо його редактори, можуть неетично змусити своїх авторів-представників цитувати статті в цьому журналі. Редактори та автори у кількох журналах можуть створити картелі цитат, де вони цитують документи один одного, щоб навмисно збільшити вплив кожного. Ці зловживання не просто погані, оскільки неетичні, але ще більше оцінюють надійність JIF як метрику. Як такі, вони забруднюють загальну літературу, створюючи менш релевантні, а іноді навіть безглузді цитати в публікаціях. Зрештою, вони погіршують довіру до наукових шкіл.

Удосконалювати, а не визначати

Завжди залишаться дискусійні аспекти щодо того, де слід ділитися результатами досліджень. Як основна частина наукового спілкування, розповсюдження наукового вмісту завжди передбачає передачу цінної дослідницької інформації від одного гравця до іншого. Крім того, оцінка JIF (або там, де вони публікуються) має таку перевагу перед цитатами цитування, що цитати для окремої публікації займають серйозно багато часу, тоді як проксі з журналом можна використовувати негайно. Тим не менш, слід вдосконалити сучасну практику оцінювання дослідників та їх зміст, залежно від місця їх публікації.

Оскільки спрощена метрика ставить запитання щодо того, що вона захоплює, слід досліджувати більш всебічні засоби для кращого засвоєння різноманітних аспектів знань. Слід завжди враховувати, що знання та його значення не змінюються в тому місці, де воно опубліковане, тоді як ми все ще нагадуємо, що все ще важливо запитати, кому воно буде передане.

Деякі гравці, які мають надто авторитетну владу з інтересами, далекими від отримання справжніх знань, можуть виникати зловживань. Зокрема, прозорість вкрай важлива, щоб не дати непрозорій діяльності невеликої кількості гравців, орієнтованих на прибуток, вирішувати, що буде розглядатися як дослідження.

НАСТУПНИЙ ВПЕРЕД

У наступному дописі буде обговорено ще один випадок поганого стимулу, щодо використання кількості публікацій як критеріїв оцінки, найважливішого питання "опублікувати чи загинути".

Завжди дякуємо за підтримку, і, будь ласка, СТВОРИТИ І СПОМІНУЙТЕ історію з однолітками, друзями та родинами, щоб запросити більше дискусій.

[Серія Плутон] № 0 - Академія, структурно розгорнута
[Серія Плутон] №1 - Дослідження, галузь, що створює знання
[Серія Плутон] № 2 - Академія, видавнича справа та наукове спілкування
[Серія Плутон] №3 - опублікувати, але справді загинути?
[Серія Плутон] №4 - опублікувати або загинути та втратити марно
[Серія Плутон] №5 - про те, де вони публікуються
[Серія Плутон] № 6 - Про кількість публікацій
[Серія Плутон] № 7 - Про основи цитування
[Серія Плутон] № 8 - Про практику посилань
[Серія Плутон] № 9 - Про відстеження цитат
[Серія Плутон] № 10 - Про експертні огляди
[Серія Плутон] № 11 - Закінчення серії

Мережа Плутона
Домашня сторінка / Github / Facebook / Twitter / Telegram / Medium
Scinapse: Академічна пошукова система
Електронна пошта: team@pluto.network