Мій список побажань експертної оцінки

Минув місяць, коли я опублікував тут. Чому? Я читав, а не писав. Я переглядав документи SIGCSE, документи ICSE, транзакції IEEE на документах із програмного забезпечення, операції ACM з документами з обчислювальної освіти. Я редагував свої 7 чудових докторантів. Я керував двома студентськими науково-дослідними стипендіями NSF та ще однією заявкою для аспірантури. І я читав кілька десятків номінацій видатних студентів CRA.

Зараз дехто не любить переглядати. Я випадково люблю це, особливо рецензування! Я (час від часу) дізнаюся про нові ідеї, я допомагаю своїй академічній спільноті вдосконалити свою стипендію, і я можу вирішити дуже специфічний вид головоломки: що я можу сказати в 500–1000 словах, які перетворять погляд автора на власну роботу? Вчитель в мені смакує шанс спробувати зробити висновок, щоб хтось писав, як вони думають, а потім знайти лише правильні слова, щоб перенести своє мислення на мою власну естетику дослідження. Мені не завжди вдається (особливо в такі зайняті місяці), але мені це зазвичай весело.

На жаль, багато дослідників моїх спільнот не так весело переглядають. І я не звинувачую їх: ми отримуємо короткі терміни, волонтерська робота здебільшого невдячна (через анонімність), і майже немає взаємодії з авторами чи іншими рецензіями, окрім сильно асинхронних та дуже безособових дискусій щодо погано підтримуваних, погано розроблених групове програмне забезпечення, наприклад, PCS або EasyChair (жодних незначних по відношенню до розробників, які підтримують це: у вас важкі, сильно недоотримані роботи, просто підтримуйте роботу цих сайтів).

Однак після 15 років огляду є кілька речей, які, на мою думку, можуть змусити людей насправді насолоджуватися цим, і змусило б мене захотіти зробити це ще більше. Ось мій список побажань для академічної експертної оцінки.

Оцініть за чіткими критеріями

Ніщо не зводить мене з розуму, ніж скринька, на якій написано "Напишіть свій відгук". Ці повністю некеровані процеси експертного огляду провалюються двома способами: вони призводять до різного розгляду думок про дослідження, але вони також не в змозі повідомити новим рецензентам, які аспекти дослідження цінності спільноти чи як їх оцінити. Існує не один вид рецензування, вони є нескінченними, і справа редактора - звузити сферу застосування.

Нещодавно Міжнародна конференція з інженерії програмного забезпечення досягла певного прогресу, додавши конкретні критерії, такі як:

  • Звучність. Чи подані претензії до робіт аргументами та доказами?
  • Новинка. Наскільки робота сприяє нашим знанням?
  • Чіткість. Наскільки чіткою є написання та презентація твору?
  • Повторність. Чи можна, маючи певну експертизу домену, твір (технічний, емпіричний чи інший) повторити?

Що в цьому важливо, це те, що вони зменшують багато форм неявних упереджень у процесі огляду, змушуючи рецензентів звертатися до кожного аспекту. Я використовував їх для складання моїх відгуків і для того, щоб я був справедливим до того, що ICSE хоче обрати.

Тепер процес ICSE ще залишає бажати кращого. Ці критерії не поширюються на всі типи стипендій, що виключає певний роман. Рецензенти широко розрізняють уявлення про ці критерії, що все ще призводить до великої різноманітності в їх оцінках. І немає вказівок із програмних крісел про те, де "бар": чи може документ досить добре зустріти три з них, але не вдасться до новизни, і все ще публікується? І останнє досить легко виправити: опублікуйте це на виклику паперів, щоб усі знали, за що судять.

Незважаючи на ці обмеження, я думаю, що всі процеси експертного огляду повинні мати чіткі критерії. Громади повинні об'єднуватися, щоб розвивати та розвивати їх у часі.

Тренуйте рецензентів

Одне з вищезазначених чітких критеріїв полягає в тому, що різні рецензенти не мають послідовної здатності судити про кожного з них. Чому ні? Тому що ми не навчаємо дослідників переглядати дослідження.

Я завжди вважав, що це найбільший розрив у докторській освіті. Кандидат наук студентам потрібно якомога більше можливостей для практичного огляду досліджень на основі чітких критеріїв, але мало кого запрошують до огляду до старшого віку. І якщо їх запрошують на огляд, конференції та журнали рідко проводять їх будь-яку підготовку.

Я пам’ятаю перший раз, коли я рецензувався на конференції. Це був документ із ІСН, ймовірно, у 2006 чи 2007 роках, якраз до того, як я закінчив докторську ступінь. У мене з’явилася скринька з написом «Напишіть тут свій відгук». І моя перша думка була: «Що я повинен переглянути? Все? Просто поділіться моєю думкою? У мене дуже багато думок, ви впевнені, що всі вони мають значення? "Звичайно, вони мали значення, як і всі інші, і тому папір отримав дивовижні бали, які, мабуть, бентежили авторів. Дивовижні відгуки, які я завжди отримував у CHI (і досі це роблять донині), продовжують дезорієнтувати.

Як доктор наук. радник, я не в курсі своїх студентів. Коли я навчаю своїх докторантів оцінювати роботу інших людей? Хто працює, чи потрібно їх оцінювати, якщо перегляд є конфіденційним? Групи для читання - це одне місце для цього, але вони часто зосереджені на читанні найкращої та найрелевантнішої роботи на місцях, а не на роботі, якій потрібна допомога. Більшість рецензій - це документи, яким потрібна допомога.

Особисто я не вважаю, що завдання порадника визначати критерії, за якими документи будуть переглянуті. Я думаю, що це робота академічного співтовариства, і саме на цих конференціях і журналах ми робимо ці критерії чіткими та навчаємо їх. Наступного разу, коли я запрошую головуючи на конференції або стану редактором журналу, я пройду навчання для всіх рецензентів.

Публікуйте все, включаючи огляди

Коли я розповідаю людям про цю ідею, вони думають, що я божевільний. Перш ніж подумати про те, почуйте мене наскрізь.

Ось основна ідея: коли ми надсилаємо щось для публікації, ми повинні проводити наші нормальні процеси рецензування, але потім публікувати все, що хочуть автори, за умови, що всі огляди їхньої роботи також публікуються та відкриті для подальшого публічного огляду всі в наукових колах. Як альтернатива, автори могли вирішити відкликати свою роботу та вдосконалювати її. Майбутнє експертної оцінки має бути відкритим, постійним та прозорим, кожна робота у світі піддається (модерується) вічною критикою. Наприклад, я мав би змогу повернутися до своїх старих робіт, опублікованих в Цифровій бібліотеці ACM, і написати коментар, кажучи: Цей інший документ, який я опублікував, має набагато кращий аргумент ». І я повинен бути в змозі зробити те ж саме з моїми однолітками. І кожен, включаючи громадськість, повинен мати можливість переглядати наші коментарі до всіх опублікованих робіт, що дозволяє науковій комунікації продовжуватись публічно.

Навіщо це робити?

  • По-перше, ми минули час, коли нам доведеться турбуватися про витрати на друк. Зберігання дешеве, а наших документів мало.
  • По-друге, ми вже все читаємо та оцінюємо. Який сенс робити все це, пишучи та рецензуючи, лише щоб 75% цього не було непрочитано наукою?
  • По-третє, чому штучно робота воротаря, на нашу думку, має цінність, навіть якщо робота не є ідеальною?
  • По-четверте, відкидаючи стільки роботи, ми відкидаємо ідеї та зусилля наших громад, що деморалізує.
  • По-четверте, непрозорість експертної оцінки шкодить думці громадськості. Покажіть їм, як виготовляється ковбаса.

Більшість аргументів проти бачення вище зводиться до цього: науковці хочуть використовувати конференції та публікації журналів для передачі заслуг, крім подальших досліджень. "Ми повинні відхилити папери для того, щоб прийняті папери мали цінність", - кажуть вони. - В іншому випадку, як би ми дізналися, яка робота є доброю та поганою? t виключно використовуйте публікацію, щоб вирішити, яка робота є доброю та поганою. Ми використовуємо рекомендаційні листи, використовуємо найкращі паперові нагороди, використовуємо 10-річні найвпливовіші паперові нагороди, дивимося на цитати. Ми всі знаємо, що конференції та журнали - навіть найпопулярніші - рясні з документами, які не такі великі, тому що наші процеси експертного огляду не такі великі. Втратити один сигнал мало, коли нас уже так багато.

Крім того, ми отримаємо нові сигнали. Який діалог про опублікований твір розпочався після публікації? Хто говорить про роботу? Як вони про це говорять? Уявіть собі, як змінилося б оцінювання кандидата викладачів: це був би не просто список опублікованих робіт, а натомість яскравий набір тем про значення та значення публікації - чи мовчання, яке говорить щось інше.

Інші аргументи проти цього бачення зосереджуються на побоюваннях, які люди більше не переглядають, якщо їх огляди стануть загальнодоступними. Для мене це лише знак того, що ми недостатньо виховуємо громадську інтелігенцію. Наші его настільки крихкі, що хтось, бачачи нашу обґрунтовану критику, може зруйнувати нашу репутацію? Або ми боїмося, що наші критики не настільки аргументовані?

Очевидно, що для розробки такої моделі можна буде багато чого розібратися. Якщо є якась спільнота, яка може це зробити, це обчислювальні науки та інформаційні науки, особливо взаємодія людина-комп'ютер.

Пропускна здатність обмежує наше бачення

Звичайно, на реалізацію будь-яких змін вище потрібно час. А враховуючи, що ми вже працюємо на волонтерських заняттях, час обмежений. Деяким з нас потрібно присвятити деякий час, особливо досвідчені професори, як ми, щоб зробити ці зміни реальністю. Покажемо решті академічних наук, якою може бути експертиза. Хто зі мною?