Воспроизводимые исследования

Воспроизводимые исследования.

1 Общие замечания

• Воспроизведение является фундаментальным принципом науки.
• Среди учёных растёт опасение, что слишком мало научных исследований может быть воспроизведено.
• Это называется «кризисом репликации».
• Научные статьи часто содержат неадекватные детали, их невозможно воспроизвести.
• Многие попытки воспроизвести известные научные исследования в самых разных дисциплинах терпят неудачу.
• Количество отзывов статей увеличивается.
• Повторение исследований с новыми независимыми данными стоит дорого, редко публикуется в авторитетных журналах, а иногда даже методологически невозможно.
• Воспроизводимое с помощью вычислений исследование (чаще всего называемое просто «воспроизводимым исследованием») часто предлагается в качестве пути повышения нашей способности оценивать обоснованность и строгость научных результатов.
• Исследование воспроизводимо, когда другие могут воспроизвести результаты научного исследования, используя только исходные данные, код и документацию.
• Этот подход фокусируется на исследовательском процессе после завершения сбора данных и обладает многими (хотя и не всеми) преимуществами воспроизведения исследований с независимыми данными при минимизации самого большого барьера (т. е. финансовых и временных затрат на сбор новых данных).
• Повторение исследований остаётся золотым стандартом для строгих научных исследований, но воспроизводимость все чаще рассматривается как минимальный стандарт, к которому должны стремиться все учёные.

2 Зачем проводить воспроизводимые исследования?

• Воспроизводимое исследование позволяет исследователям гарантировать, что они могут многократно повторять один и тот же анализ с одинаковыми результатами в любой момент этого процесса.
• Исследователи, которые проводят воспроизводимые исследования, являются основными бенефициарами этой практики.

2.1 Какое преимущество получают учёные, производящие воспроизводимые исследования

• Воспроизводимые исследования помогают исследователям помнить, как и почему они выполняли определённый анализ в ходе проекта.
  • Это упрощает объяснение работы сотрудникам, руководителям и рецензентам, а также позволяет сотрудникам быстрее и эффективнее проводить дополнительный анализ.
• Воспроизводимость исследований позволяет исследователям быстро и просто модифицировать результаты анализа и цифры.
  • Об этом часто просят руководители, сотрудники и рецензенты на всех этапах исследовательского проекта, и ускорение этого процесса экономит значительное количество времени.
  • Когда результаты воспроизводимы, создание нового рисунка может быть таким же простым, как изменение одного значения в строке кода и повторный запуск скрипта, вместо того, чтобы тратить часы на воссоздание рисунка с нуля.
• Воспроизводимые исследования позволяют быстро реконфигурировать ранее проведённые исследовательские задачи, так что новые проекты, требующие аналогичных задач, становятся намного проще и легче.
  • Наука — это повторяющийся процесс, и многие из одних и тех же задач выполняются снова и снова.
  • Воспроизводимое проведение исследований позволяет исследователям повторно использовать более ранние материалы (например, код анализа, системы организации файлов) для более эффективного выполнения этих общих исследовательских задач в последующих итерациях.
• Проведение воспроизводимых исследований является убедительным показателем строгости, надёжности и прозрачности научных исследований для коллег-исследователей.
  • Это может повысить качество и скорость рецензирования, поскольку рецензенты могут напрямую получить доступ к аналитическому процессу, описанному в рукописи.
  • Работа рецензентов становится проще, и они могут отвечать на методологические вопросы, не спрашивая авторов.
  • Рецензенты могут проверить, соответствует ли код методам, описанным в тексте рукописи, чтобы убедиться, что авторы правильно выполнили анализ, как описано, и это увеличивает вероятность обнаружения ошибок в процессе рецензирования, снижая вероятность исправлений или опровержений после публикации.
  • Он также защищает исследователей от обвинений в неправомерном проведении исследований из-за аналитических ошибок, поскольку маловероятно, что исследователи будут открыто делиться мошенническим кодом и данными с остальным исследовательским сообществом.
• Воспроизводимые исследования повышают уровень цитируемости статей и позволяют другим исследователям цитировать код и данные в дополнение к публикациям.
  • Это позволяет данному исследовательскому проекту иметь большее влияние, чем если бы данные или методы были скрыты от общественности.
  • Например, исследователи могут повторно использовать код из статьи с помощью аналогичных методов и организовать свои данные так же, как в исходной статье, а затем цитировать код из исходной статьи в своей рукописи.
  • Третья группа исследователей может провести метаанализ феномена, описанного в этих двух исследовательских работах, и, таким образом, использовать и цитировать обе эти статьи и данные из этих статей в своем метаанализе.
  • Статьи с большей вероятностью будут цитироваться в этих случаях повторного использования, если доступна полная информация о данных и анализах.

2.2 Воспроизводимые исследования приносят пользу исследовательскому сообществу

• Воспроизводимые исследования также приносят пользу другим членам научного сообщества.
• Обмен данными, кодом и подробными методами и результатами исследований приводит к более быстрому прогрессу в методологическом развитии и инновациях, поскольку исследования становятся более доступными для большего числа ученых.
  • Воспроизводимые исследования позволяют другим учиться на вашей работе.
  • Научные исследования имеют крутую кривую обучения, и предоставление другим пользователям доступа к данным и коду дает им преимущество при выполнении аналогичных анализов.
    • Например, исследователи, которые плохо знакомы с аналитическим методом, могут использовать код, предоставленный исследовательскому сообществу исследователями с большим опытом работы с этим методом, чтобы научиться строго выполнять и проверять эти анализы.
    • Это позволяет исследователям проводить более тщательные исследования с самого начала, вместо того, чтобы тратить месяцы или годы, пытаясь выяснить текущие «лучшие практики» методом проб и ошибок.
    • Изменение существующих ресурсов может сэкономить время и силы опытным исследователям.
    • Изменять существующий код намного быстрее, чем писать код с нуля.
  • Воспроизводимое исследование позволяет другим понять и воспроизвести работу исследователя.
    • Предоставление другим пользователям доступа к данным и коду облегчает другим ученым проведение последующих исследований для повышения достоверности доказательств интересующего явления.
    • Увеличивает вероятность того, что аналогичные исследования совместимы друг с другом и что группа исследований может вместе предоставить доказательства в поддержку или против концепции.
    • Совместное использование данных и кода повышает полезность этих исследований для обобщения и контекстуализации результатов исследований по теме.
    • Хорошо задокументированные воспроизводимые результаты повышают вероятность того, что данные можно будет использовать в будущих исследованиях.
  • Воспроизводимые исследования позволяют другим защитить себя от ошибок.
    • Предоставление другим пользователям доступа к данным и коду дает им больше шансов критически проанализировать работу.
    • Соавторы или рецензенты могут обнаружить ошибки в процессе редактирования, или другие учёные обнаружат ошибки после публикации.

3 Барьеры для воспроизводимых исследований

• Причины отсутствия воспроизводимости:
  • сложность;
  • технологические изменения;
  • человеческая ошибка;
  • опасения по поводу прав интеллектуальной собственности.

3.1 Сложность

• Научные исследования требуют специальных (и часто закрытых) знаний и инструментов, которые могут быть доступны не всем, кто хотел бы воспроизвести результаты исследований:
  • высокопроизводительные вычислительные системы;
  • пакеты программного обеспечения;
  • проприетарные программные пакеты.

3.2 Технологические изменения

• Аппаратное и программное обеспечение меняются быстро.
• Когда старые инструменты устаревают, исследования становятся менее воспроизводимыми.
• Незначительное обновление в программном обеспечении может сделать весь проект менее воспроизводимым.
• Базовое требование: документирование версий используемого программного обеспечения.

3.3 Человеческая ошибка

• Люди забывают мелкие детали того, как они проводили исследования.
• Хорошо документированный процесс исследования может защитить от мелких ошибок и небрежного анализа.
• Нужна тщательная запись подробностей:
  • время и место сбора данных;
  • решения, принятые во время сбора данных;
  • используемые соглашения по маркировке;
  • процесс преобразования необработанных данных в чистые данные;
  • проверка тестовых наборов данных.

3.4 Права интеллектуальной собственности

• Исследователи могут использовать чужие данные и код неправильно или неэтично:
  • использовать общедоступные данные без уведомления авторов;
  • использовать общедоступные данные или код без ссылки на первоначальных владельцев данных или авторов кода;
  • скрывать данные от других, чтобы самим проводить анализ этих данных в будущем.

4 Трёхэтапная схема проведения воспроизводимых исследований

• Этапы исследовательского проекта
  • до анализа данных;
  • во время анализа данных;
  • после анализа данных.

4.1 Перед анализом данных: хранение и организация данных

• Воспроизводимость начинается на этапе планирования, когда применяются надежные методы управления данными.
• Трудно воспроизвести исследование, когда данные дезорганизованы или отсутствуют, или когда невозможно определить, где и как они были получены.
• Данные должны создаваться резервными копиями на каждом этапе исследовательского процесса и храниться в нескольких местах.
  • Возможна непреднамеренная порча данные при их очистке, поэтому необработанные данные всегда следует хранить в качестве резервной копии.
  • Разные копии должны храниться в разных местах и ​​на разных носителях.
  • Метаданные, объясняющие, что было сделано для очистки данных и что означает каждая из переменных, должны храниться вместе с данными.
  • Файлы должны иметь информативные имена.
    • Должно быть легко определить, что находится в файле или каталоге по его имени.
    • Необходим согласованный протокол именования.

4.2 Во время анализа: лучшие практики кодирования

• Вся обработка и анализ данных должны выполняться с использованием сценариев кодирования, а не с использованием интерактивных инструментов.
• Каждый шаг должен быть задокументирован и повторен вами и другими.
• Код выполняет операции с данными и служит журналом аналитических действий.
  • Благодаря этому код (в отличие от интерактивных программ) по своей природе воспроизводим.
• Большинство ошибок являются непреднамеренными ошибками, допущенными во время обработки или анализа данных.
  • Запись этих шагов гарантирует, что анализ можно проверить на наличие ошибок и воспроизвести в будущем.
• Если операции невозможно запрограммировать в сценарии, они должны быть хорошо задокументированы в файле журнала.
• Аналитический код должен быть тщательно аннотирован комментариями.
• Комментарии, встроенные в код, служат метаданными для этого кода, существенно повышая его полезность (см. Литературное программирование).
• Способы предотвратить ошибки кодирования и упростить его использование:
  • автоматизировать повторяющиеся задачи;
  • использовать циклы, чтобы сделать код более эффективным, последовательно выполняя одну и ту же задачу над несколькими значениями или объектами;
  • уменьшить количество жестко закодированных значений, которые необходимо изменить для повторения анализа.
• Несовместимость между операционными системами или версиями программ может препятствовать воспроизводимости исследований.
• Принято использовать программные контейнеры.

4.3 После анализа данных: доработка результатов и обмен ими

• Обмен результатами исследований с другими.
• Все входные данные, сценарии, версии программ, параметры и важные промежуточные результаты должны быть общедоступными и легкодоступными.
• При анализе лучше использовать сценарии, чем интерактивные инструменты.
• Лучше создавать таблицы и рисунки непосредственно из кода, чем манипулировать ими с помощью программ редактирования изображений.
• Воспроизводимые рисунки и таблицы создаются непосредственно с помощью кода и интегрируются в документы таким образом, что позволяет автоматически обновляться при повторном выполнении анализа.
• Использовать GNU Make.
• Чтобы расширить доступ к публикациям, авторы могут размещать препринты версий рукописей на сервере препринтов или постпринты рукописей на серверах постпринтов.
• Данные и код, совместно используемые на личных веб-сайтах, доступны только до тех пор, пока веб-сайты поддерживаются, и их может быть сложно перенести, когда исследователи переходят на другой домен или поставщика веб-сайта.
• Материалы, хранящиеся на личных веб-сайтах, также часто трудно найти другим ученым, поскольку они обычно не связаны с опубликованными исследованиями и не имеют постоянного цифрового идентификатора объекта (DOI).
• Лучше использовать общедоступные репозитории данных и кода.
• Репозитории могут быть либо специфичными для предмета или типа данных, либо междисциплинарными общими репозиториями.
• Некоторые из них бесплатны, а другие требуют плату за ввод данных.
• Журналы часто рекомендуют соответствующие репозитории на своих веб-сайтах.
• Широко используемые репозитории общего назначения:
  • Dryad (https://datadryad.org/);
  • Zenodo (https://zenodo.org/;
  • Figshare (https://figshare.com/).
• Каждый из них создаёт DOI.
• Репозиторий управления проектами: Open Science Framework (OSF; http://osf.io/).
• Цель OSF — обеспечить обмен исследованиями на каждом этапе научного процесса.
• Open Science Framework интегрирован со многими другими воспроизводимыми исследовательскими инструментами, включая широко используемые серверы препринтов, программное обеспечение для контроля версий и издателей.

5 Выводы

• Воспроизводимость связана:
  • с рабочими привычками;
  • с инструментами, используемыми для обмена данными и кодом.
• Воспроизводимые исследования — это процесс.

6 Библиография

Литература