Nextflow — система описания и исполнения воспроизводимых и масштабируемых вычислительных рабочих процессов (workflow), ориентированная на научные и производственные задачи обработки данных. Она использует модель потоков данных (dataflow), где вычислительные шаги задаются в виде независимых процессов, соединённых потоками входных и выходных данных. Архитектура Nextflow позволяет описывать сложные зависимости между задачами декларативно, обеспечивая параллелизм и детерминированность выполнения при работе с большими объёмами данных.
Платформа поддерживает контейнеризацию и разнообразные механизмы запуска задач: локальные исполнители, кластеры с планировщиками задач (HPC), а также облачные провайдеры и серверless-окружения. Это обеспечивает переносимость рабочих процессов между средами и упрощает воспроизводимость исследований. Кроме того, Nextflow интегрируется с системами управления версиями и инструментами для распределённого хранения данных, что позволяет воспроизводить вычисления с минимальными отличиями в окружении и зависимостях.
- Модель исполнения: dataflow-парадигма с декларативным описанием процессов и каналов для передачи данных между ними.
- Язык описания: настраиваемый DSL поверх JVM-языков, позволяющий комбинировать скриптовые конструкции и конфигурационные параметры.
- Контейнеры: нативная поддержка Docker и Singularity/Apptainer для изоляции окружения и зависимостей.
- Мультиплатформенность: исполнение на локальной машине, в кластерах HPC (SLURM, PBS и т. п.) и в облаке (различные провайдеры и API).
- Масштабирование: автоматическое параллельное выполнение независимых задач и управление потреблением ресурсов.
- Воспроизводимость: контроль версий рабочих процессов, зависимостей и конфигураций для повторяемых результатов.
- Интеграция данных: каналы для потоковой обработки файлов и метаданных, совместимость с сетевыми и распределёнными файловыми системами.
- Расширяемость: возможность добавления пользовательских плагинов и адаптеров под специфические вычислительные среды.
- Управление ресурсами: гибкая конфигурация требований CPU, памяти и времени для каждого процесса.
- Мониторинг и логирование: средства для отслеживания состояния задач, журналов выполнения и сбора метрик.