DolphinDB — распределённая высокопроизводительная система управления базами данных, ориентированная на хранение и обработку временных рядов и аналитических задач в реальном времени. Разработанная с акцентом на масштабирование и скорость, платформа сочетает в себе колоночное хранение данных, распределённую архитектуру и специализированные механизмы индексирования для эффективной работы с большими объёмами временных рядов. Типичные сценарии применения включают финансовую аналитику, мониторинг телекоммуникационных систем, обработку телеметрии и другие области, где требуется как быстрая агрегация, так и сложная аналитика над потоковыми и пакетными данными.
Архитектурно DolphinDB поддерживает смешанные режимы обработки — batch и stream — что позволяет объединять исторические данные и потоки в единой среде выполнения запросов. Система предоставляет собственный язык запросов и выражений, оптимизированный под аналитические операции и временные ряды, а также средства для распределённого выполнения вычислений и управления ресурсами кластера. DolphinDB реализует механизмы отказоустойчивости и репликации для обеспечения доступности данных и непрерывности обслуживания в распределённых развертываниях.
- Колонко-ориентированное хранение: оптимизация под аналитические запросы и агрегации по столбцам для ускорения сканирования и сжатия данных.
- Поддержка временных рядов: специализированные типы данных и функции для индексирования, выравнивания по времени, интерполяции и агрегации временных рядов.
- Гибридная обработка batch и stream: единая платформа для обработки исторических данных и непрерывных потоков в реальном времени.
- Распределённая архитектура: шардинг, параллельное выполнение запросов и масштабирование горизонтально для работы с большими кластерами.
- Язык запросов и API: встроенный язык для аналитики и программируемые интерфейсы для интеграции с внешними приложениями и инструментами.
- Оптимизация вычислений: планировщик запросов, векторизованные операции и оптимизации, ориентированные на уменьшение ввода-вывода и использования памяти.
- Репликация и отказоустойчивость: механизмы резервного копирования, репликации данных и восстановления для обеспечения доступности сервисов.
- Встроенные аналитические функции: богатый набор агрегатных, статистических и временных функций для сложной аналитики без необходимости внешней обработки.
- Интеграция и экосистема: возможности подключения к системам сбора данных, внешним хранилищам и инструментам визуализации через API и адаптеры.
- Управление ресурсами: средства мониторинга и управления кластером для балансировки нагрузки и контроля производительности.