Apache Ignite — это распределённая платформа обработки данных с открытым исходным кодом, предназначенная для хранения и обработки больших объёмов данных в оперативной памяти и на диске. Проект сочетает в себе функциональность распределённой in-memory базы данных, кэширования и вычислительной сетевой среды, обеспечивая низкую задержку доступа к данным и масштабируемость за счёт горизонтального добавления узлов. Архитектура Ignite поддерживает как транзакционные, так и аналитические нагрузки, позволяя выполнять распределённые SQL-запросы, ключ-значение операции и вычисления на стороне данных.
Изначально разработанная для повышения производительности приложений за счёт размещения горячих данных в памяти, платформа развивалась в направлении универсальной системы управления данными и распределённых вычислений. Apache Ignite реализует репликацию и шардирование данных, механизмы согласованности и восстановления после сбоев, а также возможности интеграции с существующими хранилищами и потоками данных. Важной частью решения является модель данных, поддерживающая схемы для SQL и бинарные форматы, что облегчает интеграцию с приложениями и аналитическими инструментами.
- In-memory storage: хранение данных и индексов в оперативной памяти для обеспечения высокой производительности и малых задержек.
- Durable memory and persistence: опциональная постоянная прослойка, позволяющая сохранять состояние на диске и восстанавливать данные после перезапуска.
- Distributed SQL: поддержка стандартного SQL с возможностью выполнения распределённых запросов и транзакций ACID в пределах кластера.
- Key-value и объектная модель: доступ к данным через API ключ-значение и через структурированные схемы для SQL и ORM-подобных сценариев.
- Compute grid: распределённое выполнение вычислений на узлах кластера с перемещением кода к данным для снижения сетевой нагрузки.
- Data partitioning and replication: автоматическое шардирование данных по узлам и репликация для отказоустойчивости.
- Clustering and high availability: механизмы обнаружения узлов, пербалансировка данных и восстановление после сбоев.
- Integration and connectors: коннекторы для обмена данными с внешними хранилищами, очередями и аналитическими инструментами.
- Security features: контроль доступа, аутентификация и шифрование для защиты данных в кластере.
- Management and monitoring: средства управления, метрики и инструменты для наблюдаемости состояния кластера.