Amazon SageMaker — это полностью управляемый сервис облачной платформы, разработанный для упрощения создания, обучения и развёртывания моделей машинного обучения. Сервис предоставляет инструменты и инфраструктуру для подготовки данных, экспериментов с моделями, автоматизированного подбора и обучения, а также для хостинга моделей в продуктивной среде. Основная цель SageMaker — сократить операционные и инфраструктурные сложности, связанные с жизненным циклом разработки ML, и обеспечить интеграцию с другими сервисами облачной платформы для хранения данных и оркестрации вычислений.
Исторически SageMaker был представлен как средство, позволяющее разработчикам, дата-сайентистам и инженерам ML работать в единой среде с преднастроенными контейнерами, библиотеками и шаблонами. С течением времени в сервис были добавлены функции для автоматизированного машинного обучения (AutoML), инструментов для экспериментов и отслеживания версий моделей, возможностей для настройки подсказок и интеграции с инфраструктурой для распределённого обучения. SageMaker поддерживает как обучаемые фреймворки с открытым исходным кодом, так и возможность развёртывания собственных пользовательских контейнеров.
- Подготовка данных: инструменты для загрузки, очистки и трансформации данных, включая встроенные возможности для обработки больших объёмов и интеграцию с хранилищами данных.
- AutoML (Autopilot): автоматизированный поток для выбора модели и гиперпараметров на основе входных данных и целевой метрики.
- Среда разработки: управляемые экземпляры ноутбуков и интеграция с популярными библиотеками, позволяющие исследовать данные и прототипировать модели.
- Обучение и эксперименты: запуск распределённого обучения, отслеживание экспериментов, контроль версий и управление ресурсами вычислений.
- Оптимизация моделей: инструменты для оптимизации производительности и стоимости, включая компиляцию моделей и профилирование нагрузки.
- Хостинг и развёртывание: возможности развёртывания моделей в масштабируемые конечные точки для онлайн-инференса и пакетной обработки для офлайн-прогнозирования.
- Управление подсказками и генеративными моделями: средства для работы с подсказками, потоками запросов и интеграцией современных моделей для задач генерации контента.
- Безопасность и управление доступом: интеграция с механиками управления доступом, шифрованием данных и средствами аудита.
- Мониторинг и обслуживание: мониторинг производительности моделей в продакшне, детекция дрейфта и механизмы обновления моделей.