StreetLearn — это интерактивная среда для обучения агентов навигации, основанная на реальных панорамах Google Street View. Разработанная исследовательской группой DeepMind, она предоставляет платформу для обучения и оценки моделей, ориентированных на задачу визуальной навигации в городских условиях без использования карт. В отличие от традиционных симуляторов, StreetLearn использует реальные изображения, что позволяет моделям обучаться в условиях, приближенных к реальным.
Основной задачей StreetLearn является обучение агентов, способных ориентироваться в городских ландшафтах, используя только визуальные данные и минимальные текстовые инструкции. Это достигается через глубокое обучение с подкреплением, где агенты учат стратегии навигации, опираясь на визуальные ориентиры и ограниченную информацию о местоположении. Такой подход способствует развитию моделей, которые могут эффективно работать в сложных и динамичных реальных мирах.
- Использование реальных панорам Google Street View: набор включает около 143 000 панорам из Манхэттена и Питтсбурга, что обеспечивает разнообразие городских сцен и условий.
- Граф уличной связности: предоставляет информацию о взаимном расположении панорам, что позволяет моделям учитывать топологию городской среды при планировании маршрутов.
- Интеграция с задачами визуально-языковой навигации: в рамках проекта Touchdown добавлены текстовые инструкции, позволяющие моделям обучаться следовать указаниям на естественном языке.
- Поддержка задач с ограниченной видимостью: агенты обучаются ориентироваться в условиях частичной видимости, что имитирует реальные условия городской навигации.
- Открытый доступ для академического сообщества: набор доступен по запросу с лицензионным соглашением, что способствует его использованию в научных исследованиях и разработке новых методов в области ИИ.