Llama — семейство больших языковых моделей, разработанных подразделением Meta AI. Модели этого семейства представляют собой трансформерные нейронные сети, обученные на больших корпусах текстовых данных для решения задач генерации и понимания естественного языка. Llama разрабатывались с целью предоставить исследователям и разработчикам гибкие и масштабируемые модели, пригодные как для базовой научной работы, так и для практических приложений в виде специализированных или инструкционно-дозированных версий.
История развития Llama включает последовательные релизы, в которых сочетались улучшения архитектуры, масштабирования параметров и методов предобучения. В зависимости от релиза модели различались по размеру, требованиям к вычислительным ресурсам и качеству генерации. В ряде версий производитель также выпускал модификации и инструкции по использованию модели в составе систем-ассистентов с дополнительной настройкой поведения и безопасности. Информация о конкретных датах релизов и подробностях обучения может варьироваться и частично документирована в открытых источниках.
- Архитектура: трансформерная модель с механизмом самовнимания, адаптированная для масштабного предобучения на неструктурированных текстовых корпусах.
- Масштабируемость: выпускаются модели разных размеров, позволяющие выбирать компромисс между качеством и требованиями по вычислениям и памяти.
- Применение: генерация текста, ответ на вопросы, суммаризация, классификация и другие задачи обработки естественного языка.
- Настраиваемость: поддержка дообучения и инструкционной дозировки для адаптации поведения под прикладные сценарии и интерактивные ассистенты.
- Совместимость: интеграция в исследовательские и прикладные пайплайны машинного обучения с использованием стандартных фреймворков для нейросетей.
- Ограничения: модели наследуют общие для больших языковых моделей риски, включая возможность генерации неточной, несогласованной или нежелательной информации, а также зависимость от качества и состава тренировочных данных.
- Документация и доступ: техническая документация и условия использования зависят от релиза; часть материалов и моделей была опубликована в открытом или полуоткрытом доступе для исследовательских целей.