CodeSage — это семейство моделей эмбеддингов для исходного кода, разработанных Amazon для эффективного представления и обработки программного кода. Модели CodeSage используют архитектуру трансформера и предназначены для широкого спектра задач понимания исходного кода, таких как поиск кода, сопоставление фрагментов кода и генерация кода на основе естественного языка. Семейство включает три модели с различными размерами: CodeSage-Small (130 млн параметров), CodeSage-Base (356 млн параметров) и CodeSage-Large (1,3 млрд параметров). Эти модели обучены на большом наборе данных Stack, включающем девять популярных языков программирования: Python, Java, JavaScript, TypeScript, Go, PHP, Ruby, C и C#.

Модели CodeSage обучены с использованием двухступенчатой процедуры: на первом этапе применяется маскированное языковое моделирование (MLM) с дополнительной задачей декодирования идентификаторов, а на втором — контрастивное обучение на парных текстах и кодах. Это позволяет моделям эффективно захватывать семантические связи между кодом и его описанием на естественном языке. В обновлённой версии CodeSage-V2 улучшена производительность за счёт внедрения гибких размеров эмбеддингов и улучшения качества контрастивного обучения с использованием фильтрации данных для повышения точности поиска.

• Гибкость размеров эмбеддингов: поддержка различных размеров эмбеддингов, включая 1024, 2048 и другие, благодаря использованию Matryoshka Representation Learning.
• Многоязычная поддержка: обучение на девяти языках программирования, что обеспечивает универсальность модели для различных задач.
• Двухступенчатое обучение: сочетание маскированного языкового моделирования и контрастивного обучения на парных текстах и кодах для улучшения качества представлений.
• Поддержка задач поиска: эффективное выполнение задач поиска кода (Code2Code) и поиска кода по описанию на естественном языке (NL2Code).
• Доступность через Hugging Face: модели доступны для использования через платформу Hugging Face, что упрощает интеграцию в различные приложения.
• Открытая лицензия: модели распространяются под лицензией Apache 2.0, что способствует их широкому применению в научных и коммерческих проектах.