SantaCoder — это модель генерации программного кода с 1,1 миллиарда параметров, разработанная в рамках проекта BigCode. Она обучена на подмножестве репозиториев GitHub, включающем код на языках Python, Java и JavaScript из набора данных The Stack v1.1. Основной особенностью SantaCoder является использование механизма Multi Query Attention (MQA) и контекстного окна размером 2048 токенов, что позволяет эффективно обрабатывать длинные фрагменты кода. Модель обучалась с использованием задачи Fill-in-the-Middle, что способствует улучшению качества дополнения и завершения фрагментов кода.
Проект BigCode, в который входит SantaCoder, является инициативой, направленной на создание открытых и этичных моделей для синтеза программного кода. В процессе обучения особое внимание уделялось фильтрации данных, включая удаление дублирующихся фрагментов и соблюдение соотношения комментариев и кода, что способствует улучшению качества обучающего материала. Модель была обучена на 236 миллиардов токенов, что составляет около 268 ГБ исходного кода, и прошла 600 000 итераций обучения, что позволило достичь высокой производительности при сравнительно небольшом числе параметров.
- Генерация кода: Способность создавать фрагменты кода на языках Python, Java и JavaScript на основе предоставленных подсказок.
- Дополнение кода: Завершение незаконченных функций или методов, предоставленных в виде подписей или комментариев.
- Задача Fill-in-the-Middle: Обучение модели на задаче дополнения пропущенных частей кода, что улучшает её способность к контекстному дополнению.
- Механизм Multi Query Attention: Использование улучшенного механизма внимания для эффективной обработки длинных последовательностей кода.
- Фильтрация данных: Применение методов фильтрации, таких как удаление дублирующихся фрагментов и соблюдение соотношения комментариев и кода, для улучшения качества обучающего материала.
- Открытая лицензия: Модель выпущена под лицензией OpenRAIL, что способствует её свободному использованию и модификации в рамках соблюдения условий лицензии.