PolyCoder — это открытая модель генерации исходного кода, основанная на архитектуре GPT-2, разработанная исследователями из Университета Карнеги-Меллона, включая Винсента Хеллендорна. Модель была обучена на 249 ГБ исходного кода, охватывающего 12 языков программирования, с целью создания доступного инструмента для синтеза программного кода и исследований в области моделей кода.

PolyCoder представляет собой трансформер с 2,7 миллиарда параметров, обученный на одном сервере с использованием архитектуры GPT-2. В отличие от коммерческих решений, таких как Codex от OpenAI, PolyCoder является полностью открытым и доступным для исследователей и разработчиков, что способствует развитию открытых технологий в области искусственного интеллекта.

• Многоязычность: обучен на коде из 12 языков программирования, включая C, JavaScript, Rust, Scala и TypeScript.
• Открытость: исходный код, веса модели и скрипты обучения доступны под лицензией MIT, что позволяет проводить собственные исследования и дообучение модели.
• Сравнительные преимущества: в тестах на генерацию функций на языке C PolyCoder показал лучшие результаты, чем Codex, несмотря на меньший размер модели.
• Гибкость: доступна в трех вариантах по числу параметров — 160M, 405M и 2.7B, что позволяет выбирать модель в зависимости от ресурсов.
• Прозрачность: предоставлены все необходимые компоненты для воспроизведения и анализа результатов, включая токенизатор и индексы данных.