II.2Создание и понимание программного кода

Airoboros 33B GPT-4 1.2 — плотная авторегрессионная языковая модель семейства LLaMA с 32,3 млрд параметров, дообученная Джоном Дёрбином методом QLoRA на синтетических инструкционных данных, созданных GPT-4. Версия 1.2 расширяет набор данных версии 1.1 и добавляет примеры, позволяющие запрашивать код в простом формате без Markdown-обрамления. Модель предназначена для диалоговых инструкций, генерации кода, математических задач и рассуждений, викторин, ролевого общения, вопросов с выбором ответа и ответов по заданному контексту. Обучающий набор также включает задания на понимание намерений и общие темы. Модель принимает текстовые запросы и генерирует текст; карточка описывает шаблон чата с ролями USER и ASSISTANT. Родной контекст составляет 2048 токенов. Модель ориентирована на широкий круг текстовых задач и включает примеры кода для разных языков программирования и библиотек. Автор отмечает, что режим PLAINFORMAT работает не всегда. Это ранняя версия модели, выпущенная в 2023 году; её лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

airoboros-65b-gpt4-m2.0 — плотная авторегрессионная модель семейства LLaMA на 65 млрд параметров, разработанная Jon Durbin и дообученная для следования инструкциям на синтетических данных Airoboros. Версия m2.0 объединяет данные набора 1.4.1 без дубликатов и категории system с данными GPT-4, созданными на основе версии от июня 2023 года; исходная серия также включала данные GPT-4 от марта 2023 года. Модель предназначена для диалога и генерации текста по инструкциям: ответов на вопросы по предоставленному контексту, помощи с программированием, планирования шагов для задач с инструментами и генерации аргументов функций в JSON или YAML. Для общения используется текстовый шаблон с ролями USER и ASSISTANT. Контекст составляет 2048 токенов. Модель обучена с QLoRA; README отмечает, что варианты 65B основаны на оригинальной LLaMA, а не Llama 2. Карточка описывает модель как дающую подробные ответы, ориентированную на использование контекста в закрытых вопросах и включающую примеры планирования и вызова функций. Возможны галлюцинации, особенно если запрос не содержит достаточных сведений; для вопросов по контексту автор рекомендует явно просить не придумывать ответ. Модель выпускается по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и ограничивающей коммерческое применение.

AlchemistCoder-L-7B — языковая модель для генерации кода из семейства Llama, представленная авторами исследования AlchemistCoder. Модель дообучена на разнородных источниках данных: авторы описывают 200 млн токенов шести типов данных, согласование инструкций с ответами с помощью AlchemistPrompts и включение задач на понимание кода, фильтрацию данных и ревью кода. Модель предназначена для генерации кода по инструкциям и улучшения работы с задачами программирования. Также авторы сообщают об оценке общих возможностей на MMLU, BBH и GSM8K. Размер по метаданным — 6,6 млрд параметров, контекст — до 16 384 токенов; архитектура — плотная LlamaForCausalLM. Репозиторий содержит веса в формате safetensors. Модель выпущена под лицензией Apache-2.0. README сообщает о результатах на кодовых бенчмарках, но не приводит подробностей по поддерживаемым языкам программирования, отдельным языкам общения или практическим ограничениям качества.

all-MiniLM-L6-v2-code-search-512 — компактная модель Sentence Transformers, дообученная для семантического поиска по коду. Она преобразует текстовые запросы на естественном языке и фрагменты исходного кода в векторы общего пространства, чтобы находить подходящие участки кода, сопоставлять код с документацией и сравнивать фрагменты. Модель разработана автором репозитория isuruwijesiri на основе sentence-transformers/all-MiniLM-L6-v2 и обучена на парах кода и документации из CodeSearchNet. Это плотный энкодер архитектуры BERT с 25,9 млн параметров по метаданным. Максимальная длина входа — 512 токенов; поддерживаются запросы на естественном языке и код на Python, Java, JavaScript, PHP, Ruby, Go и других языках из CodeSearchNet. В README для валидационной выборки CodeSearchNet заявлены Accuracy@1 90,3% и MRR@10 0,9259. Модель подходит для поиска кода, поиска по документации, сопоставления запросов и фрагментов кода, а также кластеризации по сходству. Она предназначена для получения эмбеддингов и оценки семантического сходства, а не для генерации или автодополнения кода; входы длиннее 512 токенов обрезаются, а качество может различаться между языками программирования. Лицензия — Apache-2.0.

Jebadiah/Aria-ruby-v4-e — созданная с помощью mergekit слитая языковая модель на архитектуре Mistral с 7,1 млрд параметров. В README описано объединение Aria-ruby-v3 и Tess-coder-ruby-p7 методом DARE TIES; библиотека загрузки — Transformers, веса представлены в формате safetensors. Модель предназначена для генерации текста и кода, в том числе Ruby, и может использоваться в диалоговых сценариях. Заявленная длина контекста составляет 32 768 токенов. Лицензия в предоставленных данных не указана.

Athena-1 3B — дообученная языковая модель для следования инструкциям, созданная на базе Qwen/Qwen2.5-3B-Instruct. Модель разработана для диалогов и генерации текста в компактных приложениях; она имеет архитектуру Qwen2 с 3,1 млрд параметров и поддерживает контекст до 32 768 токенов, а длина генерируемого ответа может достигать 8 000 токенов. Модель предназначена для создания чат-ботов, генерации и объяснения кода, решения математических задач, анализа документов и работы со структурированными данными, включая JSON и таблицы. README заявляет поддержку более 29 языков, в том числе английского, русского, китайского, французского, испанского, немецкого и японского; метаданные карточки отдельно подтверждают английский язык. Модель работает с текстом и может выдавать структурированные текстовые ответы. Это компактная модель для сценариев, где важны скорость и умеренные вычислительные ресурсы. Указанная лицензия — other; конкретные условия лицензии в предоставленных данных не раскрыты.

AutoCoder_S_6.7B — модель генерации кода из семейства Llama, представленная как версия AutoCoder размером 6,7 млрд параметров. Она предназначена для генерации кода и диалогового взаимодействия; проект AutoCoder также описывает возможность устанавливать нужные пакеты и запускать сгенерированный код по запросу пользователя. В карточке базовой моделью названа DeepSeek-Coder, но её идентификатор на Hugging Face не указан. Контекст модели составляет 16 384 токена. Модель может быть полезна для написания и запуска фрагментов кода. README приводит результаты HumanEval выше GPT-4 Turbo для версии AutoCoder на 33 млрд параметров; эти показатели не относятся напрямую к версии 6,7 млрд параметров. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

AxeronAI/axeron-forge-9fe917b4 — языковая модель, созданная методом слияния TIES из Qwen/Qwen2.5-3B и Qwen/Qwen2.5-Coder-3B-Instruct с помощью forgelm. Модель семейства Qwen2 имеет плотную архитектуру Qwen2ForCausalLM, около 3,1 млрд параметров и контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Модель предназначена для генерации текста в диалоге, включая задачи генерации, анализа и исправления кода по текстовым запросам. Метаданные отмечают поддержку чата и интерфейса вызова инструментов. Карточка не приводит результаты оценивания, поэтому качество для конкретных языков и задач следует проверять отдельно. Сведения о лицензии в предоставленных источниках отсутствуют.

jondurbin/bagel-dpo-7b-v0.5 — диалоговая модель, разработанная Jondurbin как дообучение Mistral-7B-v0.2 на наборе Bagel v0.5 с дополнительным этапом DPO. Она предназначена для генерации ответов в чате и широкого круга инструкционных задач: ответов на вопросы, рассуждений, суммаризации, написания текстов, программирования, математики и вызова функций. В обучающие данные также включены примеры ролевого диалога, чтения с пониманием и работы с контекстом. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README описана вариативная разметка запросов с форматами Vicuna, Llama 2, Alpaca и модифицированным ChatML; шаблон по умолчанию — Llama 2. Многоязычные примеры присутствуют в обучающих данных, но основной язык модели не выделен. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Карточка сообщает, что использованы только обучающие части наборов данных, а также предупреждает о токсичном и потенциально незаконном содержимом в одной из составляющих DPO-данных; ответы и безопасность следует проверять, особенно для пользовательских и чувствительных сценариев.

Bash Copilot — языковая модель rabbitcat, дообученная на базе Yi-1.5-6B для преобразования описаний на естественном языке в команды Bash и shell-скрипты. Она поддерживает многошаговый диалог на английском и китайском языках: позволяет ссылаться на сущности из предыдущих реплик и постепенно уточнять или дополнять код. Модель семейства Llama с плотной архитектурой, около 5,8 млрд параметров, принимает текст и генерирует текст; длина контекста — 4096 токенов. Для обучения использован корпус из 21 тысячи многошаговых диалогов, собранных из популярных репозиториев GitHub. Лицензия — MIT. Примеры показывают генерацию команд для работы с файлами, JSON и циклами оболочки.

Карточка модели TOTORONG/Bethesda_John5 на Hugging Face совпадает с карточкой Qwen/Qwen3.8-27B, поэтому описание составлено по ней. Qwen3.8-27B — плотная мультимодальная модель семейства Qwen от команды Qwen. Это постобученная причинная языковая модель с визуальным энкодером, содержащая 27 млрд параметров и построенная на архитектурной основе Qwen3.5. Репозиторий включает веса и конфигурацию в формате Hugging Face Transformers; модель также совместима с vLLM, SGLang и другими средами инференса. Лицензия — Apache-2.0. Модель предназначена для диалогов, программирования, профессиональных и исследовательских задач, а также многошаговых агентных сценариев. Она принимает текст, изображения и видео и умеет разбирать документы, диаграммы и длительные видеоматериалы. Режим рассуждения включён по умолчанию, его можно отключить для отдельного запроса, а глубину настраивать параметром reasoning_effort. Контекст составляет 262 144 токена и может расширяться до 1 000 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN-блоки; предусмотрено обучение с Multi-Token Prediction. В карточке заявлены улучшения планирования и выполнения задач с учётом обратной связи среды, однако приведённые описания бенчмарков сами по себе не гарантируют качество в конкретном применении. Модель ориентирована на применение и распространяется по лицензии Apache-2.0.

C4AI Command R7B 12-2024 — авторегрессионная языковая модель семейства Cohere2, разработанная Cohere и Cohere For AI. В карточке заявлены 7 млрд параметров, а метаданные указывают 8 млрд; модель использует архитектуру Transformer с чередованием слоёв скользящего и глобального внимания. Метаданные указывают контекст 8192 токена, тогда как README заявляет 128K, поэтому фактическую длину контекста следует проверять для используемой конфигурации. Модель предназначена для диалогов и инструктивных задач: ответов на вопросы, суммаризации, рассуждений, перевода, категоризации и генерации кода. Она обучена для сценариев RAG и использования инструментов, включая многошаговое взаимодействие с ними. Поддерживает текст на 23 языках, среди которых русский и английский; принимает и генерирует только текст. Весам требуется Transformers с поддержкой этой модели. Лицензия CC-BY-NC-4.0, также необходимо соблюдать политику допустимого использования Cohere AI. README описывает выпуск как исследовательский и приводит оценки на бенчмарках; качество в конкретных задачах следует проверять отдельно.

Calcium-Opus-14B-Elite — диалоговая языковая модель prithivMLmods, дообученная на базе Qwen/Qwen2.5-14B-Instruct. Это плотная архитектура Qwen2 с 14 млрд параметров, рассчитанная на генерацию текста, следование инструкциям и многошаговые рассуждения, включая решение математических задач и работу с кодом. Модель принимает текст и выдаёт текст; заявлена поддержка контекста до 131 072 токенов и генерации ответов длиной до 8 000 токенов. В README заявлена поддержка более 29 языков, в том числе английского, русского, китайского, французского, испанского, немецкого, японского и арабского. Карточка описывает улучшенное следование инструкциям, анализ таблиц и JSON, а также генерацию структурированных ответов. Модель доступна в формате Safetensors и использует библиотеку Transformers. Модель подходит для диалоговых помощников, объяснения решений, математических задач, генерации и отладки кода, а также обработки структурированных данных. Качество может различаться между языками; длинные ответы могут содержать ошибки или повторы, а актуальность знаний ограничена данными обучения. В README также отмечены высокие требования к вычислительным ресурсам, особенно при длинном контексте. Лицензия — Apache-2.0.

Calcium-Opus-14B-Elite2-R1 — плотная языковая модель семейства Qwen2, разработанная PrithivMLmods и дообученная на синтетических данных на основе DeepSeek R1 для усиления рассуждений. Модель содержит 14 млрд параметров, принимает текст и предназначена для генерации ответов, следования инструкциям и многошагового решения задач. Метаданные указывают контекст до 131 072 токенов; карточка заявляет поддержку до 128K токенов и генерацию ответов до 8K токенов. Модель рассчитана на логические и математические задачи, программирование, работу со структурированными данными, создание длинных текстов и многоязычные диалоги. Карточка заявляет поддержку более 29 языков, а метаданные явно отмечают английский. Лицензия — Apache 2.0. Для эффективного вывода нужны значительные вычислительные ресурсы; качество может различаться между языками, длинные ответы могут содержать несогласованности, а знания ограничены данными обучения и могут быть неактуальными.

Calcium-Opus-14B-Elite4 — диалоговая языковая модель на архитектуре Qwen2, дообученная prithivMLmods на базе Qwen/Qwen2.5-14B-Instruct. Она предназначена для генерации текста с акцентом на многошаговые рассуждения, решение математических задач и работу с кодом. Модель поддерживает инструкции, длинные ответы, таблицы и структурированный вывод, включая JSON; заявленная длина контекста составляет 131 072 токена, а генерация — до 8 000 токенов за ответ. Карточка заявляет поддержку более 29 языков, в том числе русского и английского. Модель подходит для чат-ботов, объяснений, анализа структурированных данных, написания и отладки кода, а также создания длинных материалов. В репозитории указаны веса Safetensors и библиотека Transformers; лицензия — Apache-2.0. Качество может различаться между языками; возможны повторы и ошибки в длинных ответах, а знания о текущих событиях ограничены данными обучения. Для запуска 14-миллиардной модели с длинным контекстом требуются значительные вычислительные ресурсы. README противоречиво указывает размер модели как 20B в разделе ограничений, тогда как метаданные и название указывают 14B.

Chat2DB-SQL-7B — языковая модель проекта Chat2DB для преобразования запросов на естественном языке в SQL. Она основана на CodeLlama и дообучена для генерации SQL; архитектура — плотная Llama, размер — около 6,6 млрд параметров. Модель работает с контекстом до 16 384 токенов и поддерживает несколько диалектов, включая MySQL, PostgreSQL и SQLite. Модель подходит для подготовки SQL по текстовому описанию запроса, в том числе с использованием функций и типовых конструкций SQL. В README приведены результаты оценки на Spider для обобщённого SQL, однако гарантии точности для производственного применения нет. Лучше всего модель настроена на MySQL, PostgreSQL и обобщённый SQL; в других диалектах возможны ошибки, особенно в специфичных функциях дат и строк. Лицензия — Apache-2.0.

Claude Fable 5.1 — модель Anthropic, представленная как улучшенная версия Claude Fable 5. По карточке, она ориентирована на агентное программирование, длительные агентные процессы и интеллектуальную работу, включая крупные рефакторинги кода и задачи с визуальным интерфейсом. Карточка отмечает улучшения по сравнению с предыдущей версией, особенно в агентном кодировании и продолжительных рабочих сценариях. Данных об архитектуре, размере, поддерживаемых языках, контексте и лицензии в доступных материалах нет.

Claude Sonnet 4 — модель Anthropic, представленная как развитие Sonnet 3.7. Она предназначена для задач программирования и рассуждений; в карточке отмечены улучшенные точность и управляемость, а также результат 72,7% на SWE-bench. Метаданные каталога относят модель к задаче image-text-to-text, однако доступные материалы не описывают её архитектуру, размер, модальности, языки или длину контекста.

claude-yolo-vibes-v4 — промежуточный чекпойнт supervised fine-tuning модели Qwen2.5-Coder-7B-Instruct, разработанный davidnichols-ops. Модель предназначена для генерации кода в диалоговом формате и добавляет к базовой модели индивидуальный стиль общения. Это этап до DPO-выравнивания; автор указывает, что итоговая DPO-версия предназначена для использования в производстве. Модель имеет плотную архитектуру Qwen2 с 7,1 млрд параметров, принимает текст и выдаёт текст. Контекстное окно — 32 768 токенов; в метаданных указан английский язык. Автор сообщает результат 88,4% pass@1 на HumanEval как для базовой модели, так и для этого SFT-чекпойнта, однако это значение приведено в README и не сопровождается описанием методики оценки. Модель распространяется в формате safetensors по лицензии Apache-2.0.

CobrIX-1.0-Coder-Flash-33B-A13B — диалоговая языковая модель CobrIX на архитектуре Qwen 3.5 MoE, собранная на основе empero-ai/Qwythos-9B-v2 и пяти дообученных экспертов Qwen 3.5. По README, в модели 33 млрд параметров, из которых активно 13 млрд на токен; метаданные указывают 7,2 млрд параметров. Заявленное нативное окно контекста — 1 048 576 токенов. Модель предназначена для генерации кода и диалогов; метаданные подтверждают задачу text-generation и возможность чата. В MoE-блоках используется маршрутизация top-2 к пяти экспертам и общий эксперт. Указана лицензия MIT. README описывает проект как ранний доступ, а размещённая модель — как экспериментальную сборку.

GPT2 for Code AutoComplete — модель на базе GPT-2, опубликованная shibing624 для автодополнения кода на Python. Она предназначена для продолжения введённого кода и генерации недостающих строк или блоков в редакторе через плагин code-autocomplete. Модель использует архитектуру GPT-2 с авторегрессионной генерацией текста и доступна в форматах PyTorch и Safetensors. Размер контекста — 1024 токена. В карточке указана поддержка английского языка; модель ориентирована на код Python. Лицензия — Apache-2.0. Подходит для подсказок кода и ускорения его набора, но карточка не приводит оценок качества или подробных сведений о данных обучения. Результаты следует проверять: генерируемый код может быть ошибочным или небезопасным.

Карточка модели sh2nd/codegemma-1.1-2b-fix на Hugging Face совпадает с карточкой google/codegemma-1.1-2b, поэтому описание составлено по ней. CodeGemma 1.1 2B — компактная языковая модель для работы с кодом, разработанная Google на основе Gemma. Это предварительно обученная декодерная модель с 2 млрд параметров, предназначенная прежде всего для быстрого автодополнения кода. Она поддерживает заполнение пропусков между префиксом и суффиксом (fill-in-the-middle) в редакторе кода; на вход также можно подавать текстовые подсказки, а на выходе получать код или текст. Модель обучалась на дополнительных данных, преимущественно на английском языке: коде из открытых репозиториев, математических наборах данных и синтетически созданном коде. Модель подходит для интеграции в IDE и помощи при написании кода. Карточка описывает CodeGemma 2B как вариант для автодополнения, а не для чата или генерации кода по естественно-языковому запросу; эти сценарии в таблице отнесены к другим вариантам семейства. Для скачивания доступны веса в формате Safetensors, библиотека — Transformers. Лицензия — Gemma, использование регулируется условиями Google для Gemma. Как и другие большие языковые модели, CodeGemma может выдавать неверный или неподходящий код; результат следует проверять. В карточке также отмечено, что ограничения наследуются от семейства Gemma.

TechxGenus/CodeGemma-2b — языковая модель для генерации кода, созданная дообучением Gemma-2b на 0,7 млрд дополнительных токенов с кодом в течение трёх эпох. Это плотная авторегрессионная модель семейства Gemma с 2,5 млрд параметров, рассчитанная на контекст до 8192 токенов; для запуска карточка предлагает библиотеку Transformers и формат safetensors. Модель принимает инструкции в формате Alpaca без системного промпта и генерирует текст, в том числе программный код. По README, результат HumanEval-Python составляет 54,9 pass@1. Подходит для генерации фрагментов кода и помощи с задачами программирования, однако может ошибаться и хуже справляться с задачами вне программирования; тестирование было ограниченным. Лицензия в метаданных обозначена как other, поэтому условия следует уточнить в репозитории модели.

Карточка модели unsloth/codegemma-7b на Hugging Face совпадает с карточкой unsloth/codegemma-7b-it, поэтому описание составлено по ней. unsloth/codegemma-7b-it — разговорная версия CodeGemma от Google, представленная Unsloth в виде модели для генерации текста. Репозиторий содержит плотную авторегрессионную модель Gemma с 8,2 млрд параметров, рассчитанную на диалог и дополнение текста; максимальный контекст составляет 8192 токена. В метаданных указана поддержка английского языка и формат safetensors. Модель подходит для диалоговых приложений и генерации продолжений текста, в частности в сценариях, связанных с кодом, для которых предназначено семейство CodeGemma. Карточка Unsloth описывает ноутбуки для дообучения Gemma и форматы шаблонов ChatML и Vicuna, но не приводит результатов оценки качества именно этого чекпойнта. Модель распространяется по лицензии Apache-2.0.

unsloth/codegemma-7b-it — разговорная версия CodeGemma от Google, представленная Unsloth в виде модели для генерации текста. Репозиторий содержит плотную авторегрессионную модель Gemma с 8,2 млрд параметров, рассчитанную на диалог и дополнение текста; максимальный контекст составляет 8192 токена. В метаданных указана поддержка английского языка и формат safetensors. Модель подходит для диалоговых приложений и генерации продолжений текста, в частности в сценариях, связанных с кодом, для которых предназначено семейство CodeGemma. Карточка Unsloth описывает ноутбуки для дообучения Gemma и форматы шаблонов ChatML и Vicuna, но не приводит результатов оценки качества именно этого чекпойнта. Модель распространяется по лицензии Apache-2.0.

Salesforce CodeGen-Multi 16B — авторегрессионная плотная языковая модель для генерации программного кода. Вариант Multi инициализирован на CodeGen-NL 16B и дополнительно предобучен на корпусе BigQuery из 119,2 млрд токенов кода из GitHub. В модели 16 млрд параметров; архитектура CodeGenForCausalLM, формат PyTorch, контекст — 2048 токенов. Модель предназначена прежде всего для синтеза кода по инструкциям на английском языке, заданным в виде комментариев, и продолжения частично написанного кода. В обучающих данных представлены C, C++, Go, Java, JavaScript и Python. Она также может извлекать признаки из текста и оценивать его правдоподобие, но не предназначена для всех последующих сценариев без отдельной оценки качества и рисков. Модель выпущена Salesforce для исследовательского использования в рамках академической работы. Лицензия — BSD-3-Clause. Возможны ошибки в генерируемом коде; авторы рекомендуют проверять точность, безопасность и справедливость перед внедрением.

Salesforce CodeGen-Multi 2B — авторегрессионная плотная языковая модель для синтеза программного кода. Чекпойнт содержит 2 млрд обучаемых параметров и создан на архитектуре CodeGenForCausalLM; для работы использует библиотеку Transformers и формат PyTorch. Вариант Multi сначала инициализировали из CodeGen-NL 2B, затем дополнительно обучили на 119,2 млрд токенов из набора BigQuery с кодом из GitHub на C, C++, Go, Java, JavaScript и Python. Модель предназначена прежде всего для генерации исполняемого кода по подсказкам на английском языке, обычно оформленным как комментарий, а также для продолжения частично написанного кода. Она принимает текстовые подсказки и выдаёт текст, включая код; максимальная длина контекста составляет 2048 токенов. Модель обучена на нескольких языках программирования, но README не заявляет поддержку русского языка как языка естественных запросов. Модель оценивали на HumanEval и MTPB. Это выпуск для исследовательского применения; точность, безопасность и справедливость не оценивались для всех возможных сценариев, поэтому сгенерированный код следует проверять. Лицензия — BSD 3-Clause.

CodeGen-Multi 350M — авторегрессионная языковая модель для генерации программного кода, разработанная Salesforce. Модель содержит 350 млн обучаемых параметров и построена на архитектуре CodeGenForCausalLM; доступна в формате PyTorch. Контекст модели — 2048 токенов. Модель дообучена в два этапа: сначала на CodeGen-NL 350M, затем предварительно обучена на массиве BigQuery с кодом из GitHub. Она предназначена прежде всего для генерации исполняемого кода по англоязычным подсказкам в виде комментариев и продолжения частично написанного кода. В обучающих данных представлены C, C++, Go, Java, JavaScript и Python; модель также обрабатывает текст на естественном языке. Salesforce выпустила модель для исследовательских целей в поддержку академической работы. Качество и безопасность для конкретных применений не гарантированы: ответы могут содержать ошибки, поэтому сгенерированный код следует проверять. Лицензия — BSD 3-Clause.

Salesforce CodeGen-NL 6B — авторегрессионная языковая модель для синтеза программного кода. Это вариант семейства CodeGen с плотной архитектурой CodeGenForCausalLM и примерно 6 млрд обучаемых параметров; модель опубликована Salesforce в рамках исследования о диалоговом подходе к синтезу программ. Она предварительно обучена на корпусе The Pile, содержащем в том числе данные с кодом, и принимает текстовые запросы с инструкциями на естественном языке или незавершённый код. Основное применение — генерация исполняемого кода по англоязычному описанию, желательно оформленному как комментарий, а также продолжение фрагментов программы. Контекст составляет 2048 токенов. Модель может извлекать признаки из текста на естественном языке и языках программирования и оценивать их правдоподобие; качество и безопасность результата необходимо проверять перед использованием. Модель выпущена для исследовательских целей и не оценивалась для всех практических сценариев. Лицензия — BSD 3-Clause.

CodeGPT-small-java — авторегрессионная языковая модель Microsoft на архитектуре GPT-2, обученная работать с кодом Java. Она предназначена для продолжения фрагментов кода и генерации кода по текстовому описанию; модель доступна для генерации текста через Transformers. Контекстное окно — 1024 токена. Модель принимает текстовый ввод и генерирует текст, включая исходный код Java. Карточка Hugging Face не содержит подробных сведений о лицензии и оценках качества.