II.2Создание и понимание программного кода

ahmedheakl/asm2asm-deepseek-1.3b-500k-4ep-x86-O0-arm-gnueabi-gcc — дообученная модель DeepSeek-Coder, разработанная ahmedheakl на основе deepseek-ai/deepseek-coder-1.3b-instruct. Название указывает на преобразование ассемблерного кода в ассемблерный для x86 с уровнем оптимизации O0 и целевой платформы ARM GNU EABI, однако README не описывает назначение и обучающие данные подробнее. Модель использует плотную архитектуру семейства Llama, содержит 1,3 млрд параметров, принимает текст и выдаёт текст; базовая модель поддерживает контекст до 16 384 токенов. В метаданных указаны Transformers и формат safetensors. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория.

formalmathatepfl выпустил модель grpo-classic-qwen3-cpt-lean-sft-reasoning — дообученную версию formalmathatepfl/qwen3-8b-classic-grpo, дополнительно обученную на наборе данных lean_reasoning_sft. Это плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров, предназначенная для генерации текста в диалоговом режиме. Её контекст составляет до 32 768 токенов. Модель можно применять для генерации ответов и рассуждений на основе текстовых запросов, в том числе для задач, связанных с Lean. Доступны веса в формате safetensors; лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели. README не содержит сведений о результатах оценки или подробных ограничениях; качество рассуждений и совместимость с конкретными сценариями Lean требуют отдельной проверки.

CoMem Qwen3-4B Regret-Gate Manager — экспериментальная модель на архитектуре Qwen3, разработанная для управления контекстом в задачах программирования. Она объединяет генератор сводок и селектор KEEP/SUM: генератор обучен создавать сводки с помощью GRPO, учитывая сохранение следующего действия по данным DeepSWE и ограничения длины контекста; селектор выбирает, оставить ли контекст или заменить его сводкой. Модель основана на YWBrandon/summary-sft-qwen3-4b, содержит 3,7 млрд параметров, принимает текст и поддерживает контекст до 262 144 токенов. Модель предназначена для экспериментов по управлению контекстом в SWE-bench и сценариях, где нужно сжимать историю взаимодействия, сохраняя информацию для следующего шага. Контрольный сигнал KEEP/SUM рассчитан на сравнение логитов этих двух вариантов или декодирование с ограничением; при свободной генерации одного токена модель может выдать третий токен. Полная проверка на SWE-bench Verified ещё не проведена. Лицензия в предоставленных данных не указана.

Delphi 9e19 — базовая предобученная языковая модель команды Marin из открытой серии экспериментов по законам масштабирования. Модель обучена по рецепту Delphi на вычислительном бюджете 9 × 10¹⁹ FLOPs и примерно 10,6 млрд токенов; в README указано 1,384 млрд параметров, тогда как метаданные каталога приводят 1,2 млрд. Это плотная авторегрессионная модель семейства Qwen3 с архитектурой Qwen3ForCausalLM; она принимает текст и генерирует текст, максимальный контекст — 4096 токенов. Чекпойнт предназначен для исследования масштабирования языковых моделей и для генерации текста на английском языке. Он обучен преимущественно на англоязычной смеси веб-данных, кода и математических материалов. Это базовая модель без дообучения на инструкциях, RLHF и выравнивания безопасности, поэтому она не настроена на диалоговые инструкции и может выдавать неподходящий или небезопасный текст. README описывает её как исследовательский артефакт, а не производственную модель. Веса опубликованы в формате safetensors; лицензия — Apache-2.0. Для сценариев с интенсивным инференсом авторы отмечают, что модель, обученная с избытком токенов при меньшем размере, может быть предпочтительнее. Чекпойнт является частью более крупной серии Delphi, предназначенной для изучения вычислительно-оптимального обучения и прогнозирования качества более крупных моделей.

DR.Kernel-14B — дообученная HKUST-NLP языковая модель для генерации и оптимизации GPU-ядер, особенно на Triton, в рамках DR.Kernel. Она основана на Qwen3-14B и использует архитектуру Qwen3ForCausalLM: плотная модель примерно на 14,8 млрд параметров с контекстом до 32 768 токенов и весами BF16. Модель принимает описание задачи с эталонной реализацией PyTorch и генерирует оптимизированную реализацию ModelNew. Обучение включает этап SFT на траекториях генерации и уточнения ядер, а затем многошаговое обучение с подкреплением. При оптимизации предполагается получать обратную связь о компиляции, корректности и производительности из среды KernelGYM, поэтому модель рассчитана на итеративную работу агента, а не только на однократную генерацию кода. Основные сценарии — исследование генерации ядер и бенчмаркинг, а также оптимизация Triton-кода. Модель не предназначена для универсальной помощи в программировании, если отсутствует оценка ядер с выполнением. Сгенерированный код требует проверки перед применением, особенно в критически важных системах. Лицензия в предоставленной карточке не описана.

GRPO-Think-1.5B-4k — языковой кодовый верификатор проекта Aletheia-Bench, разработанный для проверки и ранжирования нескольких решений одной задачи по спортивному программированию. Модель дообучена методом GRPO на DeepSeek-R1-Distill-Qwen-1.5B и использует промежуточные рассуждения; суффикс 4k обозначает максимальный бюджет генерации токенов рассуждения при обучении. Архитектура — плотная Qwen2ForCausalLM с 1,5 млрд параметров; модель принимает текст задачи и варианты кода, а генерирует текстовую оценку и ранжирование. Модель предназначена для выбора правильного решения среди кандидатов, автоматизированной оценки кода и использования в качестве функции вознаграждения при оптимизации моделей генерации кода. Обучающие данные Aletheia-Train содержат задачи и варианты на Python, C++ и Java. В метаданных указан контекст 131072 токена. Репозиторий содержит веса в формате safetensors и распространяется по лицензии CC BY-NC-SA 4.0. Ограничения: область проверки ориентирована на задачи спортивного программирования и сравнение предложенных решений; README отсылает к репозиторию проекта за точным форматом запросов. Лицензия запрещает коммерческое использование.

Kenga — русскоязычная чат-модель GermannM для коротких прямых ответов и диалога. Это плотная авторегрессионная модель семейства Qwen2 с 1,5 млрд параметров и контекстом до 32 768 токенов; модель дообучена методом QLoRA на 660 диалогах. В корпусе представлены сведения об идентичности Kenga, языке программирования Kenga, Z-системе, русской грамматике, общих знаниях и ценностях автора. Модель предназначена для общения на русском языке, ответов о Kenga и связанных проектах, а также для помощи с программированием на языке Kenga. Заявлена работа на CPU без обязательного квантования; поддерживается также английский язык. Разработчик — Герман Янтарас (GermannM). Лицензия репозитория — Apache-2.0. Знания ограничены обучающим корпусом, а модель оптимизирована прежде всего для русского языка. Её ответы могут отражать заданные при обучении патриотические и традиционные ценности; модель не заменяет профессиональную медицинскую или юридическую консультацию.

YuxuanGong/lean-RAG — дообученная Yuxuan Gong модель BGE-M3 для поиска объявлений Mathlib4 в задачах формализации доказательств на Lean 4. Она кодирует цель доказательства Lean и математические ключевые слова в вектор размерности 1024, чтобы находить релевантные леммы, теоремы и определения среди примерно 326 тысяч объявлений библиотеки. Модель основана на XLM-RoBERTa, содержит 658,7 млн параметров и рассчитана на контекст до 8194 токенов; при обучении последовательности обрезались до 400 токенов. Поддерживает запросы на английском и китайском языках, а также Lean-код. Модель предназначена для семантического поиска по Mathlib4 и может использоваться с FAISS-индексом как компонент цепочки автоматизации формальных доказательств. В README приведены Recall@5 61,5% для поиска леммы по заключению цели и Recall@10 13,8% для поиска лемм для начальной цели доказательства. Ограничения включают более низкое качество на китайских запросах, сложность поиска при начале доказательства с нуля и зависимость результатов от версии Mathlib4. Лицензия — Apache 2.0.

Это модель ThuraAung1601 на базе Qwen2.5-Coder-1.5B-Instruct, дообученная для добавления инвариантов циклов в программы на Dafny. Она принимает программу и генерирует её полный вариант с инвариантами, чтобы программа проходила проверку верификатором Dafny. Обучение включало LoRA SFT и LoRA GRPO с вознаграждением на основе результатов верификатора; при этом модель обучали сохранять исходную программу и её спецификацию. Модель имеет плотную архитектуру Qwen2ForCausalLM, 1,5 млрд параметров и контекст до 32 768 токенов. В README указана точность pass@1 51,16% на 733 задачах очищенного DafnyBench против 11,19% у базовой модели. Это специализированный результат на конкретном бенчмарке, поэтому он не гарантирует успешную верификацию произвольных программ. Для загрузки доступны объединённые веса; LoRA-адаптер GRPO рассчитан на применение поверх объединённой SFT-модели. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.

Экспериментальный чекпойнт, разработанный на базе Qwen/Qwen2.5-Coder-3B-Instruct для экспериментов по соответствию требованиям безопасности кода в наборе SecCodePLT+. Модель дообучена методом GRPO без KL-регуляризации с наградой на основе официальных ReaL safety unit tests, DAPO-подобной функцией потерь по токенам и динамической выборкой. Она генерирует код по текстовым запросам; архитектура — плотная Qwen2ForCausalLM с 3,1 млрд параметров и контекстом до 32 768 токенов. В оценке на 164 тестовых примерах достигнуты средняя награда 0,396741 и прохождение проверок формата и синтаксиса в 96,95% случаев. Это исследовательский чекпойнт с одним запуском обучения и фиксированным seed; результаты получены с ограниченным по ресурсам Python-верификатором. Они не гарантируют безопасность сгенерированного кода. Лицензия в предоставленных данных не указана.

Symiotic-14B — экспериментальная гибридная символьная и трансформерная языковая модель от Convergent Intelligence LLC, построенная на базе Qwen3-14B. В README заявлена архитектура с символьными модулями, маршрутизатором и памятью на 4096 состояний; эти возможности описаны как архитектурный замысел и не подтверждены бенчмарками. Метаданные указывают 14 млрд параметров, архитектуру Qwen3ForCausalLM, формат safetensors и контекст до 40 960 токенов. Модель предназначена для диалоговых агентов с памятью, многошаговых рассуждений, математического и научного текста, планирования доказательств, а также генерации кода. Карточка предупреждает, что символьная система не настроена на общие вопросы и ответы, память требует подготовки, а FlashAttention и дополнительные модули повышают расход видеопамяти. Лицензия — AFL-3.0.

keyfan/vicuna-chinese-replication-v1.1 — диалоговая модель генерации текста, созданная как обновление экспериментальной китайской репликации Vicuna. Разработчик сообщает, что в качестве основы использована chinese-llama-plus, а обучение проходило поэтапно: от простых вопросов и ответов к задачам на рассуждение, программирование и математику. Для обучения и использования применяется шаблон диалога Vicuna v1.1; в обучающие данные добавлены примеры пошаговых рассуждений. Модель построена на плотной архитектуре LLaMA с классом LlamaForCausalLM и содержит 12,9 млрд параметров. Она принимает текст и генерирует текст; контекст — 2048 токенов. Карточка приводит результаты сравнительной оценки на китайских наборах, включая задачи на вопросы и ответы, рассуждения, код и перевод, но они не гарантируют качество в практических сценариях. Лицензия указана как other, поэтому конкретные условия следует проверять в репозитории и у правообладателей базовой модели. Модель предназначена для исследовательских экспериментов с китайской диалоговой генерацией. По заявлению автора, новая версия улучшила решение задач на программирование и рассуждение по сравнению с предыдущим выпуском. Известные ограничения — галлюцинации и слабая работа со специализированными китайскими темами, включая литературу и идиомы; автор также не гарантирует производительность и обозначает модель как предназначенную для исследований.

Wisp Coder 110M — небольшая модель генерации кода, разработанная Philip John Basile. Она обучена с нуля для дополнения кода в редакторе: получает префикс и суффикс вокруг пропуска и генерирует недостающий фрагмент. Обучение включает fill-in-the-middle для большей части токенизированных фрагментов и модуль multi-token prediction для предсказания нескольких токенов вперёд. Основная часть модели — плотный декодер LlamaForCausalLM на 100,7 млн параметров; вместе с модулем MTP — 108,2 млн. Контекст составляет 2048 токенов. Основную модель можно запускать через Transformers или MLX-LM; модуль MTP требует отдельной среды выполнения MLX и не активируется обычными загрузчиками. Модель предназначена для экспериментов с дополнением кода, FIM и спекулятивным декодированием, а не для чата, рефакторинга или агентных задач. Качество генерации ограничено: автор не заявляет о преимуществе в сравнении коротких пропусков или об ускорении MTP в производстве. Лицензия — Apache-2.0; сгенерированный код следует проверять перед использованием.

BananaMind 2.1 Lite All-Looped — экспериментальная авторегрессионная языковая модель Banaxi-Tech класса до 25 млн параметров. Модель содержит 14,1 млн параметров по метаданным; README приводит другое значение — 24 949 999 параметров, поэтому размер указан в источниках неодинаково. Архитектура — плотная причинная Transformer-модель с 13 физическими слоями и 24 проходами по слоям: средний стек повторно использует те же веса. Дополнительно используется причинный триграммный модуль с двумя хеш-таблицами. Контекст — 4096 токенов. Модель обучалась на смеси веб-текстов, образовательных и синтетических данных, математических материалов и кода; в README описан потоковый учебный курс на 75 млрд токенов. Она предназначена для генерации текста и может применяться в небольших экспериментах с компактными языковыми моделями, включая генерацию кода. Язык в метаданных — английский. Репозиторий содержит веса в safetensors и распространяется по лицензии Apache 2.0. Карточка описывает модель как эксперимент, а не как готовую к производственному применению систему.

CleverBoi-7B-v2 — языковая модель для генерации текста, разработанная theprint. Она дообучена на базе unsloth/mistral-7b-v0.3-bnb-4bit с использованием набора данных CleverBoi-Abridged; обучение продолжалось одну эпоху. Датасет серии CleverBoi ориентирован на задачи логики, вывода, математики и программирования, поэтому модель предназначена прежде всего для текстовых сценариев, требующих рассуждений и решения задач. Заявленный язык — английский. Модель относится к семейству Mistral и имеет размер 7 миллиардов параметров; базовая версия представлена в 4-битном формате bnb. README не содержит сведений о длине контекста, поддержке мультимодальности или специализированных режимах работы, поэтому модель следует рассматривать как текстовую. В оценках Open LLM Leaderboard средний результат составил 14,97 балла: 21,70 на IFEval, 23,44 на BBH, 1,89 на MATH уровня 5, 5,15 на GPQA, 18,66 на MuSR и 18,98 на MMLU-PRO. Эти результаты указывают на ограниченную и неравномерную эффективность в задачах следования инструкциям, общего знания и сложного рассуждения, поэтому ответы требуют проверки. Модель распространяется по лицензии Apache-2.0. Для обучения использовались Unsloth и библиотека TRL от Hugging Face.

Ffohturk выпустил Mila_1L — базовую языковую модель с одним слоем на архитектуре LLaMA 2. Она обучена на 6 млрд токенов из раздела algebraic-stack набора Proof-Pile 2; автор отмечает, что распределение её ответов в основном ориентировано на код. Модель содержит 20,6 млн параметров, использует токенизатор LLaMA 2 и рассчитана на контекст до 1024 токенов. Модель предназначена для генерации текста, прежде всего кода, и для экспериментов с компактными языковыми моделями и обучением на математических и кодовых данных. В README приведены значения потерь на обучении и тестировании, но нет сведений о прикладной оценке качества. Лицензия указана как Llama 2; перед использованием следует учитывать её условия.

OlympicCoder-32B — языковая модель для генерации кода, разработанная проектом open-r1 и дообученная на очищенной от пересечений версии набора Codeforces. Она предназначена прежде всего для задач соревновательного программирования: решения олимпиадных задач, написания алгоритмов и подготовки ответов для задач с программированием. Модель построена на архитектуре Qwen2 и содержит 32 млрд параметров; базовая модель — Qwen/Qwen2.5-Coder-32B-Instruct. Она принимает текстовые запросы и генерирует текст, включая код. Основной язык карточки — английский; дообучение проводилось исключительно на решениях на C++, сгенерированных DeepSeek-R1. Контекст составляет 32 768 токенов. В карточке заявлены сильные результаты на LiveCodeBench и Международной олимпиаде по информатике 2024 года. Результаты на задачах LiveCodeBench следует считать частично вне домена: оценка предполагает генерацию Python, тогда как модель дообучалась на решениях на C++. Модель распространяется по лицензии Apache-2.0.

Sparse-AST-BWM-10M-32 — компактная авторегрессионная модель генерации кода, разработанная автором репозитория Chaman1234. Она использует архитектуру Sparse-AST (Recurrent Leaky Gated Transformer) и содержит 14,4 млн параметров по метаданным; в README указано 11 869 032 параметра. Модель предназначена для генерации Python-кода для процедурного 3D-моделирования в Blender, включая bpy, mathutils, bmesh, numpy и gpu. Модель обучалась с контекстом 64 токена. README сообщает о поддержке интерполяции позиций при выводе до 4096 токенов, однако приводит крайне высокие значения потерь и perplexity на описанном тесте, поэтому качество генерации требует проверки и длинный контекст не следует считать подтверждённым обучением. Веса доступны в формате SafeTensors. Лицензия — Apache-2.0.

Модель ahmedheakl/asm2asm-deepseek-1.3b-500k-mac-x86-O0-arm-2 — дообученная Ahmed Heakl версия DeepSeek Coder 1.3B Instruct, созданная с помощью TRL и предназначенная для генерации текста в диалоговом формате. Базовая архитектура — плотная LlamaForCausalLM на 1,3 млрд параметров; модель распространяется в формате safetensors и рассчитана на контекст до 16 384 токенов. Карточка демонстрирует генерацию ответа на обычный вопрос, а название модели указывает на преобразование ассемблерного кода, однако README не описывает обучающие данные и специализированные возможности, поэтому точное назначение asm2asm подтвердить нельзя. Модель можно запускать через Transformers для генерации текста. Сведения о лицензии в предоставленных данных отсутствуют.

VertexAIco выпустила экспериментальную ускоренную версию Bonsai-27B для генерации текста и диалогов. Это производная от prism-ml/Bonsai-27B-mlx-1bit модель семейства Qwen3.5, представленная в формате safetensors и рассчитанная на запуск через MLX на Apple Silicon. В чекпойнте оставлены 54 полных блока декодера из исходных 64, а веса десяти удалённых блоков заменены небольшими векторами коррекции, встроенными в основной файл модели. Модель предназначена для локальных экспериментов с текстовыми запросами и диалогами, где важна скорость. На M4 Mac mini с 16 ГБ памяти авторы измерили 24,6 токена в секунду, задержку до первого токена 1,35 секунды и пиковое использование 4,06 ГБ памяти; эти результаты не гарантируют такой же скорости на другом оборудовании. В небольшом наборе проверок модель справилась с 11 из 18 задач, но допускала ошибки в арифметике, строгом форматировании, уточнении неоднозначных запросов и выполнении инструкций. Для запуска нужны полный репозиторий, пользовательский загрузчик и runtime Prism ML; модель не является универсальным чекпойнтом для любого приложения MLX. README рекомендует проверять важные ответы и вызовы инструментов, поэтому модель подходит для экспериментов с низкими последствиями ошибок, но не для надёжного ассистента. Лицензия — Apache-2.0.

DR.Kernel-8B — модель HKUST-NLP на архитектуре Qwen3ForCausalLM, дообученная на базе Qwen/Qwen3-8B-Base для генерации и оптимизации GPU-ядер, особенно на Triton. Модель содержит около 7,6 млрд параметров, использует веса BF16 и поддерживает контекст до 32 768 токенов. Модель предназначена для создания реализаций ModelNew по эталонным задачам PyTorch и их итеративного улучшения по результатам компиляции, проверки корректности и измерения производительности в среде KernelGYM. Обучение включало начальное SFT и многошаговое обучение с подкреплением; модель лучше подходит для исследовательских задач и бенчмарков DR.Kernel, чем для обычной генерации кода без обратной связи о выполнении. Для практического применения требуется проверять сгенерированный код и его корректность на целевом оборудовании. В README лицензия не указана; при использовании следует учитывать требования к базовой модели и датасетам.

Etluther-Code-finetuned — дообученная модель генерации текста на базе EleutherAI/pythia-70m, опубликованная пользователем elinaparajuli. Она использует архитектуру GPT-NeoX и предназначена для продолжения текста; название указывает на ориентацию на код, однако README не описывает её сценарии и обучение подробнее. Модель содержит 50,9 млн параметров, принимает текстовый контекст длиной до 2048 токенов и выдаёт текст. В README приведено значение loss 2,0612 на наборе оценки, но данных для вывода о качестве на конкретных задачах нет. Лицензия — Apache-2.0.

Gemma-4-26B-A4B-it-Uncensored-FP8 — модифицированная версия инструкционной модели Google Gemma-4-26B-A4B-it, опубликованная OrcaRouter. В модели удалено направление отказа от ответов методом abliteration, а веса и активации подвергнуты динамической FP8-квантизации. Модель предназначена прежде всего для исследований механизмов отказа и выравнивания, интерпретируемости, red-teaming и оценки безопасности в контролируемых средах, а также для авторизованной генерации без встроенных ограничений. Это Mixture-of-Experts-модель на 26 млрд параметров со 128 экспертами и примерно 4 млрд активных параметров на токен. Архитектура включает 30 слоёв и скрытый размер 2816; заявлена поддержка рассуждений, вызова инструментов и обработки изображений. Указаны языки английский и китайский, контекст до 262 тысяч токенов. Используется формат safetensors, шесть сегментов общим объёмом около 25 ГБ. Веса квантизуются в FP8 E4M3 по каналам, активации — динамически по токенам; отдельные компоненты, включая lm_head, маршрутизатор MoE и vision tower, сохраняются в BF16. Главная особенность и одновременно ограничение модели — существенное удаление защитного выравнивания: она значительно реже отказывается от вредных запросов и может выполнять опасные, незаконные или неэтичные инструкции. Приведённые тесты показывают уровень отказов около 3–8% на нескольких наборах, однако оценка основана на простом классификаторе начальных фраз и не является публикационной проверкой качества. Модель не предназначена для публичного или производственного использования без собственных механизмов безопасности, модерации и предотвращения злоупотреблений. Лицензия указана как Gemma; использование должно соответствовать условиям Gemma, политике запрещённого использования и применимому законодательству. Авторы рекомендуют применять модель только в законных исследовательских целях и возлагают ответственность за результаты использования на пользователя.

OS-Software/gemma-4-31B-it-qat-q4_0-uncensored-heretic-GGUF — производная версия инструкционной модели Google DeepMind Gemma 4 31B, созданная с использованием Heretic v2.0.0.dev0+custom. Модель распространяется в формате GGUF с Q4_0 и предназначена для запуска в совместимых локальных inference-средах и исследовательских экспериментов. Базовая Gemma 4 31B поддерживает обработку текста и изображений с генерацией текста, контекст до 256K токенов и более 140 языков. Семейство Gemma 4 ориентировано на генерацию текста, программирование и рассуждения. В этой версии существенно снижена исходная safety alignment: в приведённом тесте отказов она дала 0 отказов из 100 против 100 из 100 у исходной модели; KL-дивергенция относительно оригинала составила 0,0083. Главное ограничение модели — повышенная вероятность генерации вредного, неточного, предвзятого, оскорбительного или иным образом неприемлемого контента. Авторы рекомендуют использовать её только для исследований безопасности, изучения alignment и red-teaming, избегая публичных и пользовательских сервисов; результаты необходимо независимо проверять и защищать человеческим контролем. Модель выпущена по Apache 2.0 как производная работа, при этом права на базовую модель сохраняются за их владельцами.

NCP-ArchPreview — авторегрессионная языковая модель The NCP Team из Shanghai AI Lab и LUMIA Lab Шанхайского университета Цзяо Тун. Этот репозиторий содержит промежуточный чекпойнт Stage 1 на шаге 500 000, обученный на Dolma 3 Mix; это исследовательский этап предобучения, а не завершённая версия модели. Модель предсказывает следующий токен и следующий концепт — представление группы из четырёх токенов в обучаемом латентном пространстве. Архитектура включает 16-слойный кодировщик токенов, 8-слойный модуль концептов и 16-слойный декодер токенов с продуктовой квантизацией концептов и остаточными связями между модулями. Модель предназначена для генерации текста и экспериментов с языковым моделированием в латентном пространстве. В отчёте для Stage 1 приведены результаты на тестах, включая GSM8K и HumanEval, и сравнение скорости сходимости по числу обучающих токенов; это сравнение не означает более высокую скорость обучения по времени или инференса. Метаданные указывают 11,1 млрд параметров, контекст 8192 токена и формат safetensors; README приводит оценку архитектуры около 8,94 млрд параметров. Для загрузки используется Transformers с пользовательским кодом. Лицензия весов — Apache 2.0.

Small-1B Pretraining Model — базовая авторегрессионная языковая модель для генерации текста, опубликованная kenpeter123. По README, модель обучена с нуля методом предсказания следующего токена на отфильтрованных данных, включающих математику, веб-тексты, код, синтетические и переработанные данные. При этом метаданные указывают на дообучение HuggingFaceTB/SmolLM2-135M, поэтому происхождение модели в источниках расходится. В README заявлены архитектура Transformer++ с 1,03 млрд параметров, 32 слоями, 12 головами внимания и GQA с 4 KV-головами; метаданные описывают архитектуру как LlamaForCausalLM с 134,5 млн параметров. Метаданные указывают контекст 8192 токена, английский язык и формат safetensors. Модель предназначена для продолжения предобучения и последующей настройки под задачи; она не проходила SFT или выравнивание и не имеет шаблона чата. Лицензия — Apache-2.0.

Sparse-AST-BWM-3M-32 — компактная авторегрессионная языковая модель семейства Sparse-AST, разработанная для быстрого предсказания токенов кода в задачах процедурной 3D-математики и Blender Python. Модель содержит около 4,3 млн параметров и использует рекуррентную архитектуру Recurrent Leaky Gated Transformer с байтовой токенизацией UTF-8 и словарём из 512 токенов. Модель предназначена для черновой генерации и продолжения коротких фрагментов кода с использованием bpy, mathutils, bmesh, numpy и gpu. Нативный контекст при обучении составляет 64 токена; для вывода поддерживается интерполяция позиционных представлений до 4096 токенов. В README приведены экспериментальные результаты на учебном наборе задач Blender 3D Math & Python, включая высокую perplexity, поэтому качество генерации может быть ограниченным. Веса распространяются в формате SafeTensors и прошли заявленную проверку числового совпадения с исходным PyTorch-чекпойнтом. Лицензия — Apache-2.0.

AnuLM-Base-2K-400M — базовая авторегрессионная языковая модель семейства AnuLM, созданная как продолжение toonist/AnuLM-Base-400M. Разработчик обучал её ещё 10 000 шагов на смеси хинди, английского и кода Python, используя контекстное окно 2 048 токенов и механизм YaRN; выбранный чекпойнт соответствует шагу 7 499. Архитектура в метаданных указана как AnuLMForCausalLM, формат весов — safetensors. Лицензия — CC BY-SA 4.0. Модель предназначена для продолжения текста на хинди, английском и Python в заданном стиле и регистре. Она не настроена на выполнение инструкций, диалог, ответы на вопросы или перевод. Оценки на отложенных данных показывают улучшение качества продолжения относительно базовой модели на всех трёх языках, однако обучение на длинном контексте дало небольшой дополнительный эффект сверх применения YaRN без обучения. Свободная генерация склонна к повторениям и выдумыванию фактов; для более читаемых фрагментов README советует короткую генерацию и штраф за повторы. Результаты тестов основаны на корпусах, сходных с обучающими, поэтому могут несколько завышать качество на новых данных. Для загрузки через Transformers требуется trust_remote_code=True.

CodeTrans-ST-Small — модель семейства T5, разработанная Ahmed Elnaggar и Wei Ding на основе t5-small. Она прошла дополнительное предобучение на семи неразмеченных наборах данных из области разработки ПО, а затем дообучение для синтеза кода на Lisp-подобном DSL. Модель принимает описание задачи на естественном языке и генерирует соответствующий код; в карточке Hugging Face её основная задача обозначена как суммаризация. Репозиторий содержит версии весов для PyTorch, TensorFlow и Flax. В метаданных указаны 38,5 млн параметров и контекст до 512 токенов. README указывает английский язык. Авторы сообщают о BLEU 89,43 на тесте для LISP, но этот результат не следует переносить на другие языки или задачи. Лицензия в карточке не определена.

Delphi 3e19 — базовая языковая модель команды Marin из открытой серии экспериментов по масштабированию. Это плотная авторегрессионная модель семейства Qwen 3 с архитектурой Qwen3ForCausalLM; в README указано около 998 млн параметров. Модель обучена по рецепту Delphi на 4,98 млрд токенов при вычислительном бюджете 3 × 10¹⁹ FLOPs. Метаданные указывают контекст 4096 токенов, библиотеку Transformers и формат Safetensors. Модель предназначена для исследования масштабирования и прогнозирования качества языковых моделей, а также для генерации продолжений текста и оценки базовых возможностей на задачах вроде выбора ответа, программирования и математики. Это англоязычный pretrained-чекпойнт без инструкционного дообучения, RLHF и выравнивания безопасности; README характеризует его как исследовательский артефакт, а не производственную модель. Лицензия — Apache-2.0. В README описана экспериментальная цель серии Delphi: использовать небольшие модели для прогнозирования потерь и результатов более крупных запусков при существенно меньших вычислительных затратах. Модель обучалась на англоязычной смеси веб-данных, кода и математических текстов. Ограниченное число параметров и отсутствие настройки для диалога или прикладного использования могут снижать качество ответов и следования инструкциям.