II.2Создание и понимание программного кода

airoboros-m-7b-3.0 — экспериментальная универсальная языковая модель, созданная jondurbin на основе датасета airoboros-3.0, преимущественно синтетических данных. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; она принимает текст и выдаёт текст. Модель рассчитана прежде всего на следование инструкциям, ответы по заданному контексту и многошаговый диалог, а не на непринуждённую беседу. Среди заявленных сценариев — суммаризация, помощь с программированием, генерация структурированных аргументов функций и составление планов выполнения задач с инструментами. Для математических вопросов описан экспериментальный подход MathJSON: модель формулирует выражение, которое можно вычислить внешним средством. В карточке также отмечены данные для многоходового ролевого диалога. Для формата диалога используется шаблон Llama 2 chat. Модель выпущена под лицензией Apache-2.0. Автор характеризует её как экспериментальную; для MathJSON требуется внешний вычислитель, а сам подход описан как неполный. Карточка рекомендует низкую температуру генерации; ответы по контексту могут быть ненадёжны, поэтому следует явно просить модель не выдумывать сведения.

APEX-2 — англоязычная языковая модель YOON1v для генерации текста и диалогов, включая помощь с программированием. Это дообученный методом SFT чекпойнт базовой модели YOON1v/Apex-2-Base; в README описана архитектура декодерного Transformer с mixture-of-experts, а метаданные указывают семейство Qwen3 MoE и класс Qwen3MoeForCausalLM. README сообщает о 3,87 млрд параметров всего и 1,45 млрд активных на токен; модель использует формат чата ChatML и контекст до 4096 токенов. Модель подходит для написания и объяснения кода, ответов на инструкции и несложных математических задач. В опубликованных авторами тестах показаны результаты на HumanEval, MBPP, GSM8K и IFEval, однако сравнения с другими моделями приблизительны из-за различий в протоколах. Лицензия — Apache-2.0. Модель ориентирована на английский язык: README отмечает слабую работу с другими языками. Авторы также указывают на ограниченные общие знания, ошибки в фактах, слабые результаты в соревновательном программировании и предсказании выполнения кода. Поддержка инструментов и режим рассуждений не заявлены.

Jebadiah/Aria-ruby-v3 — созданная с помощью mergekit слитая языковая модель на архитектуре Mistral с 7,1 млрд параметров. В линейном слиянии использованы Jebadiah/Aria-diamond-v2 и Jebadiah/Tess-coder-ruby-p7; веса сохранены в формате safetensors, исходная конфигурация слияния задаёт float16. Модель предназначена для генерации текста и кода. Контекстное окно составляет 32 768 токенов. В карточке базовой модели упоминается диалоговая генерация и код на Ruby, однако отдельные языки и специализированные возможности этой версии не подтверждены. Лицензия в предоставленных данных не указана. Качество и ограничения модели в README не описаны; результаты генерации следует проверять.

Athena-codegemma-2-9b-v1-GGUF — это набор квантованных версий языковой модели Athena-codegemma-2-9b-v1, разработанной EpistemeAI. Квантование выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, включая сценарии локального запуска через совместимые приложения, например LM Studio. Модель относится к семейству codegemma2 и имеет размер около 9 миллиардов параметров. Она работает с текстом и, согласно карточке, ориентирована на английский язык. Доступны варианты от F16 до низкобитных Q2 и IQ2, различающиеся размером файлов, требованиями к памяти и качеством: версии Q5–Q6 отмечены как высококачественные, а Q3 и ниже экономят память ценой заметного снижения качества. Максимальная длина контекста и точный формат промпта в карточке не указаны. Преимущество набора — широкий выбор квантований для подбора баланса между качеством и ресурсами, а также возможность локального использования в формате GGUF. Ограничения связаны с потерями качества при низкой разрядности и отсутствием подробных сведений о результатах тестирования, поддерживаемых языках помимо английского и рекомендованном формате взаимодействия. Указана лицензия Apache-2.0.

AutoCoder_S_6.7B-IMat-GGUF — GGUF-квантизированная версия модели Bin12345/AutoCoder_S_6.7B, подготовленная пользователем legraphista с помощью llama.cpp b3010. Модель предназначена для генерации текста и, исходя из названия базовой модели, ориентирована прежде всего на задачи, связанные с написанием и обработкой кода, однако подробные сведения о специализации отсутствуют. Модель содержит около 6,7 млрд параметров в исходном формате BF16 и доступна в форматах GGUF с различными уровнями точности: от BF16 и F16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантов. Для ряда вариантов применена IMatrix-квантизация на основе отдельного калибровочного набора. Файлы имеют размер примерно от 2,04 до 13,48 ГБ, поэтому модель можно адаптировать под разные ограничения по памяти и скорости инференса. К сильным сторонам относятся широкий выбор форматов, возможность локального запуска в экосистеме llama.cpp и использование IMatrix для некоторых низкобитных вариантов, что может помочь сохранить качество при уменьшении размера. Ограничения включают неизбежный компромисс между размером, скоростью и качеством при квантизации, а также отсутствие в README данных о поддерживаемых языках, размере контекста, конкретной архитектуре, результатах тестирования и сравнении с другими моделями. Модель распространяется по лицензии Apache-2.0.

baichuan-vicuna-chinese-7b — диалоговая языковая модель на 6,7 млрд параметров, созданная на базе baichuan-7B и дообученная командой fireballoon на данных ShareGPT на китайском и английском языках. Для обучения использовались также ShareGPT-ZH, примеры Chain-of-Thought, задачи LeetCode и вспомогательные данные; код обучения основан на FastChat. Модель использует плотную архитектуру LLaMA и формат PyTorch, а её контекст составляет 4096 токенов. Модель предназначена для генерации текста в диалоге: она может отвечать на вопросы, следовать инструкциям и помогать с рассуждениями и задачами по программированию. Карточка также упоминает отдельную GPTQ-квантизованную 4-битную версию, но описываемая здесь модель хранится в формате PyTorch. Лицензия в предоставленных данных не указана.

Caelum-G4-38B-A12.5B — экспериментальная общественная модель сообщества EryriLabs на архитектуре Gemma 4 Unified. Это разреженная MoE-модель с 38,01 млрд параметров, из которых на каждом токене активируется около 12,53 млрд; маршрутизатор top-1 выбирает одного из четырёх специализированных экспертов. Эксперты ориентированы на общие инструкции, агентные и кодовые задачи, системное администрирование и DevOps, а также научные и медицинские сценарии. В README также заявлена языковая архитектура из 48 слоёв и предел контекста 262 тыс. токенов, но практичность и качество на такой длине не проверялись. Модель предназначена для генерации текста, рассуждений, написания кода, планирования действий агента и структурированного использования инструментов. Веса и мультимодальный тракт унаследованы от Gemma 4 Unified, однако этот выпуск проверен только для генерации текста; работа с изображениями, видео и аудио не валидирована. Внутренний тест на 28 случаях дал обнадёживающий результат, но этого недостаточно для широких выводов о качестве. Модель требует совместимой версии Transformers и содержит пользовательский код; перед включением trust_remote_code следует изучить код репозитория. Лицензия — Apache-2.0.

Camelidae-8x34B — языковая модель семейства Camelidae, разработанная авторами проекта Camelidae с применением метода Parameter-Efficient Sparsity Crafting. Это разреженная Mixture-of-Experts-модель с архитектурой на основе LLaMA; в репозитории указано 33,9 млрд параметров. Модель прошла инструкционное дообучение и предназначена для генерации текста и ответов на общие запросы. Модель ориентирована в том числе на задачи по математике и программированию. В описании проекта приведены результаты тестирования по общим знаниям, математике и генерации кода; модель загружается через Transformers как причинная языковая модель. Контекст составляет 4096 токенов, основной указанный язык — английский. Репозиторий распространяется в формате PyTorch по лицензии Apache-2.0. Результаты бенчмарков зависят от настройки и не гарантируют качество для конкретных запросов; карточка не описывает отдельные ограничения или защитные механизмы модели.

AmberYifan/capsd-marin-8b-base-code_ppl_b10000_s0 — дообученная плотная Llama-модель на базе marin-community/marin-8b-base. Она предназначена для генерации и продолжения текста; название модели и обучающего набора указывают на настройку на примерах кода, однако README не описывает конкретные сценарии или результаты оценки. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекст длиной 4096 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории.

AmberYifan/capsd-marin-8b-base-code_qurating_b10000_s0 — дообученная модель семейства Llama, созданная на основе marin-community/marin-8b-base. Она содержит около 7,5 млрд параметров и предназначена для генерации и продолжения текста; карточка указывает на дообучение на наборе capsd_marin-8b-base-n80000-opc__mix_code_qurating_b10000_s0, название которого указывает на смесь данных с кодом и задачей question answering, но подробности обучения не приведены. Модель использует плотную архитектуру LlamaForCausalLM, библиотеку Transformers и формат safetensors, поддерживает чат и имеет контекст до 4096 токенов. Базовая Marin 8B Base описана как англоязычная модель для генерации и продолжения текста, поэтому английский — основной язык модели. Лицензия обозначена как other, без дополнительных условий в предоставленных данных; перед применением следует проверить лицензию репозитория. README не приводит оценок качества, поэтому пригодность для кода и ответов на вопросы стоит проверять на целевых примерах.

cd4 — дообученная модель на 1,3 млрд параметров, созданная на основе deepseek-ai/deepseek-coder-1.3b-base на датасете generator. Это плотная авторегрессионная модель семейства Llama для генерации текста; базовая модель предназначена для продолжения, автодополнения и заполнения пропусков в коде, поэтому cd4 может использоваться для экспериментов с генерацией кода и текстовых продолжений. Модель принимает текст и выдаёт текст, поддерживает контекст до 16 384 токенов и опубликована в формате Safetensors. README не описывает конкретные целевые сценарии, результаты оценки или особенности обучения сверх указания датасета. Лицензия указана как other, поэтому условия применения следует сверить с файлами репозитория и лицензией базовой модели.

Это исследовательский контрольный чекпойнт плотной языковой модели Qwen3-4B, созданный командой agurung методом обучения с подкреплением GRPO на базе Qwen/Qwen3-4B-Instruct-2507. Обучение проводилось непосредственно от базовой instruct-модели без отдельного SFT-старта; чекпойнт сохранён на шаге 40 и показал лучший в данном запуске результат по pass@8. Модель предназначена для генерации кода и решения задач программирования: награда при обучении зависела от того, проходила ли сгенерированная программа тесты. Обучающий набор включал сложные задачи, которые исходная модель решала не более чем в 2 из 64 попыток. Использованы два эпизода обучения, до 4096 новых токенов на генерацию и штрафы за усечение ответа. Архитектура — Qwen3ForCausalLM, около 3,7 млрд параметров; контекст — до 262 144 токенов. Модель принимает текст и выдаёт текст. Чекпойнт ориентирован на программирование, однако метрики оценки в карточке отсутствуют, а лучший pass@8 указан только относительно этого запуска. Языки программирования и поддерживаемые естественные языки отдельно не перечислены. Лицензия в предоставленных данных не указана.

Это экспериментальный чекпойнт языковой модели Qwen3-4B от автора репозитория, полученный дообучением Qwen/Qwen3-4B-Instruct-2507 методом GRPO с помощью OpenRLHF. Модель предназначена для генерации кода и решения задач программирования, где корректность программы проверяется тестами. Обучение нацелено на сложные задачи, которые базовая модель решала редко; контрольная оценка использовала восемь генераций на задачу. Модель имеет плотную архитектуру Qwen3ForCausalLM, около 3,7 млрд параметров и контекст до 262 144 токенов. В README указаны оценка pass@1 0,4102 и pass@8 1,0587 на отложенной выборке из 112 задач; значение pass@8 приведено как в карточке. Веса доступны в формате safetensors и загружаются через Transformers. Лицензия в предоставленных данных не указана.

Это экспериментальный чекпойнт Qwen3-4B-Instruct-2507, разработанный agurung и обученный с помощью OpenRLHF и алгоритма GRPO. Обучение с подкреплением применялось напрямую к базовой инструкционной модели без отдельного SFT-этапа; указанный чекпойнт сохранён на глобальном шаге 4 и выбран как лучший в этом запуске по pass@8. Модель предназначена для генерации кода и решения задач программирования. Её обучали на задачах из набора cobalt-train, отобранных по низкой успешности базовой модели; вознаграждение зависело от прохождения тестов сгенерированной программой. Используются архитектура Qwen3 с 3,7 млрд параметров, библиотека Transformers и контекст до 262 144 токенов; максимальная длина новой генерации в описанном обучении составляла 4096 токенов. В карточке нет доступных метрик оценки на этом чекпойнте, поэтому преимущество по pass@8 относится только к сравнению внутри данного запуска. Модель поставляется в формате safetensors; условия лицензии в предоставленных данных не приведены.

Экспериментальный чекпойнт языковой модели Qwen3-4B, дообученный компанией agurung с помощью обучения с подкреплением OpenRLHF и алгоритма GRPO. Обучение проводилось непосредственно от Qwen/Qwen3-4B-Instruct-2507 без предварительной SFT-настройки: на задачах программирования модель получала бинарную награду за прохождение тестов сгенерированной программой. Чекпойнт сохранён на шаге 12; в рамках этого запуска он показал лучший результат по pass@8, однако численные метрики оценки в журнале обучения отсутствуют. Модель предназначена для генерации кода и решения задач программирования, особенно сложных задач, которые исходная модель решала не более чем в 2 случаях из 64. Использует плотную архитектуру Qwen3ForCausalLM, содержит 3,7 млрд параметров, принимает текст и поддерживает контекст до 262 144 токенов. В README не перечислены поддерживаемые естественные языки. Это ранний экспериментальный чекпойнт, а сведения о лицензии не приведены в доступных данных.

Это экспериментальный чекпойнт языковой модели Qwen3-4B, созданный agurung с помощью обучения с подкреплением OpenRLHF и алгоритма GRPO. Он дообучен от Qwen/Qwen3-4B-Instruct-2507 без отдельного SFT-этапа и предназначен прежде всего для генерации кода, который проходит заданные тесты. Модель оценивалась на сложных задачах из набора cobalt-train; чекпойнт на шаге 12 показал лучший в этом запуске результат по pass@8. Обучение использовало бинарную награду за корректность кода и штрафы за усечение длинных ответов. Это плотная архитектура Qwen3ForCausalLM примерно на 3,7 млрд параметров, работает через Transformers и имеет контекст до 262 144 токенов. Метрики оценки для этого чекпойнта в журнале обучения отсутствуют, поэтому преимущество по pass@8 относится только к данному экспериментальному запуску и не характеризует качество на других задачах. Лицензия в предоставленных данных не обозначена.

CodeGemma 2B — компактная модель Google для автодополнения программного кода. В каталоге lmstudio-community она представлена в формате GGUF; квантизацию выполнил bartowski на базе llama.cpp. Модель основана на Gemma 2B и дополнительно обучена исключительно на коде. Модель предназначена для заполнения пропусков в коде и сценариев, подобных Copilot, где важны быстрые подсказки и низкая задержка. Она использует подход fill-in-the-middle: контекст до места вставки передаётся через <|fim_prefix|>, последующий код — через <|fim_suffix|>, а <|fim_middle|> запрашивает генерацию недостающего фрагмента; для многофайлового контекста предусмотрен токен <|file_separator|>. CodeGemma 2B не является чат-моделью и не предназначена для ответов на обычные вопросы. Ключевой особенностью модели является небольшой размер — около 2 миллиардов параметров, благодаря чему она подходит для локального запуска и оперативного отображения автодополнений. README не содержит сведений о поддерживаемых языках программирования, длине контекста и модальностях; по имеющимся данным, модель работает с текстовым представлением кода. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face требуется принять условия Google.

alecsharpie/codegen_350m_css — авторегрессионная модель генерации кода из семейства CodeGen, дообученная автором репозитория на CSS-коде из набора bigcode/the-stack. Она основана на CodeGen-Multi 350M: вариант Multi был инициализирован из CodeGen-NL 350M и предварительно обучен на нескольких языках программирования. В модели около 350 млн параметров; архитектура — плотная CodeGenForCausalLM, формат весов — PyTorch, контекст — 2048 токенов. Модель предназначена для генерации и продолжения CSS-кода по текстовым подсказкам, в том числе по комментариям на английском языке. Её узкая специализация на CSS делает её подходящей для заготовок и дополнения стилей, но карточка не приводит оценок качества или гарантии корректности результата. Лицензия — BSD 3-Clause.

DannePanne/coderank-transformersjs — экспорт модели эмбеддингов кода CodeRankEmbed от nomic-ai в формате ONNX, совместимый с Transformers.js. Репозиторий предназначен для экспериментов с эмбеддингами в Cortex и использует задачу извлечения признаков. Для запросов следует добавлять префикс «Represent this query for searching relevant code: ». Векторы получают CLS-пулингом, нормализуют и формируют размерностью 768; заявленная длина контекста — 8192 токена. Экспорт включает единый файл ONNX без отдельного внешнего файла данных. Лицензия в предоставленных сведениях не указана.

CrowQwen3.5 4B Agent Heretic GGUF — компактная локальная агентная сборка от dawncr0w на базе Qwen/Qwen3.5-4B. Модель предназначена для текстовой генерации в llama.cpp-совместимых средах и ориентирована на заметки по программированию, планы рефакторинга, разбор ошибок, рабочие процессы с shell-командами и двуязычные технические запросы на корейском и английском языках. Модель содержит около 4 млрд параметров и распространяется в формате GGUF с 31 вариантом квантования — от Q1_0 до F16. В шаблоне чата заявлена поддержка форматирования вызовов инструментов, что делает сборку подходящей для локальных агентных сценариев. Рекомендуемый сбалансированный вариант — Q4_K_M; более высокие уровни квантования сохраняют больше точности, а низкие требуют меньше памяти. Размеры файлов варьируются примерно от 0,97 до 7,85 GiB. Сильными сторонами являются компактность, возможность локального запуска, ориентация на задачи разработки и поддержка корейских, английских и программных запросов. Ограничения включают отсутствие заявленных benchmark-результатов: приведённые smoke-проверки подтверждают только локальную загрузку и короткую генерацию. Качество и требования к памяти зависят от выбранного варианта квантования. Модель распространяется по лицензии Apache 2.0.

DASD-4B-Thinking GGUF — компактная плотная языковая модель примерно на 4 млрд параметров, опубликованная в формате GGUF пользователем Mungert. Исходная модель разработана командой Alibaba-Apsara и создана на основе Qwen3-4B-Instruct-2507 с дистилляцией знаний от gpt-oss-120b методом distribution-aligned sequence distillation. Модель ориентирована на рассуждения с длинной цепочкой мыслей, включая решение математических задач, генерацию кода и научное рассуждение. Для обучения использовалось 448 тысяч примеров из наборов Superior-Reasoning-SFT-gpt-oss-120b и Superior-Reasoning-SFT-gpt-oss-120b-Logprob. Это текстовая autoregressive-модель для генерации текста; сведения о поддерживаемых языках и размере контекста в карточке не указаны. Версия GGUF создана с использованием llama.cpp. Автор сборки применяет модифицированный подход к квантованию: отдельные важные слои переводятся в более высокую точность с помощью опции --tensor-type, что должно повышать точность при малой разрядности, особенно для MoE-моделей, но увеличивает размер файла. Заявленные результаты DASD-4B-Thinking включают 88,5 на AIME24, 83,3 на AIME25, 69,3 и 67,5 на LiveCodeBench v5 и v6 соответственно, а также 68,4 на GPQA-D. Сильными сторонами являются компактный размер, ориентация на сложное рассуждение, высокая эффективность дистилляции и возможность локального запуска на потребительском оборудовании. Ограничения включают отсутствие в предоставленных данных подробностей о языковом покрытии, контекстном окне, конкретных требованиях к памяти и характеристиках отдельных квантованных вариантов; приведённые бенчмарки не гарантируют аналогичную производительность в любых прикладных сценариях. Лицензия — Apache-2.0.

DeepCode-7B-Aurora-v2 — объединённая модель генерации текста, созданная ALBADDAWI с помощью LazyMergekit на основе DeepSeekMath-7B-Instruct, DeepSeekMath-7B-Base и DeepSeekMath-7B-RL. Это диалоговая модель на архитектуре Llama с плотной структурой и 6,5 млрд параметров; она предназначена для генерации ответов и текста, в том числе в математических сценариях. Контекст модели составляет 4096 токенов. Модель подходит для диалогового помощника, решения математических задач и генерации кода. Репозиторий содержит веса в формате safetensors. Лицензия — MIT.

DeepSeek-R1-0528-Qwen3-8B-GGUF — это версия модели DeepSeek-R1-0528-Qwen3-8B в формате GGUF, подготовленная пользователем brittlewis12. Исходную модель разработала DeepSeek AI: она создана дистилляцией цепочек рассуждений DeepSeek-R1-0528 и дообучением базовой Qwen3 8B. Модель предназначена для генерации текста и решения задач, требующих рассуждений, включая математические задачи, программирование, академические исследования и разработку компактных reasoning-моделей. Архитектура модели идентична Qwen3-8B, а конфигурация токенизатора унаследована от DeepSeek-R1-0528. Размер — 8 миллиардов параметров; указанная модальность — текст, основной язык в карточке — английский. Модель распространяется в GGUF — формате, ориентированном на локальный запуск через совместимые инструменты, включая llama.cpp. Размер контекста в README не указан. Для работы поддерживаются системные промпты; добавлять маркер <think> в начало ответа не требуется. Сильная сторона модели — качество рассуждений при относительно небольшом размере: в приведённых оценках она получила 86,0 на AIME 2024, 76,3 на AIME 2025 и сопоставлялась с более крупными моделями. При этом результаты зависят от сценария: на GPQA Diamond модель показала 61,1, а на LiveCodeBench — 60,5, поэтому приведённые показатели не гарантируют одинакового качества на всех задачах. В README не указаны конкретный уровень GGUF-квантизации, требования к памяти, максимальный контекст и подробные ограничения безопасности. Лицензия — MIT.

netcat420/DeepSeek-R1-Distill-Qwen-MFANN-Slerp-7b — языковая модель, созданная разработчиком netcat420 слиянием через SLERP двух предварительно обученных моделей: deepseek-ai/DeepSeek-R1-Distill-Qwen-7B и netcat420/Qwen2.5-Coder-Scholar-7B-Abliterated-MFANN-Slerp-Unretrained. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и доступна в формате safetensors для библиотеки Transformers; заявленная длина контекста — 131 072 токена. Модель предназначена для диалогов и генерации текста. Базовая модель DeepSeek поддерживает многошаговые рассуждения, в том числе математические задачи и программирование; вторая модель в слиянии ориентирована на код и обучение. Метаданные также отмечают интерфейс вызова инструментов, но не содержат примеров или оценок его надёжности. В README не приведены сведения о лицензии, поэтому условия использования по доступным данным определить нельзя. Качество и поведение полученного слияния отдельно не оценены; свойства исходных моделей не гарантируют их сохранения в полном объёме.

DeepSeek-V4-Flash-0731-Pruned-155B-A13B-GGUF — неофициальная производная модель, созданная сообществом на основе DeepSeek-V4-Flash-0731 и GGUF-сборки Unsloth. Она не выпущена и не одобрена DeepSeek. Модель предназначена для генерации текста и локального запуска через llama.cpp, прежде всего на Apple Silicon с 64 ГБ памяти, включая сценарии агентного программирования и задач SWE-bench. Это MoE-модель примерно со 155,5 млрд параметров и около 13 млрд активных параметров на токен. В 40 основных MoE-слоях число маршрутизируемых экспертов сокращено с 256 до 128, а первые три hash-слоя сохраняют все 256 экспертов. Веса представлены в квантизации IQ3_XXS; используется GGUF. Основная сборка требует специальной модификации llama.cpp, тогда как альтернативная ZP256 совместима с обычной версией llama.cpp, но работает медленнее. Для ускорения поддерживается speculative decoding с отдельной моделью DSpark. Главное преимущество — возможность полностью разместить основную сборку на GPU 64-гигабайтного Mac mini M4 Pro и получить существенно более высокую скорость по сравнению с частичной выгрузкой исходной модели: до 21,2 токена в секунду при коротком контексте и 14,3–16,6 токена в секунду при агентном контексте 8–32 тыс. токенов. На подмножестве SWE-bench Verified из 100 задач модель решила 77,5% задач против 84,0% у официальной FP8-версии, поэтому pruning сопровождается заметным снижением качества. Калибровочная imatrix исходной модели отдельно для обрезанной версии не проверялась. Лицензия — MIT. Для работы основной сборки требуются совместимые патченные llama.cpp и настройка лимита выделяемой GPU-памяти macOS; заявленная производительность относится к конкретной конфигурации Mac mini M4 Pro 64 ГБ и может отличаться на другом оборудовании.

mlx-community/dolphin3.0-llama3.2-3B-4Bit — 4-битная версия языковой модели Dolphin3.0-Llama3.2-3B, разработанной cognitivecomputations и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.21.1. Модель предназначена для локального запуска через библиотеку mlx-lm и генерации ответов в диалоговом формате с применением chat template, если он поддерживается токенизатором. Модель основана на архитектуре семейства Llama 3.2 и содержит около 3 миллиардов параметров; используется 4-битное квантование, уменьшающее требования к памяти по сравнению с полноформатной версией. В README указано, что основной язык — английский. Обучение или дообучение опиралось на наборы данных для программирования, математики, инструкций, function calling, агентных сценариев и диалогов, поэтому модель ориентирована на ответы по этим типам задач. Сильными сторонами являются компактный размер и готовность к запуску в экосистеме MLX, а ограничениями — возможное снижение точности из-за 4-битного квантования, неизвестные параметры контекстного окна и отсутствие в README подробных результатов оценки качества. Лицензия указана как llama3.2.

Dolphin3.0-Qwen2.5-3b-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Dolphin3.0-Qwen2.5-3b. Исходную модель разработала команда cognitivecomputations, а квантизации подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска и генерации текста, включая ответы на инструкции, задачи программирования, математики, function calling и агентские сценарии. Модель содержит около 3 миллиардов параметров и работает в текстовой модальности; в README указан английский язык. Доступны варианты от F32 и F16 до квантизаций Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми названы, в частности, Q4_K_M, Q5_K_M, Q6_K и некоторые варианты IQ; запуск поддерживается через llama.cpp и LM Studio. Формат prompt использует шаблон ChatML с маркерами ролей system, user и assistant. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска на сравнительно доступном оборудовании и специализация на инструкциях, коде, математике и инструментальном взаимодействии. Ограничения включают небольшой размер модели по сравнению с крупными LLM, возможное снижение качества у сильнее сжатых вариантов, отсутствие в README данных о контекстном окне, мультиязычных возможностях и количественных результатах тестирования. Лицензия обозначена как qwen-research и связана с лицензией Qwen2.5; перед использованием следует проверить её условия для конкретного сценария.

evolvedSeeker-13 — экспериментальная разговорная модель для генерации кода, созданная TokenBender на основе deepseek-ai/deepseek-coder-1.3b-base. Модель дообучена на 50 тысячах инструкций за три эпохи; данные в основном взяты из наборов evolInstruct и glaive coder, а около трёх тысяч ответов дополнительно переработаны с помощью self-instruct. Для общения автор рекомендует формат ChatML; также подходит Alpaca с учётом токена EOT. Модель предназначена для быстрого помощника по коду, автодополнения, подготовки наборов данных и оценки моделей. Она содержит 1,3 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 16 384 токенов. README называет её ранней версией проекта PIC и отмечает, что большая часть работы ещё впереди. Автор предупреждает, что небольшой размер ограничивает способность к рассуждению и может приводить к ошибкам. Лицензия в предоставленных данных не указана.

sixtyoneeighty/FNCARL9000 — языковая модель с архитектурой Mixtral и смесью экспертов (MoE), созданная на основе четырёх моделей с помощью LazyMergekit: Open-Orca/Mistral-7B-OpenOrca, NeuralNovel/Mistral-7B-Instruct-v0.2-Neural-Story, S-miguel/The-Trinity-Coder-7B и chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Модель предназначена для генерации текста и диалогов; объединение исходных моделей ориентировано на инструкции, рассказы, код и математические задачи. Модель содержит 7,1 млрд параметров, использует формат safetensors и имеет контекст до 32 768 токенов. Карточка указывает лицензию Apache-2.0. Язык и качество ответов отдельно не описаны; составные модели включают англоязычную инструкционную модель. Практические результаты могут различаться по задачам, представленным в исходных моделях.

Gemma2-2b-it-codealpaca — дообученная модель ehristoforu для генерации текста в формате диалога и работы с запросами, связанными с кодом. Она основана на unsloth/gemma-2-2b-it-bnb-4bit, имеет плотную архитектуру Gemma 2 с 2,7 млрд параметров и контекст до 8192 токенов. В карточке указано обучение с использованием Unsloth и библиотеки TRL. Модель подходит для ответов на вопросы о программировании, генерации фрагментов кода и диалогового помощника по коду на английском языке. Репозиторий содержит веса PyTorch; лицензия — Apache 2.0. Карточка не приводит результатов оценки качества или подробностей о наборе данных и конкретных языках программирования, поэтому качество ответов для отдельных задач не подтверждено.