II.2Создание и понимание программного кода

ishaanranjan выпустил специализированную модель для локализации ошибок Python по traceback. Это полнопараметрическая модель с supervised fine-tuning на базе HuggingFaceTB/SmolLM2-360M-Instruct: плотная архитектура семейства Llama с 361,8 млн параметров, предназначенная для генерации текста. Она определяет проектный кадр, вызвавший ошибку, и категорию сбоя, выдавая ответ по фиксированной JSON-схеме. Модель рассчитана на использование внутри проверяющей обвязки, которая формирует промпт, проверяет схему, применяет детерминированные проверки и при необходимости использует правила. В тестировании на проектах HTTPX и Jinja2, не включённых в обучение, точность успешного ответа после одной попытки проверки схемы составила 92,4%; валидность JSON с первой попытки — 100%. Контекст модели — до 8192 токенов. README сообщает об обучении на 2000 примерах и отмечает, что детерминированных правил для этой подзадачи может быть достаточно. Модель не предназначена для общего программирования или широкого диалога: её возможности ограничены узкой задачей и заданной JSON-схемой, а широкое следование инструкциям не гарантируется. Лицензия — Apache-2.0.

Terminal-12k-bottom80 — разговорная модель генерации текста на архитектуре Qwen3, дообученная автором cuong1692001 на базе cuong1692001/Terminal-complete-8k. Она предназначена для продолжения терминальных запросов и команд; карточка указывает дообучение на наборе nemotron_complete_bottom_80_12k. Модель содержит 7,6 млрд параметров, использует формат safetensors и имеет контекстное окно 40 960 токенов. Модель подходит для генерации продолжений командной строки и диалогового взаимодействия по этой тематике. В карточке не приведены оценки качества или подробные ограничения, поэтому надёжность результатов для конкретных оболочек и сценариев не подтверждена. Указана лицензия «other» без пояснения условий; перед использованием следует проверить лицензионные сведения репозитория.

Viking 33B — базовая авторегрессионная языковая модель LumiOpen, созданная совместно группой TurkuNLP Университета Турку, SiloGen и High Performance Language Technologies. Это плотный decoder-only трансформер семейства LLaMA с 32,2 млрд параметров, rotary positional embeddings и FlashAttention; в карточке указан контекст 4096 токенов. Модель опубликована в формате Safetensors под лицензией Apache 2.0. Модель предварительно обучена на многоязычном корпусе, включающем финский, английский, шведский, датский, норвежский, исландский языки и код. Она предназначена для генерации текста, базового перевода между этими языками, а также понимания и генерации кода. Viking — базовая модель, поэтому для большинства прикладных сценариев ей требуется дополнительная настройка. Это частично обученный чекпойнт: указан прогресс обучения на 1,3 трлн токенов из запланированных 2 трлн, а карточка приводит доступные промежуточные этапы. Полные результаты оценки не опубликованы. Модель может выдавать неточные, предвзятые или спорные ответы; авторы указывают на отсутствие значимой компетенции в языках за пределами перечисленных.

ALIA-40b — базовая языковая модель, разработанная командой проекта ALIA и предварительно обученная с нуля. Это декодерный Transformer семейства Llama с 38,3 млрд параметров по метаданным и контекстом до 32 768 токенов. Обучение проводилось на 9,37 трлн токенов текстовых данных на 35 европейских языках и коде. Модель предназначена для генерации текста и может служить основой для последующей адаптации к многоязычным задачам, включая перевод, генерацию в специализированных областях и анализ текста. Она не проходила инструкционное дообучение или выравнивание с предпочтениями людей, поэтому сама по себе не является готовым ассистентом: перед практическим применением рекомендуется дополнительное дообучение и оценка рисков. В README отмечены возможные смещения, слабое представление нестандартных языковых вариантов и ограничения анализа безопасности. Веса доступны в формате Safetensors, лицензия — Apache 2.0. Модель выпущена в декабре 2024 года; карточка также сообщает о публикации обучающих скриптов и конфигураций.

ARIA-70B-V2 — языковая модель Faradaylab, созданная дообучением Llama 2-70B-Chat-HF на франкоязычных данных. Она предназначена для генерации текста и диалогов на французском языке, а также для ответов на общие вопросы и задач, связанных с кодом. Модель использует плотную авторегрессионную архитектуру Llama с 68,7 млрд параметров; стандартный контекст составляет 4096 токенов. В README описан экспериментальный способ увеличить контекст более чем до 6000 токенов с помощью масштабирования RoPE, которое не включено по умолчанию. Разработчики сообщают о собственном наборе из более чем 50 000 французских примеров для повышения качества на французском и общих темах. Вход и выход — текст. Для использования весов требуется принять лицензию Meta Llama 2; README также упоминает доступность отдельной коммерческой лицензии. Модель может ошибаться, а приведённые сведения не подтверждают её качество на конкретных прикладных задачах.

Aurora-Spec-Qwen3-Coder-Next-FP8 — компактная черновая модель EAGLE3 от Together Computer для ускорения генерации кода целевой моделью Qwen/Qwen3-Coder-Next-FP8. Согласно карточке, её обучили с нуля в рамках системы Aurora для обучения во время инференса; архитектура — однослойный Transformer-декодер с древовидным вниманием, точность FP8, размер около 421,3 млн параметров, контекст — до 262 144 токенов. Модель предлагает кандидаты на следующие токены, которые целевая модель проверяет параллельно в режиме speculative decoding. Она рассчитана на интеграцию в EAGLE3-совместимый inference-пайплайн, например с SGLang, и нацелена на ускорение генерации кода; карточка сообщает о среднем принятии около 3,1 токена и наибольшем выигрыше при небольших пакетах запросов. Лицензия — Apache-2.0. Модель предназначена для конкретной целевой модели и требует совместимого EAGLE3-инференса. Выигрыш зависит от размера пакета: при больших пакетах накладные расходы проверки могут свести ускорение на нет или сделать генерацию медленнее; на других доменах производительность может отличаться.

Bamboo-base-v0_1 — плотная языковая модель на 7,1 млрд параметров, разработанная командой Tiiny. Это причинная модель архитектуры Bamboo с модифицированным блоком FFN: после GLU добавлена ReLU, что, по README, обеспечивает около 85% разреженности активаций и рассчитано на ускорение инференса. Модель предназначена для генерации текста и извлечения признаков; в карточке также заявлено сопоставимое с Mistral-7B качество на ряде тестов. Модель обучалась на 150 млрд токенов, включая англоязычные веб-данные, код и математические тексты. Контекст составляет до 32 768 токенов. Она подходит для генерации и продолжения английского текста, а также для исследовательских экспериментов с разреженными LLM и ускорением вывода. Поддержка других языков ограничена. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. README отмечает возможные пробелы в качестве на отдельных задачах и вероятностный характер генерации, который может приводить к неожиданным ответам.

Это дообученная модель генерации текста на основе marin-community/marin-8b-base, разработанная AmberYifan. Модель построена на плотной архитектуре Llama и содержит 7,5 млрд параметров; она рассчитана на продолжение и генерацию текста. В обучении использован набор capsd_marin-8b-base-n80000-opc-dedup80k__mix_code_cap_b12000_s0, что указывает на адаптацию к смешанным данным с кодом, однако README не описывает конкретные сценарии или результаты оценки. Модель принимает текст и выдаёт текст, поддерживает диалоговый режим и имеет контекст длиной до 4096 токенов. Базовая marin-8b-base ориентирована на английский язык; отдельные сведения о языковом охвате дообученной версии не приведены. Репозиторий содержит веса в формате safetensors и использует Transformers. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория и базовой модели.

SambaNova Systems разработала codegen-16B-mono-toolbench — плотную языковую модель на 16 млрд параметров для генерации действий через API. Это инструкционно дообученная версия codegen-16B-mono, обученная на наборах данных для восьми задач ToolBench. Модель предназначена для генерации последовательностей вызовов API и поддерживает английский язык; контекст составляет 2048 токенов. Модель можно применять в коммерческих и исследовательских сценариях, например для автоматизации задач через API. Она загружается через Transformers и использует веса PyTorch. Лицензия — BSD 3-Clause. Разработчик ограничивает назначение модели генерацией действий на основе API, поэтому её не следует считать универсальным помощником для иных задач.

Модель cyberagent/DeepSeek-R1-Distill-Qwen-14B-Japanese — японская дообученная версия DeepSeek-R1-Distill-Qwen-14B, созданная Рёсуке Исигами. Это плотная языковая модель семейства Qwen2 с 14 млрд параметров для генерации текста и диалогов; она принимает текстовые запросы и формирует текстовые ответы. Контекст составляет до 131 072 токенов. Модель рассчитана прежде всего на работу с японским языком и может применяться для диалоговых ответов и генерации текста. В основе лежит дистиллированная модель DeepSeek, ориентированная на рассуждения, включая математику и программирование; README подтверждает японскую донастройку, но не приводит отдельные оценки качества для этих задач. Модель опубликована в формате safetensors под лицензией MIT.

MaziyarPanahi/DeepSeek-V2.5-GGUF — это набор файлов модели в формате GGUF для базовой модели DeepSeek-V2.5, разработанной deepseek-ai. Квантованные файлы подготовлены пользователем MaziyarPanahi и предназначены для локального запуска задач генерации текста. Модель ориентирована на использование с llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и другие приложения, поддерживающие GGUF. Формат подходит для локального инференса с возможностью задействовать CPU и GPU в зависимости от выбранного клиента и конфигурации. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером файлов, требованиями к памяти и качеством генерации. В README не указаны точная архитектура и размер модели, поддерживаемые языки, длина контекста, конкретные системные требования или лицензия, поэтому эти характеристики нельзя достоверно описать.

DeepSeek-V4-Flash-162B-REAP-GGUF — это набор GGUF-квантизаций модели DeepSeek-V4-Flash-162B, подготовленный сообществом на основе модели 0xSero/DeepSeek-V4-Flash-162B. Модель предназначена для генерации текста и локального инференса через llama.cpp на конфигурациях с несколькими GPU. Указаны варианты Q2_K размером 56 ГБ и Q3_K_M размером 73 ГБ; для них заявлены контекст до 200K и 128K токенов соответственно при использовании Q4 KV-cache. Поддерживаемые языки — английский и китайский. Архитектура основана на DeepSeek-V4 с pruning REAP, уменьшившим исходный размер с 284B до 162B параметров. Модель использует MoE со 144 экспертами, веса экспертов в формате MXFP4 и MHC (Manifold Hyper-Connections). Вариант Q2_K на двух GPU с суммарно 96 ГБ VRAM показывает около 28–29 токенов в секунду, тогда как Q3_K_M — около 13 токенов в секунду. Для работы требуется многопроцессорная конфигурация с двумя GPU по 48 ГБ VRAM, не менее 112 ГБ оперативной памяти и дисковое пространство 56–73 ГБ. Необходима пропатченная версия llama.cpp: стандартная версия может аварийно завершаться из-за нестандартной маршрутизации экспертов REAP. В README также отмечена нестабильность варианта Q3_K_M. Модель и связанные патчи распространяются по лицензии MIT.

MaziyarPanahi/dolphin-2.6-mistral-7b-Mistral-7B-Instruct-v0.2-slerp-GGUF — это набор файлов модели в формате GGUF, разработанный и квантованный MaziyarPanahi. Модель основана на MaziyarPanahi/dolphin-2.6-mistral-7b-Mistral-7B-Instruct-v0.2-slerp, связанном с Mistral-7B-Instruct-v0.2 и dolphin-2.6-mistral-7b. Она предназначена для генерации текста и запуска локальных систем на базе llama.cpp и совместимых приложений и библиотек. Модель относится к семейству 7B и поддерживает несколько вариантов квантования, включая 2-, 3-, 4-, 5-, 6- и 8-битные варианты; в README подробно описаны схемы GGML_TYPE_Q2_K, Q3_K, Q4_K, Q5_K и Q6_K. Разные варианты позволяют выбирать компромисс между размером файлов, требованиями к памяти, скоростью и сохранением качества. Формат поддерживается llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими инструментами. Сильными сторонами являются возможность локального запуска, широкий выбор уровней квантования и совместимость с популярными средствами инференса. README не содержит сведений о поддерживаемых языках, размере контекста, точных характеристиках архитектуры, результатах тестирования или качестве на конкретных задачах. Квантование может снижать точность по сравнению с исходной моделью, а степень снижения зависит от выбранного варианта. Модель распространяется по лицензии Apache-2.0.

Карточка модели tepirale/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-assistant-safetensors-yuxinlu1 на Hugging Face совпадает с карточкой tepirale/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-safetensors-yuxinlu1, поэтому описание составлено по ней. Это версия Gemma 4 12B в формате SafeTensors, опубликованная пользователем tepirale. Согласно карточке, веса преобразованы из GGUF в SafeTensors; метаданные связывают модель с yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF и классифицируют её как дообученную производную. Модель предназначена для диалоговых сценариев с изображениями; теги также указывают на агентное использование, работу с инструментами и кодом. Архитектура — плотная Gemma4UnifiedForConditionalGeneration, размер семейства — 12B по идентификатору модели. Карточка указывает поддержку изображений и текста, а лицензия в метаданных — Apache-2.0. README сообщает о конверсии формата, но не описывает методику преобразования или проверку сохранности поведения; сведений о контекстном окне и поддерживаемых естественных языках в предоставленных данных нет.

Карточка модели pupsipups/gemma-4-31B-it-The-DECKARD-HERETIC-UNCENSORED-Thinking на Hugging Face совпадает с карточкой DavidAU/gemma-4-31B-it-The-DECKARD-HERETIC-UNCENSORED-Thinking, поэтому описание составлено по ней. DavidAU разработал эту модель на основе Google Gemma 4 31B IT: сначала применил снятие части отказов (abliteration), затем умеренно дообучил модель с помощью Unsloth на собственной коллекции текстов THE DECKARD. Это плотная мультимодальная модель семейства Gemma 4 с архитектурой Gemma4ForConditionalGeneration; репозиторий содержит веса safetensors в bfloat16. Модель настроена для диалогов и генерации текста, а также поддерживает ввод изображений. В README описаны режимы instruct и thinking; для thinking приведён шаблон диалога с принудительно включённым режимом рассуждений. Автор ориентирует модель на творческое письмо, художественную прозу, ролевые диалоги, генерацию сюжетов и продолжение сцен, а также на общие вопросы и программирование. В README указано контекстное окно 128 тыс. токенов, но метаданные базовой Gemma 4 указывают 256 тыс. токенов для версии 31B; для этой производной точный лимит следует сверять с конфигурацией репозитория. Метаданные подтверждают возможность анализа изображений, однако заявленные в README возможности видео и аудио относятся к семейству Gemma 4 в целом и не подтверждены для этой версии. Лицензия — Apache-2.0.

TheStageAI/gemma-4-E2B-it-GGUF — набор квантизированных GGUF-чекпойнтов модели Google Gemma 4 E2B IT, подготовленных TheStageAI для запуска через llama.cpp. Модель предназначена для генерации текста и локального инференса на устройствах с ограниченным объёмом памяти. Архитектурные детали, число параметров, поддерживаемые языки и размер контекстного окна в README не указаны. Доступны четыре варианта с разным компромиссом между размером и точностью: XS — 1,73 ГБ, S — 2,40 ГБ, M — 2,68 ГБ и L — 4,97 ГБ. Рекомендуется вариант S: по заявленным результатам он сопоставим с эталонной версией BF16 на instruction-strict IFEval, набрав 77,26% против 76,89%, а также получил 60,70% на MMLU-Pro. Варианты S, M и L предпочтительнее для развёрнутого рассуждения, тогда как XS ориентирован на минимальный объём памяти и заметно уступает по MMLU-Pro. Чекпойнты созданы с использованием производственного post-training quantization-пайплайна с учётом Fisher information, распространения ошибок квантования между слоями, оптимизации распределения битового бюджета и дистилляции распределения следующего токена. Сильной стороной является выбор нескольких уровней точности для локального запуска при сохранении близкого к BF16 качества у рекомендуемого варианта S. Ограничения включают зависимость характеристик от выбранного уровня квантования и отсутствие в README данных о скорости, требованиях к оборудованию, мультимодальности и языковом покрытии. Модель распространяется по лицензии Apache-2.0.

MuXodious выпустил дообученную версию GLM-4.7-Flash, обработанную инструментом Heretic с методом abliteration. Модель предназначена для диалоговой генерации текста и ответов с меньшей склонностью к отказам: в карточке указаны 4 отказа из 100 проверок после обработки против 99 из 100 до неё. Для классификации результата автор использует собственный индекс «Absolute Heresy»; он не является оценкой общей производительности. В метаданных указаны архитектура GLM-4 MoE Lite, 4,1 млрд параметров, контекст 202 752 токена и формат safetensors. Базовая модель GLM-4.7-Flash описана как модель для рассуждений и программирования с длинным контекстом; README сообщает о локальном запуске через Transformers, vLLM и SGLang. В тегах указаны английский и китайский языки. Модель подходит для диалоговых приложений, где требуется снизить частоту отказов, но результаты abliteration не гарантируют точность или качество ответов и могут влиять на поведение модели. Лицензия — MIT.

GLM-5.3-DERISKED-Int4-Int8Mix — языковая модель для генерации текста, разработанная Blackfrost на основе полной GLM-5.3 от Z.AI и квантизированной версии Tech2wild. Модель предназначена для исследовательского и локального использования, включая запуск и обслуживание через vLLM на совместимой многографической инфраструктуре. Она поддерживает английский и китайский языки и относится к классу causal language models. Архитектура модели — GlmMoeDsaForCausalLM с mixture-of-experts: около 743 млрд параметров всего, примерно 40 млрд активных на токен, 78 основных слоёв и дополнительный MTP-слой. Используются 256 маршрутизируемых экспертов с выбором top-8 на токен и один общий эксперт, скрытый размер составляет 6144. Веса представлены в формате compressed-tensors pack-quantized: маршрутизируемые эксперты квантизированы в Int4, плотные и attention-слои — в Int8, с group size 128. Контекст может достигать 131 072 токенов согласно настройкам запуска. Сильной стороной модели является сочетание полной MoE-архитектуры GLM-5.3 с компактным смешанным квантизированным представлением, рассчитанным на работу в ограниченной по памяти инфраструктуре. Blackfrost применил к весам собственную модификацию DWM, изменяющую профиль отказов модели. Чекпойнт не проходил оценочную серию тестов на отказы, поэтому показатели безопасности от других вариантов GLM-5.3 к нему неприменимы. Выводы могут быть неточными, оскорбительными или небезопасными; модель не является механизмом обеспечения безопасности и требует внешних ограничений. Модель публична и не требует специального доступа. Для запуска заявлен путь vLLM с compressed-tensors и tensor parallelism; это не GGUF-модель. Лицензия наследуется от GLM-5.3 и указана как glm-5.3; необходимо сохранять исходные уведомления об авторских правах и условиях лицензии.

ibm-granite/granite-4.2-8b-nvfp4 — это версия модели Granite-4.2-8B в формате NVFP4, разработанная IBM. Репозиторий основан на базовой модели ibm-granite/granite-4.2-8b и предназначен для использования с библиотекой Transformers. Из доступных данных известно, что модель относится к языковым моделям и имеет размер 8 миллиардов параметров в базовой версии. Формат NVFP4 ориентирован на более компактное представление модели, однако конкретные сведения о поддерживаемых языках, архитектуре, длине контекста, модальностях, целевых сценариях и результатах оценки в карточке не приведены. Модель может быть полезна как оптимизированное представление Granite-4.2-8B для задач, где важны совместимость с Transformers и снижение требований к хранению или вычислениям, но преимущества и ограничения NVFP4 для конкретного оборудования не указаны. Модель распространяется по лицензии Apache-2.0.

Это GGUF-представление KATCoder-2.5-Dev, подготовленное для запуска на графических процессорах AMD. Автор карточки описывает преобразование исходной модели Kwaipilot/KATCoder-2.5-Dev размером 35 млрд параметров: к ней добавляется MTP-заголовок, затем веса конвертируются в GGUF и квантуются в формате ROCmFPX. Репозиторий предназначен для генерации текста в диалоговом режиме через инструменты ROCmFPX и llama.cpp на системах с AMD ROCm или Vulkan. В README упоминаются варианты ROCmFP4 и ROCmFP6, а также экспериментальные уровни квантизации с разным компромиссом между скоростью и качеством. Метаданные указывают на формат GGUF, лицензию MIT и английский язык. Заявленные в карточке скорости относятся к окружениям AMD и не являются независимой оценкой качества или производительности этой загрузки.

Shining Valiant 2 — чат-модель Valiant Labs, дообученная на базе Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов; она принимает текст и генерирует текст, используя формат инструкций Llama 3.1 Instruct. Модель рассчитана на диалог, ответы на технические вопросы и структурированные рассуждения, особенно в естественных науках, инженерии и информатике. Для обучения использованы наборы sequelbox/Celestia для технических знаний, sequelbox/Spurline для сложных рассуждений и sequelbox/Supernova для общего диалога. В README заявлены улучшения в логике и структурированном рассуждении, а также в физике, химии, биологии, астрономии, науках о Земле, информатике и теории информации. Метаданные указывают английский язык. Модель распространяется в формате safetensors по лицензии llama3.1; применение требует соблюдения условий лицензии Llama 3.1.

ark4004/llama3.8-27b-uc-fp8-jh — размещённая пользователем на Hugging Face производная модель семейства Qwen3.8-27B; точный автор исходной модификации и метод её создания в карточке не указаны. Репозиторий предназначен для генерации текста и мультимодальных сценариев, включая работу с изображениями; доступны интеграции с Transformers, vLLM и SGLang. Модель содержит около 28 млрд параметров и использует формат FP8 F8_E4M3 с отдельными компонентами BF16. По назначению исходной Qwen3.8-27B она ориентирована на понимание текста, изображений и видео, программирование, мультимодальное рассуждение, обработку длинного контекста, вызов инструментов и агентские задачи. Для конкретной производной модели длина контекста, поддерживаемые языки, результаты тестирования и точные архитектурные особенности не указаны, поэтому её сильные и слабые стороны относительно исходной модели надёжно оценить нельзя. Для репозитория указана лицензия Apache-2.0. FP8-квантизация может снизить требования к памяти и ускорить инференс по сравнению с полноточными весами, но потенциально влияет на качество; количественные данные о таком влиянии отсутствуют. Модель не была доступна через провайдеров инференса на момент проверки.

Llama-Deepsync-3B-GGUF — это набор квантованных версий языковой модели Llama-Deepsync-3B, преобразованных в формат GGUF разработчиком prithivMLmods и квантованных bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, включая задачи, связанные с программированием, рассуждениями и математикой, и может запускаться локально, в частности через LM Studio. Доступны варианты от полноразмерных F16 до компактных квантовок Q2 и IQ3. Модель имеет около 3 миллиардов параметров и относится к текстовым генеративным моделям. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. README не содержит сведений о длине контекста, точной архитектуре базовой модели, данных обучения или результатах бенчмарков. Квантованные варианты позволяют выбирать между качеством и требованиями к памяти: Q6 и Q5 позиционируются как близкие к исходному качеству, Q4 — как оптимальный компромисс, а Q3 и Q2 требуют меньше памяти, но заметно уступают по качеству. Модель распространяется по лицензии creativeml-openrail-m. Конкретные ограничения этой лицензии и условия коммерческого использования в README не раскрыты.

LlamaREST-EX — семейство языковых моделей, дообученных разработчиками LlamaRestTest на базе Llama 3 8B для генерации реалистичных примеров значений параметров REST API. Модель предназначена для автоматизированного тестирования REST API и используется в конвейере LlamaRestTest при создании тестовых запросов; парная модель LlamaREST-IPD предсказывает зависимости между параметрами. Доступны варианты размером 2B, 4B и 8B; в этом репозитории размещены версии GGUF, квантованные через llama.cpp с Q6_K. Для обучения применялась QLoRA, а данные примеров взяты из random1234321/REST-EX. Базовая модель — Meta-Llama-3-8B; карточка указывает английский язык. Репозиторий распространяется по лицензии Llama 3. Для запуска GGUF предназначен llama.cpp, а основным сценарием использования автор называет конвейер LlamaRestTest.

Карточка модели MathGenie/MathCoder2-DeepSeekMath-7B на Hugging Face совпадает с карточкой MathGenie/MathCoder2-Llama-3-8B, поэтому описание составлено по ней. MathCoder2-Llama-3-8B — языковая модель MathGenie для генерации текста с упором на математические рассуждения и код. Она создана продолжением предобучения Meta-Llama-3-8B на наборе MathCode-Pile, содержащем математический код и сопровождающие его рассуждения на естественном языке. Модель с плотной архитектурой Llama насчитывает 7,5 млрд параметров, принимает текст и рассчитана на контекст до 8192 токенов. Она предназначена для решения математических задач, объяснения хода рассуждений и работы с математическим кодом на английском языке. В карточке указана лицензия Apache-2.0. Специализация на математике не гарантирует правильность вычислений или сгенерированного кода.

MiniCPM5-2B-heretic-abliterated-GGUF — набор квантизированных моделей в формате GGUF, созданный Abiray на основе openbmb/MiniCPM5-2B. В модели применена методика directional refusal ablation с использованием Heretic v1.4.0, направленная на нейтрализацию механизмов отказа при сохранении основных возможностей исходной модели. Модель предназначена для генерации текста и локального запуска на устройствах с ограниченными ресурсами через llama.cpp, Ollama, LM Studio, Jan и другие совместимые исполнители GGUF. Заявлена поддержка английского и китайского языков, а также сценариев программирования, математических задач и многошагового рассуждения. Архитектура в README не описана; размер базовой модели — 2B параметров. Доступны варианты квантования от Q3_K_M до Q8_0 размером примерно от 1,29 до 2,68 ГБ. В качестве рекомендуемого указан Q4_K_M как баланс скорости, занимаемой памяти и качества. По приведённым автором тестам, доля отказов снижена до 5 из 100 против 99 из 100 у исходной модели, а KL divergence относительно базы составляет 0,0391, что указывает на небольшое изменение представлений. При этом заявленное снижение отказов может означать ослабление встроенных ограничений безопасности, поэтому ответы модели требуют дополнительной проверки и внешних защитных механизмов. Контекст в README явно не указан; значение 4096 приведено только в примере запуска. Лицензия — Apache-2.0.

Mistral-7B-Instruct-v0.3-heretic — языковая генеративная модель, созданная пользователем saidutta69 на основе Mistral-7B-Instruct-v0.3 от Mistral AI. Модель обработана инструментом Heretic v1.4.0 методом направленной абляции: изменения внесены в отдельные веса attention и MLP без дообучения. Заявленный размер — 7,2 млрд параметров; основная заявленная поддерживаемая языковая версия — английский язык. Модель предназначена для генерации текста, диалоговых систем, локальных агентов, ролевых сценариев, function calling и исследований механизмов выравнивания и отказов моделей. Доступны полноточные веса BF16 и квантизированные варианты GGUF Q4_K_M, Q5_K_M, Q6_K и Q8_0, что позволяет запускать её на бытовых видеокартах, CPU и устройствах Apple Silicon. Согласно README, подавление отказов существенно снизило их частоту по сравнению с базовой моделью, при этом автор заявляет о сохранении исходных знаний и возможностей следования инструкциям. Ключевое ограничение — намеренное удаление защитных ограничителей: модель может выполнять запросы, которые базовая версия отклоняет, включая потенциально опасные. Она сохраняет фактические ограничения и предвзятости исходной модели, а отсутствие встроенной фильтрации делает её неподходящей для незащищённых публичных сервисов без дополнительной модерации. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Это GGUF-сборка DeepSeek-R1-0528-Qwen3-8B-bf16, подготовленная mlx-community и опубликованная TensorBlock. Репозиторий содержит файлы модели в формате GGUF, совместимые с llama.cpp начиная с указанной в карточке версии. Модель предназначена для генерации текста; в README приведён шаблон запроса с системным промптом и пользовательским запросом. В репозитории доступны варианты квантования, включая Q2_K и Q3_K_S/Q3_K_M; README отмечает заметную потерю качества у этих компактных вариантов. Указанная лицензия — MIT. Основа — mlx-community/DeepSeek-R1-0528-Qwen3-8B-bf16.

NanoLM-0.3B-Instruct-v2 — компактная англоязычная чат-модель от Mxode для генерации текста и выполнения инструкций. Она предназначена для диалоговых сценариев и генерации кода, когда важны небольшой размер модели и работа на ограниченных вычислительных ресурсах. Модель построена на архитектуре Qwen2ForCausalLM; в репозитории указано 315 млн параметров, а в README для описанной конфигурации приведены 12 слоёв, размерность 896 и 14 голов внимания. Метаданные указывают контекст до 131 072 токенов, тогда как README приводит длину последовательности 4K. Модель поддерживает только английский язык и распространяется в формате safetensors по лицензии GPL-3.0. README заявляет хорошие способности следовать инструкциям, а метаданные отмечают чат и код как возможности. При этом README содержит несоответствие версий: в заголовке указана v2, а в деталях конфигурация названа v1.1; параметры и контекст в README также расходятся с метаданными. Это небольшая модель, поэтому качество на сложных задачах может уступать более крупным моделям.

Nemotron-Terminal-8B — модель NVIDIA для автономного взаимодействия с терминалом. Она дообучена на базе Qwen3 и специализирована на задачах, где нужно анализировать состояние терминала, планировать действия и выдавать команды в структурированном JSON-формате для оболочки Terminus 2. Модель содержит 7,6 млрд параметров, использует плотную архитектуру Qwen3 и принимает текст; заявленная длина контекста — 40 960 токенов. В README приведён результат 13,0% на Terminal-Bench 2.0 для варианта 8B, выше указанного результата базовой Qwen3 8B в 2,47%. Модель ориентирована на англоязычные терминальные сценарии; метаданные указывают поддержку чата и библиотеку Transformers. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория.