II.2Создание и понимание программного кода

OmniCoder-Queen-9B-i1-GGUF — это GGUF-квантизированная версия модели OmniCoder-Queen-9B, разработанной aifeifei798 и квантизированной mradermacher. Модель предназначена для генерации текста и работы с изображениями и текстом; по указанным тегам её сценарии включают roleplay, использование в SillyTavern и задачи, связанные с кодированием. Заявлен английский язык, а базовая библиотека — Transformers. Модель содержит около 9 млрд параметров и относится к мультимодальным vision-моделям: для обработки изображений могут потребоваться дополнительные mmproj-файлы из статического репозитория. Доступны многочисленные варианты GGUF-квантизации размером примерно от 2,8 до 7,5 ГБ. В README рекомендуются варианты i1-Q4_K_M как быстрый и практичный, а i1-Q4_K_S — как компромисс между размером, скоростью и качеством; более агрессивные квантизации могут заметно снижать качество. Сведения о контексте, точной архитектуре, обучающих данных и результатах тестирования не приведены. Лицензия модели — Apache-2.0. Для запуска GGUF-файлов потребуется совместимое программное обеспечение, а для мультимодальной работы — соответствующий mmproj-файл. Ограничения включают зависимость качества от выбранного уровня квантизации и отсутствие подробных данных о языковой поддержке, максимальном контексте и производительности.

OpenLLaMA 7B v2 — предварительная версия открытого воспроизведения языковой модели LLaMA, разработанная командой OpenLM Research. Это плотная авторегрессионная модель семейства LLaMA с 6,6 млрд параметров, предназначенная для генерации текста и использования в реализациях, совместимых с LLaMA. Модель обучена с нуля на смеси открытых наборов данных: Falcon RefinedWeb, StarCoder и разделов RedPajama с Wikipedia, arXiv, книгами и Stack Exchange. Контекст составляет 2048 токенов; доступны веса PyTorch. В README сообщается о сопоставимых с исходной LLaMA и GPT-J результатах на большинстве рассмотренных задач оценки. Модель подходит для продолжения текста и экспериментов с языковыми моделями общего назначения. Авторы предупреждают, что автоматически преобразованный быстрый токенизатор может давать неверную токенизацию; для корректной работы рекомендуется использовать медленный токенизатор. В отдельных бенчмарках обнаружено подозрительно высокое качество, возможно связанное с загрязнением обучающих данных. Лицензия — Apache-2.0.

Falconsai/proof_v2 — модель принятия решений с закрытым набором вариантов от Falconsai, построенная на encoder-архитектуре ModernBERT-base. Она принимает текст или код, вопрос и от 2 до 20 вариантов ответа, после чего оценивает каждый вариант и возвращает вероятности. Модель не генерирует текст и всегда выбирает один из предложенных вариантов. Модель предназначена для маршрутизации обращений поддержки по категориям и для понимания кода по заданному меню ответов: например, определения языка кода или выбора реализации по описанию задачи. Также она подходит для проверки текстовых утверждений на следование или противоречие. Основной общий классификатор активен, а специализированные головы для намерений, кода и рассуждений обучены, но их пороговые шлюзы закрыты, поэтому сейчас они не участвуют в ответах. Модель содержит около 149 млн параметров по метаданным, использует библиотеку Transformers и обучалась с длиной входа 384 токена; базовая ModernBERT-base поддерживает контекст до 8192 токенов. По результатам карточки, сильные области — сопоставление кода с описаниями, определение намерений и проверка следования в тексте. Модель слабо справляется с поиском ошибок и клонов кода, арифметическими задачами и некоторыми тестами на знания. Она всегда выбирает вариант из списка, обрезает входы длиннее 384 токенов, а калибровка вероятностей зависит от распределения данных. Обучающие данные англоязычные, поэтому карточка отмечает риск ошибок для диалектов и формулировок неносителей языка. Лицензия — Apache-2.0.

unsloth/Qwen3-0.6B-Base-bnb-4bit — это 4-битная версия предварительно обученной причинной языковой модели Qwen3-0.6B-Base, подготовленная Unsloth на базе модели Qwen Team. Она предназначена для генерации текста, языкового моделирования и использования в прикладных сценариях, где важны компактный размер и сниженные требования к памяти, включая локальный запуск и дальнейшую адаптацию. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не относятся к эмбеддингам, имеет 28 слоёв и использует Grouped Query Attention с 16 головами для запросов и 8 для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Qwen3 обучалась на 36 трлн токенов на 119 языках, включая данные для программирования, STEM, логического рассуждения, книг, многоязычных и синтетических источников, однако README не уточняет распределение качества по языкам для данной компактной версии. К сильным сторонам относятся компактность, 4-битное представление и поддержка длинного контекста. Это базовая предварительно обученная модель, поэтому она не позиционируется как готовый чат-ассистент и может требовать дополнительного дообучения или специального промптинга для диалоговых задач. Для работы рекомендуется актуальная версия библиотеки transformers; версии ниже 4.51.0 могут вызывать ошибку KeyError: qwen3. Модель распространяется по лицензии Apache-2.0.

RootMonsteR/Qwen3-14B-Abliterated — плотная языковая модель на 14 млрд параметров, созданная автором репозитория на основе Qwen/Qwen3-14B методом направленной абляции Heretic v1.3.0. Модель сохраняет диалоговые, рассуждающие, программные и агентные возможности исходной Qwen3-14B, одновременно подавляя значительную часть отказов. Она предназначена для автономных агентов, вызова инструментов, авторизованных задач кибербезопасности, обучения и исследований отказов модели. Модель принимает текст и генерирует текст; заявленный контекст — 40 960 токенов. В README указана поддержка более 100 языков и диалектов, но конкретный перечень не приведён. Автор сообщает о снижении отказов с 99 до 10 на 100 запросах из тестового набора, однако оценка основана на детекторе по ключевым словам. Модель доступна в формате bf16 Safetensors; README также упоминает сторонние сборки GGUF. Лицензия — Apache-2.0. Это не универсальное улучшение исходной модели: абляция не добавляет знаний и навыков, а уменьшает выраженность связанных с отказами компонентов. Модель не проходила самостоятельную проверку стандартных показателей качества, сохраняет смещения базовой модели и не добавляет защитных механизмов; отказы всё ещё возможны. Для вызова инструментов автор рекомендует избегать низкой точности квантования, поскольку она может ухудшать соблюдение формата JSON.

unsloth/Qwen3-1.7B-Base-unsloth-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-1.7B-Base, разработанной командой Qwen. Модель относится к causal language models и предназначена для предобучения, генерации и продолжения текста, а также для адаптации под прикладные задачи с помощью дополнительного обучения или тонкой настройки. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к embedding, и включает 28 слоёв. Она использует Grouped-Query Attention с 16 головами для Q и 8 для KV, поддерживает контекст длиной до 32 768 токенов и обучалась на данных на 119 языках, включая материалы по программированию, STEM, рассуждениям и мультиязычным задачам. README не указывает полный перечень поддерживаемых языков и модальности, поэтому модель следует считать текстовой. Ключевые преимущества — компактный размер, сниженные требования к памяти благодаря 4-битному представлению и поддержка длинного контекста. Это делает модель подходящей для локального запуска и ресурсоограниченных сред, однако по возможностям и качеству она уступает более крупным моделям, а как базовая предобученная версия не предназначена непосредственно для диалогового использования без дополнительной настройки. Для работы рекомендуется актуальная версия библиотеки transformers; версия ниже 4.51.0 вызывает ошибку распознавания архитектуры Qwen3. Модель распространяется по лицензии Apache-2.0.

MingZwhy/Qwen3-1.7B-W1.88-QAOPD — производная компактной языковой модели Qwen3-1.7B, представленная автором MingZwhy. Весовые коэффициенты квантованы до эффективных 1,88 бита: основная часть блоков хранится в смешанном формате INT1.58/INT4, а эмбеддинги и выходная голова — в INT4; активации — INT8. Квантование включено в веса, модель загружается для оценки через Transformers. Модель предназначена для генерации текста и диалогов; в README приведены результаты на математических задачах, вопросах и задачах программирования. Контекстное окно составляет 40 960 токенов. Модель унаследовала многоязычность базовой Qwen3, но конкретные поддерживаемые языки в предоставленных данных не перечислены. По опубликованным тестам она уступает исходной версии Qwen3-1.7B BF16, особенно на математических бенчмарках. Лицензия — Apache-2.0.

pearl-ai/Qwen3-30B-A3B-Instruct-2507-pearl — сертифицированный вариант Qwen3-30B-A3B-Instruct-2507, разработанный Pearl Research Labs на базе модели Qwen от Alibaba. Это каузальная instruction-tuned языковая модель для генерации текста и диалоговых сценариев, прежде всего предназначенная для работы в связке с Pearl vLLM mining plugin и стеком Pearl miner. В карточке указана поддержка английского языка. Модель использует архитектуру Qwen3MoeForCausalLM и подход Mixture-of-Experts: всего 30 млрд параметров, из которых около 3 млрд активируются для каждого токена; на токен маршрутизируются 8 экспертов. Архитектура включает 48 скрытых слоёв. Применяется смешанная квантизация W7A7 и FP8, выполненная средствами Pearl, что ориентировано на эффективное развёртывание. В примере запуска через vLLM используется максимальная длина контекста 8192 токена, однако это значение относится к конфигурации запуска. Основное преимущество модели — совместимость с инфраструктурой Pearl для майнинга при сохранении близких к исходной модели результатов: на полном тесте MMLU-Pro Pearl-версия получила 77,33% против 77,88% у оригинала. Для работы рекомендуются CUDA и NVIDIA GPU класса sm90, например H100 или H200, а также компоненты Pearl, включая запущенный узел pearld с RPC-доступом. Модель можно использовать через Pearl vLLM plugin, vLLM или Transformers, но совместимость зависит от программного стека и поддерживаемой GPU-архитектуры. Возможны некорректные, небезопасные или предвзятые ответы, поэтому необходимы контроль развёртывания и проверка результатов. Модель распространяется по лицензии Apache 2.0.

Qwen3-4B-SFT-DPO-4B-1409i-beta0.15-sft0.3-lr1e-6-bs32-ep3-step-120 — экспериментальный чекпойнт критика кодовых агентов, созданный командой code-critic-model на основе Qwen3-4B-Critic-SFT. Это плотная причинная языковая модель Qwen3 с 3,7 млрд параметров, предназначенная для генерации замечаний по ходу работы кодового агента. Модель дообучена методом DPO; в README указаны параметры запуска: beta 0,15, вес SFT 0,3, скорость обучения 1e-6, эффективный размер пакета 32 и 120 шагов. Контрольная точность на отложенных предпочтениях составила 0,65 на шаге 120; для статьи выбрали чекпойнт шага 80 с результатом 0,68. Этот чекпойнт в статье не использовался и опубликован для сохранения существующих ссылок. Доступны веса Safetensors, библиотека Transformers и контекст до 262 144 токенов. Лицензия в предоставленных данных не указана.

Qwen3.5-0.8B-H128-Q4-G32-DOT4 — квантизированная текстовая модель на базе Qwen/Qwen3.5-0.8B, подготовленная Danmoreng для CPU-движка Qwen3.5 CPU. Она предназначена для локальной генерации текста и работы через серверный API совместимых CPU-систем. Артефакт хранится в специальном формате H128/Q4-G32-DOT4 .q35h и не является GGUF-файлом или checkpoint, загружаемым через Transformers. Модель содержит только веса текстового вывода, без vision- и MTP-компонентов. В крупных проекциях используются знаковые Hadamard-преобразования по 128 каналам, группы из 32 четырёхбитных кодов с FP16-масштабами и упаковка под CPU DOT4; KV-кэш работает в FP16, рекуррентное состояние — в FP32. Размер тензорного payload составляет около 424,9 МБ. Квантизация выполнена методом activation-weighted MSE16 с компенсацией ошибок и калибровкой на 256 документах объёмом 262 144 токена, включавших немецкий и английский языки, Python-код, диалоги и математику. Сильные стороны модели — небольшой размер, готовность к CPU-инференсу, отсутствие необходимости в CUDA, Python и BF16-весах во время запуска, а также высокая скорость на поддерживаемом оборудовании. Ограничения включают зависимость от специального Qwen3.5 CPU engine, отсутствие встроенных потокового режима и chat completions endpoint, необходимость предварительно формировать chat-промпты и отсутствие мультимодальных возможностей. Модель распространяется по лицензии Apache-2.0.

Bolsjay24/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая языковая модель на базе Qwen3.6-27B, разработанная в сотрудничестве автора модели, Nightmedia, TeichAI, armand0e и trohrbaugh; сборка и тонкая настройка выполнялись с использованием Unsloth. Модель создана как многоэтапная fine-tune и merge-модель с применением наборов DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets, а также Fable-, Claude Opus-, GPT5- и других обучающих материалов. Заявлены версии в форматах GGUF с обычным и MTP-квантованием, включая 4- и 8-битные варианты, а также NEO IMATRIX-кванты с частично сохранённой точностью выходного тензора. Модель предназначена для широкого спектра задач: следования инструкциям, решения проблем, рассуждений, программирования, творческого письма, ролевых сценариев и работы с изображениями. Среди заявленных характеристик — улучшенные instruction following, общее понимание и reasoning, поддержка vision, а также языки English и Chinese. В README утверждается, что модель превосходит базовую Qwen3.6-27B в шести из семи тестов и сопоставима с ней в седьмом, однако конкретные значения тестов и независимая методика подтверждения не приведены. Сильными сторонами заявлены высокая производительность на потребительском оборудовании, сохранение возможностей исходной модели, развитое рассуждение и хорошее качество даже у низкоразрядных квантов. Ограничения включают отсутствие подробных сведений о размере контекста, точной архитектуре, системных требованиях и фактических результатах бенчмарков; заявления о «нецензурируемом» поведении также указывают на возможное отсутствие стандартных ограничений безопасности. Лицензия — Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая fine-tune-модель на базе DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. Она создана в рамках совместной работы DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh с использованием многоэтапного дообучения и слияния моделей, включая датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets, а также дополнительные обучающие материалы. Лицензия — Apache-2.0. Модель предназначена для широкого круга задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, работы с историями и ролевыми сценариями. В README заявлены улучшенные общие интеллектуальные способности, reasoning и instruction following, а также vision, однако подробности о поддерживаемых визуальных форматах и способах запуска не приведены. Указаны английский и китайский языки. Размер базовой модели — 27B параметров; точный размер контекста в представленных данных не указан. Распространяются обычные и MTP-варианты в формате GGUF, включая квантизации NEO IMATRIX, ориентированные на запуск на пользовательском оборудовании. Для MTP-вариантов рекомендуется температура не выше 1 и отключённый repetition penalty; при низком уровне token acceptance советуют использовать обычную квантизацию. По утверждению авторов, модель превосходит базовую Qwen3.6-27B в большинстве приведённых ими бенчмарков и сохраняет высокое качество на низких квантизациях, но эти результаты являются заявками из README и требуют независимой проверки. Ограничения включают отсутствие подробных сведений о контекстном окне, системных требованиях и фактическом качестве мультимодальной обработки; обозначение uncensored также указывает на возможное отсутствие стандартных ограничений на содержание.

Bahushruth/Qwen3.6-35B-A3B-abliterated-v4-GGUF — набор GGUF-квантизаций языковой модели, разработанный Bahushruth на базе Bahushruth/Qwen3.6-35B-A3B-abliterated-v4. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama, LM Studio, KoboldCPP и другие совместимые среды. Это MoE-модель с 35 млрд общих параметров, 256 экспертами и 8 активными экспертами на токеном; согласно карточке, около 3 млрд параметров активны при обработке каждого токена. Данные о языках и размере контекстного окна не указаны. Доступны варианты от BF16 до 2-битных K-квантизаций и IQ-квантизаций с importance-matrix-калибровкой. Размер файлов составляет примерно 12–71 ГБ, а требования к оперативной памяти — от 16 ГБ в зависимости от варианта. Основные квантизации не содержат MTP-компонент для максимальной совместимости; отдельный BF16-вариант поддерживает Multi-Token Prediction и спекулятивное декодирование в совместимых версиях llama-server. Модель позиционируется как эффективная по вычислениям благодаря MoE-архитектуре и предлагает выбор между качеством, размером и требованиями к памяти. Вариант является «uncensored»: поведение отказа удалено методом norm-preserving abliteration, поэтому встроенные защитные ограничения ослаблены или отсутствуют. Это может быть полезно для исследовательских и экспериментальных сценариев, но повышает риски небезопасного использования и не гарантирует сохранение исходного поведения базовой модели. Модель распространяется по лицензии Apache-2.0; автор отдельно указывает, что релиз предназначен для исследований и не принимает на себя ответственность за дальнейшее использование.

Это две экспериментальные квантизированные версии Qwen3.6-35B-A3B в формате GGUF, подготовленные michaelw9999 для запуска через llama.cpp. Модель основана на Qwen/Qwen3.6-35B-A3B; каталог указывает на 35 млрд параметров. Репозиторий содержит варианты TURBO для более высокой скорости и HQ с большим числом повышенных до более точного представления тензоров. Размеры файлов — 18,56 и 18,64 ГиБ соответственно. Модель предназначена для генерации текста и диалогового использования. Автор приводит результаты тестов GSM8K, HellaSwag и HumanEval, однако реальные различия между вариантами ещё оцениваются. Квантизация NVFP4 и калибровка imatrix выполнены экспериментальным инструментом на новом пользовательском наборе данных, поэтому качество на других задачах может отличаться. Для NVFP4 указана ориентация на оборудование Blackwell в тегах репозитория. Сведения о лицензии в предоставленных материалах отсутствуют.

Qwen3.6-35B-A3B-Q6_K-GGUF — это квантизированная версия модели Qwen3.6-35B-A3B, разработанная сообществом Qwen и преобразованная пользователем Abiray в формат GGUF с использованием llama.cpp. Модель предназначена для локального запуска на потребительском оборудовании и в сценариях с высокой нагрузкой на CPU; использовать её можно через llama.cpp и совместимые инструменты. Модель имеет архитектуру mixture-of-experts (MoE), что отражено в обозначении 35B-A3B: общий размер составляет около 35 млрд параметров, а активными при обработке, предположительно, являются около 3 млрд параметров. Вариант Q6_K использует 6-битное квантизирование и позиционируется как версия с очень высоким качеством при меньшем размере по сравнению с полной моделью. В метаданных указано назначение image-text-to-text, однако сведения о поддерживаемых языках, точном размере контекста, визуальном модуле и фактических мультимодальных возможностях отсутствуют. Сильными сторонами являются локальный запуск, совместимость с экосистемой GGUF и llama.cpp, а также компромисс между качеством и требованиями к ресурсам. Ограничения связаны с потерями качества, возможными для квантизированной версии, потребностью подобрать параметры потоков и контекста под конкретное оборудование и отсутствием подробных данных о производительности. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GSQ-RCO-MLX — производная модель от Qwen3.8-27B, разработанная для инференса на Apple Silicon с использованием MLX и специализированных Metal-ядер. Она создана на основе ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF; упаковку в формат MLX выполнил автор репозитория uqer1244. Модель предназначена для генерации текста и локального запуска на совместимых Mac с Apple Silicon. Это 27-миллиардная текстовая модель архитектуры Qwen3.5/Qwen3.8 hybrid с поддержкой 11 типов смешанного квантования GSQ-RCO/IQ, включая IQ1_M, IQ1_S, IQ2_XXS, IQ2_XS, IQ2_S, IQ3_XXS, IQ3_S, IQ4_XS, Q2_K, Q4_K и Q6_K. Квантованные веса сохранены без повторного квантования в packed Safetensors; также поддерживаются тензоры F32 и BF16. Объём контекста, список языков и мультимодальные возможности в README не указаны. К сильным сторонам относятся снижение требований к памяти по сравнению с полноразмерной моделью, сохранение исходных GGUF payloads и оптимизация выполнения на Apple Silicon. Для минимального запуска требуется около 10,4 ГБ unified memory, рекомендуется дополнительный запас. Модель нельзя загружать напрямую через mlx_lm.load(): необходим отдельный runtime mlx_gsq-rco и MLX с поддержкой Metal. Предзаполнение пока использует функциональный multi-row QMV path, поэтому обработка длинных промптов может быть менее производительной; runtime ориентирован на данную архитектуру и схему имён тензоров. В карточке указана лицензия Apache-2.0 с необходимостью сохранять upstream-уведомления и условия использования.

Это неофициальная конверсия Qwen3.8-27B, разработанной командой Qwen, в формат OpenVINO IR с асимметричным сжатием весов до INT4. Модель представляет собой плотную языковую модель на 27 млрд параметров с визуальным энкодером и предназначена для локальной генерации ответов по тексту, изображениям и видео на оборудовании Intel. Модель подходит для диалогов и анализа изображений в приложениях на OpenVINO GenAI или Optimum Intel. Репозиторий также описывает локальный запуск через OpenVINO Model Server и использование в VS Code Copilot Chat, включая вызов инструментов и вывод рассуждений. Сжатие INT4 сокращает требования к хранению и памяти по сравнению с BF16/FP16, однако может повлиять на численное поведение и качество ответов. Для работы требуются новые версии Transformers, Optimum Intel, OpenVINO и связанных пакетов; поддержка Qwen3.8 в них обозначена как новая и может зависеть от версий. В проверенной конфигурации инференс на NPU не поддерживался. Используется лицензия Apache 2.0; конверсия не является официальным выпуском Qwen или OpenVINO.

igorvibes/Qwen3.8-27B-UD-Q4_K_XL-AWQ-MTP-mlx — это квантованная версия базовой модели Qwen/Qwen3.8-27B, подготовленная для запуска через MLX на компьютерах Apple Silicon. Модель предназначена для генерации текста и локального инференса, включая сценарии, где важны уменьшенный размер файлов и возможность использования Apple GPU. Архитектура относится к семейству Qwen 3.5; указаны 27,78 млрд параметров, 64 слоя, скрытый размер 5120 и промежуточный размер 17408. Из 64 слоёв 48 используют GatedDeltaNet; остальные относятся к стандартным механизмам внимания, однако полное описание архитектуры в README отсутствует. Модель использует смешанную affine-квантизацию MLX с базовым классом 4-bit и размером группы 64, но её фактическая средняя точность составляет 6,02 бита на вес. Размер на диске — 20,89 ГБ без учёта дополнительной памяти под KV-cache. Применено AWQ activation-aware pre-scaling с calibration imatrix, а 15 тензоров MTP сохранены внутри основных shards в формате BF16 без квантизации. MTP-компонент предназначен для multi-token prediction, но отдельной директории или sidecar-файла drafter нет. К сильным сторонам относятся сохранение более высокой точности для чувствительных компонентов за счёт смешанной разрядности, AWQ-калибровка и адаптация к MLX. Ограничения включают значительный объём оперативной памяти, необходимость учитывать запас под KV-cache и несовместимость формата с vLLM и autoawq: это стандартный формат affine-квантизации MLX, а не AutoAWQ или GPTQ. Языки, длина контекста и лицензия в предоставленном README не указаны.

Это квантованная в NVFP4 версия Qwen3.8-27B-Uncensored-Genesis-V1-MTP-GGUF, подготовленная Smayan на основе репозитория LuffyTheFox. Исходная модель — плотная языковая модель на 27 млрд параметров, дообученная HauhauCS; этот репозиторий содержит только конверсию весов в GGUF с политикой поканальной квантовки, а не новое дообучение. Модель предназначена для генерации текста и диалогов, включая развёртывание локально через llama.cpp. Файл занимает около 15 ГиБ и содержит тензоры NVFP4, а также несколько тензоров F16 и F32. Автор карточки проверил полный перенос слоёв на GPU с 16 ГиБ памяти на RTX 5070 Ti. Для ускоренного пути требуется видеокарта NVIDIA Blackwell и сборка llama.cpp с включённой поддержкой нативного FP4; указана версия b10666 или новее. В карточке отмечена длительная внутренняя генерация рассуждений, поэтому для нетривиальных запросов требуется большой лимит токенов. Модель обозначена как uncensored, но README не уточняет конкретные ограничения или гарантии поведения. Квантование выполнено из Q8_K_P, а не из BF16, поэтому часть весов подверглась повторной потере точности. Лицензия репозитория — Apache-2.0.

Qwen3.8-Flash-Next-Uncensored-NVFP4-FP8PLE — квантованная vision-language модель, опубликованная lychee888 на основе orcarouter/Qwen3.8-Flash-Next-Uncensored-NVFP4, который, в свою очередь, создан на базе Qwen/Qwen3.8-Flash-Next. Модель предназначена для обработки текста и изображений, рассуждений, function calling, тестирования безопасности и red-teaming. Вариант описан как abliterated и uncensored, то есть с изменениями, направленными на снижение встроенных ограничений поведения. Архитектура относится к семейству Qwen3.8-Flash-Next и использует 48 слоёв: 36 слоёв Gated-DeltaNet и 12 слоёв full attention с интервалом full_attention_interval 4. В конфигурации указаны 512 экспертов и MTP. Эксперты квантованы в NVFP4, attention-компоненты используют FP8, а таблица PLE n-gram embeddings дополнительно переведена из BF16 в FP8 e4m3 с единой глобальной шкалой. Благодаря этому размер контрольной точки уменьшен примерно со 170,93 до 123,25 GiB. Для запуска ориентирована на vLLM и рецепт развёртывания на двух NVIDIA DGX Spark; точные поддерживаемые языки и размер контекстного окна в предоставленных данных не указаны. К сильным сторонам относятся существенно меньший размер по сравнению с исходной сборкой, совместимость по структуре PLE с определёнными NVFP4-сборками Qwen3.8-Flash-Next и сохранение остальных файлов модели без изменений относительно исходной версии orcarouter. Ограничения включают необходимость совместимой инфраструктуры и vLLM, а также то, что PLE-веса нельзя смешивать с аналогичной сборкой RadixArk: формат совместим, но сами значения отличаются. Модель распространяется по лицензии Apache-2.0.

Solaren/Qwen3-MOE-6x0.6B-3.6B-Writing-On-Fire-Uncensored-Q8_0-GGUF — это квантованная в формате GGUF версия модели DavidAU/Qwen3-MOE-6x0.6B-3.6B-Writing-On-Fire-Uncensored, основанной на архитектуре Qwen3 Mixture of Experts. Модель опубликована Solaren и преобразована с использованием llama.cpp и GGUF-my-repo. Указанный общий размер составляет около 3,6 млрд параметров; архитектура включает 6 экспертов по 0,6 млрд параметров, из которых активируются 2. Для хранения используется квантизация Q8_0. Модель предназначена для генерации текста, программного кода и творческих сценариев, включая creative writing и roleplay. В карточке также заявлена пригодность для широкого спектра задач. Поддерживаемые языки — английский, французский, китайский и немецкий. В метаданных указан контекст до 40 тысяч токенов, однако в примере запуска сервера используется контекст 2048 токенов, поэтому фактический доступный размер может зависеть от конфигурации и используемого программного обеспечения. К сильным сторонам относятся MoE-архитектура с небольшим числом активных параметров на шаг генерации, локальный запуск через llama.cpp и сохранение возможностей исходной модели для генерации текста и кода. Ограничения, результаты тестирования, требования к аппаратному обеспечению и подробности обучения в README не приведены; заявленная «uncensored» характеристика не сопровождается дополнительным описанием ограничений безопасности. Модель распространяется по лицензии Apache-2.0.

Модель ishaanranjan/slm-agent-trace-localizer-smollm2-135m — компактная языковая модель на 134,5 млн параметров, разработанная на основе HuggingFaceTB/SmolLM2-135M-Instruct и дообученная полными параметрами с учителем. Она предназначена для узкой подзадачи агентной разработки: по Python traceback определить проблемный кадр проекта и категорию ошибки, возвращая результат по фиксированной JSON-схеме. Модель построена на плотной архитектуре семейства Llama и работает с текстом; контекст — до 8192 токенов. В описанной оценке на отложенных примерах из HTTPX и Jinja2 она достигла 80,8% успешных результатов, а валидность JSON при первом ответе составила 100%. Авторы рекомендуют запускать её внутри проверяющей обвязки с разбором JSON, повтором при ошибке схемы, детерминированными проверками и резервными правилами; экспериментальный вывод — для этой подзадачи достаточно правил. Это специализированный экспериментальный чекпойнт, а не универсальный помощник по программированию: он обучен на 2000 примерах и может утратить широкие навыки следования инструкциям базовой модели. Доступен под лицензией Apache-2.0.

Ternary Bonsai 27B with Embedded MTP — это текстовая генеративная модель в формате GGUF, опубликованная vinpix на базе prism-ml/Ternary-Bonsai-27B-gguf. Она предназначена для локального запуска через llama.cpp и объединяет в одном файле целевую модель класса 27B и встроенный Qwen-совместимый NextN/MTP-предиктор для speculative decoding. Внешняя draft-модель и отдельный файл предиктора не требуются. Модель использует архитектуру qwen35 с 64 трансформерными блоками целевого пути и одним встроенным блоком NextN/MTP. Доступны две самодостаточные GGUF-представления: нативное ternary TQ2_0 размером около 8,18 GiB и совместимое стандартное Q2_K размером около 9,77 GiB. Оба варианта содержат 866 логических тензоров; TQ2_0 хранит 480 тензоров в нативном ternary-формате, а Q2_K представляет их стандартными блоками Q2_K. Данные о поддерживаемых языках и размере контекста в README не указаны. Сильные стороны модели — компактное хранение, единый артефакт для целевой и MTP-моделей, отсутствие рассинхронизации между отдельными target и drafter, а также наличие варианта Q2_K для сред, где TQ2_0 не поддерживается. При этом требуется версия llama.cpp с поддержкой архитектуры qwen35, встроенного draft-mtp и, для основного варианта, TQ2_0. Представления TQ2_0 и Q2_K не гарантируют побитово идентичные значения, логиты или результаты генерации. Распространение заявлено по лицензии Apache-2.0.

Vinci-MLE-123B-1.0 — дообученная модель simpledirect на базе mistralai/Devstral-2-123B-Instruct-2512 для агентной работы с задачами машинного обучения. Она принимает текстовое описание задачи и контекст рабочего пространства, анализирует данные и обратную связь от инструментов, а затем формирует ответ или структурированный отчёт с решением, доказательствами и предлагаемыми изменениями. Модель содержит 123,4 млрд параметров; заявленная длина контекста — 262 144 токена. Репозиторий включает веса и токенизатор, а инструменты и среду выполнения приложение должно предоставить самостоятельно. Модель рассчитана на взаимодействие с инструментами для изучения файлов, запуска команд и записи файлов, а также на разбор причин проблем в ML-проектах. Специализация обучалась на 91 траектории в течение одной эпохи, поэтому охват ML-фреймворков и сценариев ограничен. Для версии 1.0 не завершены специализированные оценки по ML-инженерии и программированию; на MATH-500 результат ниже базовой модели на 4,8 процентного пункта. Возможны ошибки в отчётах, вызовах инструментов и предлагаемом коде, а надёжность на полном заявленном контексте не подтверждена. Лицензия указана как other; конкретные условия следует проверить в репозитории модели.

YuLan-Mini-GGUF — набор квантизированных форматов модели YuLan-Mini, разработанной командой yulan-team и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от F32 и F16 до квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-семейства, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Модель заявлена для работы с английским и китайским языками. По указанным наборам данных она ориентирована на общую генерацию текста, программирование, математику, формальные рассуждения и задачи, связанные с Lean. В README не указаны архитектура, точное число параметров, максимальный контекст, поддерживаемые модальности и результаты бенчмарков, поэтому эти характеристики нельзя оценить достоверно. Сильная сторона набора — широкий выбор GGUF-квантизаций для запуска на устройствах с различным объёмом оперативной памяти; варианты Q6_K и Q5_K описаны как высококачественные, а Q4_K_M — как стандартный компромисс по размеру и качеству. Ограничения связаны с потерями качества при более агрессивной квантизации, особенно в вариантах Q2 и Q3, а также с отсутствием подробных сведений о производительности и возможностях исходной модели. Лицензия — MIT.

AX-DeepSeek-V4-Flash-MLX-AXQ-2bit-MTP — это экспериментальный MLX-чекпойнт, разработанный AutomatosX на основе модели DeepSeek-V4-Flash от deepseek-ai. Модель предназначена для генерации текста и запуска на компьютерах Apple Silicon через MLX-LM или AX Engine. Архитектура исходной модели — DeepseekV4ForCausalLM с mixture of experts; основной путь обработки текста квантизирован, а MTP-компонент сохранён в BF16. Модель содержит около 284,33 млрд логических параметров, использует смешанную точность с преобладанием 2-битных весов и имеет измеренный общий размер 3,1605 BPW. Размер Safetensors-весов составляет около 114,94 ГБ, а полный объём загрузки — около 115,02 ГБ. Заявленный максимальный контекст — 1 048 576 токенов, однако практическая длина зависит от объёма unified memory устройства. Модель поддерживает только текстовую модальность: vision и audio отсутствуют. Основное преимущество — существенно сниженные требования к хранению по сравнению с полноточной моделью при сохранении совместимости с MLX и возможностью прямого запуска в AX Engine. К ограничениям относятся экспериментальный статус 2-битной квантизации, высокая потребность в дисковом пространстве и памяти, отсутствие калибровки, а также то, что стандартный MLX-LM не активирует MTP-sidecar и не подтверждает ускорение speculative decoding. Проверенная сертификация привязана к конкретной ревизии Hub и конфигурации df-macstudio-m2. Репозиторий распространяется по лицензии Apache-2.0 и содержит MLX Safetensors, но не PyTorch- или GGUF-веса.

DeepSeek-R1-Distill-Qwen-1.5B-heretic — модифицированная версия DeepSeek-R1-Distill-Qwen-1.5B, опубликованная пользователем saidutta69. Модель создана с помощью Heretic v1.4.0 методом направленной абляции: целевые изменения весов в выходных проекциях attention и down-проекциях MLP подавляют поведение, связанное с отказами, без дообучения. Основой служит модель deepseek-ai, построенная на архитектуре класса Qwen2.5; размер модели — около 1,8 млрд параметров. Указан английский язык, задача — генерация текста и рассуждения с пошаговыми reasoning-трассами. Модель предназначена для разработчиков, которым нужны возможности дистиллированной DeepSeek-R1 без встроенных отказов, включая локальный запуск на CPU и потребительском оборудовании. Она поддерживает форматы GGUF и запуск через llama.cpp, Ollama, LM Studio, Jan, vLLM, SGLang и Transformers. Ключевое преимущество — компактность: квантованные варианты занимают примерно от 718 МБ до 1,76 ГБ, а рекомендованный Q4_K_M — около 1,04 ГБ. При этом README подчёркивает, что это не улучшение базовой модели, а её вариант с удалёнными защитными ограничителями. Ограничение модели заключается в намеренном подавлении отказов: она может выполнять запросы, от которых базовая модель отказалась бы, в том числе потенциально нежелательные, и не содержит дополнительной системы фильтрации безопасности. Ответственность за применение и развёртывание лежит на пользователе. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

bartowski/DeepSeek-R1-GGUF — набор GGUF-квантизаций модели DeepSeek-R1, разработанной deepseek-ai и подготовленной bartowski для запуска через llama.cpp. Модель предназначена для генерации текста и локального инференса, в том числе в LM Studio. Доступны варианты с разными уровнями квантизации — от Q8_0 до IQ1_M — чтобы выбирать между качеством ответов, требованиями к памяти и скоростью работы. В README не указаны точная архитектура исходной модели, число параметров, размер контекста, поддерживаемые языки и мультимодальные возможности, поэтому эти характеристики нельзя достоверно описать. Размер файлов зависит от варианта и составляет примерно от 133,56 до 713,29 ГБ; наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, тогда как варианты Q2 и Q1 заметно уступают по качеству, хотя некоторые из них остаются пригодными для использования. Квантизации подготовлены с использованием imatrix и llama.cpp release b4514. Модель распространяется по лицензии MIT. Для работы следует использовать указанный формат промпта и совместимое программное обеспечение, например llama.cpp или LM Studio. Ограничениями являются исключительно большие требования к дисковому пространству и памяти, а также возможное снижение качества при выборе более агрессивной квантизации.

DPO-Think-1.5B — компактная языковая модель-верификатор кода, разработанная командой Aletheia-Bench. Она основана на DeepSeek-R1-Distill-Qwen-1.5B и дообучена методом DPO на наборе Aletheia-DPO с примерами рассуждений и предпочтений. Архитектура — плотная Qwen2 с 1,5 млрд параметров; модель принимает текстовые условия задач и варианты решений, а в ответ оценивает и ранжирует решения. Модель предназначена для проверки решений задач по программированию, автоматизированного сравнения кандидатов и использования в качестве функции вознаграждения при оптимизации генераторов кода в контурах RLHF или RLAIF. Карточка приводит контекстное окно 131 072 токена. Набор обучения включает задачи и решения на Python, C++ и Java; это не означает, что модель генерирует или проверяет код во всех языках программирования одинаково хорошо. Модель выпущена под лицензией CC BY-NC-SA 4.0, которая ограничивает коммерческое использование. Результаты верификации могут ошибаться, поэтому для критически важных оценок нужна независимая проверка, например запуском решений.

Dwarf-15M-Instruct — компактная языковая модель ThingAI на 20,3 млн параметров для преобразования запросов на естественном языке в команды Linux и Bash. Она предназначена для роли помощника командной строки, который предлагает команды для проверки пользователем; это не универсальный чат-бот. Модель подходит для простых и средних задач администрирования Linux, коротких Bash-команд и функций, а также объяснения команд. По карточке, она ориентирована на английский язык и обучена преимущественно на командах Ubuntu и Debian. Модель использует архитектуру DwarfForCausalLM, распространяется в формате Safetensors и работает через Transformers. Для инференса заявлена возможность запуска на CPU; в карточке указан размер модели около 30 МБ. Из-за небольшого размера модель может ошибаться на необычных запросах и плохо справляться со сложными многошаговыми рассуждениями. Сгенерированные команды следует проверять до запуска. Лицензия — Apache-2.0.