II.10Разработка и эксплуатация AI/ML-систем

Heretical-Qwen3.5-9B — мультимодальная модель на 9 млрд параметров, дообученная на базе Qwen/Qwen3.5-9B-Base. Её разработчик применил метод decensoring на основе orthogonalized projected abliteration с поиском параметров, настроенным через TPE; в README указаны 3 отказа из 100 тестовых запросов и KL divergence 0,0366. Модель использует гибридную архитектуру Gated DeltaNet и attention, принимает текст и изображения и предназначена для диалогов, рассуждений и понимания визуального содержимого. Модель поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000. README базовой модели заявляет поддержку 201 языка и диалекта, но не приводит языковую таблицу для этой конкретной производной модели. Веса доступны в формате safetensors; метаданные указывают библиотеку Transformers и лицензию Apache-2.0. Показатель отказов относится к ограниченному тесту в карточке и сам по себе не гарантирует поведение на других запросах; универсальные ограничения качества не описаны.

Nex-N2.5-mini-Mixed-Q2Q3-128K-GGUF — неофициальная смешанная квантизация модели Nex-N2.5-mini, разработанной Nex-AGI. Сборку и квантизацию выпустил пользователь karmx для экспериментов на одной видеокарте RTX 5060 Ti с 16 ГБ памяти. Модель распространяется в формате GGUF и предназначена для запуска через llama.cpp. Модель поддерживает текстовые и визуальные сценарии при использовании отдельного vision projector, включая распознавание текста на одном изображении, структурированный tool calling и задачи программирования. В протестированной конфигурации заявлена общая длина контекста 131 072 токена, включая промпт, токены изображения и генерируемый ответ. Основной файл имеет размер около 13,32 ГБ, проектор — около 0,90 ГБ. Квантизация использует Q2_K для части routed-expert-тензоров, Q3_K для другой части, Q5_K для эмбеддингов и выходных тензоров, а также Q4_K_M для остальных тензоров; vision projector оставлен в F16. Обучение, объединение моделей и pruning не выполнялись. Сильными сторонами являются поддержка большого контекста, vision-возможностей, инструментальных вызовов и запуск на относительно компактной видеокарте. При этом это экспериментальная сборка с ограничениями качества и совместимости: в сравнении с эталонной Q5_K_M зафиксировано снижение результатов на HumanEval+ и MBPP+, а отсутствие регрессий не подтверждено. Надёжность работы с 128K-контекстом, несколькими изображениями, скорость на стандартной сборке llama.cpp и отсутствие выгрузки в CPU-память не гарантируются; проверка проводилась на конкретной версии llama.cpp, ОС, GPU и настройках. Модель распространяется по лицензии Apache-2.0. Для работы с изображениями необходимо скачать оба файла — GGUF-модель и vision projector. Это не официальный релиз Nex-AGI.

mlx-community/Ornith-1.5-35B-A3B-OptiQ-4bit — квантизированная версия модели ornith-ai/Ornith-1.5-35B-A3B, подготовленная сообществом mlx-community с использованием MLX-native инструментария mlx-optiq. Это vision-language модель на архитектуре Qwen3.5-MoE: всего 35 млрд параметров, из которых активно используется около 3 млрд. Модель поддерживает работу с текстом и изображениями, а также оснащена головкой MTP для multi-token prediction и ускорения генерации. В карточке заявлен английский язык; размер модели на диске составляет около 24 ГБ. Модель предназначена для локального запуска на Apple Silicon и сценариев, связанных с рассуждениями, обработкой изображений и текста, function calling, использованием инструментов и агентными приложениями. Для подачи изображений сохраняется vision tower в формате bf16. Квантизация OptiQ использует смешанную точность: 113 компонентов представлены в 4-битном, а 399 — в 8-битном формате, с group size 64. Это снижает требования к памяти при сохранении более высокой точности для чувствительных слоёв, однако квантизация может ухудшать качество по сравнению с полной точностью, а для работы требуется совместимая MLX/OptiQ-среда и оборудование Apple Silicon. Распространяется по лицензии Apache 2.0. Контекст модели, точные показатели качества и поддерживаемый диапазон языков, кроме указанного английского, в README не приведены.

Ornstein3.6-35B-A3B — мультимодальная дообученная модель DJLougen на базе unsloth/Qwen3.6-35B-A3B для диалогов, рассуждений и агентных сценариев. Она принимает текст и изображения и формирует текстовые ответы; также поддерживает интерфейс вызова инструментов. Модель использует архитектуру Qwen3_5MoeForConditionalGeneration с чередованием линейного и полного внимания. Всего в ней 34,66 млрд параметров, из которых около 3 млрд активны на каждом токене; указаны 256 экспертов и 8 активных экспертов на токен. Длина контекста — 262 144 токена. Репозиторий содержит веса Safetensors и восстановленные компоненты обработки изображений и видео. Модель подходит для диалоговых задач, анализа изображений и агентной работы с инструментами. Это авторский экспериментальный fine-tune из серии Ornstein, обученный на самостоятельно отобранных данных; подробности датасета и результаты сравнительных оценок в карточке не приведены. Лицензия — Apache 2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая мультимодальная fine-tune-модель на базе Qwen3.6-27B, опубликованная nostrbuild при участии нескольких разработчиков и команд, включая DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh. Модель распространяется в формате GGUF, включая обычные и MTP-варианты с NEO IMATRIX-квантованием, и предназначена для запуска на потребительском оборудовании. В описании заявлены улучшенное следование инструкциям, решение задач, рассуждение и общее повышение интеллектуальных возможностей. Модель рассчитана на широкий круг сценариев, включая программирование, диалоги, анализ, творческое письмо и roleplaying, хотя специально не оптимизировалась только под творчество. Также заявлена поддержка vision. Указанные языки — английский и китайский. Размер базовой модели — 27B параметров; точное архитектурное устройство и размер контекстного окна в README не приведены. Доступны кванты с разрядностью 4 и 8 бит, а также варианты MTP для многотокенного предсказания. Для MTP рекомендуется температура не выше 1 и отключённая repetition penalty; при низкой доле принятия токенов следует использовать обычный квант. Автор заявляет превосходство над базовой Qwen3.6-27B в шести из семи тестов и сопоставимый результат в седьмом, однако эти результаты приведены без независимой проверки. Сильными сторонами заявлены instruction following, reasoning, problem solving, сохранение возможностей базовой модели, поддержка vision и хорошее качество даже у низкоразрядных квантов. Ограничения включают зависимость качества и производительности от выбранного кванта и настроек MTP, а также заявленный uncensored/heretic-профиль, который может означать ослабленные ограничения безопасности. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-V2-abliterated-uncensored-Q4_K_M-GGUF — мультимодальная модель семейства Qwen, выпущенная Lemura Labs. Она основана на Qwen/Qwen3.6-27B и производной Jackrong/Qwopus3.6-27B-v2, дополнительно обработанной методом abliteration для снижения количества отказов. Модель предназначена для генерации текста, диалогов, рассуждений и работы с изображениями совместно с текстовыми запросами. Модель содержит около 27 млрд параметров и распространяется в формате GGUF с 4-битной квантизацией Q4_K_M и эффективной плотностью около 4,92 BPW. Размер языковой части составляет примерно 15,4 ГБ, а комплектный визуальный проектор mmproj.gguf занимает около 928 МБ и сохраняет vision tower Qwen3.6-VL. Поддерживаются английский, китайский и, согласно карточке, мультиязычные сценарии. Для запуска рекомендуется llama.cpp; ориентировочные требования составляют от 16 ГБ GPU или 24 ГБ оперативной памяти на Apple Silicon. К сильным сторонам относятся мультимодальность, совместимость со стандартными сборками llama.cpp, относительно компактный размер для модели такого класса и существенно сниженная частота отказов: 4 из 100 против 91 из 100 у исходной версии в указанном тесте. При этом Q4_K_M уступает более точным вариантам по сохранению исходных характеристик, а для обработки изображений требуется отдельный mmproj.gguf. Показатели отказов и сохранения возможностей приведены разработчиком и могут зависеть от методики оценки; абляция защитных механизмов также может повышать риски небезопасного или нежелательного использования. Модель распространяется по лицензии Apache-2.0.

TheCluster/Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS — модель семейства Qwen3.8 с 27 млрд параметров, опубликованная TheCluster. Она преобразована в формат MLX из KridgeDookie/Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS с использованием mlx-vlm 0.6.13. По метаданным модель предназначена для сценариев image-text-to-text и поддерживает работу с текстом и изображениями в совместимых фреймворках. Модель использует смешанное квантование: большинство тензоров представлены в 8-битном аффинном формате с размером группы 32, а отдельные важные тензоры сохранены в bf16. Итоговая точность составляет 9,450 бит на вес, что снижает требования к памяти по сравнению с полноразмерной моделью, но может ограничивать качество относительно исходной версии. Заявлена поддержка множества языков, включая английский, китайский, русский, испанский, французский, немецкий, японский, корейский, арабский, украинский и другие; размер контекста в README не указан. Модель ориентирована на универсальные задачи генерации и анализа с заявленным режимом без ограничений содержательного характера. По умолчанию reasoning_effort установлен в low, чтобы избегать избыточного рассуждения. Для режима рассуждений рекомендуются temperature 1.0, top_p 0.95 и top_k 20, а для instruct-режима — temperature 0.7, top_p 0.80, top_k 20 и presence_penalty 1.5. Повышение presence_penalty может уменьшать повторения, но иногда приводит к смешению языков и снижению качества. Лицензия — Apache-2.0.

YFC-112358 создал эту плотную модель семейства Qwen объёмом 27 млрд параметров с помощью трёхэтапного слияния весов. В рецепте DELLA и линейная арифметика задач объединяют несколько моделей на базе Qwen3.6, после чего полученное изменение весов переносится на Cold-Fusion-GAIN-V1.1 на базе Qwen3.8. Репозиторий содержит веса safetensors и использует библиотеку Transformers; модель лицензирована по Apache-2.0. Модель предназначена для диалоговой генерации текста и может использоваться как ассистент для ответов и многошаговых запросов. В метаданных также заявлен интерфейс для вызова инструментов. Несмотря на мультимодальную архитектуру Qwen и наличие визуальной башни у базового семейства, README этой версии описывает прежде всего слияние весов и не подтверждает отдельно качество обработки изображений или видео. Главное ограничение — перенос прироста весов между поколениями Qwen3.6 и Qwen3.8: автор отмечает, что архитектуры совпадают по размерам, но это не гарантирует совместимость представлений, и модель может работать хуже без явной ошибки. Автор приводит значение cold_amp 0,1217 и считает его совместимым с продолжением обучения на общей базе, однако предупреждает, что базовые веса Cold-Fusion могли измениться, что затрудняет точное воспроизведение.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — квантованная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также работы с изображениями и видео; заявлена поддержка английского, китайского и других языков. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и без стандартного отказного поведения. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder, 64 слоями, размером скрытого состояния 5120, FFN-размером 17408 и словарём из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживается нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Встроенный NextN/MTP сохранён, а FastMTP 32K предоставляется как отдельный профиль ускорения; заявлено ускорение генерации до 3,02 раза для документов и до 1,93 раза для рассуждений относительно режима без MTP. К сильным сторонам относятся широкий набор текстовых, визуальных и видеосценариев, длинный контекст, несколько вариантов квантования и совместимость с GGUF-совместимыми средами, включая llama.cpp и LM Studio. Aggressive-профиль может быть менее подходящим для надёжно контролируемых агентских задач, поскольку ориентирован на отсутствие отказов; README также не приводит подробностей о качестве на стандартных бенчмарках. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная версия Qwen3.8-27B, опубликованная HauhauCS. Это плотная языковая модель с поддержкой текста, рассуждений, агентских сценариев, изображений и видео. Она предназначена для прямых ответов без выраженного отказного поведения и минимального вступления, включая сложные запросы. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, FFN-размер 17408 и словарь из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный механизм MTP/NextN, а профиль HauhauCS FastMTP предназначен для ускорения генерации. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000. Поддерживаются английский, китайский и другие языки; для изображений и видео используется отдельный vision-проектор BF16. Сильные стороны модели — мультимодальность, большой контекст, несколько вариантов GGUF-квантизации и ускорение FastMTP. Агрессивный профиль может быть удобен, когда важны краткость и отсутствие отказов, однако для надёжных длинноконтекстных агентских задач автор рекомендует сбалансированный вариант, если он доступен. README не приводит независимых оценок качества и не уточняет риски, связанные с uncensored-поведением. Модель распространяется по лицензии Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-oQ4-MTP — общественная MLX-конверсия мультимодальной модели Qwen3.8-Flash-Next, созданная Vontra на основе официальных весов Qwen в формате BF16. Модель предназначена для запуска на Apple Silicon через совместимые среды oMLX или MLX-VLM и поддерживает обработку текста и изображений. Это не официальный релиз Qwen. Модель использует разреженную архитектуру mixture-of-experts qwen4_exp с 125 млрд параметров, из которых около 6 млрд активны при обработке токена, 48 слоями, 512 маршрутизируемыми экспертами, 10 активными экспертами и одним общим экспертом. В состав входят Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual-потоки, hashed bigram и trigram embeddings, а также один встроенный MTP-блок для speculative decoding. Контекст составляет до 262 144 токенов. Конверсия выполнена в смешанной 4-битной точности oQ4 с отдельными модулями в 5- и 8-битном формате; размер весов — около 113,33 ГБ. Сильными сторонами являются экономичное по сравнению с полной точностью хранение, поддержка визуально-текстовых сценариев и встроенный MTP для ускорения генерации. Ограничения связаны с большими требованиями к памяти, зависимостью от Apple Silicon и необходимостью runtime с явной поддержкой qwen4_exp и native MTP; стандартные среды без такой поддержки могут не загрузить модель. Указанная лицензия — Qwen Community License 1.0.

Vontra/Qwen3.8-Flash-Next-MLX-oQ8-MTP — общественная MLX-конверсия мультимодальной vision-language модели Qwen3.8-Flash-Next, разработанной Qwen, с сохранённым нативным блоком MTP для speculative decoding. Конверсия выполнена Vontra напрямую из официальных BF16-весов; это не официальный релиз Qwen. Модель предназначена для генерации текста и обработки изображений в совместимых MLX-VLM или oMLX-средах, прежде всего на устройствах Apple Silicon. Модель использует архитектуру sparse MoE с обозначением qwen4_exp, включает Gated DeltaNet, Qwen Sparse Attention, разреженные mixture-of-experts-слои, расширенные gated residual-потоки и хешированные биграммные и триграммные embedding-таблицы. Всего заявлено 125 млрд параметров, из которых активно около 6 млрд, 48 слоёв, 512 маршрутизируемых экспертов с выбором 10 экспертов и одного общего, 24 attention heads и 2 KV heads, размер скрытого состояния 2560 и контекст до 262 144 токенов. Формат — MLX safetensors, квантизация oQ8, близкая к равномерной 8-битной аффинной, с group size 32; размер весов составляет около 202,75 ГБ. Сильная сторона конверсии — встроенный совместимый MTP-блок, который может существенно повысить скорость генерации: в измерении на Apple M3 Studio производительность выросла с 19,5 до 35,7 токена в секунду. Однако модель требует runtime с явной поддержкой qwen4_exp и native MTP; стандартные среды без такой поддержки могут отклонить веса. Указанные результаты зависят от длины запроса, настроек генерации, версии runtime и доступной памяти. Модель распространяется по Qwen Community License 1.0; текст лицензии включён в репозиторий.

jondurbin/bagel-34b-v0.2 — экспериментальная версия языковой модели, дообученная Jon Durbin на базе yi-34b-200k с помощью Bagel. Это плотная авторегрессионная модель семейства Llama с 33,9 млрд параметров и контекстом до 200 000 токенов; опубликованные веса представлены в формате safetensors. Модель предназначена для диалогов и генерации текста, включая творческое письмо и ролевые сценарии. В README указано, что это версия после этапа SFT, до применения DPO; автор отмечает, что она может лучше подходить для творческих задач и ролевых диалогов, тогда как версия после DPO лучше показывает себя на бенчмарках. При дообучении использовались данные для диалогов, ответов на вопросы, рассуждений, математики, программирования, SQL, понимания прочитанного и ролевых сценариев. Для примеров применялись варианты форматов Vicuna, Llama 2, Alpaca и ChatML. Лицензия — Apache-2.0. Модель рассчитана на текстовый ввод и выдаёт текст; её поведение и качество могут зависеть от формата промпта, а карточка не содержит систематической оценки качества этой версии.

QVikhr-3-4B-Instruction — русско-английская инструктивная языковая модель команды Vikhr, дообученная методом SFT на синтетическом датасете GrandMaster2 на основе Qwen/Qwen3-4B. Это плотная авторегрессионная модель с 3,7 млрд параметров и контекстом до 40 960 токенов; веса опубликованы в формате Safetensors под лицензией Apache-2.0. Модель предназначена для диалогов по инструкциям, генерации ответов с учётом контекста и анализа текста, с особым упором на русский язык при поддержке английского. Её можно встраивать в пользовательские приложения и сервисы. В карточке приведён результат 78,2 в Ru Arena General против 64,8 у базовой Qwen3-4B; это результат указанного теста, а не гарантия качества в других сценариях. Карточка не приводит систематических оценок ошибок или ограничений. Как и другие генеративные языковые модели, она может выдавать неточные ответы; перед использованием важной информации нужна проверка.

Карточка модели tayaee/Qwen2.5-1.5B-Korean-DPO-smoke на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Qwen2.5-VL-7B-Instruct-GGUF — мультимодальная instruction-tuned модель семейства Qwen2.5-VL, разработанная командой Qwen. Представленная версия распространяется в формате GGUF и квантизирована bartowski на базе llama.cpp. Размер модели — 7B параметров, лицензия — Apache 2.0. Модель предназначена для задач image-text-to-text: анализа изображений и текста, ответов на вопросы по визуальному содержимому, распознавания объектов, работы с текстами, таблицами, диаграммами, иконками, графикой и макетами. Она также рассчитана на сценарии визуального агента, включая рассуждение и динамическое управление инструментами, компьютером или телефоном, а также на генерацию структурированных данных и стабильных JSON-ответов. Заявлена поддержка нескольких языков, однако их точный перечень в README не указан. Ключевая характеристика модели — контекст длиной до 128 тысяч токенов. Сильными сторонами являются мультимодальный анализ сложных визуальных материалов, работа со структурированным выводом и применение в агентских сценариях. README не содержит результатов benchmark-тестов, подробностей архитектуры, информации о конкретном варианте квантизации, системных требованиях и количественной оценке ограничений, поэтому фактическое качество и требования к ресурсам следует проверять отдельно.

RodKykis/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — мультимодальная модель на базе Qwen3.6-27B, представленная в формате GGUF. Она создана как результат многоэтапного дообучения и слияния моделей при участии RodKykis, DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; при обучении использовались, в частности, наборы DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель поддерживает английский и китайский языки, а также обработку изображений, однако точный размер контекстного окна в README не указан. Основное назначение модели — универсальная работа с инструкциями, решение задач, рассуждения, генерация кода, творческое письмо, художественная проза и roleplay. Заявлены улучшенные instruction following, общее решение задач и reasoning. Модель позиционируется как uncensored и heretic-вариант без заявленного изменения базовых возможностей Qwen; при этом README содержит маркетинговые заявления о превосходстве над рядом базовых моделей, которые не следует считать независимой проверкой качества. Репозиторий включает обычные и MTP-варианты GGUF-квантов, выполненные с использованием NEO IMATRIX; часть выходного тензора сохранена в 16-битной точности. Для MTP-вариантов рекомендуется температура не выше 1 и отключённый repetition penalty; при низком уровне token acceptance советуется использовать обычные кванты. Доступны варианты для различных ограничений памяти и конфигураций AMD/Vulkan. Модель распространяется по лицензии Apache-2.0.

ZDTaichu5.0-9B-GGUF — мультимодальная foundation-модель, разработанная командой Taichu AI. Она предназначена для общего визуального понимания, пространственного рассуждения, агентского использования инструментов и исследований в области embodied AI. Модель работает с текстом, отдельными и множественными изображениями, а также видео; заявлена поддержка английского и китайского языков. В основе используется языковой декодер Qwen3.5-9B и vision-энкодер C-RADIOv4-H. Модель поддерживает контекст до 128K токенов и визуальный ввод произвольного разрешения. Она рассчитана на понимание изображений, документов, таблиц, графиков, диаграмм и OCR, визуальную математику, ответы на вопросы с опорой на визуальные данные, анализ нескольких ракурсов и видео, локализацию объектов, координаты и bounding boxes, 2D- и 3D-пространственные отношения, перспективу, планирование действий и понимание affordances. К сильным сторонам относятся широкий профиль визуальных возможностей, пространственное и embodied-рассуждение, многошаговое и многотуровое использование инструментов, а также Entropy-Gated Adaptive Recurrent Reasoning, динамически выделяющий дополнительные итерации обработки для сложных токенов. GGUF-артефакты совместимы с llama.cpp, Ollama и другими GGUF-инструментами; доступны варианты квантования языковой модели и vision-энкодера для CPU и NVIDIA GPU с CUDA. Исполнение инструментов моделью самостоятельно не выполняется и должно быть реализовано и защищено окружающим приложением. Лицензия в представленном README не указана.

DeepSeek-V4-Flash-Vision-Exp — экспериментальная мультимодальная модель семейства DeepSeek-V4, разработанная DeepSeek AI. Она построена на архитектуре DeepSeek-V4-Flash, дополненной визуальными модулями и дообученной для понимания изображений. Модель предназначена для мультимодальных агентских сценариев, анализа визуальной информации, работы с диаграммами и задач, где требуется сочетать текстовые и графические входные данные. Для текстовых агентских задач она сохраняет сопоставимую с DeepSeek-V4-Flash-0731 производительность. В репозитории заявлена поддержка OpenAI-style сообщений с блоками изображений и компактного TXT-формата с тегами <image>. Доступны tokenizer, средства кодирования запросов и минимальная реализация инференса на PyTorch, включающая vision encoder и aligner, DFlash attention, Mixture-of-Experts, Hyper-Connections и DSpark forward path. Точные размер модели, длина контекста, перечень поддерживаемых языков и характеристики визуального входа в представленном README не указаны. Сильная сторона модели — улучшенные мультимодальные агентские возможности по сравнению с DeepSeek-V4-Flash-0731; в README приведены результаты на ApexBench, Agents' Last Exam, Chartography и ZeroBench, а также набор текстовых агентских бенчмарков. Ограничения включают экспериментальный статус и отсутствие подробных сведений о масштабах, языках и требованиях к аппаратному обеспечению. Репозиторий распространяется по лицензии MIT.

dots.ocr-GGUF — это GGUF-версия мультиязычной vision-language модели dots.ocr, разработанной rednote-hilab и опубликованной пользователем prithivMLmods на основе dots-studio/dots.ocr. Модель предназначена для анализа изображений документов и объединяет обнаружение структуры документа с распознаванием содержимого в одной модели. Она подходит для научных статей, книг, презентаций, финансовых отчётов, экзаменационных работ, журналов и газет. Модель построена на компактной языковой основе объёмом 1,7 млрд параметров, связанной с Qwen2.5-VL, и поддерживает более 100 языков, включая английский и китайский. Она может выполнять полный разбор макета, обнаружение элементов, OCR и grounding OCR в зависимости от запроса. Результат выдаётся в структурированном JSON с ограничивающими рамками и категориями элементов, а текст оформляется в Markdown, формулы — в LaTeX, таблицы — в HTML. Доступны варианты GGUF с точностями от Q3_K до Q8_0, а также BF16 и F16; для работы с изображениями требуются отдельные файлы mmproj. К сильным сторонам относятся единый подход к анализу макета и содержимого, высокие результаты на OmniDocBench для распознавания текста, таблиц и порядка чтения, а также качество распознавания формул, сопоставимое с гораздо более крупными моделями. Ограничения включают зависимость качества и требований к ресурсам от выбранного варианта квантизации, необходимость мультимодального проектора и отсутствие в README сведений о точном размере контекста и системных требованиях. Модель распространяется по лицензии MIT и поддерживает запуск через llama.cpp; также заявлена совместимость с Transformers и vLLM, для которого рекомендуется версия 0.9.1.

YTan2000 подготовил GGUF-конверсию модели Huihui-Qwen3.5-35B-A3B-abliterated для запуска через TurboQuant-вариант llama.cpp. Это мультимодальная модель семейства Qwen3.5 MoE с 35 млрд параметров и активной частью около 3 млрд; она поддерживает диалог, анализ изображений и интерфейс вызова инструментов. Основные веса сжаты до TQ3_4S, а тензоры эмбеддингов и выходного слоя оставлены в Q6_K. Для обработки изображений предусмотрен совместимый мультимодальный проектор в формате GGUF. Модель предназначена для диалоговых и агентных сценариев, генерации текста и ответов с учётом изображений. В коротком локальном smoke-тесте она показала результат 9 из 10, но это не полноценная оценка качества. Для запуска требуется публичная TurboQuant-сборка llama.cpp. Модель описана как abliterated/uncensored и может выдавать чувствительный или небезопасный контент. Лицензия — Apache-2.0.

Mungert/InternVL3-8B-GGUF — GGUF-версия мультимодальной модели InternVL3-8B, созданной командой OpenGVLab. Модель предназначена для обработки текста и изображений, включая визуальное восприятие и рассуждение, анализ промышленных изображений, работу с GUI-агентами, инструментами и задачами 3D-восприятия. В карточке также указана поддержка многоязычных сценариев. Архитектура сочетает vision-компонент InternViT-300M-448px-V2_5 и языковую часть Qwen2.5-7B; общий класс модели — 8B параметров. Эта публикация представляет собой преобразованный формат GGUF, сгенерированный с использованием llama.cpp. Автор применил собственный подход к квантованию: отдельные важные слои переводятся в более высокую точность, что увеличивает размер файла, но, по заявлению автора, может улучшать точность при заданном уровне квантования, особенно на низкой разрядности. Сильными сторонами являются мультимодальность, сочетание визуального анализа с языковым рассуждением и возможность локального использования в экосистеме llama.cpp благодаря формату GGUF. Ограничения включают зависимость качества, размера и требований к ресурсам от выбранного варианта квантования; конкретные поддерживаемые языки, размер контекста и результаты независимого тестирования в карточке не указаны. Для модели указана лицензия Apache-2.0, однако в метаданных также приведена ссылка на лицензию Qwen.

Llama3.2-DeepHermes-3-3B-Preview-Reasoning-MAX-NEO-Imatrix-GGUF — это GGUF-квантизированная текстовая генеративная модель, основанная на NousResearch/DeepHermes-3-Llama-3-3B-Preview. Сборка подготовлена David_AU с использованием собственной технологии Neo Imatrix и «MAXED»-квантизации, при которой embedding- и output-тензоры сохраняются в формате BF16. Модель предназначена для локального запуска и ориентирована на рассуждения, следование инструкциям, диалог, решение задач, генерацию идей и текста, творческое письмо и ролевые сценарии. Указана лицензия Apache-2.0. Модель имеет размер около 3B параметров и поддерживает контекст до 128k токенов. Она работает только с текстом; сведения о поддерживаемых языках в README не приведены. Доступны варианты квантизации от IQ1_S до Q8_0, отличающиеся размером, скоростью и качеством. Более высокие кванты обычно лучше сохраняют способности к рассуждению, а варианты IQ4XS, IQ4NL и Q4 рекомендуются для творческих задач; для общего применения рекомендуются Q5, Q6 и Q8. Для reasoning-сценариев рекомендуется использовать как минимум IQ3. Сильные стороны модели — компактный размер, высокая скорость локального вывода, улучшенное следование инструкциям и потенциально более высокое качество благодаря Neo Imatrix и сохранению части тензоров в BF16. При этом качество рассуждений напрямую зависит от выбранного кванта: самые компактные варианты заметно уступают более крупным, а README не содержит независимых бенчмарков, подробных данных об обучении или гарантии заявленного превосходства над более крупными моделями. Для комфортной работы рекомендуется окно контекста не менее 8k токенов, особенно для вариантов IQ4 и ниже.

M7Yamshadowexperiment28_Experiment26T3q — слитая модель для генерации текста, созданная на основе automerger/M7Yamshadowexperiment28-7B и automerger/Experiment26T3q-7B. В метаданных указаны архитектура Mistral, 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста и ответов на запросы; описание базовой модели также указывает на применение для математических задач. Репозиторий содержит веса в формате safetensors. Модель выпущена по лицензии Apache-2.0.

MegaBeam-Mistral-7B-512k — компактная языковая модель на 7,1 млрд параметров, представленная в работе «Scaling Context, Not Parameters: Training a Compact 7B Language Model for Efficient Long-Context Processing». Она дообучена на Mistral-7B-Instruct-v0.2 и предназначена для генерации текста и диалогов с длинными документами и контекстом до 524 288 токенов. Модель использует плотную архитектуру MistralForCausalLM и распространяется в формате Safetensors. Модель подходит для поиска фактов в объёмных текстах, многошаговых вопросов и ответов, суммирования и других сценариев, где требуется учитывать длинный контекст. В README приведены результаты оценок на NIAH, RULER и InfiniteBench; они указывают на сильное извлечение информации в некоторых тестах, но качество различается между задачами и не гарантирует результат на пользовательских данных. Для эффективного запуска длинного контекста требуются совместимые инструменты обслуживания модели и значительные вычислительные ресурсы. Лицензия — Apache-2.0.

MiniCPM-o-2_6-GGUF — это GGUF-квантизованные версии мультимодальной модели MiniCPM-o-2_6, разработанной openbmb и подготовленной для распространения пользователем bartowski. Модель предназначена для запуска через llama.cpp, LM Studio и другие совместимые проекты. По данным карточки, модель поддерживает работу с текстом, изображениями, несколькими изображениями, видео и аудио. Заявлены сценарии оптического распознавания символов, автоматического распознавания речи, синтеза речи, клонирования голоса, потокового режима и диалогов в реальном времени. Указана многоязычная поддержка, однако конкретный перечень языков, архитектура, количество параметров и размер контекста в карточке не приведены. Основное преимущество набора — широкий мультимодальный охват и возможность локального запуска в различных вариантах квантизации. Доступны форматы от F32 до Q2 и IQ-квантизаций с размером файлов примерно от 2,78 до 30,46 ГБ; варианты Q4–Q6 отмечены как рекомендуемые для баланса качества и требований к памяти. Более сильная квантизация уменьшает потребление памяти, но может снижать качество. Для работы требуется совместимый рантайм и аппаратные ресурсы, соответствующие выбранному файлу. Лицензия в README не указана; условия лицензии исходной модели следует проверять в репозитории openbmb/MiniCPM-o-2_6.

JANGQ-AI/MiniMax-M2.7-JANG_3L — квантованная версия MiniMax M2.7 от Jinho Jang (JANGQ), подготовленная для запуска на компьютерах Mac с Apple Silicon через MLX. Это языковая MoE-модель для диалогов, генерации текста, рассуждений и работы с инструментами. Исходная модель MiniMaxAI/MiniMax-M2.7 содержит 228,7 млрд параметров; в этой сборке применена смешанная точность со средним размером около 3,08 бита и объёмом около 89 ГБ. Внимание и выходной слой сохранены в 8-битной точности, эмбеддинги — в 4-битной, а большая часть экспертных MLP-слоёв сжата до 3 бит; маршрутизатор экспертов хранится в float16. Метаданные каталога указывают 2,9 млрд параметров, поэтому размер модели в них расходится с описанием исходной модели в README. Модель предназначена для локального диалогового использования, сложных рассуждений и сценариев с вызовом инструментов. Она поддерживает контекст до 196 608 токенов и использует режим рассуждений перед ответом. README приводит результаты MMLU для профиля JANG_3L: 191 из 200 вопросов (95,5%), однако это оценка автора карточки, а результаты сравнения с исходной моделью отдельно не представлены. Для запуска требуются Mac с Apple Silicon и не менее 128 ГБ объединённой памяти; рекомендуется MLX Studio с загрузчиком JANG, поскольку стандартный mlx_lm не поддерживает эту смешанную точность. Автор указывает, что температура должна быть 1,0: жадная генерация и температура 0 могут привести к бесконечным циклам рассуждений. Лицензия MiniMax M2.7 запрещает коммерческое использование без предварительного письменного разрешения MiniMax.

Qwen3-4B-Kimi2.5-Reasoning-Distilled-GGUF — языковая модель для генерации текста и структурированного рассуждения, разработанная khazarai. Она создана на основе Qwen3-4B-Thinking-2507 и дообучена методом дистилляции на данных, сгенерированных моделью Kimi-2.5-Thinking, с использованием Unsloth и QLoRA. Объём обучающего набора составляет 250 примеров и около 1,11 млн токенов. Модель предназначена для задач, требующих пошагового анализа, разбиения сложных проблем на этапы, самопроверки и подготовки подробных аналитических ответов. Она ориентирована на сочетание небольшого размера и сравнительно развитых возможностей рассуждения, поэтому может использоваться в сценариях локального запуска и приложениях, где важны умеренные требования к ресурсам. В метаданных указаны текстовая генерация и английский язык; сведения о поддерживаемой длине контекста и дополнительных модальностях отсутствуют. Модель распространяется в формате GGUF с вариантами BF16, Q8_0, Q6_K и Q4_K_M, различающимися размером, скоростью и качеством. Для Q4_K_M заявлен размер около 2,5 ГБ, для Q6_K — 3,3 ГБ, для Q8_0 — 4,2 ГБ, для BF16 — 8 ГБ. В README приведён результат 76,09 из 100 на khazarai/Multi-Domain-Reasoning-Benchmark, однако независимые результаты и подробная методика оценки не указаны. Ограничениями являются небольшой объём модели по сравнению с крупными системами и отсутствие данных о длине контекста, мультиязычности и типичных ошибках. Лицензия — Apache-2.0.

Qwen3.5-9B-Claude-4.6-OS-Auto-Variable-HERETIC-UNCENSORED-THINKING-MAX-NEOCODE-Imatrix-GGUF — GGUF-квантизированная доработанная версия плотной модели Qwen3.5-9B, разработанная DavidAU. Модель дообучена с использованием Unsloth на наборах данных Claude-4.6-OS и дополнена матрицами DI-MATRIX на основе наборов NEO и NEO-CODE, улучшениями тензоров Unsloth и пользовательским шаблоном Jinja для стабилизации работы и снижения избыточного «обдумывания». Лицензия — Apache-2.0. Модель предназначена для широкого спектра текстовых задач, включая рассуждения, генерацию и продолжение художественных текстов, создание сюжетов и подсюжетов, ролевые сценарии, диалоги и работу с различными жанрами. Заявлена поддержка английского и китайского языков. Модель позиционируется как uncensored и heretic-вариант с существенно сниженным числом отказов; при этом для получения особенно грубого или откровенного стиля иногда требуются дополнительные указания в запросе. Контекст по умолчанию заявлен до 256K токенов. Поддержка изображений протестирована и заявлена как рабочая, но для неё требуется отдельный файл mmproj, размещённый вместе с GGUF; видеовозможности не тестировались. В README приведены результаты тестов на ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, где версия показывает более высокие значения, чем указанная базовая версия Qwen3.5-9B в режиме thinking, однако результаты зависят от квантизации и настроек запуска. Для работы рекомендуется использовать совместимый рантайм GGUF; автор также указывает специальные параметры сглаживания и рекомендуемые варианты квантизации, поэтому итоговое качество и поведение зависят от программного окружения.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP-RFA_S — это смешанная малобитная квантованная версия модели Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. Базовую модель разработал DavidAU совместно с Nightmedia, TeichAI, armand0e и trohrbaugh; репозиторий квантования поддерживает tcclaviger. Модель основана на Qwen3.6 с 27 млрд параметров и предназначена для широкого круга задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, сторителлинга и ролевого взаимодействия. В карточке заявлена поддержка английского и китайского языков, а также текстово-графического сценария, однако размер контекста не указан. Версия RFA_S использует смешанную точность: основные dense MLP-слои, часть attention-блоков и MTP-блок квантованы в RFA 4-bit, линейное и gated-delta attention — в RFI int8 W8A8, а отдельные компоненты, включая vision tower, embeddings и lm_head, сохранены в bf16. Всего квантовано 405 модулей, общий размер составляет около 22,97 ГБ. Такой подход уменьшает требования к памяти по сравнению с менее агрессивной сборкой, сохраняя часть компонентов в более высокой точности. Ключевые ограничения связаны с совместимостью: требуется специальный образ tcclaviger/vllm:dev или более новый runtime с поддержкой RFA/RFI и оборудования RDNA 4 (gfx12xx); работа на другом оборудовании не подтверждена. Это не самостоятельная дообученная архитектура, а численно изменённая квантованная сборка родительской модели. Лицензия указана как Apache-2.0.