II.10Разработка и эксплуатация AI/ML-систем

Qwen3.5-9B-Cold-Fusion-GAIN-v1.0-Uncensored-Heretic-NEO-MAX-Imatrix-GGUF — языковая модель семейства Qwen3.5, разработанная DavidAU. Модель представлена в формате GGUF с вариантами обычного и MTP-квантования, включая 4- и 8-битные версии, а также оптимизацию NEO Imatrix. Заявлены поддержка английского и китайского языков и лицензия Apache-2.0. В карточке также указана мультимодальная классификация image-text-to-text, однако подробности о фактической поддержке изображений не приведены. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования, творческого письма, художественной прозы и ролевых сценариев. По заявлению автора, она создана с использованием многоэтапной настройки, методов Cold Fusion и GAIN, причём GAIN динамически адаптирует обучение для отдельных примеров. Среди заявленных преимуществ — более ясные и подробные ответы, улучшенная работа с контекстом, таблицами, графиками и текстовыми визуализациями, а также сохранение близкой к BF16 производительности в 4- и 8-битных вариантах. Модель содержит около 9 миллиардов параметров. В приведённых тестах она показывает результаты, сопоставимые или превосходящие базовые Qwen3.5-9B и Qwen3.5-27B на части задач ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, однако полнота тестовых данных ограничена, а заявления о превосходстве над 27B не подтверждены независимыми измерениями. Ограничения включают возможную нецензурированность, отсутствие подробных сведений о контекстном окне и требованиях к оборудованию, а также неполные данные по некоторым бенчмаркам.

Qwen3.6-14B-A3B-FableVibes-mlx-q4 — это 4-битная MLX-квантизированная версия модели tvall43/Qwen3.6-14B-A3B-FableVibes, подготовленная для локального запуска на компьютерах Apple Silicon. Исходная модель основана на REAP-pruned Qwen3.6-35B-A3B, дистиллирована с использованием QLoRA и reasoning-трасс Claude Fable 5. Она предназначена для генерации текста, решения задач и сценариев, требующих пошагового рассуждения, с выводом рассуждений в формате <think>...</think>. Модель использует гибридную архитектуру Qwen3.5 с линейным вниманием GatedDeltaNet, полным attention и разреженным MoE. Она содержит около 14 млрд параметров, из которых примерно 3 млрд активируются на каждом токене; используется 90 экспертов, 8 из которых выбираются для обработки токена. Квантизация выполнена в 4 бита с group size 64, размер модели составляет около 7,2 ГБ. Разреженность MoE обеспечивает высокую скорость декодирования — около 46 токенов в секунду на M4, а модель рассчитана на запуск на Mac с 16 ГБ памяти. Ограничением является некоторое снижение точности строгого рассуждения из-за 4-битной квантизации; для более высокой точности доступен вариант с квантизацией q6. Лицензия — Apache 2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная модель, созданная HauhauCS на базе Qwen/Qwen3.8-27B. Она предназначена для генерации текста, рассуждений, агентских сценариев, анализа изображений и видео. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и без стандартного поведения отказа на сложные запросы. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120 и FFN-размером 17408. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention, встроенный MTP/NextN для speculative decoding и дополнительный профиль HauhauCS FastMTP 32K для ускорения генерации. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и другие языки; для работы с изображениями и видео требуется отдельный vision-проектор BF16. Сильные стороны модели — сочетание текстовых, рассуждающих, агентских и мультимодальных возможностей базовой Qwen3.8-27B, большой контекст и варианты GGUF-квантизации от Q8_K_P до IQ2_M, совместимые с llama.cpp, LM Studio и другими GGUF-рантаймами. FastMTP может повысить скорость генерации, однако фактический выигрыш зависит от оборудования и программной поддержки. Ограничения включают отсутствие защитного поведения и отказов в Aggressive-варианте, что может быть нежелательно для надёжных агентских систем, а также потерю качества при использовании более сильной квантизации. Модель распространяется по лицензии Apache-2.0.

Swift-Qwen3.8-27B-Genesis-F16-GGUF — мультимодальная модель на базе Swift-Qwen3.8-27B, опубликованная LuffyTheFox. Автор применил к весам метод Genesis для численной коррекции тензоров; модель распространяется в формате GGUF F16 и рассчитана на запуск в llama.cpp, LM Studio, koboldcpp и других совместимых средах. Лицензия — Apache-2.0. Модель предназначена для диалогов, анализа изображений и видео, а также задач общего назначения, включая программирование. README указывает плотную архитектуру на 27 млрд параметров с визуальным энкодером, 64 слоями языковой модели и контекстом 262 144 токена; заявлена возможность расширения контекста до 1 000 000 токенов при поддержке со стороны среды запуска. Указана поддержка текста, изображений и видео, однако для работы с изображениями нужен отдельный файл mmproj. Автор описывает Genesis как постобработку тензоров без переобучения и заявляет, что она снижает шум весов, сохраняя выученные знания. Эти заявления не сопровождаются в карточке независимыми результатами оценки. Для работы с шаблоном диалога рекомендуется llama.cpp с флагом --jinja; README также советует использовать контекст не менее 128K токенов для сохранения возможностей рассуждения. Модель помечена как uncensored; качество и поведение на разных задачах могут отличаться от заявлений автора.

Bonsai-27b-Ternary-CRACK-GGUF — мультимодальная модель класса 27B, опубликованная dealignai. Это квантизированная GGUF-версия Bonsai 27B CRACK, созданная на базе prism-ml/Ternary-Bonsai-27B-gguf и относящаяся к семейству Qwen/Qwen3.6-27B. Модель предназначена для диалогов, рассуждений, использования инструментов, обработки текста и анализа изображений; также предусмотрена поддержка видео через отдельный Qwen3VL-проектор и совместимый клиент. Модель содержит 64 гибридных языковых блока архитектуры qwen35, а также отдельный F16-проектор Qwen3VL для мультимодальных входов. Основной языковой файл использует нативное 2-битное представление Q2_0 и занимает около 7,68 GiB, проектор — около 0,86 GiB. Заявлены английский и китайский языки. Контекст модели в README не указан. Для работы требуется форк Prism llama.cpp; обработка изображений проверена, а прямая передача видеофайлов зависит от возможностей конкретной среды выполнения. К сильным сторонам относятся низкое потребление памяти благодаря Q2_0, мультимодальность, совместимость с текстовыми и визуальными сценариями и результаты на приведённых тестах: 75,00% на фиксированной выборке MMLU-200 и 99,38% на полном HB-320. Ограничения включают необходимость специального форка Prism llama.cpp, отдельного мультимодального проектора и возможную необходимость предварительно извлекать кадры из видео. Модель распространяется по лицензии Apache-2.0.

Gemma 3n E2B IT — мультимодальная инструктивная модель Google для работы на устройствах с ограниченными ресурсами. Она принимает текст, изображения, видео и аудио, а выдаёт текст; запуск поддерживается библиотекой Hugging Face Transformers. Модель основана на архитектуре MatFormer с выборочной активацией параметров и использует вложенную подмодель из Gemma 3n E4B IT. При общем количестве около 6 млрд параметров её эффективный размер и требования к памяти сопоставимы с традиционной моделью на 2 млрд параметров. Модель подходит для диалоговых помощников, создания и обобщения текстов, ответов на вопросы по визуальным материалам, расшифровки речи и перевода речи в текст. Обучение охватывало более 140 разговорных языков, но карточка не выделяет основной язык. Возможности включают мультимодальный ввод с изображениями и видео, а также аудио; метаданные каталога подтверждают задачу image-text-to-text и возможности чата и зрения. Ответы могут содержать фактические ошибки и отражать предвзятость обучающих данных; модели также бывает трудно обрабатывать неоднозначность и сложные открытые задачи. Лицензия Gemma; применяйте модель с учётом условий лицензии Google Gemma.

onnx-community/gemma-3n-E2B-it-ONNX — ONNX-версия инструкционной мультимодальной модели Gemma 3n E2B IT, разработанной Google DeepMind и подготовленной для использования с Transformers.js. Модель предназначена для эффективного запуска на устройствах с ограниченными ресурсами и принимает текстовые, графические, видео- и аудиовходы, генерируя текстовые ответы. Она подходит для вопросов и ответов, суммаризации, анализа изображений и видео, распознавания речи и автоматического перевода речи. Модель использует архитектуру MatFormer и технологию выборочной активации параметров. При общем размере около 6 млрд параметров её эффективный размер соответствует примерно 2 млрд параметров, поскольку матрицы с низкой частотой использования могут выгружаться с ускорителя. Изображения обрабатываются в разрешениях 256×256, 512×512 или 768×768 и кодируются в 256 токенов каждое; аудио представляется со скоростью 6,25 токена в секунду для одного канала. Максимальный входной контекст составляет 32 тысячи токенов, а суммарная длина генерации — до 32 тысяч токенов за вычетом входа. Обучение проводилось на данных более чем 140 разговорных языков. К сильным сторонам относятся сочетание мультимодальности, компактного эффективного размера и возможности локального выполнения через Transformers.js, включая сценарии с WebGPU. Ограничения включают зависимость от поддерживаемого окружения ONNX и Transformers.js, а также отсутствие в предоставленной карточке подробных результатов бенчмарков, точного перечня языков и количественной оценки качества по отдельным задачам. Модель распространяется на условиях лицензии Gemma; применяются соответствующие Terms of Use Google.

Карточка модели khaojai-it/GLM-4.6V-Flash на Hugging Face совпадает с карточкой unsloth/GLM-4.6V-Flash, поэтому описание составлено по ней. GLM-4.6V-Flash — компактная мультимодальная модель семейства GLM-V от Z.ai, представленная в карточке Unsloth с исправлениями шаблона диалога. Это версия на 9 млрд параметров, рассчитанная на локальное развёртывание и приложения с низкой задержкой; архитектура GLM4V использует условную генерацию текста по изображениям. Модель принимает изображения и текст, понимает документы, страницы с таблицами, диаграммами и иллюстрациями, а также снимки экранов. Контекстное окно семейства заявлено до 128 тысяч токенов. Модель подходит для визуальных диалогов, анализа документов, интерпретации интерфейсов и генерации кода HTML/CSS по скриншотам. Поддерживает вызов инструментов и смешанную генерацию текста и визуального контента. По README, её сильная сторона — мультимодальные сценарии; чисто текстовые ответы слабее, а на сложных запросах возможны чрезмерные рассуждения и повторы. Также отмечены ошибки при подсчёте объектов и распознавании конкретных людей. Репозиторий распространяется по лицензии MIT.

MistralLite — языковая модель Amazon, дообученная на базе Mistral-7B-v0.1 для работы с длинными контекстами. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров, принимающая текст и генерирующая текст; заявленная длина контекста — до 32 768 токенов. При дообучении использованы адаптация Rotary Embedding с rope_theta=1000000 и скользящее окно размером 16 384 токена. Модель предназначена для извлечения строк и тем из длинных текстов, суммаризации и ответов на вопросы по предоставленному контексту. По карточке, она лучше справляется с рядом задач извлечения и ответа по длинному контексту и может обслуживаться на одном экземпляре AWS g5.2xlarge, а также через TGI или vLLM. README сравнивает её с Mistral-7B-Instruct-v0.1, но указывает дообучение именно от Mistral-7B-v0.1. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов сравнительных тестов, а длина контекста в конкретном обслуживании зависит от настроек сервера; приведённые примеры задают пределы ниже заявленных 32 768 токенов.

MobileLLM-Pro — англоязычная инструкционно дообученная языковая модель Meta Reality Labs из семейства MobileLLM, рассчитанная на эффективный запуск на устройствах. Это трансформер на 1,08 млрд параметров с 30 слоями и чередованием локального и глобального внимания; модель принимает и генерирует текст и поддерживает контекст до 128 тыс. токенов. Модель предназначена для диалогов и общих языковых задач, включая ответы на вопросы, переписывание и суммаризацию документов, а также вызов инструментов. В карточке отмечены результаты на бенчмарках по знаниям, следованию инструкциям и программированию. README описывает дистилляцию знаний от Llama 4-Scout в процессе обучения семейства, а метаданные указывают, что этот вариант дообучен на MobileLLM-Pro-base. Для семейства также упомянуты варианты int4-квантизации, но данный репозиторий содержит инструкционный вариант в формате safetensors. Модель предназначена прежде всего для английского языка. Лицензия FAIR Noncommercial Research License ограничивает коммерческое использование; перед внедрением следует проверить её условия.

ibrahimkettaneh/Qwen2.5-14B-Instruct-abliterated-v2-AWQ — это квантованная в формате AWQ версия производной модели Qwen2.5-14B-Instruct-abliterated-v2. Репозиторий опубликован пользователем ibrahimkettaneh; исходная базовая модель разработана командой Qwen компании Alibaba. Производная модель создана методом abliteration, направленным на ослабление отказов отвечать на запросы, а её назначение — локальная генерация текста и диалоговое использование. Модель основана на Qwen2.5-14B-Instruct: это causal language model примерно с 14,7 млрд параметров, архитектурой Qwen2 с RoPE, SwiGLU, RMSNorm и grouped-query attention. Базовая модель поддерживает текстовые задачи, следование инструкциям, программирование, математику, структурированные данные и JSON; заявлена поддержка более 29 языков, включая русский, английский и китайский. Полное контекстное окно базовой модели составляет до 131 072 токенов, а генерация — до 8192 токенов, однако параметры контекста именно этой AWQ-сборки отдельно не документированы. Ключевое преимущество — существенно меньшие требования к памяти благодаря 4-битной AWQ-квантизации; размер опубликованных весов составляет около 10 ГБ. Ограничения включают отсутствие собственной карточки модели и подробных официальных сведений о качестве, области abliteration и фактическом поведении; ослабление защит может повысить риск небезопасных или нежелательных ответов. Для базовой Qwen2.5-14B-Instruct указана лицензия Apache 2.0, но отдельная лицензия данного производного репозитория в доступной карточке не указана.

mnsims1024/Qwen2.5-VL-7B-Instruct-GGUF — мультимодальная instruction-tuned модель семейства Qwen2.5-VL, основанная на Qwen/Qwen2.5-VL-7B-Instruct. Разработчик базовой модели — команда Qwen. Модель предназначена для обработки изображений, текста и видео в задачах image-text-to-text, визуального анализа, распознавания текста, документов, таблиц, графиков и макетов, а также для визуального рассуждения и формирования структурированных ответов. Модель содержит 7 миллиардов параметров и использует языковую модель Qwen2.5 вместе с оптимизированным vision encoder на базе ViT. Архитектура поддерживает динамическое разрешение изображений и динамическую частоту кадров видео, включая анализ видео длительностью более часа и локализацию релевантных моментов. Модель умеет выдавать bounding boxes и точки для объектов, JSON-координаты и атрибуты, а также работать со сценариями компьютерного и мобильного управления. В метаданных README указан язык en; другие языки явно не заявлены. Сильные стороны модели — анализ документов и визуального текста, OCR, понимание графиков и таблиц, обработка длинных видео, визуальная локализация и структурированный вывод. Ограничения включают необходимость совместимых версий transformers и accelerate, а также дополнительные зависимости для эффективной загрузки видео; фактические требования к памяти и параметры GGUF-квантизации в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-4B-AWQ — квантизированная версия мультимодальной vision-language модели Qwen3.5-4B, разработанной командой Qwen (Alibaba Group). Модель принимает текст, изображения и видео во взаимно чередующемся формате и генерирует текст; поддерживает режим рассуждений, включённый по умолчанию. Она предназначена для анализа изображений и видео, визуально-текстового диалога, описания изображений и других задач image-text-to-text, а также для текстовых запросов. Базовая модель содержит около 4 млрд параметров и использует гибридную архитектуру Hybrid Gated DeltaNet + sparse MoE с vision encoder. Нативная длина контекста составляет 262 144 токена и может быть увеличена с помощью RoPE scaling. Заявлена поддержка 201 языка и диалекта. В этой версии применена AWQ-квантизация W4A16: веса линейных слоёв языковой модели представлены в 4 битах, а активации — в 16 битах; формат — compressed-tensors pack-quantized. Vision tower, router gates и lm_head сохранены в более высокой точности, что должно способствовать сохранению качества обработки изображений. Ключевое преимущество модели — уменьшенный размер на диске и расход VRAM при сохранении мультимодальных возможностей, благодаря чему она ориентирована на запуск на одной потребительской GPU. Для работы требуются GPU с поддержкой INT4 Marlin kernels, актуальная версия vLLM с поддержкой архитектуры Qwen3_5ForConditionalGeneration и совместимая конфигурация compressed-tensors. В README указана проверка на NVIDIA Blackwell (sm_120); конкретные показатели качества и бенчмарки не приведены. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой Qwen3.5-4B.

Это квантованная в формат NVFP4 версия мультимодальной модели Qwen3.5-9B, подготовленная FreedomAISVR на основе Qwen/Qwen3.5-9B. Модель предназначена для диалога и генерации текста, а вместе с файлом проектора mmproj — для понимания изображений. В README заявлены гибридная архитектура Gated DeltaNet и Gated Attention, контекст до 262 144 токенов и поддержка 201 языка; в метаданных подтверждены английский, китайский и многоязычный режимы. Веса хранятся в GGUF: основной файл NVFP4 занимает 5,31 ГБ, а проектор зрения в F16 — 918 МБ. Формат оптимизирован для ускорения на видеокартах NVIDIA Blackwell; производительность и совместимость на других устройствах могут отличаться. Репозиторий распространяется по лицензии Apache-2.0.

Wiederchat-7b-dpo-laser — чат-модель для генерации текста, созданная mayflowergmbh. Это объединение трёх моделей на архитектуре Mistral: mlabonne/OmniTruthyBeagle-7B-v0, mayflowergmbh/Wiedervereinigung-7b-dpo-laser и cognitivecomputations/openchat-3.5-0106-laser. Веса представлены в формате safetensors; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации ответов. В README приведены результаты оценки Mt-Bench-De, включая категории письма, ролевого общения, рассуждений, математики, программирования, извлечения информации, STEM и гуманитарных дисциплин. Базовая модель описана как немецкоязычная, поэтому немецкий — основной язык модели; результаты теста сами по себе не гарантируют качество в конкретных сценариях. Условия лицензирования в предоставленных данных не описаны.

Cohere Labs Aya Vision 32B — мультимодальная модель с открытыми весами на 32 млрд параметров для работы с изображениями и текстом. Она принимает изображения и текст, а в ответ генерирует текст. Модель предназначена для распознавания текста на изображениях, создания подписей, визуальных рассуждений, суммаризации и ответов на вопросы по изображениям; также поддерживает сценарии с текстовым вводом и генерацией кода. Архитектура сочетает языковую модель Aya Expanse 32B с визуальным энкодером SigLIP2-patch14-384 через мультимодальный адаптер. Контекст составляет 16K токенов. Для обработки изображения используется до 12 фрагментов и миниатюра; разрешение фрагмента — 364×364 пикселя. Модель обучена работать с 23 языками, включая русский, английский, китайский, японский, арабский и хинди. Модель разработана Cohere Labs и опубликована как исследовательский релиз с открытыми весами. Для её запуска используется библиотека Transformers. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование; также требуется соблюдать Acceptable Use Policy Cohere Labs.

DeepSeek-R1-0528-Qwen3-8B-MLX-4bit — это 4-битно квантованная версия модели DeepSeek-R1-0528-Qwen3-8B, разработанной deepseek-ai. Квантование выполнено командой LM Studio с использованием mlx_lm и формата MLX, ориентированного на работу на устройствах с Apple Silicon. Модель предназначена для генерации текста и связанных с ней языковых сценариев. README не содержит сведений о точном числе параметров, поддерживаемых языках, размере контекста, модальностях или специализированных ограничениях исходной модели. Ключевое преимущество версии — уменьшенный размер благодаря 4-битному представлению и оптимизация для Apple Silicon; при этом квантование может снижать точность по сравнению с исходной моделью, а применение вне экосистемы MLX и Apple Silicon может быть ограничено. Модель распространяется по лицензии MIT.

KE-T5-Base — текстовая модель семейства T5, опубликованная Корейским институтом электроники и технологий (Korea Electronics Technology Institute, KETI), Центром исследований искусственного интеллекта. Она использует архитектуру T5 для преобразования текста в текст: один и тот же формат подходит для генерации ответа или преобразованного текста в широком наборе задач NLP. В карточке указаны 148,3 млн параметров, контекст 512 токенов и поддержка английского и корейского языков. Модель доступна в форматах PyTorch, TensorFlow и Flax; лицензия Apache 2.0. Модель предназначена для дообучения и применения в задачах перевода, суммаризации документов, ответов на вопросы, классификации, анализа тональности и регрессии с текстовым представлением результата. Она предварительно обучена на корпусе C4 и смеси несупервизируемых и супервизируемых задач. Карточка описывает базовую модель T5 и не приводит отдельной оценки результатов именно для KE-T5-Base. Генерации могут содержать вредные стереотипы и предвзятость; следует учитывать это при оценке и использовании модели.

Mistral-Large-Instruct-2407-GGUF — это набор квантизированных версий инструкционной языковой модели Mistral-Large-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через совместимые приложения, например LM Studio. Рекомендуемый формат промптов: <s> [INST] запрос [/INST]. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 130,28 до 32,43 ГБ для перечисленных вариантов; более качественными считаются Q8_0, Q6_K, Q5_K_M и Q4_K_M, тогда как варианты с меньшей разрядностью экономят память за счёт снижения качества. Некоторые файлы оптимизированы для CPU и ARM, а часть вариантов поставляется с разделением на несколько файлов. Сильная сторона набора — возможность подобрать баланс между качеством, размером и требованиями к памяти для локального запуска. Ограничения включают значительные аппаратные требования даже у компактных вариантов, а также неизбежное ухудшение качества при агрессивной квантизации. В README не указаны архитектурные параметры, число параметров, размер контекста и мультимодальные возможности. Модель распространяется по лицензии MRL-0.1 от Mistral AI.

Sabomako/Mistral-Small-3.2-24B-Instruct-2506-heretic — декензурированная версия Mistral-Small-3.2-24B-Instruct-2506 от Sabomako. Модель создана с помощью Heretic v1.3.0 и метода ORBA abliteration; в тесте с оценкой LLM-судьи Gemma4-12B-it-Heretic она отказала в 1 из 100 случаев против 98 из 100 у исходной модели. Это плотная мультимодальная модель семейства Mistral 3 с 24 млрд параметров, предназначенная для диалогов по инструкциям, работы с изображениями и интерфейса вызова инструментов. Принимает текст и изображения, выдаёт текст. В метаданных указана лицензия Apache-2.0. Снижение числа отказов может привести к ответам на запросы, которые исходная модель отклоняла; результат теста отказов не характеризует точность и безопасность в целом.

Mistral-Small-3.2-24B-Instruct-2506-ultra-uncensored-heretic — доработанная участником сообщества версия Mistral-Small-3.2-24B-Instruct-2506 от Mistral AI. К модели применена abliteration: README сообщает о целевых слоях и компонентах и приводит метрики, указывающие на снижение частоты отказов при сравнительно небольшом изменении поведения базовой модели. Это плотная мультимодальная модель семейства Mistral3 с поддержкой чата и анализа изображений; в карточке перечислены многочисленные языки, включая русский. Она подходит для диалогов по инструкциям, анализа изображений, вызова инструментов и задач, где нужны ответы с меньшим числом отказов. В README описаны улучшения базовой версии в следовании инструкциям, вызове функций и снижении повторов, а также приведены результаты тестов по STEM и зрительным задачам; эти результаты относятся к базовой модели и не подтверждают отдельную оценку данной доработки. Репозиторий содержит веса safetensors, указанная библиотека — vLLM; README также упоминает Transformers. Лицензия — Apache-2.0. Для запуска базовой версии в bf16 или fp16 README указывает потребность примерно в 55 ГБ видеопамяти, что свидетельствует о значительных аппаратных требованиях.

heretic-org/Nanbeige4.1-3B-heretic — англо-китайская разговорная языковая модель на 3,5 млрд параметров, созданная на основе Nanbeige/Nanbeige4.1-3B. Это вариант с abliteration: в карточке приведено сравнение, где доля отказов снизилась с 96 до 4 из 100, а KL-дивергенция относительно исходной модели указана как 0,0001. Модель рассчитана на генерацию текста и диалоги; базовая модель ориентирована на многошаговые рассуждения, программирование, поиск и работу с инструментами. Модель использует плотную архитектуру семейства Llama и доступна в формате Safetensors для Transformers. Заявленная длина контекста — 262 144 токена. В README базовой модели описаны сильные результаты в задачах рассуждения и агентного поиска, включая многошаговое решение задач с вызовами инструментов; метаданные указывают поддержку английского и китайского языков. Лицензия — Apache-2.0. В README отмечено, что модель может выдавать неожиданные ответы, включая предвзятое или дискриминационное содержание. Снижение числа отказов может означать, что модель чаще отвечает на запросы, которые исходная версия отклоняет; при применении следует учитывать это поведение.

unsloth/Qwen2.5-VL-7B-Instruct-bnb-4bit — квантизированная 4-битная версия instruction-tuned мультимодальной модели Qwen2.5-VL-7B-Instruct, разработанной командой Qwen. Модель предназначена для задач image-text-to-text: анализа изображений и видео, ответов на вопросы по визуальному содержимому, распознавания текста, документов, таблиц, графиков, схем и макетов, а также формирования структурированных данных. Она также ориентирована на визуальную локализацию объектов, работу с интерфейсами компьютеров и мобильных устройств и агентские сценарии с использованием инструментов. Модель объединяет vision encoder и языковую модель, имеет около 7 миллиардов параметров и поддерживает динамическое разрешение изображений и частоту кадров видео. Она способна анализировать длинные видео длительностью более часа и указывать релевантные временные сегменты. Архитектурные улучшения включают оконное внимание в ViT, а также использование SwiGLU и RMSNorm в vision encoder. В README явно указан английский язык; поддержка других языков для этой версии не уточняется. Сильные стороны модели — обработка документов и OCR, понимание диаграмм и таблиц, визуальное рассуждение, локализация объектов с помощью bounding boxes или точек и выдача стабильных JSON-структур. Ограничения включают высокие требования к вычислительным ресурсам по сравнению с компактными моделями, зависимость видеообработки от корректной поддержки инструментов и отсутствие в README подробных данных о точном размере контекста и системных требованиях для 4-битной сборки. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-VL-7B-Instruct-unsloth-bnb-4bit — 4-битная версия instruction-tuned мультимодальной модели Qwen2.5-VL-7B, разработанной командой Qwen и распространяемой в формате Unsloth. Модель предназначена для задач image-text-to-text: анализа изображений и видео, распознавания текста, понимания документов, диаграмм, таблиц и макетов, а также визуального рассуждения и формирования структурированных ответов. В README указана поддержка английского языка. Модель содержит 7 миллиардов параметров и объединяет языковую модель с vision encoder. Для обработки видео используются динамические разрешение и частота кадров, а также механизмы временного позиционирования; заявлена работа с видео длительностью более часа и поиск релевантных временных сегментов. Модель умеет локализовать объекты с помощью bounding boxes или точек, выдавать координаты и атрибуты в JSON, а также поддерживает сценарии визуального агента, включая взаимодействие с компьютером и телефоном. К сильным сторонам относятся анализ документов и изображений, OCR, понимание графиков и таблиц, обработка длинных видео и визуальная локализация. Ограничения включают зависимость качества от входных визуальных данных и вычислительных ресурсов, а также то, что приведённые результаты относятся к базовой Qwen2.5-VL-7B и не обязательно полностью характеризуют именно 4-битную сборку. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-GGUF — неофициальный релиз модели, подготовленный chimingw на основе AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16. Релиз представляет собой конвертацию и квантизацию исходной модели в формате GGUF без дополнительного обучения, дообучения, слияния или изменения выравнивания. Модель предназначена для локального запуска через совместимый runtime, включая llama.cpp; размещённый на Hugging Face хостинг inference отключён. Архитектура указана как Qwen3_5ForConditionalGeneration с типом qwen3_5 и размером 27B параметров. Это мультимодальная vision-language модель с поддержкой текста и изображений, английского и китайского языков, а также заявленной интеграцией function calling. Максимальный контекст по метаданным составляет 262 144 позиции, однако фактическая доступная длина зависит от runtime и объёма памяти. В комплект входят варианты квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M, а также отдельный BF16 мультимодальный проектор; для использования нужные файлы и split-части необходимо хранить вместе. Сильными сторонами релиза являются большой контекст, мультимодальность, несколько вариантов компромисса между качеством и требованиями к памяти и сохранение исходного BF16 набора файлов. Поведение при работе с текстом, изображениями, рассуждениями, инструментами и длинным контекстом зависит от выбранного варианта, клиента, prompt format, runtime и аппаратных ресурсов. Заявления исходного автора о характеристиках uncensored-модификации не были независимо проверены создателем GGUF-релиза и не являются результатами оценки данных артефактов. Модель распространяется по Apache License 2.0 согласно заявленной лицензии источника.

Это исследовательский вариант Qwen3-Next-80B-A3B-Thinking с разреженными экспертами, усреднённо квантованными до 2,36 бита; остальные веса хранятся в BF16. Разработчик — minjaechoi. Модель предназначена для генерации текста и диалога, включая задачи рассуждения, унаследованные от базовой модели. Архитектура — MoE; по карточке Hugging Face, размер составляет 2,3 млрд параметров, а длина контекста — 262 144 токена. Метаданные также отмечают интерфейс для вызова инструментов. Веса сохранены в формате safetensors как BF16-тензоры после деквантизации; README сообщает о совместимости со стандартными Transformers и vLLM. Лицензия наследуется от базовой модели. Карточка характеризует этот чекпойнт как внутренний исследовательский, поэтому его качество и пригодность для конкретных задач следует проверять отдельно.

Seed 1.6 — универсальная мультимодальная модель команды ByteDance Seed. Она поддерживает адаптивное углублённое рассуждение и контекст длиной 256K токенов. Модель предназначена для задач, в которых требуется обрабатывать мультимодальные данные и формировать ответы с учётом длинного контекста. Данных о конкретных модальностях, размерах модели, языках и лицензии в доступных источниках нет.

YiXin-Distill-Qwen-72B — плотная авторегрессионная языковая модель YiXin AI Lab на архитектуре Qwen2.5, дообученная с применением обучения с подкреплением и дистилляции для математических рассуждений и ответов на вопросы общего характера. Модель насчитывает 71,5 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. В карточке заявлена поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Модель предназначена для диалоговых приложений, решения математических задач с объяснением хода решения и ответов на вопросы, требующие общих знаний и рассуждений. В README приведены результаты сравнительных тестов, включая MATH-500, GPQA-Diamond и AIME-24; они отражают оценки авторов модели. Модель распространяется в формате safetensors, поддерживает интерфейс вызова инструментов и выпущена по лицензии Apache-2.0. В README отмечены уязвимость к состязательным атакам и prompt injection, возможность утечки данных, смещения по областям и потеря части тонких способностей исходной модели при дистилляции. Качество может различаться в доменах, недостаточно представленных в обучающих данных.

Zora-9B-v0 — мультимодальная модель Lambent, полученная слиянием предварительно обученных моделей семейства Qwen3.5 с помощью Karcher Mean и mergekit. Она предназначена для диалогового взаимодействия и работы с изображениями; также поддерживает интерфейс вызова инструментов. В README описаны настройки стиля ответов и снижение числа отказов и оговорок, однако модель всё ещё может использовать оговорки и сохранять элементы deliberative alignment. Модель содержит 7,2 млрд параметров, использует плотную архитектуру Qwen3.5 и принимает текст и изображения для генерации текстовых ответов. Контекстное окно составляет 262 144 токена. Распространяется в формате safetensors по лицензии Apache-2.0.

Vontra/GLM-5.3-Flash-MLX-oQ2-MTP — это MLX-конверсия и квантованная версия мультимодальной модели GLM-5.3-Flash, разработанной Z.ai. Модель предназначена для генерации текста и изображений, обработки языковых и визуальных запросов, а также локального запуска на компьютерах Apple Silicon через MLX и совместимые компоненты oMLX. Заявлены поддерживаемые языки английский и китайский. Модель использует архитектуру glm5_next с разреженной Mixture-of-Experts, гибридным линейным и разреженным вниманием и контекстом до 1 048 576 токенов. Применена посттренировочная weight-only-квантизация sensitivity-guided oQ2 со смешанной точностью и эффективным распределением около 2,67 бита на вес. Большинство весов имеют точность Q2 или Q8, отдельные компоненты — Q4, а зрительный энкодер и проектор сохранены в BF16. Репозиторий содержит 22 файла весов общим объёмом около 110 ГБ. Вариант сохраняет встроенный слой предсказания следующего токена и поддерживает Native MTP с глубиной 1, что может повышать пропускную способность. Однако MTP указан как экспериментальный: в проверенном окружении результаты были связными, но не полностью совпадали с базовым режимом, поэтому для точной детерминированной воспроизводимости его следует отключать. Совместимость проверена с oMLX 0.6.3rc3, MLX 0.32.0, mlx-lm 0.31.3 и mlx-vlm 0.6.3; другие версии могут не поддерживать необходимые пути glm5_next, oQ и Native MTP. Модель распространяется по лицензии MIT.