I.2Синтез, понимание и проверка знаний

aleada/Pixtral-12B-W4A16 — это 4-битно квантованный вариант базовой модели mgoin/pixtral-12b, подготовленный пользователем aleada для запуска через vLLM. Пакет создан с помощью llm-compressor 0.12.0 по рецепту GPTQModifier в формате compressed-tensors; поддерживается автоматическое обнаружение конфигурации квантования при загрузке. Проект поддерживается atlas — агентным проектом Алекса Адамопулоса, связанным с assert.gr. Модель предназначена для мультимодальных сценариев работы с текстом и изображениями, включая генерацию ответов, анализ визуального содержимого и стандартные задачи языкового моделирования. Квантованию подвергались линейные слои с конфигурацией W4A16 и group size 128, а vision tower и multi_modal_projector сохранены в исходном формате, поэтому приведённые в README результаты текстовых тестов не оценивают работу с изображениями. Размер квантованного артефакта составляет около 8,56 GiB; заявлена поддержка видеокарт архитектуры Ampere и запуск через vLLM. Квантирование уменьшает требования к памяти, но может снижать точность, особенно в генеративных задачах с многошаговыми вычислениями: на тесте GSM8K восстановление относительно исходной модели составило 91,0–91,6%, тогда как на задачах с выбором ответа — 95,9–99,3%. Поэтому модель подходит для экономичного инференса, но для чувствительных к точности вычислений и сложных цепочек рассуждений следует оценить влияние квантования на собственных данных. Контекстное окно, точные размеры архитектуры, список языков и полные характеристики базовой Pixtral-12B в README не указаны. Модель наследует лицензию исходной модели mgoin/pixtral-12b; дополнительных ограничений от автора квантованного пакета не заявлено.

PlatYi-34B-Q — экспериментальная текстовая авторегрессионная языковая модель, разработанная Kyujin Han (kyujinpy) на архитектуре Yi-34B от 01.AI. Она дообучена методом QLoRA на датасете garage-bAInd/Open-Platypus и предназначена для генерации текста и ответов на вопросы, в том числе для задач рассуждения и решения математических задач. Модель использует плотную архитектуру LlamaForCausalLM и содержит 33,9 млрд параметров. Принимает и генерирует только текст, поддерживает английский язык; длина контекста — 4096 токенов. Автор отмечает, что использовал ранг LoRA 16 и рассматривает эту модель как тестовую. Доступна по лицензии CC BY-NC-SA 4.0, которая требует указания авторства и распространения производных материалов на тех же условиях с ограничениями на коммерческое использование.

PrismNLI-0.4B — англоязычная модель Jaehun для вывода по естественному языку и классификации без дополнительного обучения. Она дообучена на 515 тысячах синтетических примеров датасета PrismNLI, созданных с помощью Qwen2.5-72B-Instruct; исходной моделью послужила microsoft/deberta-v3-large-zeroshot-v2.0. Архитектура — DeBERTa V3 Large для классификации последовательностей, размер — 533,8 млн параметров, максимальный контекст — 512 токенов. Модель проверяет, следует ли гипотеза из посылки: метка 0 означает entailment, а метка 1 — not-entailment. Такой формат позволяет использовать её как классификатор с заданными пользователем категориями: категории формулируются как гипотезы, а модель оценивает их соответствие входному тексту. README сообщает о результатах на восьми бенчмарках NLI, но не приводит чисел для этой версии в доступной таблице. Модель предназначена для англоязычных текстовых задач и распространяется по лицензии CC. Для надёжных результатов следует формулировать категории как проверяемые утверждения; качество на других языках и за пределами NLI и zero-shot классификации в карточке не подтверждено.

Prometheus-13B-v1.0 — языковая модель для детальной оценки ответов больших языковых моделей, разработанная авторами проекта Prometheus. Она основана на Llama-2-Chat и дообучена на 100 тысячах примеров обратной связи из Feedback Collection. Модель принимает инструкцию, оцениваемый ответ, рубрику с критериями и эталонный ответ, после чего генерирует текстовую обратную связь и оценку по заданной шкале. Модель предназначена для автоматизированной оценки длинных ответов по настраиваемым критериям, например читабельности для детей, культурной чувствительности и креативности. Её также можно использовать как reward model в RLHF. Архитектура — плотная LlamaForCausalLM на 12,9 млрд параметров; модель работает с английским языком, контекст составляет 4096 токенов. Для ожидаемого поведения README рекомендует применять шаблон диалога Llama-2-Chat. Лицензия — Apache-2.0.

AiMavenAi/Prometheus-1.8 — языковая модель, созданная AiMavenAi с помощью слияния моделей AiMavenAi/Prometheus-1.5 и liminerity/Multiverse-Experiment-slerp-7b методом SLERP через LazyMergekit. Это плотная причинная модель семейства Mistral с архитектурой MistralForCausalLM, примерно 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста. Модель распространяется в формате Safetensors по лицензии CC BY-NC-ND 4.0. README не приводит сведений о целевых языках, специальных областях применения или результатах оценки качества.

arthurmluz/ptt5-xlsumm-30epochs — дообученная модель семейства T5, созданная на основе unicamp-dl/ptt5-base-portuguese-vocab с использованием набора данных XL-Sum. Она предназначена для суммаризации текстов на португальском языке. Модель содержит 123,8 млн параметров, использует архитектуру T5ForConditionalGeneration и поддерживает контекст до 512 токенов. На оценочной выборке указаны Loss 2,1787, ROUGE-1 0,3246, ROUGE-2 0,1471, ROUGE-L 0,2617 и ROUGE-Lsum 0,2641. Модель принимает текст и генерирует текстовое резюме. Распространяется по лицензии MIT.

Qwen2.5-7B-Instruct-abliterated-GGUF — модифицированная версия Qwen/Qwen2.5-7B-Instruct, опубликованная richardyoung. Модель предназначена для локального запуска и генерации текста, включая исследование выравнивания и безопасности языковых моделей, творческое письмо, образовательные эксперименты и сценарии, где требуется менее ограниченное поведение. Она распространяется в формате GGUF и совместима с llama.cpp, Ollama и LM Studio. Модель основана на Qwen2.5-7B-Instruct; заявлен размер 7 миллиардов параметров и поддержка текстовой генерации. В README явно указан английский язык. Abliteration удаляет направление отказа в residual stream без дообучения, что должно сохранять базовые знания и возможности модели, но снижает количество отказов на запросы, которые исходная модель отклоняла. Доступны варианты квантования от Q2_K до Q8_0: Q4_K_M рекомендуется как компромисс между качеством и скоростью, а более качественные варианты требуют больше оперативной памяти. Ключевое ограничение — отсутствие защитных ограничителей: модель может выполнять запросы, от которых базовая версия отказалась, поэтому ответственность за безопасное применение лежит на пользователе. Качество генерации заявлено сопоставимым с базовой Qwen2.5-7B-Instruct, однако конкретные показатели и размер контекста в README не указаны. Модель распространяется по лицензии Apache-2.0.

PatataAliena/Qwen2.5-VL-7B-Instruct-Q4_K_M-GGUF — это мультимодальная instruction-модель в формате GGUF, созданная на основе Qwen/Qwen2.5-VL-7B-Instruct, разработанной командой Qwen. Репозиторий содержит конвертированную с помощью llama.cpp и сервиса GGUF-my-repo версию модели с 4-битным квантованием Q4_K_M и примерно 7 млрд параметров. Модель предназначена для задач image-text-to-text: обработки изображений вместе с текстовыми запросами и генерации ответов, а также для обычного текстового диалога и инструкционного использования. Она рассчитана на запуск через llama.cpp, включая локальный CLI и серверный режим. В карточке указаны мультимодальность и английский язык; сведения о поддерживаемых языках помимо английского, точном размере контекста и детальных возможностях работы с изображениями отсутствуют. Ключевые преимущества — компактный квантованный формат GGUF и возможность локального запуска через llama.cpp на совместимом оборудовании. Квантование уменьшает требования к памяти, но может снижать точность по сравнению с исходной моделью. Для работы необходима совместимая сборка llama.cpp и соответствующее аппаратное обеспечение; ограничения производительности и качества зависят от конфигурации запуска. Указанная лицензия — Apache-2.0.

t-firefly/qwen3.5-27b-rknn3-rk1828 — сборка модели Qwen3.5-27B, подготовленная t-firefly для запуска на Rockchip RK1828 через LlamaPi. Исходную модель разработала команда Qwen; это мультимодальная модель генерации текста по текстовым и визуальным входам с архитектурой Qwen3.5 и гибридной конструкцией Gated Delta Networks со разреженной смесью экспертов. В репозитории указаны форматы GGUF и safetensors, а метаданные отмечают поддержку диалогов, зрения и интерфейса вызова инструментов. Модель предназначена для диалогов, рассуждений и анализа изображений на совместимом устройстве RK1828. Исходная модель поддерживает 201 язык и диалект, имеет контекст 262 144 токена с возможностью расширения до 1 млн токенов. Лицензия — Apache-2.0. README описывает сборку для LlamaPi, но не приводит измерений качества или подробностей о точности и квантовании файлов этой версии.

MuXodious/Qwen3.5-27B-tainted-heresy — мультимодальная модель для диалогов и анализа изображений, созданная разработчиком MuXodious на основе Qwen3.5-27B. Модель дообучена с помощью Heretic v1.2.0 и процедуры abliteration, направленной на уменьшение отказов и явного несоблюдения запросов; автор сообщает, что в его оценке осталось 13 отказов из 104, преимущественно в форме оговорок. Модель принимает текст и изображения и формирует текстовые ответы. Архитектура Qwen3.5 — плотная модель с 27 млрд параметров, визуальным энкодером и гибридными слоями Gated Delta Networks и Gated Attention. Базовая модель рассчитана на 201 язык и диалект, имеет нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов; README также указывает режим рассуждений и поддержку вызова инструментов. Подходит для диалогов, визуальных вопросов и сценариев с инструментами, где требуется модель с уменьшенной склонностью к отказам. Описание процедуры и метрики в карточке не подтверждают качество на широком наборе задач; сама модель может сохранять отказы и оговорки. Лицензия — Apache-2.0.

Qwen3.5-9B Reasoning Distilled GGUF (R3 Crown) — квантизированная в формате GGUF версия Qwen3.5-9B, дообученная командой cudabenchmarktest методом LoRA SFT на 2160 примерах с трассами рассуждений Opus 4.6 из набора Crownelius/Opus-4.6-Reasoning-3300x. Модель предназначена для диалогов и генерации ответов с рассуждениями, включая математические задачи, планирование и многошаговые запросы. Это ранняя итерация R3, которую авторы считают устаревшей: обучение на однообразных данных ухудшило следование инструкциям, а последующие версии R5/R7 описаны как улучшенные. При использовании стандартного рендерера qwen3.5 в Ollama для обычного диалога, следования инструкциям и вызова инструментов следует передавать think: false; без этого часть длинных запросов может завершаться без видимого ответа. Для задач, где нужны рассуждения, автор рекомендует think: true. Модель распространяется по лицензии Apache-2.0.

Модель dealignai/Qwen3.5-VL-397B-A17B-UNCENSORED-JANG_1L — версия Qwen 3.5 VL, подготовленная Jinho Jang и опубликованная dealignai. Это мультимодальная модель типа Mixture-of-Experts на 397 млрд параметров, примерно 17 млрд из которых активны на токен; в архитектуре сочетаются слои GatedDeltaNet SSM и полного внимания, а также встроенная обработка изображений. Репозиторий содержит веса в формате JANG_1L: смешанная квантизация с 8-битным вниманием и 2-битными экспертами, общий размер около 112 ГБ. По карточке модель также прошла удаление отказного поведения на уровне весов методом CRACK. Модель предназначена для диалогов и мультимодальных запросов с изображениями, а также поддерживает интерфейс вызова инструментов. Карточка приводит результаты собственных тестов HarmBench и MMLU; эти показатели относятся к описанной конфигурации и протоколу тестирования. Для запуска требуется MLX на Apple Silicon; формат JANG поддерживают MLX Studio и пакет jang-tools. Лицензия — Apache-2.0. Удаление защитных отказов означает, что модель может отвечать на запросы, на которые базовая модель отказала бы, включая вредоносные. Точные длина контекста и поддерживаемые языки в приведённых источниках не указаны; метаданные карточки перечисляют английский, китайский и корейский.

Youssofal/Qwen3.6-27B-Abliterated-Heretic-Uncensored-GGUF — GGUF-версия модифицированной модели Qwen3.6-27B, разработанной на базе Qwen/Qwen3.6-27B. Релиз создан Youssofal с применением Heretic-подобного двухэтапного MPOA-процесса, ослабляющего исходное поведение отказа на уровне весов. Модель предназначена для генерации текста и мультимодальных сценариев с анализом изображений и видео, а также для локального запуска через llama.cpp. Это плотная vision-language модель с 27,8 млрд параметров, 64 слоями и гибридной архитектурой внимания: три слоя линейного внимания на один слой полноформатного внимания в каждой группе из четырёх слоёв. Размер скрытого состояния — 5120. Архитектура сохраняет возможности базовой Qwen3.6-27B, включая поддержку изображений и видео; конкретный набор языков и размер контекстного окна в README не указаны. Доступны варианты GGUF от BF16 и Q8_0 до компактного Q2_K, что позволяет выбирать между качеством и требованиями к памяти. К сильным сторонам относятся сохранение общего профиля возможностей базовой модели, мультимодальность, совместимость с llama.cpp и сниженная склонность к стандартным отказам. По приведённым проверкам, однако, модель не демонстрирует полного устранения отказов и дефлекций, а изменение поведения может влиять на безопасность и надёжность ответов. Пользователь несёт ответственность за применение модели. Релиз распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

jenerallee78/Qwen3.6-35B-A3B-Abliterix-EGA-abliterated — мультимодальная модель для преобразования изображений и текста в текст, созданная на базе Qwen/Qwen3.6-35B-A3B. Релиз подготовлен с применением Abliterix, техники Expert-Granular Abliteration (EGA), разработанной wuwangzhang1216, в сочетании с вариантом projected abliteration от grimjim. Модель позиционируется как uncensored-конфигурация базовой модели. Модель предназначена для диалоговых сценариев и задач image-text-to-text, включая работу с изображениями и текстовыми запросами. В карточке указаны поддерживаемые языки English и Chinese, мультимодальность с поддержкой vision, архитектурный класс Mixture-of-Experts (MoE) и размер 35B-A3B, унаследованный от базовой Qwen3.6. Размер контекста и точный перечень поддерживаемых форматов входных данных в представленном README не указаны. Ключевая особенность модели — снижение склонности к отказам после изменения весов. На 507 оценённых запросах HarmBench показатель отказов составил 10,5% по оценке GPT-4o-mini, 6,9% по оценке Gemini 3 Flash Preview и 6,3% по классификатору HarmBench; среднее качество выполнения составило 4,55 и 4,74 из 5 соответственно. При этом результаты зависят от используемого оценщика и методики, а изменение весов может влиять на безопасность и предсказуемость поведения. Модель распространяется по лицензии AGPL-3.0.

Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored — мультимодальная модель семейства Qwen, созданная объединением нескольких моделей, включая Qwen3.6-35B-A3B-Brainwaves и Nex-N2.5-mini-Uncensored. Она предназначена для диалогов и следования инструкциям; метаданные также указывают поддержку обработки изображений вместе с текстом. В README приведены результаты оценок компонентов на нескольких тестах, но полный рецепт объединения и конкретные параметры этих тестов не раскрыты. Модель построена на архитектуре Qwen3.5 MoE и распространяется в формате safetensors через Transformers. В карточке указаны английский, китайский, японский и испанский языки; длина контекста и число параметров для этой версии не приведены. Лицензия — Apache-2.0. Название Uncensored указывает на ориентацию на менее ограниченные ответы, однако README не уточняет границы этой настройки.

Мультимодальная модель Qwen3.6-35B-A3B в формате GGUF, опубликованная hugypufy как ускоренная переработка сборки noctrex. Она предназначена для диалогов и анализа изображений при локальном запуске через llama.cpp. Архитектура Qwen3.5MoE содержит 34,66 млрд параметров, из которых около 3 млрд активны на токен; в MoE используются 256 экспертов с маршрутизацией top-8. Веса экспертов квантизированы в MXFP4, веса внимания и общей FFN — в Q8_0, а выходная матрица дополнительно перекодирована в Q8_0 или MXFP4. Размеры вариантов составляют около 18,42 и 18,17 GiB. Перекодирование выходной матрицы уменьшает её объём и повышает скорость генерации токенов: README сообщает о приросте примерно 9% для Q8_0 и 15% для MXFP4 в тестах на двух AMD R9700 с llama.cpp. Проверки качества описаны как неформальные: для Q8_0 заметной потери качества не наблюдалось, для MXFP4 отмечены возможные небольшие различия. Модель распространяется по лицензии Apache-2.0.

Это реконструкция чекпойнта Qwen3.6-35B-A3B в формате Hugging Face Transformers, выполненная Tiến Khôi Lê на основе публичной GGUF-модели HauhauCS. Репозиторий не является официальным выпуском Qwen Team или HauhauCS. Веса представлены в FP16 и Safetensors; исходная архитектура — мультимодальная MoE-модель с 35 млрд параметров, около 3 млрд активных параметров на токен, 256 экспертами и 40 слоями трансформера. Поддерживаются обработка изображений и текста, vision encoder и Multi-Token Prediction. Модель предназначена для диалогов и мультимодальных задач, включая работу с изображениями, а реконструированный формат — для использования с экосистемой Hugging Face и совместимыми инструментами. В репозитории заявлена совместимость с Transformers, Accelerate, vLLM и SGLang. Чекпойнт восстановлен из квантизированной GGUF-публикации, поэтому числовая эквивалентность исходным весам до квантизации не гарантируется. Реконструкция не является дообучением и не меняет поведение исходной модели. Лицензия в метаданных — Apache-2.0. Автор реконструкции не гарантирует точность, безопасность, надёжность или пригодность модели для конкретного применения; перед использованием результаты следует проверять. README описывает модель как uncensored, поэтому её ответы могут не иметь ожидаемых ограничений на содержание.

hotdogs/Qwen3.8-27B-abliterated-AWQ-INT4 — языковая генеративная модель, разработанная hotdogs на основе Qwen/Qwen3.8-27B и подвергнутая обучению без дообучения с удалением направления отказов. Это квантованная версия hotdogs/Qwen3.8-27B-abliterated, предназначенная для диалоговых сценариев, генерации текста, исследовательского анализа механизмов отказа, red teaming и изучения влияния alignment-обучения. Модель не отказывает в запросах, поэтому её применение требует особой осторожности и соблюдения законодательства. Модель использует гибридную архитектуру Qwen3.8-27B с полноразмерным attention на части слоёв и Gated DeltaNet linear attention на других слоях. Основные компоненты квантованы в формат W4A16 с 4-битными весами и 16-битными активациями, группой 128 и симметричным квантованием; lm_head и 64 слоя linear_attn сохранены в BF16. Размер файлов составляет около 17,6 ГБ вместо примерно 52 ГБ у BF16-версии. Заявлены языки English, Chinese и Thai. В README указан максимальный размер контекста 32768 токенов для запуска через vLLM. Сильные стороны модели — существенно сниженное потребление памяти, сохранение abliteration после квантования и близкая к базовой производительность на приведённых тестах: для BF16-версии MMLU составляет 0,8342, GSM8K — 0,59, ARC-Challenge — 0,4533. INT4-версия рассчитана на запуск через vLLM с Marlin и обычно требует двух GPU с 24 ГБ памяти; на одной карте с 24 ГБ доступ к KV-кэшу будет ограничен, а GPU с 48 ГБ подходит для запуска с tensor parallelism 1. Точные результаты INT4-версии могут немного отличаться от результатов BF16-модели. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Это полноточечная bf16-конверсия модели windowsxp811203/Qwen3.8-27B-Abliterated в формат MLX, подготовленная для запуска на Apple Silicon. Разработчик windowsxp811203 сохранил в чекпойнте зрительную башню и голову MTP для спекулятивного декодирования; архитектура — плотная Qwen3_5 с 27 млрд параметров. Файлы представлены в формате safetensors, общий размер — около 51,75 ГиБ. Модель предназначена для диалогов, генерации текста и анализа изображений; в README описана работа через oMLX и mlx-vlm. В опубликованном тесте MMLU указана точность 82,50% на выборке из 400 вопросов; это результат автора карточки, а не независимая оценка. Родительская модель описана как abliterated: она практически не отказывает на запросы, включая вредоносные, поэтому требует осторожного применения. Контекст и поддерживаемые языки в данных не уточнены. Лицензия — Apache-2.0, унаследованная от базовой модели.

PassingByPixels/Qwen3.8-27B-heretic-ara-NVFP4 — это квантизированная версия мультимодальной модели Qwen3.8-27B-heretic-ara, разработанная PassingByPixels на основе checkpoint от trohrbaugh. Исходная модель представляет собой кастомную Heretic ARA-версию Qwen3.8-27B от Qwen; данный репозиторий выполняет преобразование числового формата без дополнительного обучения, дообучения или изменения весов, за исключением восстановления MTP-головы. Модель предназначена для генерации и анализа текста и изображений, включая диалоговые сценарии с поддержкой reasoning и визуального ввода. Она рассчитана на запуск через vLLM на одном NVIDIA DGX Spark с GPU GB10 и 128 ГБ памяти. Используется смешанная точность: FFN и проекции full attention хранятся в NVFP4 — 4-битном формате с блоковыми 8-битными масштабами, а Gated DeltaNet, vision tower, embeddings, LM head и MTP-голова остаются в BF16. Размер весов уменьшен примерно с 51,8 до 20 ГБ; заявлена поддержка контекста до 131 072 токенов. В README указан английский язык. К сильным сторонам относятся существенно меньший размер, совместимость с Blackwell FP4-путём vLLM и поддержка speculative decoding через MTP. Работоспособность MTP проверена на DGX Spark, однако это не является оценкой качества модели. Ключевое ограничение — потерьное 4-битное преобразование: сравнительное тестирование качества с исходной BF16-моделью не проводилось, а заявленные возможности относятся прежде всего к исходным весам. Также отмечены ограничения совместимости MTP и FlashInfer на GB10. Модель распространяется по лицензии Apache 2.0, унаследованной от исходных моделей.

Qwen3.8-27B-huihui-abliterated-groupwise-int-NInfer — артефакт квантования модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, опубликованный в пространстве Barding-Defense и предназначенный для движка NInfer. Это мультимодальная модель для работы с текстом и изображениями, поддерживающая режимы reasoning и speculative decoding с использованием MTP. Upstream-модель подвергнута удалению отказов методом редактирования весов; данная версия не выполняет дообучение или дополнительное изменение поведения, а только преобразует формат и квантует веса. Модель содержит 27B параметров, текстовую часть, vision-компоненты, MTP и оптимизированную draft head. Используется groupwise integer-квантизация с форматами Q5G64_F16S, Q4G64_F16S, W8G32_F16S и другими, при этом часть компонентов сохранена в BF16 или FP32. Контейнер занимает около 18,2 GB, а резидентный объём весов составляет примерно 15,9 GiB. Для работы требуется GPU NVIDIA Blackwell с compute capability 12.0 (sm_120a); заявлена поддержка контекста до 262144 токенов при серверном запуске. Сильные стороны модели — компактное размещение в памяти, совместимость со штатным NInfer, поддержка изображений и MTP-декодирования. На указанном GPU измеренная скорость декодирования достигает 199,6 токена в секунду с MTP при 86,2% принятия draft-токенов. Ограничения включают привязку к Blackwell, отсутствие опубликованных capability-бенчмарков и сравнения с BF16, а также возможное снижение возможностей из-за abliteration; степень этого снижения не измерялась. Лицензия — Apache-2.0.

Это бюджетная GGUF-квантизация дообученной мультимодальной модели Qwen3.8-27B от esatapedico, основанной на DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. Модель имеет 27 млрд параметров, гибридную архитектуру с Gated DeltaNet и Gated Attention, 64 слоя и нативный контекст до 262 144 токенов. В репозитории представлены варианты BUDGET и STARVED: NVFP4-квантизированная основная часть сочетается с более компактными типами квантования выходного слоя и эмбеддингов. MTP-голова удалена, поэтому спекулятивное декодирование через MTP недоступно. Модель предназначена для генерации текста и диалогов, а при подключении совместимого проектора изображений — для обработки визуальных запросов. Варианты рассчитаны на запуск с ограниченной видеопамятью, в частности на 16-ГБ GPU Blackwell через актуальную сборку llama.cpp с поддержкой NVFP4 и sm_120. README сообщает о компромиссе качества из-за низкой точности отдельных тензоров; приведённые замеры являются предварительными проверками и не заменяют независимую оценку. Для обработки изображений требуется отдельный mmproj-файл. Лицензия — Apache-2.0.

junafinity/Qwen-3.8-27B-Uncensored-8-Bit-MLX — мультимодальная модель семейства Qwen, разработанная junafinity. Это 8-битная MLX-квантизация модели Qwen-3.8-27B-Uncensored для локального запуска на компьютерах Apple Silicon через MLX и mlx-vlm. Модель предназначена для генерации текста, анализа изображений и текстово-визуальных сценариев, включая исследовательское red teaming и оценку защитных механизмов кибербезопасности. Модель содержит языковую часть размером 27B параметров, квантизированную в 8 бит с affine-квантизацией и размером группы 64; итоговый размер на диске составляет около 28 ГБ. Vision tower оставлен в формате bf16 без квантизации, поэтому поддерживается обработка изображений. Указанные языки и размер контекста в README не приведены. Голова mtp.* удалена при конвертации в mlx-vlm, поэтому нативный MTP недоступен. Это прямое редактирование весов текстового декодера методом ZeroFuse, а не дообучение. Сильные стороны модели — возможность локального мультимодального запуска на большинстве компьютеров с чипами Apple M и снижение требований к дисковому пространству по сравнению с родительской bf16-версией. Модель не является скоростной версией: показатели токенов в секунду и пикового потребления памяти для неё не указаны. Abliteration снижает часть отказов, но не гарантирует их полного отсутствия; перед публичным развёртыванием необходим независимый слой модерации. Модель распространяется по лицензии Apache-2.0.

apetersson/Qwen3.8-Flash-Next-GGUF — это квантизированная GGUF-сборка модели Qwen3.8-Flash-Next, разработанной командой Qwen и подготовленной пользователем apetersson для запуска через llama.cpp. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений и, согласно тегам, видео. В комплект входят варианты квантизации Q5_K_M и UD-IQ4_XS, общий vision-проектор и MTP-компонент для ускорения генерации. Сборка использует общую BF16-таблицу n-gram, размещаемую отдельно от основных весов, и требует специального расширения среды выполнения llama.cpp; стандартная версия llama.cpp и автоматическая загрузка через -hf не поддерживаются. Размер основных файлов составляет около 76,24 GiB для Q5_K_M и 60,42 GiB для UD-IQ4_XS, а суммарный объём активных артефактов с общими компонентами — около 235,47 GiB. На RTX PRO 6000 Blackwell подтверждена работа с контекстом 262 144 токена для Q5 и IQ4, а для IQ4 проверена загрузка контекста до 1 048 576 токенов с Q8-кэшем KV; фактическая проверка генерации на миллионе токенов не проводилась. Сильными сторонами являются мультимодальность, поддержка очень длинного контекста, наличие MTP и возможность запуска на системах с 96–128 GB памяти при соответствующей конфигурации. Ограничения включают высокие требования к видеопамяти и оперативной памяти, необходимость сохранять структуру каталогов и использовать патченный runtime, а также ограниченную проверку экстремально длинного контекста. Модель распространяется по лицензии qwen-community-1.0; точные условия следует уточнять в файле LICENSE.

kikekewl/Qwen3.8-Flash-Next-MLX-BF16 — это MLX-версия модели Qwen3.8-Flash-Next, подготовленная пользователем или организацией kikekewl для работы в экосистеме MLX. В карточке указано, что модель относится к классу image-text-to-text и предназначена для задач генерации текста на основе текстовых и, вероятно, визуальных входных данных. Конкретные сценарии применения не раскрыты. Модель имеет формат BF16 и основана на Qwen/Qwen3.8-Flash-Next. Сведения об архитектуре, количестве параметров, поддерживаемых языках, размере контекста, качестве, требованиях к оборудованию и особенностях мультимодальной обработки в карточке отсутствуют. Использование регулируется лицензией qwen-community-1.0; подробные условия доступны в файле LICENSE.

Radon-35B-Ultra-X-RU-i1-GGUF — это квантизированная версия модели Radon-35B-Ultra-X-RU, разработанной MagistrTheOne и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для генерации текста и диалоговых сценариев, включая работу на русском и английском языках. В README она также обозначена как vision model, поэтому поддержка изображений предполагается при наличии соответствующих файлов mmproj, однако подробности мультимодальных возможностей не приведены. Модель основана на архитектуре radon_ultra_moe и относится к классу 35B. Доступны варианты квантизации i1 с разным балансом между размером файла, скоростью и качеством: от IQ1_S размером около 6,5 ГБ до Q6_K размером около 25,2 ГБ. Рекомендуемыми обозначены Q4_K_S как компромисс по размеру, скорости и качеству и Q4_K_M как быстрый вариант. Длина контекста, точные параметры MoE-архитектуры, результаты оценивания и требования к оборудованию в README не указаны. Сильными сторонами являются поддержка русского и английского языков, наличие множества вариантов квантизации для локального запуска и потенциальная работа с текстом и изображениями. Ограничения зависят от выбранного уровня квантизации: варианты с меньшим размером могут заметно уступать по качеству, а некоторые прямо характеризуются как низкокачественные. Для использования требуются совместимые инструменты, поддерживающие GGUF, а для обработки изображений — дополнительные mmproj-файлы из статического репозитория. Модель распространяется по лицензии Apache-2.0.

Randeng-Pegasus-238M-Chinese — китайская модель для генерации кратких пересказов, разработанная командой Fengshenbang при IDEA-CCNL. Она следует архитектуре PEGASUS и обучалась на корпусе WuDao объёмом 180 ГБ; в карточке Hugging Face указано 151,6 млн параметров, хотя в README модель обозначена как 238M. Для токенизации используются jieba и BERT-токенизатор. Модель предназначена для абстрактивного суммирования китайских текстов; доступна также отдельная большая версия и версия, дообученная на китайских датасетах суммаризации. Модель принимает текст и генерирует текстовое резюме. Метаданные указывают контекст длиной 1024 токена и формат PyTorch. В карточке не приведены сведения о лицензии, поэтому условия использования по имеющимся данным определить нельзя.

ReAligned-Qwen3.5-35B-A3B-GGUF — набор GGUF-квантизаций языковой модели на базе Qwen3.5, разработанный LazarusAI под руководством Eric Hartford и квантизированный QuixiAI. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на чувствительные исторические и политические вопросы. Заявленная цель — уменьшить идеологическую цензуру, избыточные отказы и государственно-ориентированную подачу материала при сохранении общих возможностей исходной модели. Модель поддерживает английский и китайский языки, использует текстовую модальность и предназначена для запуска через llama.cpp и совместимые приложения, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. Доступны варианты квантизации Q8_0, Q6_K, Q5, Q4 и IQ4 с размером файлов примерно от 18,9 до 36,9 ГБ; Q6_K и Q4_K обозначены как рекомендуемые варианты. Для работы следует использовать нативный шаблон чата Qwen и актуальную версию выбранного runtime. Размер контекста в README не указан. Сильными сторонами заявлены прямые ответы на чувствительные темы, управляемость через системный промпт и широкий выбор квантизаций для компромисса между качеством и требованиями к памяти. Ограничения включают отсутствие опубликованных результатов тестирования в карточке, неизвестный размер контекста и возможное снижение качества по сравнению с исходной моделью при использовании низкобитных квантизаций. Модель распространяется по лицензии Apache-2.0.

UNIST-Eunchan/Research-Paper-Summarization-Pegasus-x-ArXiv — модель UNIST-Eunchan для автоматического создания кратких пересказов научных статей arXiv. Она дообучена на датасете arxiv-summarization, содержащем более 200 тысяч работ, и предназначена для суммирования исследовательских текстов. В основе — плотная encoder-decoder модель PEGASUS-X Base с 187,1 млн параметров; она принимает текстовый контекст длиной до 16 384 токенов и генерирует текст. Модель работает на английском языке. В README приведены результаты на тестовом наборе и настройки генерации с ограничением длины вывода; качество зависит от параметров декодирования. Модель доступна в формате PyTorch по лицензии BigScience OpenRAIL-M. Она специализирована на научных статьях, поэтому её не следует считать универсальным суммаризатором для любых текстов.

Roberta2RobertaL-24gigaword — англоязычная модель суммаризации от Sascha Rothe, Shashi Narayan и Aliaksei Severyn. Это модель типа encoder-decoder, инициализированная весами roberta-large для кодировщика и декодировщика, а затем дообученная на датасете Gigaword для генерации заголовков. Модель предназначена для экстремальной суммаризации: она преобразует текст в краткое содержание, например в заголовок. Для применения доступны веса PyTorch; модель опубликована под лицензией Apache-2.0. В карточке не приведены численные сведения о размере модели и длине контекста.