I.15Доступность и ассистивные технологии

Qwen3.8-27B-Pessoa-5090 (AR11) — квантованный вариант Qwen/Qwen3.8-27B, подготовленный автором lribeiro. Это vision-language model для обработки текста и изображений, включая сценарии image-text-to-text; языковая часть поддерживает multilingual-данные. Модель предназначена для запуска через vLLM на одной видеокарте NVIDIA RTX 5090 с архитектурой Blackwell SM120 и поддерживает speculative decoding с помощью MTP. Модель содержит 27,79 млрд параметров и использует архитектуру Qwen3_5ForConditionalGeneration: 27-слойный ViT-энкодер изображений и языковую модель из 64 слоёв, объединяющую 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания. Максимальный контекст составляет 262 144 токена, словарь — 248 320 токенов. Квантование выполнено методом AutoRound 0.14.2 в формате compressed-tensors: ранние MLP-слои используют INT4, поздние — INT5, а проекции внимания — INT6; активации, KV-cache, визуальный энкодер, эмбеддинги, lm_head и MTP-head сохраняются в BF16. Главное преимущество — уменьшение размера с 55,6 до 22,59 ГБ при сохранении качества: заявлены KLD 0,00397 наты и совпадение top-1 в 97,64% случаев на тесте из 278 392 позиций. Ограничения включают зависимость от совместимого стека vLLM, FlashInfer и оборудования Blackwell, а также потенциальные потери точности из-за квантования весов. Модель распространяется по лицензии Apache-2.0.

JANGQ-AI/Qwen3.8-Flash-Next-JANG_4M — квантованная версия Qwen/Qwen3.8-Flash-Next, подготовленная Jinho Jang для Apple Silicon и MLX. Это мультимодальная модель с архитектурой Qwen4-architecture preview: 125 млрд параметров, из которых активно около 6 млрд, 512 экспертов, гибридными слоями Gated DeltaNet и Qwen Sparse Attention, а также хешированной n-граммной таблицей эмбеддингов. В комплект входят текстовые, визуальные и видео-компоненты; заявлен контекст 262 144 токена с расширением до 1 млн через YaRN. Модель предназначена для диалогов, рассуждений, анализа изображений и видео, а также агентных сценариев с вызовом инструментов. В README указана поддержка нативной multi-token prediction и измерения качества квантования относительно bf16. Для работы предусмотрена библиотека MLX; авторы рекомендуют запуск через vMLX и Apple Silicon, а таблица n-грамм может обслуживаться с SSD на поддерживаемом runtime. Вызовы инструментов используют диалект Qwen-XML, поэтому runtime должен поддерживать соответствующий парсер; Hermes-only парсеры могут некорректно обрабатывать такие вызовы. Доступ к vMLX указан как ограниченный одобрением. Лицензия обозначена как other, поэтому конкретные условия следует проверять в репозитории модели и базовой модели.

InternVL3-78B-GGUF — мультимодальная большая языковая модель семейства InternVL3, подготовленная Unsloth на основе OpenGVLab/InternVL3-78B. Модель предназначена для обработки текста и изображений, мультимодального восприятия и рассуждений, а также для сценариев с использованием инструментов, GUI-агентами, промышленным анализом изображений и восприятием 3D-сцен. Указанный вариант распространяется в формате GGUF. Архитектура модели следует схеме ViT-MLP-LLM: визуальная часть использует InternViT-6B-448px-V2_5, языковая — Qwen2.5-72B, объединённые через MLP-проектор. Размер модели — 78B параметров. Модель поддерживает мультимодальные входы и заявлена как многоязычная, однако точный перечень языков и размер контекстного окна в README не указаны. Обучение связано с набором данных OpenGVLab/MMPR-v1.2. К сильным сторонам относятся сочетание крупной языковой и визуальной подсистем, развитые возможности мультимодального анализа и рассуждений, а также поддержка специализированных агентных и визуальных задач. Ограничения включают высокие требования к вычислительным ресурсам, характерные для модели такого размера, и отсутствие в README подробных данных о производительности, контекстном окне и языковом покрытии. Лицензия указана как other с названием qwen; приведена ссылка на лицензию Qwen2.5-72B-Instruct.

Qwen3.8-27B-3bit-MLX — мультимодальная vision-language модель, разработанная на основе Qwen/Qwen3.8-27B и конвертированная пользователем lukaskremla в формат MLX с помощью mlx-vlm 0.6.13. Модель предназначена для диалоговых сценариев, обработки текста и изображений, а также задач, связанных с видео, рассуждениями и использованием инструментов. Она поддерживает мультиязычную работу и длинный контекст, однако точный размер контекста и перечень языков в представленном README не указаны. Модель использует 3-битное квантование весов с group size 64, affine- и RTN-квантованием, при этом vision tower сохранён в формате BF16. Такой формат ориентирован на запуск в экосистеме MLX и снижает требования к памяти по сравнению с полноразмерной версией, но квантование может ограничивать точность относительно исходной модели. README также предупреждает, что Hugging Face может некорректно отображать число параметров MLX-квантизаций. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GGUF — это квантизированная GGUF-версия модели Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем qtum для работы с llama.cpp. Модель предназначена для мультимодальных сценариев, включая обработку текста, изображений и видео с генерацией текста. Она может использоваться для анализа визуального содержимого, ответов на вопросы и других задач, поддерживаемых базовой vision-language моделью. Модель имеет плотную архитектуру с 27,8 млрд параметров с учётом vision tower и 64 декодерными слоями. Архитектура гибридная: 16 слоёв используют grouped-query full attention, а 48 слоёв — Gated DeltaNet linear attention. Длина контекста составляет 262 144 токена с возможностью дальнейшего расширения через YaRN. Поддерживаются английский и китайский языки. Для обработки изображений и видео требуется отдельный файл vision projector (mmproj); без него модель работает только в текстовом режиме. Доступны различные уровни квантизации от Q8_0 до IQ2_XXS, позволяющие выбирать баланс между размером файлов, требованиями к памяти и качеством. К сильным сторонам относятся мультимодальность, очень длинный контекст и сниженные требования к KV-кэшу благодаря гибридной архитектуре. Ограничения включают значительный объём памяти даже у квантизированных вариантов, необходимость совместимой версии llama.cpp и отдельного mmproj для визуального ввода; более агрессивная квантизация может снижать качество. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-VL-235B-A22B-Instruct-FP8-dynamic — мультимодальная instruction-tuned модель, разработанная Red Hat на базе Qwen/Qwen3-VL-235B-A22B-Instruct. Она принимает текст, изображения и видео, а генерирует текст, поэтому предназначена для диалоговых сценариев, анализа визуального содержимого, ответов на вопросы по изображениям и видео, а также решения текстовых, математических, рассуждательных и визуальных задач. Модель использует архитектуру Qwen3VLMoeForConditionalGeneration и имеет 235 млрд параметров, из которых 22 млрд активируются для отдельного токена, согласно идентификатору базовой модели. Вариант FP8-dynamic применяет FP8-квантизацию весов и активаций линейных слоёв трансформерных блоков с динамической квантизацией токенов для активаций и поканальной квантизацией весов. Это примерно вдвое уменьшает объём хранения и требования к GPU-памяти по сравнению с представлением FP16. В README не указаны поддерживаемые языки и максимальная длина контекста. Для развёртывания приведён vLLM с tensor parallelism на четырёх GPU. К сильным сторонам относятся мультимодальность, снижение требований к памяти и близкое к исходной модели качество на приведённых тестах: например, восстановление показателей составляет 99,2–100,5% на задачах OpenLLM V1, включая ARC-Challenge, GSM8K, HellaSwag, MMLU и TruthfulQA. Ограничения включают необходимость производительной GPU-инфраструктуры и совместимого ПО для FP8 и формата compressed-tensors; численные результаты приведены только для ограниченного набора тестов, а влияние квантизации на другие сценарии не раскрыто. Модель распространяется по лицензии Apache-2.0.

BgGPT-Gemma-3-27B-IT — мультимодальная модель для диалогов и выполнения инструкций, адаптированная для болгарского языка институтом INSAIT на базе Google Gemma 3 27B IT. Это плотная модель семейства Gemma 3 с поддержкой текста и изображений; карточка указывает эффективный контекст до 131 тыс. токенов. Модель рассчитана на многоходовые беседы, сложные инструкции и задачи, где нужно совместно учитывать текст и изображения. Модель подходит для вопросов и ответов на болгарском языке, диалоговых помощников и анализа изображений с текстовыми запросами. Также поддерживает английский язык. В README указаны данные предобучения до мая 2025 года и дообучения по инструкциям до октября 2025 года. Репозиторий содержит веса Safetensors и использует лицензию Gemma; применение регулируется её условиями.

google/flan-t5-base — языковая модель семейства T5, разработанная Google и дообученная по инструкциям на более чем тысяче дополнительных задач. Она преобразует текстовый запрос в текстовый ответ и подходит для генерации, ответов на вопросы, рассуждений и выполнения разнообразных NLP-задач, в том числе в режимах zero-shot и few-shot. Модель имеет архитектуру T5 encoder-decoder с 123,8 млн параметров и контекстом до 512 токенов. Карточка описывает поддержку множества языков, включая русский, английский, французский, немецкий и румынский; метаданные также отмечают многоязычность. Доступны версии для PyTorch, TensorFlow и Flax, лицензия — Apache 2.0. Карточка сообщает о сильных результатах на широком наборе задач, но модель не проверялась в реальных приложениях. Она может воспроизводить предвзятость и неподходящее содержание из обучающих данных, поэтому перед применением требуется оценка безопасности и справедливости для конкретного сценария.

Gemma-4-31B-it-Quark-W8A8-INT8 — мультимодальная модель для работы с текстом и изображениями, опубликованная под идентификатором nameistoken/Gemma-4-31B-it-Quark-W8A8-INT8 на основе google/gemma-4-31B-it от Google. Она предназначена для диалоговых сценариев, генерации текста, анализа изображений и задач vision-language. В описании заявлен английский язык. Модель использует архитектуру Gemma4ForConditionalGeneration и включает текстовый декодер на 31 млрд параметров, vision tower и визуальные embedding-слои. Текстовая часть квантизирована в W8A8 INT8: веса используют статическую симметричную per-channel-квантизацию, а активации — динамическую per-token-квантизацию. lm_head, embed_tokens и компоненты зрения сохранены в BF16, поэтому мультимодальные возможности не удалены. Размер файла модели составляет около 32 ГБ против примерно 62,5 ГБ у исходной BF16-версии, что дает двукратное сокращение объема. По результатам теста GSM8K на 1319 задачах модель показала точность 96,66% против 96,74% у BF16-базовой версии, то есть снижение составило 0,08 процентного пункта. Для запуска рекомендуется vLLM; в README приведена конфигурация с максимальной длиной контекста 8192 токена. Минимально требуется GPU с объемом памяти от 48 ГБ, например AMD MI300X, MI350X, MI355X, NVIDIA A100-80G или H100. Для длинного контекста и больших пакетов может потребоваться распределение на несколько GPU. Лицензия — Apache 2.0.

llmfan46/Qwen3.5-35B-A3B-ultra-uncensored-heretic — мультимодальная разговорная модель, созданная независимым автором на основе Qwen3.5-35B-A3B от Alibaba. Это дообученная версия с методом abliteration: по приведённому в карточке тесту она реже отказывает в ответах, при этом сохраняет близость к поведению исходной модели по метрике KL divergence. Модель принимает текст и изображения и формирует текстовые ответы; её можно использовать для диалога, анализа изображений, рассуждений и сценариев с вызовом инструментов. В основе лежит архитектура Qwen3.5 MoE с 35 млрд параметров всего и примерно 3 млрд активных параметров. Исходная модель поддерживает контекст до 262 144 токенов с возможностью расширения; карточка производной модели отдельно не подтверждает изменения этого предела. README указывает поддержку 201 языка и диалекта для семейства Qwen3.5, но не уточняет, насколько полно она сохранена в этой версии. Формат весов — Safetensors; заявлена совместимость с Transformers и рядом движков инференса. Лицензия — Apache-2.0.

LGAI-EXAONE/EXAONE-4.5-33B-AWQ — квантованная версия мультимодальной модели EXAONE 4.5, разработанной LG AI Research. Модель объединяет причинную языковую модель и визуальный энкодер и предназначена для работы с текстом и изображениями, включая понимание документов, визуально-языковые задачи, рассуждения и обработку контекста на корейском языке. Поддерживаются английский, корейский, испанский, немецкий, японский и вьетнамский языки. Модель имеет 33 млрд параметров: 31,7 млрд приходится на языковую часть и 1,29 млрд — на визуальный энкодер. Используется плотная архитектура с 64 основными слоями и одним MTP-слоем, гибридным вниманием, включающим локальное Sliding Window Attention и глобальное внимание. Размер контекста составляет 262 144 токена, отсечка знаний — декабрь 2024 года. Версия AWQ применяет 4-битное группажное квантование весов W4A16g128, что снижает требования к памяти, но может уменьшать точность по сравнению с исходной моделью. Сильными сторонами заявлены конкурентные результаты на общих бенчмарках, превосходство сопоставимых по размеру моделей в понимании документов и корейском контекстном рассуждении, а также поддержка изображений. Ограничения включают возможные потери качества из-за квантования, ограниченность знаний датой отсечки и отсутствие в README подробностей о требованиях к оборудованию, производительности и безопасном применении. Лицензия указана как exaone; дополнительные условия следует уточнять в файле LICENSE.

ZuzeTt/GLM-4.6V-Flash-heretic-Imatrix-GGUF — пользовательская модификация мультимодальной модели GLM-4.6V-Flash, первоначально разработанной организацией zai-org. Данная версия создана AlexH с использованием Heretic 1.1.0 и не является официальным релизом zai-org. Модель предназначена для локального развертывания и приложений с низкой задержкой. Модель относится к семейству GLM-V и имеет около 9 млрд параметров. Она работает с текстом и изображениями, включая документы, скриншоты, таблицы, графики и веб-интерфейсы. Заявлена поддержка контекста до 128 тысяч токенов, мультимодального понимания документов, native Function Calling, генерации смешанного текстово-визуального контента, восстановления HTML/CSS по скриншотам и визуального редактирования. В метаданных указаны китайский и английский языки. Ключевая особенность этой версии — decensored-модификация, направленная на снижение количества отказов и повышение отклика в сложных или нестандартных сценариях. В приведённом сравнении модель отказала в 63 из 100 тестовых случаев против 100 из 100 у исходной модели; при этом README не описывает методику тестирования. Ограничения связаны с неофициальным характером модификации, возможными отличиями в поведении и отсутствием подробных данных о качестве после изменений. В качестве лицензии указана MIT.

tjake/Llama-3.2-1B-Instruct-JQ4 — текстовая инструктивно настроенная модель семейства Llama 3.2, разработанного Meta. Она предназначена для диалогов в формате помощника и агентных сценариев, включая поиск знаний, суммаризацию, помощь при написании текстов и переформулирование запросов. Модель использует авторегрессионную архитектуру Transformer с 1,2 млрд параметров и поддерживает контекст до 131 072 токенов. Модель принимает и генерирует текст, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В README указано, что модель прошла supervised fine-tuning и обучение с обратной связью от людей; репозиторий содержит веса в формате safetensors. Указанная лицензия — Llama 3.2 Community License, специальное лицензионное соглашение, допускающее коммерческое и исследовательское использование при соблюдении его условий и Acceptable Use Policy. Компактный размер рассчитан, в частности, на запуск в ограниченных средах, включая мобильные устройства. По сравнению с более крупными моделями у неё могут быть слабее качество ответов и профиль безопасности; разработчикам следует проверять пригодность и защитные меры для своего сценария. Модель статична и обучена на данных с отсечкой знаний в декабре 2023 года.

greghavens/Qwen3.8-27B-bnb-4bit — это 4-битная NF4-квантизованная версия мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для обработки текста и изображений, включая задачи visual question answering, генерацию текста по изображениям и работу с агентами и инструментами. Указан английский язык. Размер модели — около 18,60 ГБ в шести сегментах, что позволяет запускать её на одной видеокарте с 24 ГБ памяти при использовании bitsandbytes и совместимого ускорителя. Квантизация применяется к 496 языковым линейным слоям, тогда как vision tower, lm_head, входные эмбеддинги и нормализующие слои сохранены в bfloat16. В комплекте также присутствует MTP head в bfloat16 для speculative decoding в vLLM и SGLang, хотя Transformers его не использует. Модель совместима с Transformers и поддерживает QLoRA-файнтюнинг через PEFT. Контекст модели в README не указан. По заявленным измерениям, квантизация почти не меняет результаты IFEval и NoveltyBench, а ухудшение perplexity на Wikitext-2 составляет около 1,14%. При этом показатель BFCL для вызова инструментов снижается с 0,8218 до 0,8113, а на нерелевантные запросы модель чаще ошибочно генерирует вызов инструмента. Для Blackwell и сценариев, ориентированных только на инференс, README рекомендует более быстрые варианты NVFP4 или FP8. Модель распространяется по лицензии Apache-2.0.

Mistral-Small-3.2-24B-Instruct-2506-ultra-uncensored-heretic — доработанная участником сообщества версия Mistral-Small-3.2-24B-Instruct-2506 от Mistral AI. К модели применена abliteration: README сообщает о целевых слоях и компонентах и приводит метрики, указывающие на снижение частоты отказов при сравнительно небольшом изменении поведения базовой модели. Это плотная мультимодальная модель семейства Mistral3 с поддержкой чата и анализа изображений; в карточке перечислены многочисленные языки, включая русский. Она подходит для диалогов по инструкциям, анализа изображений, вызова инструментов и задач, где нужны ответы с меньшим числом отказов. В README описаны улучшения базовой версии в следовании инструкциям, вызове функций и снижении повторов, а также приведены результаты тестов по STEM и зрительным задачам; эти результаты относятся к базовой модели и не подтверждают отдельную оценку данной доработки. Репозиторий содержит веса safetensors, указанная библиотека — vLLM; README также упоминает Transformers. Лицензия — Apache-2.0. Для запуска базовой версии в bf16 или fp16 README указывает потребность примерно в 55 ГБ видеопамяти, что свидетельствует о значительных аппаратных требованиях.

Qwen3.8-20B-Minitron — экспериментальная производная модель exnivo на базе Qwen/Qwen3.8-27B. Это плотная мультимодальная модель с архитектурой Qwen3.5 и классом Qwen3_5ForConditionalGeneration, принимающая текст и изображения и предназначенная для диалогов и генерации ответов по визуальному содержимому. Модель уменьшена структурным удалением слоёв: число языковых слоёв сокращено с 64 до 44, а размер — с 27,357 до 19,746 млрд параметров; это не квантизация. После удаления слоёв модель восстанавливали дистилляцией по логитам исходной модели, обучением на текстовых, учебных, математических и кодовых данных, а также корректировкой с помощью LoRA с последующим слиянием адаптера в веса. Разработчик приводит результаты собственных проверок, но они не являются стандартизованными бенчмарками. Модель распространяется в формате safetensors под лицензией Apache-2.0. Качество и устойчивость могут уступать исходной модели; особенно отмечена слабость в рассуждениях о последовательностях и шаблонах, а также ошибки при необычных формулировках. Восстановление и оценка были сосредоточены главным образом на тексте, поэтому возможности сохранённой визуальной части проверены ограниченно.

bartowski/Qwen_Qwen3.5-9B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-9B, разработанной Qwen и подготовленной bartowski. Модель предназначена для задач image-text-to-text, то есть обработки текстовых и визуальных входных данных с генерацией текста. Она подходит для локального запуска через llama.cpp и совместимые инструменты, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. В репозитории представлены варианты от BF16 до более компактных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, объёмом примерно от 4,9 до 18,4 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp; для некоторых конфигураций поддерживаются MTP-слои и режим draft-mtp. Более компактные варианты снижают требования к оперативной памяти, но могут уступать по качеству более высокоточным версиям. Архитектура, языки и размер контекстного окна в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

Yanun/Swift-Qwen3.8-27b-oQ4e-mtp — мультимодальная модель класса 27B, разработанная на основе Swift-Qwen3.8-27b от UkisAI и преобразованная в формат MLX. Она предназначена для обработки текстовых и визуальных входных данных с генерацией текста, включая сценарии, где требуется анализ изображений совместно с текстовыми инструкциями. Модель имеет плотную текстовую архитектуру с 64 слоями, чередующуюся линейную и полную attention: 48 слоёв используют linear attention, 16 — full attention. Размер скрытого состояния составляет 5120, размер feed-forward слоя — 17408, словарь содержит 248 320 токенов, а заявленный предел контекста — 262 144 токена, хотя фактическая длина зависит от настроек среды выполнения и доступной памяти. Vision encoder включает 27 слоёв, скрытое состояние размером 1152, 16 attention heads и обрабатывает изображения через патчи 16×16. В составе также есть один multi-token prediction (MTP) слой. Чекпойнт использует смешанную квантизацию oQ4e: базовые веса квантизированы до 4 бит, для 187 модулей заданы переопределения на 5 бит, а отдельные компоненты MTP сохранены в BF16. Это уменьшает требования к хранению и вычислениям по сравнению с полноразмерной моделью, но итоговая производительность и доступная длина контекста зависят от MLX-совместимого runtime и объёма памяти. Поддерживаемые языки и специализированные сильные стороны в README не указаны. Модель распространяется на условиях Swift Open License v1.0; конвертация не изменяет условия лицензии исходной модели.

unsloth/gemma-3-270m-it-qat-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3 с 270 млн параметров, разработанной Google DeepMind и подготовленной Unsloth. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и других диалоговых сценариев, а также может анализировать изображения и выдавать текстовый результат. Модель поддерживает текстовые и графические входные данные, более 140 языков и контекст до 32 тысяч токенов для моделей размером 270M. Вариант основан на google/gemma-3-270m-it-qat-q4_0-unquantized и использует квантизацию QAT в формате GGUF, что ориентировано на запуск с пониженными требованиями к ресурсам, в том числе на локальных устройствах. Конкретные сведения об архитектуре и языковых характеристиках отдельных языков в карточке не приведены. К сильным сторонам относятся малый размер, поддержка длинного контекста, мультимодальность и возможность локального развертывания. Ограничением является существенно меньшая ёмкость модели по сравнению с крупными вариантами Gemma 3, поэтому сложные задачи и требовательные сценарии могут выполняться менее качественно. Модель распространяется по лицензии Gemma; её использование регулируется условиями Google.

t-firefly/gemma4-e2b-rknn3-rk1828 — мультимодальная версия Gemma 4 E2B IT, подготовленная для запуска на устройстве RK1828 через LlamaPi. Исходную модель разработала Google DeepMind; карточка указывает на форматы GGUF и Safetensors, а метаданные связывают репозиторий с google/gemma-4-E2B-it. Модель принимает текст, изображения и аудио, выдаёт текст и предназначена для диалогов, рассуждений, программирования и агентных сценариев на устройстве или периферийном оборудовании. В README заявлены контекст 256 тысяч токенов и поддержка более 140 языков. Лицензия — Apache-2.0. Сведения о преобразовании весов специально для RKNN3, фактической производительности на RK1828 и совместимости отдельных модальностей в этой сборке ограничены; возможности исходной модели не гарантируют их полной поддержки в данном варианте.

NVIDIA Nemotron Nano 12B v2 VL — мультимодальная модель NVIDIA на архитектуре Transformer с визуальным энкодером CRadioV2-H и языковой частью NVIDIA Nemotron Nano 12B v2. Модель содержит 12,6 млрд параметров и принимает текст, изображения и видео; контекст вместе с ответом — до 128 тысяч токенов. Для изображений поддерживается до четырёх входных кадров или страниц за запрос, для видео — от 8 до 128 кадров с частотой 2 кадра в секунду. Модель предназначена для мультимодального анализа документов, визуальных вопросов и ответов, суммаризации изображений и видео, а также рассуждений по визуальному содержимому. Подходит для извлечения сведений из счетов, чеков и руководств, а также для обработки нескольких страниц документа за один запрос. README указывает английский как поддерживаемый язык; обучающие данные включают также китайский и другие языки для отдельных визуальных задач, что не подтверждает полноценную поддержку этих языков в диалоге. Модель выдаёт текст, поддерживает чат и интерфейс вызова инструментов. Для обработки видео кадры необходимо извлечь заранее; видео декодирование не входит в модельный пайплайн. Указаны ограничения по числу и разрешению изображений, а также ориентация на системы с GPU NVIDIA. README заявляет готовность к коммерческому использованию, однако в метаданных лицензия обозначена как other, поэтому конкретные условия следует проверить в лицензии репозитория.

ente-ai/Qwen3.5-0.8B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-0.8B, основанной на Qwen/Qwen3.5-0.8B. Модель разработана в экосистеме Qwen, а данный вариант опубликован ente-ai с использованием подходов Unsloth Dynamic 2.0. Она предназначена для локального запуска, прототипирования, исследовательских и прикладных задач, а также специализированного дообучения. Модель представляет собой каузальную языковую модель со зрительным энкодером и поддерживает обработку текста и изображений. Она содержит 0,8 млрд параметров, 24 слоя, скрытое измерение 1024 и нативный контекст до 262 144 токенов. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Артефакты совместимы с инструментами локального и серверного инференса, включая Hugging Face Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся компактный размер, мультимодальность, длинный контекст, возможность локального использования и потенциально высокая эффективность инференса. Из-за небольшого масштаба модель прежде всего ориентирована на прототипирование, task-specific fine-tuning и разработку; её возможности могут быть ограничены по сравнению с более крупными моделями в сложных задачах. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-V2-abliterated-uncensored-TQ3_4S-GGUF — мультимодальная модель Lemura Labs на базе объединённых Qwen3.6-27B и Jackrong/Qwopus3.6-27B-v2. Последняя версия описана как дистилляция рассуждений Claude Opus на основе Qwen3.6-27B. Модель прошла abliteration для снижения числа отказов и выпущена в формате GGUF с квантизацией TQ3_4S; для обработки изображений требуется отдельный файл проектора mmproj.gguf. Модель предназначена для диалогов, рассуждений и работы с изображениями. Гибридная архитектура сочетает линейное внимание GatedDeltaNet и полнослойное softmax-внимание; заявленная длина контекста — 262144 токена. В карточке сообщается о снижении отказов с 91 до 4 из 100 проверочных запросов при KL-дивергенции 0,0176. Доступны GGUF-веса размером около 14 ГБ вместе с проектором; для TQ3_4S требуется форк llama.cpp от turbo-tan, а без mmproj вход изображений недоступен. Модель принимает текст и изображения и генерирует текст. В метаданных указаны английский и китайский языки, а также мультиязычная поддержка. Лицензия — Apache-2.0. Вследствие удаления отказов модель может отвечать на запросы, которые исходная модель отклоняла; результаты генерации требуют соответствующей проверки.

sleepy186247 конвертировал модель llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved в формат MLX с точностью fp16; README указывает версию mlx-lm 0.31.2. Это мультимодальная MoE-модель семейства Qwen3.5, предназначенная для диалогов, анализа изображений и агентного программирования. Метаданные указывают архитектуру Qwen3_5MoeForConditionalGeneration, поддержку чата и зрения, а также задачу image-text-to-text. Модификация uncensored/heretic ослабляет ограничения на ответы. Репозиторий распространяется по лицензии Apache-2.0.

Это мультимодальная GGUF-версия модели OBLITERATUS/gemma-4-E4B-it-OBLITERATED, созданная и квантованная пользователем rdhorner на основе Gemma 4 от Google. Базовая модель представляет собой модифицированную версию gemma-4-E4B-it, обработанную методом OBLITERATUS. Модель предназначена для локального запуска через llama.cpp и совместимые приложения; в метаданных указано около 8 млрд параметров. Модель поддерживает текстовый ввод, изображения и аудио при подключении отдельного файла mmproj, содержащего оба мультимодальных энкодера. Она подходит для диалоговых сценариев, анализа изображений и аудио, использования инструментов и function calling. Поддерживаются OpenAI-совместимые запросы через llama-server, включая tool calls и мультимодальные сообщения. В комплект входят варианты F16, Q8_0, Q5_K_M и Q4_K_M; Q4_K_M рекомендован для локального использования как компромисс между качеством и размером. Для мультимодального режима требуется файл mmproj, а шаблон чата Gemma 4 необходимо включать с параметром --jinja. К сильным сторонам относятся мультимодальность, поддержка вызова инструментов и несколько вариантов квантования для запуска на локальном оборудовании. Модель использует встроенный канал рассуждений Gemma 4, который в OpenAI-совместимых ответах отображается как reasoning_content. При этом модификация OBLITERATED изменила направления отказа в 21 из 42 слоёв, поэтому надёжность вызова инструментов может снижаться в темах, близких к ограничениям безопасности. В README не указаны точный набор поддерживаемых языков и максимальный размер контекста; в примере сервера используется контекст 8192 токена. Модель распространяется по лицензии Apache 2.0, соответствующей лицензии базовой модели.

alpindale/Llama-3.2-3B — текстовая модель семейства Llama 3.2, разработанного Meta. Это авторегрессионная плотная трансформерная модель с 3,2 млрд параметров и архитектурой LlamaForCausalLM; репозиторий содержит веса Safetensors для Transformers. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана на многоязычную генерацию. Модель подходит для диалогового помощника, суммаризации, поиска знаний и приложений с агентными сценариями, а также для мобильных помощников по написанию текста и переформулирования запросов. В README описаны применение и возможности семейства Llama 3.2; отдельное дообучение alpindale/Llama-3.2-3B не подтверждено, поэтому характеристики поведения конкретного чекпойнта могут отличаться от описания семейства. Заявленные языки поддержки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Лицензия llama3.2 — пользовательская лицензия сообщества Meta с собственными условиями коммерческого использования и политикой допустимого использования. Модель обучена на статическом офлайн-наборе данных; как компактная модель, она может уступать более крупным системам по качеству и требует проверки безопасности и пригодности для конкретного применения.

BLOOMZ-3B — многоязычная языковая модель BigScience, дообученная на BLOOM для выполнения инструкций на основе естественно-языковых запросов. Она предназначена для генерации ответов и выполнения задач без примеров, в том числе перевода, классификации тональности, подбора поисковых запросов и объяснения понятий. Модель использует плотную авторегрессионную архитектуру BLOOM с 3 млрд параметров и контекстом до 2048 токенов; принимает текст и генерирует текст. Обучение проводилось на многоязычной смеси задач xP3, а лицензия — BigScience BLOOM RAIL 1.0. Модель поддерживает широкий набор языков, включая английский, французский, испанский, китайский, арабский, хинди и другие языки из предобучения BLOOM и дообучения xP3. Её сильная сторона — выполнение разнообразных инструкций и обобщение на задачи, которых не было в обучении. Качество зависит от формулировки запроса: рекомендуется явно обозначать границу входного текста и задавать желаемый язык ответа. Модель может продолжать исходный текст вместо ответа, если запрос сформулирован неоднозначно.

p-e-w выпустил gemma-3-12b-it-heretic — разговорную мультимодальную модель на архитектуре Gemma 3, созданную дообучением google/gemma-3-12b-pt. Она принимает текст и изображения и генерирует текст; карточка описывает сценарии общения, ответов на вопросы по изображениям, суммаризации и генерации текстов. В метаданных указаны 12 млрд параметров для базовой модели, формат safetensors и библиотека Transformers. README семейства Gemma 3 сообщает о контекстном окне до 128 тыс. токенов и поддержке более 140 языков; эти характеристики приведены для семейства, а не подтверждены отдельно для данного чекпойнта. Метка heretic и теги uncensored, decensored и abliterated указывают на изменение поведения модели в сторону снятия ограничений, однако README не описывает процедуру такого изменения. Лицензия указана как gemma. Модель может выдавать неверные или устаревшие сведения, отражать смещения обучающих данных и ошибаться при сложных запросах или тонких языковых нюансах; при использовании следует учитывать риск генерации вредного содержания.

Inkbot — разговорная языковая модель, разработанная автором репозитория Tostino и основанная на плотной архитектуре Llama. Она предназначена для генерации ответов по структурированным запросам, с дополнительным контекстом или без него. Модель насчитывает 12,9 млрд параметров, использует формат PyTorch и имеет нативное окно контекста 4096 токенов. В карточке описана настройка позиционных эмбеддингов для работы с контекстом до 8k токенов. Inkbot подходит для RAG-сценариев и ответов по предоставленному контексту, редактирования и упрощения текста, суммаризации, перефразирования, создания текстов и извлечения знаний в виде графа. Структурированный шаблон запроса принимает дату, задачу, системную инструкцию и контекст пользователя; модель рассчитана на более функциональные и лаконичные ответы. Для лучших результатов требуется соблюдать шаблон и ясно задавать контекст. На сложных задачах возможны зацикливание генерации, бесконечное добавление узлов графа знаний и потеря влияния пользовательского контекста через один-два запроса. Указана лицензия Llama 2.

NousResearch/Meta-Llama-3.1-8B — текстовая авторегрессионная модель семейства Llama 3.1, разработанная Meta и опубликованная в репозитории NousResearch. Это плотный трансформер LlamaForCausalLM с 7,5 млрд параметров, механизмом Grouped-Query Attention и контекстом до 131 072 токенов; веса представлены в формате safetensors и предназначены для работы с Transformers. Модель генерирует текст по текстовому запросу. Она подходит для диалогового помощника на нескольких языках, ответов на вопросы, написания и преобразования текста, а также для адаптации к задачам генерации естественного языка. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для семейства Llama 3.1 заявлены коммерческое и исследовательское применение; условия использования определяет лицензия Llama 3.1 Community License и связанная с ней политика допустимого использования. Это предобученная модель, а не версия, настроенная для следования инструкциям: указанное в README SFT и RLHF относится к instruction-tuned версиям семейства. Как и другие языковые модели, она может выдавать неточные или небезопасные ответы; для прикладного использования нужны проверка результатов и меры безопасности. Указания README ограничивают применение поддерживаемыми языками, если модель не дообучена для других языков.