I.15Доступность и ассистивные технологии

Mistral Small 3.2 24B Instruct 2506 GGUF — мультимодальная инструкционная модель, разработанная Mistral AI и распространяемая в формате GGUF сообществом LM Studio. Квантизация выполнена lmmy на основе llama.cpp. Модель принимает текстовые и графические данные и генерирует текст, поэтому предназначена для диалоговых систем, обработки инструкций, анализа изображений с текстовым ответом и других локальных сценариев работы с мультимодальными запросами. Модель поддерживает контекст длиной до 128 000 токенов и десятки языков, включая английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский, индонезийский, малайский, непальский, польский, румынский, сербский, шведский, турецкий, украинский, вьетнамский, хинди и бенгальский. Точный вариант архитектуры и параметры квантизации в README не указаны; из названия следует размер базовой модели 24B. Производительность вызова инструментов может быть снижена. Модель распространяется по лицензии Apache-2.0. Следует учитывать, что это community-сборка, а не оригинальная публикация разработчика: LM Studio не гарантирует её точность, безопасность, доступность или пригодность для конкретных задач, а сгенерированные ответы могут быть ошибочными или неприемлемыми.

coder3101/Qwen3.5-35B-A3B-heretic — мультимодальная разговорная модель на основе Qwen3.5-35B-A3B, изменённая автором репозитория методом abliteration для заметного снижения частоты отказов. Это модель с причинным языковым ядром и кодировщиком изображений; архитектура использует разреженную смесь экспертов и Gated Delta Networks: всего 35 млрд параметров, из которых активируются около 3 млрд. Веса доступны в формате Safetensors и совместимы с Transformers и рядом движков инференса. Модель предназначена для диалогов, ответов на вопросы по изображениям, рассуждений и сценариев с вызовом инструментов. Она унаследовала от базовой модели контекст 262 144 токена с возможностью расширения примерно до 1 010 000 токенов. Карточка сообщает о поддержке 201 языка и диалекта базовой моделью, но не уточняет языковой охват именно этой производной версии. В приведённом сравнении частота отказов составила 5 из 100 запросов против 91 из 100 у исходной модели; KL-дивергенция относительно неё указана как 0,0972. Это указывает на ослабление отказного поведения, но не подтверждает качество ответов по другим задачам. Лицензия — Apache-2.0. Пониженная частота отказов означает, что модель может слабее ограничивать ответы на потенциально вредные запросы.

Qwen3.8-27B-2bit-MLX — мультимодальная квантованная версия модели Qwen/Qwen3.8-27B, разработанная сообществом и преобразованная в формат MLX автором lukaskremla с использованием mlx-vlm 0.6.13. Модель предназначена для задач, объединяющих работу с текстом и изображениями, включая диалоговые сценарии, рассуждения, использование инструментов, анализ видео и обработку длинного контекста. Модель имеет архитектуру Qwen3.8-27B и размер 27B параметров; для весов применяется 2-битное weight-only-квантование с affine RTN и group size 64. Vision tower сохранён в формате BF16, поэтому модель поддерживает мультимодальные входы, включая изображения и видео. Заявлена поддержка нескольких языков, однако конкретный языковой перечень и размер контекстного окна в README не указаны. Квантование уменьшает требования к памяти, но может снижать точность по сравнению с исходной моделью; характеристики производительности и совместимости зависят от среды MLX. Модель распространяется по лицензии Apache-2.0.

AtomicChat/gemma-4-E4B-it-GGUF — GGUF-квантизированная версия мультимодальной модели google/gemma-4-E4B-it, подготовленная командой Atomic Chat из оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые инструменты. Она поддерживает работу с текстом, изображениями и аудио, а также ориентирована на задачи, требующие рассуждений, с настраиваемыми режимами thinking. Модель имеет 4,5 млрд эффективных параметров, или 8 млрд параметров с учётом embeddings, 42 слоя и контекст до 128K токенов. Архитектура представляет собой плотный decoder с гибридным вниманием: sliding-window attention с окном 512 токенов и глобальное внимание; используются 8 attention heads и 2 KV heads. В репозитории доступны варианты квантования от Q2_K до Q8_0, включая imatrix-квантизации. Importance matrix помогает уменьшить потерю качества в низкобитных вариантах; Q4_K_M рекомендован как сбалансированный вариант по размеру, скорости и качеству. Для обработки изображений поставляется vision-проектор mmproj. Сильные стороны модели — мультимодальность, большой контекст, возможность локального запуска и широкий выбор квантов под разные объёмы памяти. Ограничения связаны с потерями качества при наиболее компактном квантовании, потребностью правильно применять chat template Gemma 4 и необходимостью отдельного vision-проектора для изображений. Заявленные benchmark-результаты относятся к базовой модели Google, а не к независимым измерениям этого репозитория. Лицензия — Apache 2.0.

JOSIE-4B-Instruct — разговорная instruction-following модель Гёкдениза Гюльмеза, созданная полновесным дообучением gabliterated-версии Qwen3-4B-Instruct-2507. Это плотная причинная языковая модель семейства Qwen3 с 3,7 млрд параметров; метаданные указывают контекст до 262 144 токенов. Модель предназначена для естественного диалога, практических ответов и повседневной помощи, а также для письма, мозгового штурма, объяснений, анализа и задач по программированию. Модель ориентирована на следование инструкциям и прямой, дружелюбный стиль общения без чрезмерной угодливости; карточка также заявляет сохранение способностей к рассуждению и отсутствие встроенной фильтрации контента. Поддерживаются английский, испанский, французский, португальский, итальянский, арабский, японский, корейский, индонезийский, русский, вьетнамский, немецкий и тайский языки. Модель распространяется по лицензии MIT. Её ответы могут быть неподходящими для части аудиторий; результаты в узкоспециализированных областях и критически важных сценариях требуют проверки, а стиль с эмодзи подходит не для всех формальных задач.

Qwen3.8-27B-MLX-oQ4e-mtp — квантованная MLX-версия мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для задач генерации текста и визуального понимания, включая обработку изображений и видео, а также для локального запуска на устройствах Apple Silicon через oMLX или mlx-vlm. Модель содержит около 27 млрд параметров и занимает примерно 16 ГБ. Используется улучшенная примерно 4-битная oQ4e-квантизация с эффективной точностью около 4,9 бит на вес, размером группы 64, imatrix-калибровкой и компенсацией ошибок на основе Hessian. В состав входит vision tower для работы с изображениями и видео. Сохранён нативный MTP head с одним дополнительным скрытым слоем, что позволяет использовать Lightning-MTP для спекулятивного декодирования в oMLX. Заявлена поддержка контекстного окна до 262144 токенов при соответствующей настройке. Сильные стороны модели — сочетание мультимодальности, сниженного потребления памяти, сохранённой совместимости с MTP и высокой скорости декодирования: на M5 Max заявлены около 54 токенов в секунду и принятие черновых токенов на уровне 81%. Ограничения включают зависимость от MLX-совместимого оборудования и программного обеспечения, а также возможную потерю точности из-за квантизации; конкретные языки в README не указаны. Модель распространяется по лицензии Apache-2.0.

Meta Llama 3.1 405B Instruct — разработанная Meta инструктивно дообученная большая языковая модель для диалогового взаимодействия. Это авторегрессионный трансформер с оптимизированной архитектурой и Grouped-Query Attention; вариант Instruct использует supervised fine-tuning и обучение с подкреплением на основе обратной связи от людей. Модель работает с текстом на входе и выходе и рассчитана на многоязычные сценарии. Модель предназначена для диалоговых помощников, ответов на вопросы и генерации текста по инструкциям, а также для создания синтетических данных. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для некоторых дополнительных возможностей, включая интеграцию с инструментами, требуется самостоятельная настройка приложения. Модель представляет собой статический чекпойнт, обученный на офлайн-данных. Качество и безопасность ответов могут различаться по языкам и сценариям, а выводы требуют проверки. Использование регулируется пользовательской лицензией Meta Llama 3.1 Community License и Acceptable Use Policy; до коммерческого или иного применения следует ознакомиться с их условиями.

Модель stavh2001/qwen3.6-27b-merged_28_05 — дообученная мультимодальная модель семейства Qwen3.5, разработанная stavh2001 на базе unsloth/Qwen3.6-27B с использованием Unsloth и библиотеки TRL. Она предназначена для диалогов с текстом и изображениями; поддерживает интерфейс вызова инструментов. Архитектура — плотная, Qwen3_5ForConditionalGeneration, веса представлены в формате safetensors. Базовая модель насчитывает 27 млрд параметров и рассчитана на анализ изображений, диалоги, программирование и агентные задачи. Модель выпущена под лицензией Apache-2.0. Карточка не описывает отдельную специализацию дообучения или результаты оценки качества, поэтому пригодность для конкретных сценариев следует проверять на собственных данных.

Qwen3.8-27B-MLX — сборка официальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и адаптированной OrcaRouter для MLX. Это мультимодальная vision-language модель с поддержкой текста и изображений, ориентированная на запуск на устройствах Apple Silicon. Заявлены английский и китайский языки, управление режимом рассуждений, вызов инструментов и Multi-Token Prediction (MTP) для ускорения спекулятивной генерации. Модель имеет 27 миллиардов параметров и плотную гибридную архитектуру, сочетающую линейное внимание Gated DeltaNet с полноразмерным attention. Доступны аффинные варианты квантования на 4, 6 и 8 бит: примерно 16, 24 и 31 ГБ соответственно. Визуальная башня, нормализационные и свёрточные слои сохраняются в BF16, а линейные веса языковой модели квантуются. Вариант 8-bit обеспечивает качество, близкое к BF16, 6-bit предлагает компромисс между качеством и объёмом, а 4-bit предназначен для повседневного использования при меньших требованиях к памяти. Модель подходит для диалоговых приложений, анализа изображений, генерации текста, задач рассуждения и сценариев с вызовом функций. Для ускорения генерации доступен отдельный MTP-драфтер, совместимый с любой основной точностью. Ограничениями являются значительные требования к оперативной памяти, зависимость от актуальных версий mlx-vlm и MLX, а также преимущественная ориентация на Apple Silicon; для vision-режима на CUDA требуется дополнительная настройка. Репозиторий распространяется по лицензии Apache 2.0.

Qwen3.8-Flash-Next-DERISKED-W4A16-AWQ — мультимодальная языковая модель для работы с изображениями и текстом, разработанная как производная от Qwen3.8-Flash-Next. Базовую модель выпустила команда Qwen, вариант DERISKED создан Blackfrost-AI, а данная версия дополнительно подвергнута квантизации AWQ авторами репозитория davetha. Модель предназначена для сценариев image-text-to-text и рассчитана на запуск крупной MoE-модели класса 80B на двух AMD MI210. Используется формат compressed-tensors W4A16: веса представлены в 4-битном виде, активации — в bfloat16, размер группы — 128. Квантизированы маршрутизируемые эксперты и полные attention-слои, тогда как ряд чувствительных компонентов, включая GDN-слои, общий эксперт, нормы, эмбеддинги, MTP-голову и PLE-таблицу, сохранены в bf16. Поддерживается контекст до 262 144 токенов, MTP speculative decoding и PLE n-gram table. На связке vLLM и двух MI210 заявлены производительность prefill около 2200 токенов в секунду и decoding около 40 токенов в секунду с MTP при трёх speculative tokens; без спекулятивного декодирования — около 10 токенов в секунду. Сильные стороны модели — длинный контекст, мультимодальность, эффективное int4-хранение и ускорение MoE-вычислений. Ограничения включают зависимость от специфической конфигурации vLLM/ROCm, медленный bandwidth-bound decoding из-за потоковой загрузки примерно 100 ГБ PLE-таблицы по PCIe и ограничение speculative decoding тремя токенами на указанном стеке. Модель является abliterated/uncensored: защитное поведение отказа удалено, поэтому ответственность за применение лежит на пользователе. Распространяется по Qwen Community License 1.0; применяются условия лицензии базовой модели.

Apertus-70B-2509 — большая языковая модель семейства Apertus, разработанная Swiss AI Initiative. Это плотный авторегрессионный трансформер с 97,7 млрд параметров по метаданным репозитория; в карточке семейство описано как модель на 70 млрд параметров. Модель обучена с нуля на 15 трлн токенов, а затем прошла supervised fine-tuning и выравнивание QRPO. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. Модель предназначена для генерации текста, многоязычных запросов и работы с длинным контекстом до 65 536 токенов. Карточка заявляет поддержку более 1 800 языков и возможность использования инструментов; модель рассчитана на запуск через Transformers, vLLM, SGLang и MLX. Разработчики также описывают её как полностью открытую и обученную на данных с соблюдением требований согласия и отказа от использования. Модель подходит для диалоговых и агентных сценариев, ответов на вопросы, создания и продолжения текста, а также задач на разных языках. Генерируемый текст может содержать фактические ошибки, логические несоответствия и предвзятость; встроенного фильтра персональных данных нет, поэтому важную информацию нужно проверять, а защиту от вывода персональных данных организовывать отдельно.

Это форк FLAN-T5 XXL, опубликованный philschmid на Hugging Face. Модель представляет собой плотную encoder-decoder архитектуру T5ForConditionalGeneration с 5,8 млрд параметров и предназначена для генерации текста по текстовому запросу. В карточке приведён пример развёртывания на Inference Endpoints и пользовательского обработчика для запуска на одном NVIDIA A10G; файлы модели представлены в формате PyTorch. FLAN-T5 прошла инструкционное дообучение на более чем тысяче дополнительных задач и рассчитана на широкий круг сценариев: ответы на вопросы, суммаризацию, перевод и другие задачи преобразования текста. README заявляет поддержку английского, русского и множества других языков. Лицензия — Apache 2.0. Указание README на «квантизированную» версию расходится с метаданными, где формат обозначен как PyTorch; подтверждения конкретного формата квантизации в метаданных нет.

Карточка модели ginipick/Gemma-3-R1984-4B на Hugging Face совпадает с карточкой VIDraft/Gemma-3-R1984-4B, поэтому описание составлено по ней. Gemma3-R1984-4B — мультимодальная модель для диалогов и анализа изображений, дообученная VIDraft на базе Google Gemma 3 4B. В карточке заявлена работа с изображениями, видео и документами, включая PDF, CSV и TXT; метаданные классифицируют модель как image-text-to-text и указывают архитектуру Gemma3ForConditionalGeneration с плотными весами в формате Safetensors. Модель рассчитана примерно на 4 млрд параметров и контекст до 8 000 токенов. Сценарии применения включают визуальные вопросы и ответы, анализ документов, сравнение файлов, диалог и исследовательские запросы с поиском в интернете через SERPHouse API и цитированием найденных источников. Указана поддержка английского, корейского, японского, китайского, испанского, русского, арабского, хинди, индонезийского, французского и немецкого языков. Поиск в интернете требует API-ключа; обработка видео и документов описана как часть платформы и не подтверждена тегом задачи модели. В метаданных указана лицензия Gemma; README дополнительно упоминает MIT для Agentic AI-платформы, поэтому условия для весов следует связывать с лицензией Gemma.

Gemma-4-E4B-it-NVFP4 — мультимодальная instruct-модель семейства Gemma 4, созданная на основе google/gemma-4-E4B-it и оптимизированная для диалогового и чат-применения. Квантованную версию подготовил Mario Iseli с использованием NVIDIA Model Optimizer на платформе NVIDIA DGX Spark. Модель предназначена для генерации текста, а также обработки изображений и аудио; заявлена поддержка multilingual-сценариев и контекстного окна до 128K токенов. Архитектура основана на плотной модели с механизмом Per-Layer Embeddings (PLE), где каждый из 26 декодерных слоёв получает специализированный 256-мерный сигнал. Вариант использует квантование NVFP4 по схеме W4A4: веса и активации языковых слоёв представлены в FP4, а башни обработки изображений и аудио, соответствующие проекционные слои и lm_head сохранены в BF16. Размер модели на диске составляет около 10,2 ГБ, при этом мультимодальные компоненты занимают значительную часть памяти. Ключевые преимущества — уменьшенный размер, возможность запуска на совместимом оборудовании NVIDIA и высокая заявленная скорость около 65 токенов в секунду на DGX Spark. Ограничения включают необходимость vLLM с transformers версии 5.4 или новее, зависимость от поддержки NVFP4 и сохранение значительного потребления памяти мультимодальными башнями. Это общественная квантованная сборка, а не официальный релиз NVIDIA или Google. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Granite Vision 3.2 2B — компактная мультимодальная модель IBM для понимания изображений и текста. Она предназначена прежде всего для обработки визуальных документов в корпоративных сценариях: извлечения сведений из таблиц, диаграмм, инфографики и графиков, OCR и ответов на вопросы по содержимому документов; также поддерживает общие задачи понимания изображений. Модель дообучена на базе ibm-granite/granite-3.1-2b-instruct. Архитектура сочетает визуальный энкодер SigLIP, двухслойный MLP-коннектор и языковую модель Granite 3.1 2B Instruct; используется подход LLaVA с многослойными признаками энкодера и повышенным разрешением сетки AnyRes. Для текстовой части заявлен контекст 128 тысяч токенов. На вход принимает английские инструкции и изображения, на выходе формирует текстовые ответы. Выпущена под лицензией Apache 2.0. Модель компактна и по приведённым в карточке оценкам показывает сильные результаты на DocVQA и ChartQA среди сравниваемых моделей размером 1–4 млрд параметров. Она может ошибаться, галлюцинировать, выдавать предвзятые или небезопасные ответы; карточка рекомендует преимущественно документные задачи и отмечает повышенные риски для более общих задач с изображениями.

Mungert/Mistral-Small-3.1-24B-Instruct-2503-GGUF — это GGUF-квантизованная instruct-модель на базе Mistral-Small-3.1-24B-Base-2503 от Mistral AI, подготовленная пользователем или организацией Mungert с использованием llama.cpp. Модель предназначена для генерации текста в диалоговых и прикладных сценариях, а также, согласно указанному pipeline tag, для задач image-text-to-text, то есть обработки сочетаний изображений и текста. Доступны варианты с разной степенью квантизации, включая форматы Q4, Q6, Q8 и ультранизкобитные IQ1–IQ3, ориентированные на снижение потребления памяти и запуск на CPU, устройствах с ограниченной VRAM и edge-оборудовании. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Размер модели составляет 24B параметров по обозначению в имени. README не указывает точную архитектуру и размер контекстного окна для этой модели; приведённые бенчмарки относятся к другой модели, Llama-3-8B-Instruct, поэтому их нельзя напрямую считать характеристиками данного экземпляра. Сильной стороной являются варианты квантизации, позволяющие выбирать компромисс между качеством, скоростью и требованиями к памяти; особенно низкобитные варианты рассчитаны на ресурсоограниченные среды и исследование ультранизкобитного вывода. Ограничения включают возможное снижение точности при агрессивной квантизации и зависимость производительности от конкретного формата и оборудования. Модель распространяется по лицензии Apache-2.0.

bigscience/mt0-xxl-mt — многоязычная модель семейства mT0 от BigScience, созданная дообучением mT5-XXL на смеси межъязыковых задач xP3. Это encoder-decoder-модель на архитектуре MT5 с 6,7 млрд параметров, предназначенная для выполнения инструкций на естественном языке в режиме zero-shot. Модель подходит для генерации ответов на запросы, сформулированные как инструкции: перевода, классификации тональности, подбора связанных поисковых запросов, объяснений и создания текстов. README указывает поддержку десятков языков; среди языков карточки перечислены, в частности, арабский, английский, испанский, французский, хинди, японский и корейский. Модель принимает текст и генерирует текст. Качество зависит от формулировки запроса: следует ясно обозначать границу входа и задавать нужный язык или формат ответа, а также добавлять достаточный контекст. Модель дообучена на 1,29 млрд токенов за 7000 шагов; веса представлены в форматах PyTorch и safetensors. Лицензия — Apache-2.0.

huginnfork/Qwen3.8-27B-NVFP4A16 — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для задач понимания изображений и текста, генерации текста по мультимодальному вводу, а также сценариев, где важны сниженное потребление памяти и ускоренный инференс на совместимом оборудовании. Она поддерживает архитектуру семейства Qwen3.5 с гибридом полноформатного внимания и линейного внимания на базе SSM, vision tower и multi-token prediction head. Точные сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Используется схема NVFP4A16 (W4A16): веса 192 MLP-модулей представлены в 4-битном формате FP4 с групповыми масштабами FP8 E4M3, а активации остаются в bf16. Пути self-attention, linear attention, vision tower, lm_head и MTP head также сохранены в bf16. Размер модели составляет около 28,8 GiB в шести shards против 51,7 GiB для исходной bf16-версии. Такой подход обеспечивает существенное сжатие при сохранении наиболее чувствительных к ошибкам компонентов в более точном формате. Сильными сторонами являются экономия памяти, отсутствие квантизации активаций и сохранение в bf16 attention-, SSM- и визуальных компонентов. По приведённым измерениям, perplexity на wikitext-2-raw выросла с 6,9416 до 7,1497, то есть примерно на 3%, что указывает на некоторую потерю точности относительно родительской bf16-модели. Производительность и совместимость зависят от поддержки NVFP4A16 и используемого программно-аппаратного стека. Модель распространяется по лицензии Apache-2.0.

litert-community/gemma-3-270m-it — компактная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind на основе исследований и технологий Gemini. Она предназначена для локального и ресурсоограниченного развертывания, включая мобильные устройства, веб-приложения, настольные системы и собственную облачную инфраструктуру, с использованием LiteRT и совместимых инструментов Google AI Edge. Модель содержит 270 млн параметров и поддерживает генерацию текста для ответов на вопросы, суммаризации документов, анализа и рассуждений. Для семейства Gemma 3 заявлены мультимодальные возможности с обработкой текста и изображений и генерацией текста; изображения нормализуются до 896 × 896 и кодируются в 256 токенов. Для вариантов 1B и 270M указан контекст до 32K токенов на запрос, включая вход и доступный объём вывода. Поддерживается более 140 языков. Данные обучения имеют срез знаний по август 2024 года и включают веб-тексты, код, математические материалы и изображения. Сильными сторонами модели являются небольшой размер, возможность работы на устройствах с ограниченными ресурсами, открытые веса и пригодность для встроенных приложений. Ограничения включают меньший объём параметров по сравнению с крупными вариантами Gemma 3, возможные ограничения качества в сложных задачах и то, что GPU-ускорение для Gemma 3 270M в указанных сценариях на момент публикации README ещё находилось в разработке. Использование регулируется лицензией Gemma и соответствующими условиями Google.

Gemma 4 12B RKNn3 для RK1828 — адаптированная для запуска на устройстве версия Gemma 4 12B IT от Google DeepMind, подготовленная проектом t-firefly для LlamaPi. Это плотная мультимодальная модель семейства Gemma4 Unified, распространяемая в форматах GGUF и safetensors и ориентированная на локальное использование на периферийных устройствах. Модель принимает текст, изображения, аудио и видео, а выдаёт текст; поддерживает диалог, рассуждения, программирование и агентные сценарии. В исходной карточке заявлены контекст 256 тысяч токенов и поддержка более 140 языков. Модель подходит для локального чат-ассистента, анализа мультимодальных входных данных и задач на устройстве RK1828 через LlamaPi. Репозиторий указывает лицензию Apache-2.0. Сведения о качестве и ограничениях именно сборки для RK1828 в карточке не приведены.

InternLM3-8B-Instruct — плотная языковая модель с 8,3 млрд параметров, разработанная командой InternLM и предназначенная для широкого круга задач и сложных рассуждений. Она поддерживает диалоговый режим и может переключаться между обычными ответами и режимом глубокого мышления с развёрнутой цепочкой рассуждений. Модель обучена на 4 трлн токенов; заявленная длина контекста — 32 768 токенов. Модель подходит для ответов на вопросы, работы со знаниями и задач, требующих рассуждений. В карточке приводятся результаты OpenCompass, где модель показывает высокие результаты на некоторых тестах по сравнению с сопоставимыми открытыми моделями; эти показатели зависят от конфигурации оценки. InternLM3-8B-Instruct принимает текст и генерирует текст. В README отдельно отмечено, что ответы могут содержать предвзятость, дискриминационные или иные вредоносные высказывания. Код и веса распространяются по лицензии Apache-2.0.

onnx-community/Llama-3.2-1B-Instruct-q4f16 — преобразованная в ONNX версия инструкционной языковой модели Meta Llama 3.2, подготовленная сообществом onnx-community для запуска через Transformers.js. Это авторегрессионный трансформер семейства Llama с плотной архитектурой, примерно 1,2 млрд параметров и контекстом до 131 072 токенов; формат репозитория — ONNX, вариант обозначен как q4f16. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для многоязычного диалога, ответов ассистента, поиска знаний с использованием агентных сценариев, суммаризации, помощи в написании текстов и переформулирования запросов. В карточке перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Инструкционные модели семейства выравнивались с помощью SFT и RLHF; заявлены коммерческое и исследовательское применение по условиям лицензии Llama 3.2 Community License. Это статичная модель с данными обучения до декабря 2023 года; качество и безопасность ответов требуют проверки в конкретном приложении.

ente-ai/Qwen3.5-2B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-2B, разработанной командой Qwen и основанной на Qwen/Qwen3.5-2B. Репозиторий подготовлен с использованием подхода Unsloth Dynamic 2.0 и предназначен для локального запуска, прототипирования, специализированного дообучения, исследований и разработки. Модель представляет собой каузальную языковую модель с vision encoder и поддерживает работу с текстом и изображениями. Она содержит около 2 млрд параметров, 24 слоя, скрытое измерение 2048 и нативный контекст длиной до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks и элементы разреженной Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель совместима с экосистемой Transformers, а также с vLLM, SGLang и KTransformers. К сильным сторонам относятся мультимодальное понимание, большой контекст, компактный размер и пригодность для локального инференса и дообучения. При этом масштаб 2 млрд параметров ограничивает максимальную глубину рассуждений и качество на сложных задачах по сравнению с более крупными моделями; README прямо указывает приоритет прототипирования и исследовательских сценариев. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-4B-heretic — доработанная модель coder3101 на базе мультимодальной Qwen/Qwen3.5-4B от Qwen. Это плотная модель с причинным языковым ядром и визуальным энкодером: она принимает текст и изображения и генерирует текст. Базовая архитектура насчитывает 4 млрд параметров и сочетает Gated Delta Networks с механизмом внимания; нативный контекст составляет 262 144 токена, с расширением до 1 010 000 токенов. В карточке заявлена поддержка 201 языка и диалекта для семейства Qwen3.5. Модель предназначена для диалога, рассуждений, работы с изображениями и вызова инструментов. Вариант heretic получен методом abliteration и заметно реже отказывается отвечать: в приведённом сравнении отказы снизились с 94 из 100 у исходной модели до 4 из 100, при KL-дивергенции 0,0406. Это изменение поведения может повысить риск нежелательных ответов; результаты приведены в README и не описывают качество на широком наборе задач. Репозиторий содержит веса в формате Safetensors для Transformers и совместимых движков. Лицензия — Apache-2.0.

Sohailhosseini/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-AWQ-W4A16 — квантизированная версия модели Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled, подготовленная пользователем Sohailhosseini. Модель предназначена для генерации текста по текстовым и визуальным входным данным, включая диалоговые и инструкционные сценарии; в карточке она обозначена как image-text-to-text и заявлена как подходящая для мультиязычных моделей. Модель содержит 9,7 млрд параметров и использует квантизацию AWQ-W4A16 с 4-битными весами в формате compressed-tensors. Размер на диске составляет 8,6 ГБ, что в 2,24 раза меньше исходных 19,3 ГБ. Визуальные компоненты, включая vision tower, vision model и multi-modal projector, а также слой lm_head оставлены без квантизации, поэтому сохраняется мультимодальная функциональность. Рекомендуемая длина контекста при запуске через vLLM — до 32 768 токенов. Ключевое преимущество — уменьшенные требования к хранению и потенциально более эффективный запуск по сравнению с исходной моделью; квантизация калибровалась на 256 примерах из HuggingFaceH4/ultrachat_200k. Ограничения включают возможное снижение качества из-за 4-битного представления и совместимость с реализациями vLLM: некоторые старые ядра могут предпочитать симметричную схему W4A16, тогда как данная версия асимметричная. В README указана лицензия Apache-2.0, унаследованная от исходной модели.

Vontra Qwen3.8-Flash-Next-MLX-oQ4 — это общественная MLX-конверсия модели Qwen3.8-Flash-Next, разработанной Qwen, для запуска на устройствах Apple Silicon. Конверсия выполнена Vontra напрямую из официального BF16-чекпойнта и предназначена для мультимодальных сценариев, включая обработку текста и изображений, генерацию ответов и работу с vision-language задачами через совместимые MLX-VLM или oMLX. Модель использует архитектуру qwen4_exp: разреженную mixture-of-experts с 125 млрд параметров в общей сложности и примерно 6 млрд активных параметров, 48 слоями, 512 маршрутизируемыми экспертами, 10 активными экспертами и одним общим экспертом. В состав также входят Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual streams и хешированные bigram/trigram-эмбеддинги объёмом 51 млрд параметров. Контекст — до 262 144 токенов; используются 24 attention heads и 2 KV heads, размер скрытого состояния — 2560. Модель поставляется в формате MLX safetensors с oQ4 mixed-precision-квантизацией: базовые веса представлены в 4 битах, отдельные чувствительные слои защищены точностью 5/8 бит. Размер весов — около 111,69 ГБ. Сильные стороны модели — поддержка текста и изображений, большое контекстное окно, сниженное активное число параметров благодаря sparse MoE и оптимизация для Apple Silicon. На Apple M3 Studio в README указана скорость генерации около 27–30 токенов в секунду после загрузки. Для работы требуется runtime с явной поддержкой архитектуры qwen4_exp; старые версии MLX-VLM могут быть несовместимы. Опциональная MTP-голова не включена, а Qwen3.8 27B MTP-drafter использовать нельзя из-за несовместимых скрытых размеров. Это неофициальная общественная конверсия Vontra. Модель распространяется по лицензии Qwen Community License 1.0.

Aya Expanse 8B — разработанная Cohere Labs многоязычная авторегрессионная языковая модель с оптимизированной архитектурой Transformer и 8 млрд параметров. Это выпуск весов семейства Command, дополнительно обученный с учителем, с применением обучения на предпочтениях, настройки безопасности и слияния моделей. Модель предназначена для диалогов и генерации текста на 23 языках, включая русский, английский, арабский, китайский, хинди, японский и испанский. Она принимает и выдаёт только текст, поддерживает контекст до 8 тысяч токенов и может использоваться для многоязычных ответов на вопросы, написания и преобразования текста. Модель выпущена для исследовательского использования; лицензия CC-BY-NC-4.0 запрещает коммерческое применение, а использование также регулируется политикой допустимого использования Cohere Labs. Заявления о сравнительных результатах основаны на оценках из карточки модели и не гарантируют качество для конкретных задач.

Instruct_Llama3_8B — авторегрессионная языковая модель на архитектуре Llama 3, дообученная Brillibits на разнообразных источниках данных. Модель содержит 7,5 млрд параметров и рассчитана на генерацию текста по инструкциям на английском языке; для общения используется формат промпта с системной частью и инструкцией. Модель обучали два этапа эпох с использованием QDora; в README указан контекст обучения 4096 токенов, а в метаданных — нативный контекст 8192 токена. Подходит для ответов на вопросы, выполнения текстовых инструкций и других сценариев генерации текста. Доступна в формате safetensors по лицензии Llama 3.

Lamarck-14B-v0.6 — объединённая модель на архитектуре Qwen2, опубликованная sometimesanotion. Она создана как универсальная разговорная модель для генерации текста и рассчитана на многошаговые рассуждения, написание связной прозы и работу на нескольких языках. В карточке указано, что модель занимает первое место по среднему результату среди текстовых ассистентов до 32 млрд параметров на Open LLM Leaderboard; это заявление автора, а не независимая оценка здесь. Модель содержит 14 млрд параметров, принимает текст и генерирует текст, поддерживает контекст до 131072 токенов. README описывает многослойное слияние нескольких моделей и извлечённых LoRA-адаптеров; среди предков упомянута DRT-o1-14B, ориентированная на глубокие рассуждения и перевод. Метаданные отмечают чат и интерфейс вызова инструментов. В качестве заявленных ограничений конкретные слабые стороны не приведены; качество может различаться между языками и задачами. Лицензия — Apache-2.0.

Это сегментированная по файлам копия Mistral-7B-Instruct-v0.1 от filipealmeida, предназначенная для запуска при ограниченной памяти CPU. В основе лежит плотная трансформерная модель Mistral с 7,1 млрд параметров, дообученная следовать инструкциям на открытых диалоговых наборах данных. Архитектура использует Grouped-Query Attention и Sliding-Window Attention; карточка указывает контекст до 32 768 токенов. Модель принимает текстовые инструкции в формате с маркерами [INST] и [/INST] и генерирует текстовые ответы в диалоговых сценариях. Её можно применять для вопросов и ответов, ведения диалога, составления черновиков и выполнения текстовых инструкций. Разбиение весов на шарды снижает требования к памяти CPU при загрузке, но не является квантизацией и само по себе не меняет вычислительные требования модели во время генерации. Лицензия — Apache-2.0.