II.1Анализ требований и архитектура ПО

unsloth/Qwen3-VL-8B-Instruct-bnb-4bit — 4-битная квантованная версия мультимодальной модели Qwen3-VL-8B-Instruct, опубликованная Unsloth на основе модели Qwen от Qwen Team. Она предназначена для работы с текстом и изображениями, а также для анализа видео, визуального распознавания, OCR, пространственного и мультимодального рассуждения. Модель имеет размер 8B параметров и поддерживает контекст длиной 256K токенов с возможностью расширения до 1M. Среди её возможностей заявлены управление графическими интерфейсами компьютеров и мобильных устройств, генерация Draw.io, HTML, CSS и JavaScript по изображениям и видео, анализ пространственных отношений, понимание длительных видео с временной локализацией событий, STEM- и математическое рассуждение, а также распознавание широкого спектра объектов и сцен. OCR поддерживает 32 языка и устойчив к низкому освещению, размытию и наклону текста. К архитектурным особенностям относятся Interleaved-MRoPE для временных и пространственных измерений, DeepStack для объединения признаков разных уровней ViT и выравнивание текста с временными метками. Квантованный 4-битный формат ориентирован на более экономичное по памяти развёртывание, однако README не приводит точные требования к оборудованию, результаты для данной квантованной версии или детальные ограничения качества. Модель распространяется по лицензии Apache-2.0.

airoboros-33b-3.1.2 — экспериментальная разговорная модель jondurbin на архитектуре Llama, дообученная на наборе airoboros-3.1, в основном состоящем из синтетических данных. Она предназначена для следования инструкциям и многошаговым запросам, ответов на вопросы по предоставленному контексту, суммаризации, извлечения сведений из журналов и генерации кода. Модель использует шаблон диалога Llama 2 и поддерживает контекст до 2048 токенов по метаданным; в README автор указывает, что при дообучении применял rope scaling для увеличения контекста до 4096 токенов. В репозитории указаны 32,3 млрд параметров и формат safetensors. Среди заявленных сценариев также генерация аргументов для вызова функций и построение текстовых планов выполнения. Это только генерация текста: для реального вызова инструментов требуется внешняя система, которая разбирает и исполняет такой план. Модель ориентирована на инструкции, а не на непринуждённый чат или ролевую игру; автор рекомендует низкую температуру генерации. Базовая модель — llama-30b-hf. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

unsloth/Qwen3-VL-2B-Instruct-bnb-4bit — 4-битная квантованная версия мультимодальной модели Qwen3-VL-2B-Instruct, опубликованная Unsloth на основе модели Qwen. Это instruction-модель архитектуры Dense с примерно 2 млрд параметров, предназначенная для обработки изображений и текста, а также для задач понимания видео и визуально-текстового диалога. Модель подходит для описания и анализа изображений, визуального и пространственного рассуждения, OCR, STEM- и математических задач, генерации кода и разметки Draw.io/HTML/CSS/JS по визуальным материалам, а также для взаимодействия с графическими интерфейсами и инструментами. Заявлены контекст длиной 256 тысяч токенов с возможностью расширения до 1 млн, понимание длинных документов и продолжительных видеозаписей, а также OCR для 32 языков. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. К сильным сторонам относятся сочетание языкового и визуального понимания, улучшенная работа с пространственными отношениями, видео, документами и мелкими визуальными деталями, а также сниженные требования к памяти благодаря 4-битному формату. README не приводит точный перечень поддерживаемых языков, аппаратные требования и детальные ограничения квантованной версии; на практике 4-битное представление может влиять на точность, но конкретные потери здесь не указаны. Лицензия — Apache-2.0.

Qwen3-VL-32B-Instruct — плотная мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen; этот репозиторий содержит её веса в формате safetensors. Модель принимает текст и изображения, а также предназначена для анализа видео и диалога с визуальными данными. Вариант Instruct поддерживает чат и интерфейс вызова инструментов. Модель рассчитана на визуальные вопросы и ответы, OCR и разбор структуры документов, понимание видео, пространственное рассуждение, STEM-задачи и генерацию кода интерфейсов по изображениям или видео. Заявлена длина контекста 256 тысяч токенов с возможностью расширения до 1 миллиона. Для распознавания текста заявлена поддержка 32 языков, но их перечень в предоставленных данных отсутствует. К архитектурным особенностям относятся Interleaved-MRoPE для пространственных и временных позиций и DeepStack для объединения признаков ViT. Модель распространяется по лицензии Apache-2.0. Заявленные возможности описаны в карточке; независимые результаты оценки качества в предоставленных данных не приведены.

unsloth/Qwen3-VL-32B-Instruct — репозиторий весов мультимодальной модели Qwen3-VL, опубликованный Unsloth на основе Qwen/Qwen3-VL-32B-Instruct. Это плотная модель на 32 млрд параметров для диалога по тексту и изображениям; поддерживает визуальное понимание, OCR, рассуждения о пространстве и видео, а также интерфейс взаимодействия с инструментами. Модель рассчитана на анализ документов и сцен, распознавание элементов графического интерфейса, ответы на вопросы по визуальным материалам и генерацию кода или разметки по изображениям и видео. README указывает контекст 256 тысяч токенов с возможностью расширения до 1 млн и OCR на 32 языках. Репозиторий содержит веса safetensors и исправления шаблона чата Unsloth. Лицензия — Apache-2.0. README не приводит отдельные результаты тестирования этой конкретной сборки, поэтому заявления о превосходстве квантованных вариантов не подтверждают качество данного репозитория. Для запуска с llama.cpp README рекомендует параметр --jinja.

Agents-A1-4B-Fable-Preview-heretic-GGUF — это GGUF-квантизированная vision-language модель, разработанная hotdogs на основе Agents-A1-4B от InternScience. Модель предназначена для диалогов, понимания изображений, агентских сценариев, пошагового рассуждения, вызова инструментов и function calling, а также выполнения задач с кодом и shell-командами. Поддерживаются английский и тайский языки, формат ChatML и инференс через llama.cpp с использованием vision-проектора mmproj. Модель содержит около 4,29 млрд параметров и использует гибридную архитектуру Qwen3.5 с линейным и полным вниманием. Для обработки изображений применяется 24-слойный ViT-энкодер, контекст поддерживает до 128K токенов. Обучение включало 3 500 примеров Fable-style reasoning traces в течение трёх эпох; заявлена поддержка многошаговых агентских траекторий и блоков рассуждений <think>. Доступны варианты GGUF с разными уровнями квантизации, включая рекомендуемый IQ4_NL размером около 2,61 ГБ. К сильным сторонам относятся мультимодальность, поддержка инструментов, двуязычность, большой контекст и возможность запуска на видеокартах с ограниченной памятью. Abliteration с использованием heretic снизила заявленный уровень отказов примерно до 11%, однако модель может генерировать вредный, оскорбительный или неподходящий контент, поэтому требует осторожного применения. Лицензия — AGPL-3.0.

Llama3.1-Typhoon2-8B-Instruct — модель для выполнения инструкций, разработанная командой Typhoon AI на основе Llama 3.1 8B. Это плотная авторегрессионная модель семейства Llama с примерно 7,5 млрд параметров; метаданные указывают контекст до 131 072 токенов. Репозиторий содержит веса в формате Safetensors, а для работы требуется Transformers версии 4.45.0 или новее. Модель предназначена прежде всего для диалогов и выполнения инструкций на тайском и английском языках. Среди сценариев — ответы на вопросы, работа с длинным контекстом, вызов функций, а также задачи по математике и программированию. В приведённых авторами тестах показаны результаты для обоих языков, включая тайское переключение между языками и вызов функций. Авторы отмечают, что модель продолжает разрабатываться и может выдавать неточные, предвзятые или нежелательные ответы; встроенные защитные механизмы лишь частичны. Модель распространяется по лицензии Llama 3.1 Community License, поэтому перед использованием необходимо соблюдать её условия.

MiniMax-M3-AWQ-int4 — это 4-битная квантованная версия модели MiniMax-M3, разработанной MiniMaxAI, подготовленная репозиторием spectator2026 для запуска на видеокартах NVIDIA A100 через vLLM. Модель предназначена для генерации текста и обработки изображений с поддержкой tool calling, рассуждений и режимов thinking/non-thinking. Она рассчитана на использование в серверных системах, где важны большой контекст и эффективное размещение крупной MoE-модели на оборудовании с архитектурой Ampere. Модель содержит около 428 млрд параметров, из которых примерно 23 млрд активируются на токен, и использует разреженную архитектуру Mixture of Experts с MiniMax Sparse Attention. Заявлен нативный контекст до 1 048 576 токенов, а также мультимодальность text + vision. Применена квантовка AWQ W4A16 с group size 128 только к маршрутизируемым экспертным проекциям MoE; attention, router, общие и плотные слои, embeddings, lm_head и vision tower сохранены в более высокой точности. Размер весов уменьшен примерно с 796 до 225 ГБ. Сильными сторонами являются поддержка текста и изображений, очень длинного контекста, инструментов и рассуждений, а также возможность запуска на A100 в конфигурациях TP-8 или TP-4. Для работы требуется vLLM с тремя специальными патчами, параметр block size 128 и доверие удалённому коду. Ограничения включают высокие требования к GPU-памяти, необходимость ручной настройки vLLM и компромисс между длиной контекста и количеством реплик. По данным README, расхождение с исходной bf16-версией на тесте wikitext составляет около 0,16 KL-дивергенции. Указана лицензия minimax-community; точные условия следует проверять в файле LICENSE.

Qwen3.8-27B-FP8-Pessoa — квантованный вариант мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для обработки текста, изображений и видео, включая сценарии визуально-языкового анализа и генерации текста по мультимодальному вводу. Квантование выполнено с использованием llm-compressor; веса сохранены в формате compressed-tensors для непосредственного применения с vLLM. Лицензия — Apache-2.0. Языковая часть содержит около 27 млрд параметров, vision tower — 460,7 млн, а MTP-голова — 82,3 млн. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания с GQA; нативный контекст составляет 262 144 токена. Поддерживается многоязычный ввод. Линейные, MLP- и полные attention-слои используют weight-only FP8 E4M3 W8A16 с BF16-активациями, GPTQ-коррекцией и поканальным масштабированием. Vision tower и MTP-голова оставлены в BF16, поэтому сохраняются возможности понимания изображений и видео, а также speculative decoding. Главные преимущества — уменьшенный до 31,24 ГБ размер чекпойнта против 55,6 ГБ у BF16-версии и низкая ошибка квантования. Компромисс заключается в более низкой скорости предварительной обработки по сравнению с W8A8 из-за деквантования перед GEMM, а также в высоких требованиях к памяти и ускорителям. Для работы рекомендуется vLLM 0.26.1rc0 с FlashInfer; заявлена поддержка NVIDIA Blackwell, Ampere и Hopper с поддержкой FP8 E4M3.

cyankiwi/Qwen3-VL-4B-Instruct-AWQ-4bit — квантованная 4-битная версия мультимодальной инструкционной модели Qwen3-VL-4B-Instruct, разработанной командой Qwen. Модель предназначена для задач, где требуется совместное понимание текста и изображений, включая описание и анализ изображений, визуальное рассуждение, распознавание текста, работу с документами, анализ видео, пространственное понимание, генерацию кода и взаимодействие с графическими интерфейсами через визуального агента. Модель использует плотную архитектуру и относится к классу vision-language моделей; заявленный размер базовой модели — 4 млрд параметров. Поддерживаются текстовые и визуальные входы, включая изображения и видео. Среди архитектурных особенностей указаны Interleaved-MRoPE для моделирования временных и пространственных измерений, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками. Заявлена нативная длина контекста 256K токенов с возможностью расширения до 1M, а OCR поддерживает 32 языка, однако полный список языков в README не приведён. Сильные стороны модели — расширенное понимание изображений и видео, пространственное и мультимодальное рассуждение, OCR в сложных условиях, обработка длинных документов и видеоматериалов, а также сценарии визуального программирования и управления интерфейсами. Ограничения, конкретные показатели производительности и требования к аппаратному обеспечению для данной AWQ-версии в README не указаны; 4-битное квантование может влиять на точность по сравнению с полной точностью. Модель распространяется по лицензии Apache-2.0.

nakedlittlezombie/Qwen3-VL-8B-Thinking-heretic — мультимодальная модель класса image-text-to-text из семейства Qwen3-VL, разработанная командой Qwen; данный репозиторий содержит веса версии Qwen3-VL-8B-Thinking. В README не приведено отдельное описание изменений варианта «heretic» относительно базовой модели. Модель предназначена для совместного понимания и генерации текста по изображениям и видео, визуального восприятия и рассуждений, OCR, анализа документов, STEM- и математических задач, пространственного анализа, генерации Draw.io/HTML/CSS/JS по визуальным материалам, а также взаимодействия с графическими интерфейсами и инструментами. Она может использоваться в сценариях визуальных агентов, анализа длительных видео и многошагового мультимодального вывода. Указан размер 8B параметров и Thinking-режим с усиленным рассуждением; архитектура заявлена как dense, а модель поддерживает текстовые, графические и видеовходы. Среди архитектурных особенностей названы Interleaved-MRoPE для временных и пространственных измерений, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками. Контекст составляет 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный перечень языков не указан. Сильными сторонами являются визуальное и пространственное рассуждение, обработка длинного контекста, видео и документов, а также агентные сценарии. Ограничения и точные показатели производительности в текстовом виде не приведены. Модель распространяется по лицензии Apache-2.0.

LFM2.5-Encoder-350M — мультиязычный двунаправленный энкодер от Liquid AI на архитектуре LFM2, обученный как masked language model и предназначенный для дообучения под конкретные задачи. В метаданных указано 444,6 млн параметров; модель использует гибридную архитектуру с блоками gated short-convolution и grouped-query attention, а также поддерживает контекст до 128 000 токенов по метаданным. В README для обучения описано расширение окна до 8 192 токенов. Модель рассчитана на классификацию текста и токенов, извлечение сущностей, поиск и ранжирование, оценку семантического сходства, определение тональности и намерения, NLI и extractive QA. Она поддерживает 15 языков, включая русский, и ориентирована на эффективный запуск, в том числе на устройстве и на CPU. Для прикладных задач обычно требуется дообучение; заявленные в README демонстрации построены на дообученных вариантах. Веса доступны в формате safetensors для Transformers. Для загрузки архитектуры README указывает необходимость trust_remote_code=True. Лицензия обозначена как other; конкретные условия следует сверять с карточкой модели.

Это производная MLX-версия модели Ornith 1.5 35B-A3B, разработанной ornith-ai и адаптированной пользователем Shiftedx. Модель предназначена для генерации текста и работы с изображениями в сценариях image-text-to-text, включая решение задач программирования, вызов функций и инструментов, структурированный вывод, OCR и визуальный анализ. Модель использует гибридную конфигурацию: 4-битное аффинное квантование экспертного блока, 8-битные attention, routing, embeddings, LM head и поздние проекции, а также 60 рекуррентных тензоров в BF16. В составе сохранены 333 нативных BF16-тензора vision и 785 BF16-тензоров MTP. Рекомендуемая среда запуска — MTPLX 2.9.1, MLX 0.32.1 и MLX-LM 0.31.3; рекомендованная глубина speculative decoding — D3. Поддержка vision требует совместимого MLX-VLM или MTPLX runtime. Языки и размер контекстного окна в README не указаны. По результатам локальной квалификации на M4 Max с 64 ГБ unified memory модель показала успешное выполнение 8 из 8 исполняемых Python-задач, 6 из 6 тестов native function calling и parallel tool planning, 4 из 4 визуальных семантических проверок, а также успешные OCR со строгой схемой и проверки сохранности vision- и MTP-тензоров. Utility pass rate составил 83,3%. Abliteration полностью устранила отказы на тестовом наборе, но может снижать предсказуемость безопасного поведения; README отдельно предупреждает, что она не гарантирует корректность или безопасность вывода. Скорость 112,1 токена в секунду измерена на конкретном M4 Max и не является универсальным показателем. Модель распространяется по лицензии MIT, унаследованной от родительской модели. Следует проверять сгенерированный код и вызовы инструментов перед выполнением; без заданной схемы ответа модель может оборачивать JSON в Markdown.

Карточка модели Tofilhehe/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Vontra/Qwen3.8-Flash-Next-MLX-oQ3-MTP — это квантованная MLX-версия Qwen3.8-Flash-Next, подготовленная разработчиком Vontra на основе официального BF16-чекпойнта Qwen. Модель предназначена для запуска на Apple Silicon через совместимые среды MLX и oMLX, включая задачи генерации текста и обработки изображений благодаря архитектуре vision-language. Модель использует архитектуру qwen4_exp со sparse mixture-of-experts, Gated DeltaNet, Qwen Sparse Attention, расширенными gated residual streams и n-граммными embeddings. Всего заявлено 125 млрд параметров языковой модели, из которых активно используется около 6 млрд, 48 слоёв, 512 маршрутизируемых экспертов, 10 активных экспертов на токен и один общий эксперт. Контекст составляет 262 144 токена, а upstream-версия допускает расширение до 1 млн токенов. В состав включён native MTP-блок на 4 млрд параметров для speculative decoding. Квантование oQ3 использует 3-битную аффинную основу с размером группы 32 и 746 модулями повышенной точности: части весов представлены в 4-, 5-, 6- и 8-битном формате. Модель занимает около 92,5 ГБ и поставляется в формате MLX safetensors. В тесте на Apple M3 Studio включение native MTP повысило скорость генерации с 26,54 до 29,08 токена в секунду, однако фактическая производительность зависит от длины контекста, версии runtime, памяти и тепловых условий. Для работы требуется runtime с явной поддержкой qwen4_exp и native MTP; неподдерживаемые среды могут не загрузить модель. Модель распространяется по лицензии Qwen Community License 1.0. README не содержит полных сведений о результатах upstream-оценок, безопасности и ограничениях исходной модели; за ними следует обращаться к оригинальной карточке Qwen3.8-Flash-Next.

ShayanCyan/phi4-multimodal-quantisized-gguf — это набор предварительно сконвертированных GGUF-весов модели microsoft/Phi-4-multimodal-instruct, подготовленный для локального запуска через специализированную ветку llama.cpp. Репозиторий содержит квантизированную языковую модель phi4-mm-Q4_K_M.gguf и отдельный мультимодальный проектор phi4-mm-omni.gguf с визуальным энкодером на основе SigLIP/Navit-style и аудиоэнкодером Conformer. Нового обучения или новых обучающих данных набор не добавляет. Модель предназначена для локального инференса, исследований, экспериментов и создания прототипов агентов, работающих с текстом, изображениями и аудио. Она поддерживает следование инструкциям, рассуждения, программирование и многоходовой диалог, визуальные вопросы и ответы, создание описаний изображений, анализ документов и графиков, а также автоматическое распознавание речи, перевод с английского на французский и суммаризацию аудио при наличии соответствующего Conformer-пути. Заявленные языки: английский, урду, немецкий, испанский, турецкий, французский и итальянский. Основная языковая модель использует 4-битную групповую квантизацию Q4_K_M, тогда как мультимодальный проектор хранится в F16/F32 для сохранения качества работы с изображениями и аудио. Для запуска требуются совместимые возможности llama.cpp и одновременное подключение языковой модели и mmproj-файла. К преимуществам относятся локальная работа, поддержка нескольких модальностей и снижение требований к памяти за счёт квантизации. Ограничения включают возможные галлюцинации и ошибки интерпретации; модель не следует применять для медицинских, юридических или критически важных решений без проверки человеком. Использование регулируется лицензией phi4-model-license от Microsoft; необходимо соблюдать условия исходной лицензии.

Qwen3-VL-30B-A3B-Thinking-1M-GGUF — GGUF-репозиторий весов мультимодальной модели Qwen3-VL-30B-A3B-Thinking, разработанной командой Qwen; сборка и адаптация опубликованы Unsloth. Модель предназначена для совместной обработки текста и изображений, а также для анализа видео, визуального рассуждения, OCR, генерации описаний и ответов, STEM-задач, пространственного анализа, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. Модель использует MoE-архитектуру и относится к Thinking-редакции с усиленным рассуждением; в названии указаны 30B общих параметров и 3B активных параметров. Она поддерживает нативный контекст до 256K токенов с заявленной возможностью расширения до 1M, а также обработку длинных документов и продолжительных видео. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных позиций, DeepStack для объединения признаков ViT разных уровней и выравнивание текста с временными метками. OCR заявлен для 32 языков, однако полный перечень языков в README не приведён. К сильным сторонам относятся визуальное и мультимодальное рассуждение, понимание пространственных отношений, видео и длинного контекста, распознавание текста в сложных условиях и возможности визуального агента. Ограничения конкретной GGUF-квантизации, требования к ресурсам, точные параметры квантизации и результаты тестов в README не указаны; заявленные преимущества Unsloth Dynamic 2.0 приведены без подробных подтверждающих данных. Для запуска с llama.cpp требуется использовать параметр --jinja. Репозиторий распространяется по лицензии Apache-2.0.

airoboros-l2-13b-3.1.1 — экспериментальная инструктивная языковая модель на архитектуре Llama 2, дообученная автором jondurbin на наборе синтетических и других примеров airoboros-3.1. Она предназначена для выполнения инструкций и диалогов в формате чата Llama 2; модель содержит 12,9 млрд параметров и имеет контекстное окно 4096 токенов. Модель подходит для ответов на вопросы по предоставленному контексту, суммаризации, математических задач с формированием MathJSON, извлечения полей из журналов, анонимизации текста, программирования и планирования действий с инструментами. По описанию она сильнее ориентирована на точное следование инструкциям, чем на непринуждённый чат и ролевые диалоги. Для математических ответов автор рекомендует низкую температуру генерации; формат чата должен соответствовать шаблону Llama 2. Это дообученная модель, опубликованная в формате safetensors. В карточке указана лицензия Llama 2. Разработчик описывает её как экспериментальную; результаты могут быть нестабильными, а генерация MathJSON и вызовы функций требуют внешнего разбора и выполнения. Русский язык явно не заявлен.

EuroBERT-610m — многоязычная плотная encoder-модель семейства EuroBERT от разработчиков, представивших это семейство. Веса содержат около 607,8 млн параметров; модель предназначена для языковых задач, включая поиск и ранжирование текстов, классификацию и регрессию. В Hugging Face она опубликована как masked language model для заполнения пропусков в тексте. Модель поддерживает 15 языков, а также математические задачи и код. Контекст — до 8 192 токенов. По данным карточки, EuroBERT-610m сопоставима с XLM-RoBERTa-XL на большинстве оценённых многоязычных задач и превосходит её в задачах с кодом и математикой; качество зависит от задачи и прикладной настройки. Доступна для Transformers в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

Карточка модели mylesgoose/Llama-3.2-1B-Instruct-abliterated3 на Hugging Face совпадает с карточкой alpindale/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

Qwen3.8-27B-NVFP4-RTX5090 — оптимизированная для видеокарт GeForce RTX 5090 версия модели Qwen/Qwen3.8-27B. Сборка опубликована в gittensor-model-hub и квантизована с помощью NVIDIA Model Optimizer в формате NVFP4. Модель предназначена для развёртывания через SparkInfer, SGLang и vLLM на архитектуре NVIDIA Blackwell; Hopper может загрузить файлы, но не поддерживает выполнение NVFP4. Модель поддерживает работу с текстом, изображениями и видео через OpenAI-совместимый API. Она рассчитана на контекст до 262 144 токенов и помещается на одной RTX 5090 с 32 ГБ памяти; размер чекпойнта составляет около 17,92 ГБ в двух шардах. В сборке квантизирован также lm_head, а неиспользуемая MTP head удалена. Для ускорения генерации может использоваться спекулятивное декодирование с drafter DSpark v2. Сильные стороны модели — большой контекст, мультимодальный ввод, низкие требования к памяти и высокая скорость инференса на RTX 5090, особенно в связке SparkInfer и DSpark v2. Ограничения включают зависимость от Blackwell для полноценного выполнения NVFP4, необходимость специализированных движков и отдельные ограничения текущего API SparkInfer: видео поддерживается фактически, но не всегда корректно отражается в поле input_modalities. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3-VL-4B-Instruct-AWQ-8bit — 8-битная AWQ-квантизованная версия мультимодальной модели Qwen3-VL-4B-Instruct, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, а также заявлена для понимания видео, визуального рассуждения и взаимодействия с графическими интерфейсами. Она подходит для описания изображений, визуального вопросно-ответного взаимодействия, OCR, анализа документов, STEM-задач, генерации кода и разметки интерфейсов по визуальным примерам. Модель использует плотную архитектуру размером 4B параметров и поддерживает контекст до 256K токенов с возможностью расширения до 1M. Среди заявленных архитектурных компонентов — Interleaved-MRoPE для временных и пространственных координат, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. Указана поддержка OCR на 32 языках, однако полный перечень языков в README не приведён. Сильные стороны модели — объединённое понимание текста и изображений, распознавание объектов и документов, пространственное и временное рассуждение, работа с длинным контекстом и сценарии визуального агента. Ограничения включают уменьшенную точность, возможные потери качества и совместимость, связанные с 8-битной AWQ-квантизацией, а также отсутствие в README подробных количественных результатов, полного списка языков и требований к аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.

Gemini 3.1 Flash Lite — мультимодальная модель Google общего назначения, предназначенная для рабочих нагрузок с низкой задержкой и большим объёмом запросов. Она принимает текст, изображения, видео, аудио и PDF-документы и рассчитана на лёгкие агентные сценарии. Доступный фрагмент карточки не содержит сведений об архитектуре, размере модели, длине контекста и лицензии.

Mungert/gemma-3n-E4B-it-GGUF — квантованный формат GGUF инструкционной мультимодальной модели Gemma 3n E4B, разработанной Google DeepMind и преобразованной с использованием llama.cpp. Модель предназначена для эффективного запуска на устройствах с ограниченными ресурсами и генерации текстовых ответов на основе текста, изображений, видео и аудио. Возможные сценарии включают ответы на вопросы, анализ визуального содержимого, суммирование документов, распознавание речи и автоматический перевод речи. Модель имеет 8 млрд фактических параметров, но благодаря выборочной активации параметров и выгрузке редко используемых матриц рассчитана на потребление памяти, сопоставимое с традиционной моделью на 4 млрд параметров. Она использует архитектуру MatFormer, поддерживает вложенную подмодель E2B и допускает создание моделей промежуточного размера. Контекст составляет до 32K токенов; изображения обрабатываются в разрешениях 256×256, 512×512 или 768×768, аудио — с частотой 6,25 токена в секунду для одноканального сигнала. Максимальная длина вывода — до 32K токенов за вычетом входа. Модель обучалась на данных более чем 140 разговорных языков. К сильным сторонам относятся мультимодальность, компактное эффективное выполнение и поддержка сценариев на устройствах с ограниченными ресурсами. Ограничения связаны с использованием GGUF и необходимостью совместимого программного обеспечения для запуска; конкретные характеристики квантования в представленном README не указаны. Для использования требуется принять лицензию Google Gemma; лицензия обозначена как gemma, а авторами исходной модели являются Google DeepMind.

huginnfork/Qwen3.8-27B-NVFP4A16 — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для задач понимания изображений и текста, генерации текста по мультимодальному вводу, а также сценариев, где важны сниженное потребление памяти и ускоренный инференс на совместимом оборудовании. Она поддерживает архитектуру семейства Qwen3.5 с гибридом полноформатного внимания и линейного внимания на базе SSM, vision tower и multi-token prediction head. Точные сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Используется схема NVFP4A16 (W4A16): веса 192 MLP-модулей представлены в 4-битном формате FP4 с групповыми масштабами FP8 E4M3, а активации остаются в bf16. Пути self-attention, linear attention, vision tower, lm_head и MTP head также сохранены в bf16. Размер модели составляет около 28,8 GiB в шести shards против 51,7 GiB для исходной bf16-версии. Такой подход обеспечивает существенное сжатие при сохранении наиболее чувствительных к ошибкам компонентов в более точном формате. Сильными сторонами являются экономия памяти, отсутствие квантизации активаций и сохранение в bf16 attention-, SSM- и визуальных компонентов. По приведённым измерениям, perplexity на wikitext-2-raw выросла с 6,9416 до 7,1497, то есть примерно на 3%, что указывает на некоторую потерю точности относительно родительской bf16-модели. Производительность и совместимость зависят от поддержки NVFP4A16 и используемого программно-аппаратного стека. Модель распространяется по лицензии Apache-2.0.

Sawfwair/Qwen3.8-Flash-Next-MLX-4bit — это воспроизводимая конверсия модели Qwen/Qwen3.8-Flash-Next в формат MLX, разработанная Sawfwair на основе исходной модели Qwen. Модель предназначена для задач генерации текста и обработки изображений с текстом, включая мультимодальные сценарии, совместимые с архитектурой Qwen4-Exp. Поддерживает нативный контекст до 262 144 токенов. Исходная модель насчитывает около 180 млрд параметров: 125 млрд параметров основной модели, 51 млрд параметров n-граммовых эмбеддингов и 4 млрд параметров MTP. Квантизация выполнена в формате MLX affine Q4: применяются Q4/group-64 для языковых, MTP- и vision-матриц и Q4/group-32 для таблицы n-грамм; маршрутизаторы, нормализации, смещения, свёртки и несовместимые формы оставлены в плотном формате. Размер артефактов составляет около 97,55 GiB. К сильным сторонам относятся большой контекст, поддержка текста и изображений, воспроизводимая конверсия и существенное уменьшение размера по сравнению с полноразмерным представлением. Для работы требуется runtime MLX с поддержкой архитектуры Qwen4-Exp; старые версии mlx-lm или mlx-vlm могут не поддерживать модель. Распространение осуществляется по Qwen Community License 1.0. Лицензия содержит требования к атрибуции и отображению для очень крупных коммерческих продуктов, а также отдельные условия для некоторых коммерческих Model-as-a-Service и AI Work Assistant-сценариев; перед использованием необходимо ознакомиться с её полным текстом.

GLiClass Instruct Large v1.0 — модель Knowledgator для классификации последовательностей текста с нулевым и малым количеством примеров. Она сопоставляет входной текст с заданными пользователем метками и предназначена для тематической и тональной классификации, определения намерений, проверки логического следования, обнаружения галлюцинаций и классификации безопасности LLM. Модель также можно применять для оценки релевантности пар «запрос — фрагмент». Архитектура относится к семейству GLiClass; веса опубликованы в формате safetensors. Модель поддерживает работу с произвольными метками, а в версии GLiClass V3 описаны иерархические метки, примеры для few-shot, текстовые описания меток и подсказки задачи. В README приведены результаты zero-shot-бенчмарков для large-v1.0, в том числе F1 0,9154 на SST-2 и 0,3387 на SST-5. Модель принимает текст и выдаёт оценки или классы, связанные с заданными метками. В README не перечислены поддерживаемые естественные языки, поэтому языковые поля оставлены пустыми. Лицензия — Apache-2.0. Качество зависит от формулировок меток и задачи; для NLI README рекомендует подавать одну гипотезу за раз. Результаты приведены не для всех наборов данных.

Qwen2.5-VL-7B-Instruct-GGUF — мультимодальная instruction-tuned модель семейства Qwen, разработанная командой Qwen; в карточке она указана как производная от Qwen/Qwen2.5-VL-7B-Instruct и распространяется в формате GGUF. Модель предназначена для задач «изображение-текст»: анализа изображений, документов, графиков, таблиц, схем и интерфейсов, а также понимания видео. Она может распознавать и извлекать текст, локализовать объекты с помощью координатных рамок или точек, формировать структурированные ответы и поддерживать сценарии визуального агента, включая взаимодействие с компьютером и телефоном. Модель содержит 7 миллиардов параметров и объединяет языковую часть с vision encoder. В архитектуре заявлены динамическое разрешение изображений, динамическая частота кадров для видео, временное выравнивание в mRoPE, оконное внимание в ViT, а также SwiGLU и RMSNorm. Заявлена способность обрабатывать видео длительностью более часа и находить релевантные моменты. В метаданных указан английский язык; другие языки и точный размер контекстного окна не указаны. Сильные стороны модели — работа с OCR, документами, диаграммами, визуальными вопросами, длинными видео и структурированным извлечением данных. Ограничения включают зависимость качества от визуального входа и вычислительных ресурсов, а также неуказанные в карточке языковой охват, контекст и практические требования к аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.

Azizbek8189/Qwen3.5-0.8B-GGUF — модель семейства Qwen3.5 на базе Qwen/Qwen3.5-0.8B, представленная в формате, подготовленном с использованием инструментов Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для прототипирования, исследовательских и разработческих задач, а также специализированного дообучения. Модель поддерживает текстовые и визуальные входы и может применяться для рассуждений, программирования, визуального понимания и агентских сценариев. Модель содержит 0,8 млрд параметров, 24 слоя и скрытое измерение 1024. В архитектуре сочетаются Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; заявлена длина контекста 262 144 токена. Указана поддержка 201 языка и диалекта. Артефакты совместимы с Hugging Face Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся компактный размер, мультимодальность, большой контекст и эффективность гибридной архитектуры, что делает модель подходящей для локального запуска и экспериментов с ограниченными ресурсами. Ограничениями являются небольшой по современным меркам объём параметров и заявленная ориентация на прототипирование и исследования, поэтому качество на сложных задачах может уступать более крупным моделям. Лицензия — Apache-2.0.

Qwen3-VL-2B-Instruct-GGUF — мультимодальная vision-language модель из серии Qwen3-VL, представленная Unsloth на основе Qwen/Qwen3-VL-2B-Instruct. Репозиторий содержит GGUF-версию весов с исправлениями chat template от Unsloth и предназначен для локального запуска и интеграции с совместимыми инструментами. Модель рассчитана на обработку текста и изображений, а семейство Qwen3-VL также поддерживает понимание видео. Она предназначена для визуального диалога, распознавания и анализа содержимого изображений, OCR, пространственного рассуждения, STEM-задач, генерации кода и взаимодействия с графическими интерфейсами. Указан размер 2B параметров; архитектура описана как мультимодальная, с компонентами Interleaved-MRoPE, DeepStack и выравниванием текста с временными метками. Для семейства заявлен контекст до 256K токенов с возможностью расширения до 1M, но применимость этих характеристик именно к данной GGUF-сборке README не уточняет. Сильные стороны модели — сочетание компактного размера, визуального и текстового понимания, расширенного OCR для 32 языков, анализа пространственных отношений и видео, а также возможности локального развертывания в GGUF-формате. Ограничения включают меньший размер по сравнению с более крупными вариантами семейства и зависимость производительности от выбранного уровня квантования и используемого программного обеспечения; конкретные параметры квантования в README не указаны. Модель распространяется по лицензии Apache-2.0.