I.4Обработка документов и форм

DeepSeek-V4-Flash-Vision-Exp REAP-145B — это производная версия модели DeepSeek-V4-Flash-Vision-Exp, подготовленная primitive-ai на основе весов deepseek-ai. Модель использует разреженную Mixture-of-Experts-архитектуру: половина маршрутизируемых экспертов удалена методом REAP, при этом оставшиеся экспертные веса сохраняются в исходном формате MXFP4 без дополнительного квантования. Размер артефакта составляет около 83,3 ГБ, что позволяет запускать его на одной видеокарте с 96 ГБ памяти через vLLM 0.28.0 или новее. Модель предназначена для генерации текста, рассуждений, ответов на вопросы и вызова инструментов. Указан контекст до 20 480 токенов; для KV-кэша используется специализированный формат fp8_ds_mla, другие варианты не поддерживаются. В состав исходной модели входит визуальная часть, и в README указана подтверждённая работа с изображениями на одной 96-ГБ видеокарте, включая распознавание форм и цветов, подсчёт объектов и чтение текста. MTP-компонент удалён. Производительность зависит от режима: заявлены примерно 73 токена в секунду при однопоточном декодировании с CUDA Graphs и до 150–172 токенов в секунду при пакетной обработке с параллелизмом 16. Сильной стороной модели является возможность запуска крупной 145B-версии на одной GPU, а также высокие результаты на тестах знаний и задачах вызова инструментов: 82,7% на строгом наборе знаний и 74,5% на объединённом тесте tool-calling. Ограничения связаны с потерей части экспертов: модель заметно чаще делает нежелательные вызовы инструментов, а длинные ответы могут достигать лимита генерации. Требуются vLLM 0.28.0 или новее, видеокарта с 96 ГБ памяти и тщательно настроенные ограничения пакетной обработки. Модель распространяется по лицензии MIT.

unsloth/gemma-3-4b-it-bnb-4bit — это 4-битная версия instruction-tuned модели Gemma 3 4B, подготовленная Unsloth на базе google/gemma-3-4b-it. Семейство Gemma разработано Google DeepMind и распространяется с открытыми весами. Вариант предназначен для диалогов, генерации текста, ответов на вопросы, суммаризации, рассуждений и понимания изображений. Модель поддерживает мультимодальный ввод: текст и изображения с последующей генерацией текста. Для модели 4B заявлено контекстное окно до 128K токенов и максимальный объём вывода 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов каждое. Указана поддержка более 140 языков, включая английский. Модель совместима с библиотекой Transformers, а 4-битное представление снижает требования к памяти и упрощает локальное развёртывание, однако может несколько ухудшать точность по сравнению с полноразмерными вариантами. Модель рассчитана на запуск в условиях ограниченных ресурсов, включая локальные компьютеры и собственную облачную инфраструктуру. README не содержит подробностей о конкретной архитектуре, результатах тестирования или известных ограничениях качества для отдельных языков и задач. Использование регулируется лицензией Gemma и соответствующими Terms of Use Google.

Это NVFP4-квантизованная сборка в формате GGUF модели Gemma 4 E4B IT от Google DeepMind, подготовленная для запуска через llama.cpp и другие совместимые движки. В основе указана QAT-версия Gemma 4 E4B IT; архитектура — Gemma4ForConditionalGeneration, с 4,3 млрд эффективных параметров (7,5 млрд с эмбеддингами) и 42 слоями. В репозитории есть варианты весов NVFP4 и BF16, а также MTP-модель для ускорения генерации. Модель принимает текст, изображения и аудио и генерирует текст. Она предназначена для диалога, анализа изображений и аудио, рассуждений, программирования и локального запуска; заявлены контекст до 128 тыс. токенов, поддержка более 140 языков и структурированного вызова инструментов. Для мультимодального ввода требуется файл mmproj.gguf. NVFP4 уменьшает требования к памяти, а QAT призван сохранить качество, однако качество конкретной квантизованной сборки может отличаться от исходных весов. Лицензия — Apache 2.0.

Homer-v1.0-Qwen2.5-72B — языковая модель, созданная newsbang дообучением Qwen2.5-72B на большом объёме данных с инструкциями. Она предназначена для диалогов и выполнения текстовых инструкций; в метаданных также заявлен интерфейс вызова инструментов. Модель имеет плотную архитектуру Qwen2 и содержит 71,5 млрд параметров. Она принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Llama-3-70B-Instruct-Gradient-262k — это дообученная Gradient версия Meta Llama 3 70B Instruct, разработанная Gradient при поддержке вычислительных ресурсов Crusoe Energy. Модель предназначена для диалоговой генерации текста и обработки очень длинных входных последовательностей: README сообщает о расширении контекста исходной модели с 8 тысяч до более чем 262 тысяч токенов за счёт настройки RoPE theta и обучения на дополнительных данных. В метаданных указаны архитектура LlamaForCausalLM, 69,5 млрд параметров и контекст 262 144 токена. Модель подходит для диалоговых помощников, анализа длинных документов и сценариев, где нужно учитывать большой объём контекста за один запрос. Карточка описывает англоязычный вариант; поддержка других языков не подтверждена. Для запуска предлагаются Transformers или TGI, а веса опубликованы в формате safetensors. Использование регулируется лицензией Llama 3; перед развёртыванием следует учитывать её условия и проверять ответы модели, поскольку возможны ошибки и остаточные риски безопасности.

Devs Do Code выпустила инструкционную версию Llama 3 8B с контекстом до 1 048 576 токенов. Это плотная авторегрессионная языковая модель семейства Llama, предназначенная для диалога и генерации текста с использованием длинного контекста. По описанию разработчика, контекст расширен настройкой параметра RoPE theta; для этого этапа обучения использовано 830 млн токенов, а суммарно для всех этапов — 1,4 млрд токенов. Модель подходит для ответов на вопросы и работы с длинными документами в сценариях, где требуется учитывать большой объём входного текста. В карточке указана поддержка английского языка и форматы весов Safetensors. Для запуска можно использовать Transformers или TGI. Модель основана на Meta-Llama-3-8B-Instruct и распространяется по лицензии Llama 3. Как и другие большие языковые модели, она может выдавать неточные ответы и сохраняет остаточные риски безопасности; разработчик рекомендует оценивать риски применительно к сценарию использования и при необходимости добавлять защитные меры.

Mistral-Small-3.2-24B-Instruct-2506 — плотная модель Mistral на 24 млрд параметров, дообученная на основе mistralai/Mistral-Small-3.1-24B-Base-2503. Она предназначена для следования инструкциям, диалогов и вызова функций; поддерживает обработку изображений и текста. В версии 3.2 улучшены следование инструкциям, снижение повторов и вызов функций по сравнению с версией 3.1. Модель опубликована в формате safetensors и совместима с vLLM. Модель подходит для ассистентов, которым нужно отвечать на запросы, разбирать изображения и обращаться к инструментам через вызов функций. В карточке перечислена поддержка 23 языков, включая русский, английский, французский, немецкий, испанский, китайский и японский. Лицензия Apache-2.0 разрешает свободное использование и распространение с соблюдением её условий.

Карточка модели darkneighbor667/Qwen3.6-34B-80L-Fable-5-Heretic на Hugging Face совпадает с карточкой hiebo/Qwen3.6-34B-80L-Fable-5-Heretic, поэтому описание составлено по ней. Qwen3.6-34B-80L-Fable-5-Heretic — мультимодальная модель семейства Qwen от hiebo, дообученная на основе Qwen/Qwen3.6-27B. По карточке, модель расширена с 64 до 80 слоёв и примерно 34 млрд параметров, обучена методом дистилляции на 4 665 агентных трассах Fable-5 с применением QLoRA, а затем объединена с головами MTP для спекулятивного декодирования. Архитектура — Qwen3_5ForConditionalGeneration; заявлены чередование линейного и полного внимания, чат и работа с изображениями. Модель предназначена для диалоговых сценариев с рассуждениями и использованием инструментов, а также для задач, где нужно совместно обрабатывать текст и изображения. В README указаны запуск через Transformers и vLLM и максимальная длина контекста 256K; конфигурация запуска по умолчанию задаёт 4096 токенов. Карточка заявляет ускорение генерации с MTP, но приводит показатель принятия токенов и ускорение только для vLLM. Модель опубликована в формате safetensors; README описывает BF16-веса. Лицензия в предоставленных данных не указана.

lyf/Qwen3.8-27B-Heretic-ARA-NVFP4-MTP-VL — мультимодальная версия модели Qwen3.8-27B-Heretic-ARA, подготовленная lyf и распространяемая как квантизированный релиз на базе heretic-org/Qwen3.8-27B-heretic-ara. Модель предназначена для генерации текста, рассуждений, вызова инструментов, а также анализа изображений и видео через vision/video tower. Поддерживаются английский и китайский языки. Основные веса преобразованы в формат NVFP4 W4A4 с использованием compressed-tensors, при этом vision/video tower и 15 нативных BF16-тензоров MTP сохранены. MTP поддерживает speculative decoding с рекомендуемым числом спекулятивных токенов 3. Релиз ориентирован на запуск в vLLM с CUDA 13 на GPU Blackwell, в частности RTX 5090. Для текстового режима заявлена практическая длина контекста до 192K токенов и агрессивная конфигурация до 256K; мультимодальный режим требует существенно больше видеопамяти и обычно ограничивается диапазоном 32K–96K. Сильными сторонами являются сочетание низкой разрядности, мультимодальности, длинного контекста и ускорения генерации через MTP. Ограничения включают зависимость от совместимого стека vLLM/CUDA и GPU Blackwell, высокие требования к видеопамяти, рекомендованную однопоточную конфигурацию и необходимость самостоятельно проверять лимиты изображений, видео и кэша энкодера перед эксплуатацией. Модель распространяется по лицензии Apache-2.0.

SJT-7B-1M — разговорная языковая модель Sakalti, созданная слиянием моделей через mergekit. В качестве основы использована Qwen/Qwen2.5-7B-Instruct-1M, объединённая с Sakalti/model-3 методом TIES. Модель построена на плотной архитектуре Qwen2 и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом до 1 010 000 токенов. Метаданные также отмечают интерфейс для вызова инструментов. Репозиторий содержит веса в формате safetensors; README указывает тип float16. Лицензия в предоставленных данных не указана.

CausalLM/35b-beta-long — диалоговая языковая модель на архитектуре CohereForCausalLM с 35 млрд параметров, разработанная CausalLM как дообучение CohereForAI/c4ai-command-r-v01. Модель предназначена для чата, работы с фактами из нескольких документов и длинным контекстом: тематического суммирования, извлечения ключевой информации и сравнения источников. В README разработчик также отмечает улучшения в математике, программировании и воспроизведении знаний. Метаданные указывают контекст 8192 токена; в README заявлено обучение на контексте 128K, поэтому заявленная длина обучения не совпадает с указанным нативным контекстом. Используются формат safetensors и шаблон чата ChatML. Модель дообучена на синтетических многоходовых диалогах, составленных по веб-страницам и документам, с привлечением открытых диалоговых наборов и человеческой проверки. Разработчик сообщает о более устойчивой работе с длинным контекстом и снижении галлюцинаций, но эти заявления не сопровождаются в карточке подробными результатами оценки. README предупреждает, что после SFT модель может сохранять предвзятость и выдавать нежелательный контент; для более надёжного выравнивания, по словам разработчика, требуется дальнейшее RL-обучение. Лицензия — WTFPL согласно метаданным; README описывает базовую модель как распространяемую для некоммерческого использования, поэтому условия следует сверить с лицензиями исходной модели и репозитория.

Apertus-v1.5-70B-FP8 — квантованный чекпойнт мультимодальной модели Apertus 1.5 70B, разработанной Swiss AI и опубликованной onprem-ai. Модель предназначена для генерации и обработки текста, а также работы с изображениями и аудио; поддержка мультимодальных возможностей исходной модели сохранена. В README языки и точное устройство базовой архитектуры не указаны. Веса сжаты методом FP8_DYNAMIC для линейных проекций, тогда как lm_head, эмбеддинги, vision tokenizer и audio tokenizer остаются в BF16. Размер чекпойнта составляет около 71 GiB против 135 GiB у исходной BF16-версии, при этом на тесте MMLU заявлена отсутствие измеримой потери качества. На видеокарте с 96 GiB памяти после загрузки весов остаётся примерно 14 GiB под KV-кэш, что позволяет получить около 60 тысяч токенов контекста при использовании FP8 KV-кэша; это оценка для конкретного сценария развертывания, а не явно указанное максимальное окно контекста. Модель подходит для локального и серверного инференса, включая мультимодальные приложения, вызов инструментов и задачи рассуждения при наличии соответствующей поддержки. Основные преимущества — высокое сохранение качества исходной модели, почти двукратное сокращение занимаемой памяти и сохранённые возможности работы с изображениями и аудио. Ограничения включают требование vLLM с поддержкой архитектуры Apertus 1.5, несовместимость с SGLang для compressed-tensors, а также необходимость примерно 96 GiB GPU-памяти для полноценного мультимодального запуска; для текстового инференса с коротким контекстом может подойти карта на 80 GiB. Модель распространяется по лицензии Apache 2.0.

Gemma-3-4b-it-GGUF — квантизированная GGUF-версия модели Gemma 3 4B Instruct, разработанной Google и подготовленной компанией Second State Inc. Модель предназначена для диалогового взаимодействия и задач обработки текста, а также поддерживает работу с изображениями через мультимодальный компонент. Модель имеет размер 4 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также версии f16; наиболее сбалансированными README называет варианты Q4_K_M, Q5_K_M и Q5_K_S. Для обработки изображений требуется отдельный компонент mmproj, изображения должны быть нормализованы до разрешения 896 × 896 и представлены как 256 токенов каждое. Ключевые преимущества модели — компактный размер, возможность локального запуска и широкий выбор вариантов квантизации с разным соотношением качества, скорости и требований к памяти. Ограничением является потеря качества при агрессивной квантизации, особенно в вариантах Q2 и Q3. Для запуска через LlamaEdge требуется версия 0.18.5 или новее. Лицензия — Gemma.

AxionML Gemma-4-12B-FP8 — квантизированная версия мультимодальной модели Google Gemma-4-12B-it, разработанная AxionML для открытого использования и производительного развертывания. Модель поддерживает сценарии image-text-to-text и рассчитана на применение в задачах обработки текста, изображений и аудио, включая диалоговые приложения, рассуждения и вызовы инструментов. Точный список языков и размер контекстного окна в карточке не указаны. Модель содержит около 11,95 млрд параметров. Веса линейных слоёв преобразователя квантизированы в FP8 E4M3 по блокам 128×128 с MSE-калибровкой, активации сохраняются в BF16, а KV-кэш хранится в FP8. Мультимодальные эмбеддеры и lm_head оставлены в BF16. Размер чекпойнта составляет около 13 ГБ вместо примерно 24 ГБ у версии BF16. По данным README, такая схема сохраняет качество на GSM8K и поддерживает запуск на GPU NVIDIA Hopper и Blackwell, включая H100 и H200. Сильными сторонами являются уменьшенное потребление памяти, сохранение активаций в BF16 для защиты от потери качества и совместимость с оптимизированными средствами обслуживания SGLang и TensorRT Model Optimizer. Ограничение состоит в том, что для работы требуются совместимые версии программного обеспечения и поддерживаемое оборудование; стандартная квантизация активаций W8A8 для этой модели, согласно README, заметно ухудшает качество. Указана лицензия Apache-2.0.

Карточка модели Openintelligent123/Llama-3.2-1B на Hugging Face совпадает с карточкой unsloth/Llama-3.2-1B, поэтому описание составлено по ней. unsloth/Llama-3.2-1B — текстовая модель генерации на базе Meta Llama 3.2, представленная Unsloth. Это плотная авторегрессионная трансформерная архитектура Llama с 1,2 млрд параметров; репозиторий содержит веса в формате safetensors и предназначен для использования через Transformers. В README Unsloth также предлагает ноутбуки для дообучения модели и экспорта полученных моделей. Модель принимает текст и генерирует текст. Семейство Llama 3.2 предназначено для генерации и диалога; в карточке указаны сценарии суммаризации и агентного поиска, а также поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Контекстное окно составляет 131072 токена. Модель опубликована 25 сентября 2024 года и распространяется по лицензии Llama 3.2 Community License, условия которой следует соблюдать при использовании и распространении.

MiniMax-M3-AWQ-int4 — это 4-битная квантованная версия модели MiniMax-M3, разработанной MiniMaxAI, подготовленная репозиторием spectator2026 для запуска на видеокартах NVIDIA A100 через vLLM. Модель предназначена для генерации текста и обработки изображений с поддержкой tool calling, рассуждений и режимов thinking/non-thinking. Она рассчитана на использование в серверных системах, где важны большой контекст и эффективное размещение крупной MoE-модели на оборудовании с архитектурой Ampere. Модель содержит около 428 млрд параметров, из которых примерно 23 млрд активируются на токен, и использует разреженную архитектуру Mixture of Experts с MiniMax Sparse Attention. Заявлен нативный контекст до 1 048 576 токенов, а также мультимодальность text + vision. Применена квантовка AWQ W4A16 с group size 128 только к маршрутизируемым экспертным проекциям MoE; attention, router, общие и плотные слои, embeddings, lm_head и vision tower сохранены в более высокой точности. Размер весов уменьшен примерно с 796 до 225 ГБ. Сильными сторонами являются поддержка текста и изображений, очень длинного контекста, инструментов и рассуждений, а также возможность запуска на A100 в конфигурациях TP-8 или TP-4. Для работы требуется vLLM с тремя специальными патчами, параметр block size 128 и доверие удалённому коду. Ограничения включают высокие требования к GPU-памяти, необходимость ручной настройки vLLM и компромисс между длиной контекста и количеством реплик. По данным README, расхождение с исходной bf16-версией на тесте wikitext составляет около 0,16 KL-дивергенции. Указана лицензия minimax-community; точные условия следует проверять в файле LICENSE.

Qwen3.8-27B Abliterated MLX MXFP4-MTP — vision-language модель на основе Qwen/Qwen3.8-27B, упакованная Shiftedx для экосистемы MLX. Это квантованная версия полной 27-миллиардной архитектуры: языковая часть использует MXFP4 с размером группы 32, а неизменённая vision tower — веса BF16. Пакет также содержит 15 BF16-тензоров native MTP для ускорения спекулятивной генерации; рекомендованная глубина MTP — 3. Для работы требуется MTPLX версии 2.0.2 или новее. Модель предназначена для генерации и анализа текста, обработки изображений, задач с длинным контекстом, tool calling и сценариев, где важна высокая скорость вывода на совместимом Apple Silicon-оборудовании. В опубликованном тестировании эффективный проверенный контекст составлял до 131 072 токенов; языки README не уточняет. На Apple M4 Max с 64 ГиБ unified memory модель показала 100% в тестах tool calling, 86,7% в тестах длинного контекста и 75% в vision-тестах, однако результаты зависят от версии весов, runtime, настроек и оборудования. Изменение refusal-направления снизило измеренные отказы в специально подготовленном наборе с 12/12 до 0/12, но авторы подчёркивают, что это не доказывает универсальную «нецензурированность». Модель может чаще выдавать вредные или ошибочные ответы; результаты бенчмарков также показывают ограничения в общей проверке качества и agentic-сценариях. Использовать её следует с осторожностью, особенно при работе с инструментами, изображениями и генерируемым кодом. Лицензия — Apache-2.0; ограничения исходной модели сохраняются.

Chungulus/Qwen3.8-27B-Q3_K_S-GGUF — независимая ванильная квантизация модели Qwen/Qwen3.8-27B, опубликованная Chungulus. Модель предназначена для локального запуска задач генерации текста, вызова инструментов, анализа изображений и видео. Это vision-language модель с поддержкой мультимодального ввода; для работы с изображениями используется отдельный vision projector mmproj-Qwen3.8-27B-F16.gguf. Поддерживаются нативный формат вызова инструментов Qwen и управление режимами рассуждений через enable_thinking, reasoning_effort и preserve_thinking. Основной файл имеет размер около 12,257 ГБ, полный репозиторий — около 13,197 ГБ. Используется квантизация Q3_K_S на базе llama.cpp K/IQ quantization без дополнительного обучения, слияния или изменения шаблона чата. Сохранена гибридная структура Hybrid Gated DeltaNet/full-attention, а также MTP-тензоры и метаданные, однако спекулятивное ускорение не заявлено. Текстовая генерация, вызов инструментов, обработка изображений и видео прошли проверки; на валидационном хосте зафиксирована скорость около 17,35 токена в секунду. Для запуска требуется совместимый runtime, поддерживающий граф Qwen3.8, vision tower/projector, токенизатор и MTP-метаданные; рекомендуется иметь не менее примерно 17 ГБ доступной памяти, при этом KV-кэш увеличивает потребление в зависимости от контекста. Низкая разрядность квантизации может снижать качество. Максимальный контекст в README не указан и полноценно не тестировался. Модель и квантизация распространяются по лицензии Apache-2.0.

Inferact/Qwen3.8-Flash-Next-NVFP4 — экспериментальная открытая модель семейства Qwen, разработанная командой Qwen. Это причинная языковая модель с энкодером зрения, предназначенная для текстовых и мультимодальных задач, включая обработку изображений, работу с длинным контекстом и агентские сценарии. Артефакты представлены в формате Hugging Face Transformers и совместимы с Transformers, vLLM, SGLang и другими средами инференса. Модель содержит 125 млрд параметров, из которых около 6 млрд активируются при обработке, а также 51 млрд параметров n-граммных эмбеддингов и 4 млрд параметров MTP. Архитектура включает 48 слоёв, комбинацию Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts с 512 экспертами и механизм Gated Residual. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 млн токенов. В README языки обучения или поддержки не указаны. К сильным сторонам относятся эффективная обработка длинного контекста, разреженное внимание на уровне блоков, экономичное масштабирование параметров за счёт n-граммных эмбеддингов и потенциальная пригодность для инференса на ресурсно-ограниченных ускорителях. Модель обозначена как экспериментальный preview, поэтому её стабильность, качество в отдельных задачах и эксплуатационные характеристики следует оценивать самостоятельно; подробные результаты бенчмарков в предоставленных данных отсутствуют. Лицензия указана как qwen-community-1.0.

onnx-community/Llama-3.2-1B-Instruct-q4f16 — преобразованная в ONNX версия инструкционной языковой модели Meta Llama 3.2, подготовленная сообществом onnx-community для запуска через Transformers.js. Это авторегрессионный трансформер семейства Llama с плотной архитектурой, примерно 1,2 млрд параметров и контекстом до 131 072 токенов; формат репозитория — ONNX, вариант обозначен как q4f16. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для многоязычного диалога, ответов ассистента, поиска знаний с использованием агентных сценариев, суммаризации, помощи в написании текстов и переформулирования запросов. В карточке перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Инструкционные модели семейства выравнивались с помощью SFT и RLHF; заявлены коммерческое и исследовательское применение по условиям лицензии Llama 3.2 Community License. Это статичная модель с данными обучения до декабря 2023 года; качество и безопасность ответов требуют проверки в конкретном приложении.

Llama-Express.1 — компактная текстовая языковая модель, разработанная prithivMLmods на основе Meta Llama 3.2 1B Instruct и дообученная на наборах данных с длинными цепочками рассуждений. Это плотная авторегрессионная модель семейства Llama с 1,2 млрд параметров и контекстом до 131 072 токенов; она распространяется в формате Safetensors и рассчитана на запуск через Transformers. Модель предназначена для диалогов на разных языках, следования инструкциям, суммаризации и задач извлечения и обобщения сведений из предоставленного контекста. Данные обучения включают математические и reasoning-наборы; карточка также заявляет поддержку агентных сценариев поиска. Метаданные указывают английский язык, а README описывает модель как многоязычную, поэтому качество на языках с малым объёмом обучающих данных может быть ниже. Модель принимает и генерирует текст; изображения, аудио и видео она не обрабатывает. Длинный контекст не исключает ухудшения качества или усечения на очень больших входах, а ответы зависят от ясности запроса и могут отражать смещения обучающих данных. У модели нет собственного доступа к интернету для проверки актуальных фактов. Лицензия — Llama 3.2; применяются её условия использования.

LongAlign-6B-64k — чат-модель на архитектуре ChatGLM, разработанная авторами проекта LongAlign. Она дообучена на LongAlign-6B-64k-base, созданной на основе ChatGLM3-6B с расширенным контекстом, для следования инструкциям в длинных диалогах и работы с запросами, содержащими большие объёмы текста. В README описан набор LongAlign-10k из 10 000 инструкций длиной 8–64 тыс. токенов и подходы к обучению, включая упаковку примеров с взвешиванием потерь и пакетирование по длине. Для модели указано окно контекста до 65 536 токенов; заявленные сценарии оценки включают запросы длиной 10–100 тыс. токенов. Модель принимает и генерирует текст; в метаданных указаны английский и китайский языки, 7,8 млрд параметров и библиотека Transformers. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Длинный контекст ориентирован на работу с большими документами и многошаговыми инструкциями, однако README не приводит количественных результатов оценки именно этой модели; эффективная длина и качество могут зависеть от задачи и аппаратных ресурсов.

FreedomAISVR публикует квантованную в NVFP4 модель Qwen3.5-9B-Instruct в формате GGUF. Это мультимодальная модель семейства Qwen на 9 млрд параметров для диалога и выполнения инструкций; карточка указывает поддержку генерации текста, понимания изображений, рассуждений и генерации кода. В архитектуре сочетаются GQA и MLA, чередование блоков SSM (Mamba-2), а для изображений используется визуальный энкодер SigLIP ViT с мультимодальным проектором. Режим рассуждений по умолчанию выключен. Квантование NVFP4 рассчитано прежде всего на ускорение инференса на GPU NVIDIA Blackwell с 4-битными тензорными ядрами. В репозитории есть текстовая модель размером 5,31 ГБ и проектор изображений F16 размером 0,92 ГБ. Для запуска с изображениями README описывает использование llama.cpp и отдельного файла проектора. Метаданные указывают лицензию Apache-2.0. Модель подходит для диалоговых помощников, ответов на вопросы об изображениях, программирования и многоязычных текстовых задач. README рекомендует традиционные форматы квантования для оборудования до поколения Blackwell, GPU AMD и CPU; качество и скорость этой сборки на иных конфигурациях не охарактеризованы. Языковая поддержка включает английский, китайский и другие языки, но основной язык для этой сборки не выделен.

Jonandrop/Qwen3.6-27B-MTPLX-Optimized-Speed-Vision — мультимодальная модель семейства Qwen, собранная разработчиком Jonandrop на основе Qwen/Qwen3.6-27B и ускоренной версии Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed. Она предназначена для диалогов, программирования и анализа изображений; README также заявляет обработку видео, но описанный интерфейс подтверждает только текстовый и графический ввод. Модель использует архитектуру Qwen3_5ForConditionalGeneration и рассчитана на запуск через MLX и MTPLX на Apple Silicon с многотокенным предсказанием для ускорения генерации. Текстовая часть и MTP-компоненты квантизованы, а восстановленная башня зрения хранится в BF16. В описанном сценарии модель принимает текст и изображения и генерирует текстовые ответы, включая код. README приводит замеры скорости на Apple M5 Pro, но уточняет, что это ориентировочные результаты на небольшом наборе запросов. Репозиторий распространяется по лицензии Apache-2.0. Для запуска описан совместимый с OpenAI API сервер MTPLX.

Qwen3.6-27B-NInfer — мультимодальная модель для генерации текста и обработки изображений и видео, подготовленная Neroued на основе Qwen/Qwen3.6-27B. Это не стандартный checkpoint для Transformers, Safetensors или GGUF, а артефакт в нативном формате .ninfer, предназначенный для запуска через NInfer. Модель поддерживает режимы с рассуждением и без него, текстовые, мультиизображенческие, видео- и смешанные мультимодальные сообщения. Указана архитектура Qwen3_5ForCausalLM; размер файла составляет около 16,29 ГиБ. Доступны MTP-спекулятивное декодирование, различные форматы KV-кэша, CUDA Graph, повторное использование совместимого префикса и небольшое параллельное обслуживание запросов. При запуске сервера заявлен логический предел контекста до 240 000 токенов. Поддерживаемые языки в карточке не указаны. Модель подходит для локальной генерации текста, диалоговых приложений, задач рассуждения, анализа изображений и видео, а также для развёртывания через NInfer CLI или совместимые интерфейсы OpenAI Responses, Chat Completions и Anthropic Messages. Среди ограничений — необходимость использовать NInfer, сборку из исходного кода, 64-битный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a и CUDA Toolkit 13.1 или новее; готового установочного пакета NInfer не предоставляется. В карточке приведены результаты на AIME 2025, AIME 2026 и GPQA-Diamond, но методика и полный набор измерений ограничены описанными условиями. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, опубликованная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео. Профиль Aggressive ориентирован на прямые ответы с минимальным вступлением и без поведения отказа; заявленные возможности базовой модели сохраняются без изменений в обучающих данных и общем назначении. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder и поддержкой мультимодального ввода через отдельный BF16-проектор. Архитектура включает 64 слоя, скрытый размер 5120, размер FFN 17408, словарь 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Указана поддержка английского, китайского и других языков. Выпуск представлен в форматах GGUF с различными уровнями квантизации, включая специализированные K_P-кванты. К сильным сторонам относятся длинный контекст, мультимодальность, сохранённые встроенные механизмы MTP/NextN и ускорение HauhauCS FastMTP 32K. Заявлено ускорение генерации до 3,02 раза для документов и до 1,93 раза для задач рассуждения по сравнению с вариантами без MTP, однако эти показатели зависят от сценария и конфигурации. Агрессивный профиль может быть менее подходящим для надёжно контролируемых агентских задач, где предпочтительнее сбалансированная версия. Для работы с изображениями и видео требуется отдельный vision-проектор. Модель распространяется по лицензии Apache-2.0.

Llama-Express.1-Merged — компактная языковая модель на архитектуре Llama, созданная prithivMLmods слиянием нескольких предварительно обученных и дообученных моделей методом Model Stock с помощью mergekit. В README указана база Llama 3.2 (1B), а также объединение моделей Llama-Express.1, Llama-Express.1-Tiny и Llama-Express.1-Math. Модель содержит 1,2 млрд параметров, работает с текстом и имеет контекстное окно до 131 072 токенов. Модель предназначена для диалогов с инструкциями на нескольких языках, суммаризации, математических рассуждений и сценариев агентного поиска информации. Метаданные отмечают чат-возможности и интерфейс вызова инструментов. README описывает её как модель с длинными цепочками рассуждений, но не приводит конкретных языков или сравнительных оценок, поэтому заявленное превосходство над другими моделями нельзя оценить по карточке. Лицензия в предоставленных данных не указана.

MobileLLM-Pro — англоязычная инструкционно дообученная языковая модель Meta Reality Labs из семейства MobileLLM, рассчитанная на эффективный запуск на устройствах. Это трансформер на 1,08 млрд параметров с 30 слоями и чередованием локального и глобального внимания; модель принимает и генерирует текст и поддерживает контекст до 128 тыс. токенов. Модель предназначена для диалогов и общих языковых задач, включая ответы на вопросы, переписывание и суммаризацию документов, а также вызов инструментов. В карточке отмечены результаты на бенчмарках по знаниям, следованию инструкциям и программированию. README описывает дистилляцию знаний от Llama 4-Scout в процессе обучения семейства, а метаданные указывают, что этот вариант дообучен на MobileLLM-Pro-base. Для семейства также упомянуты варианты int4-квантизации, но данный репозиторий содержит инструкционный вариант в формате safetensors. Модель предназначена прежде всего для английского языка. Лицензия FAIR Noncommercial Research License ограничивает коммерческое использование; перед внедрением следует проверить её условия.

Swift-Qwen3.8-27B-MIX_GGUF — набор смешанных GGUF-квантизаций модели ukisai/Swift-Qwen3.8-27b, подготовленный пользователем vmarcelo. Исходная модель является дообученной версией Qwen/Qwen3.8-27B — плотной мультимодальной модели на 27 млрд параметров с гибридной архитектурой GatedDeltaNet и Gated Attention, а также встроенной головой Multi-Token Prediction (MTP). Модель предназначена для работы с текстом и изображениями, включая мультимодальные сценарии, при наличии отдельного файла vision encoder mmproj-F16.gguf. Заявлена поддержка multilingual-задач; точный перечень языков не указан. В набор входят варианты IQ4-MIX размером 14,16 ГБ, IQ3-MIX размером 12,87 ГБ и IQ2-MIX размером 10,12 ГБ. Они рассчитаны на потребительские видеокарты с 16 ГБ VRAM, например AMD Radeon RX 9070 XT. IQ4 ориентирован на лучшее качество при умеренном контексте, IQ3 обеспечивает больший запас памяти и более длинный контекст, а IQ2 предназначен для максимального контекста примерно 131–262 тыс. токенов, но имеет экспериментальное качество и слабее подходит для программирования. Встроенная MTP-голова позволяет использовать speculative decoding без загрузки второго файла. Квантизация выполнена с помощью llama.cpp и importance matrix, при этом наиболее чувствительные компоненты сохраняются в более высокоточных форматах. Основные ограничения связаны с потерей качества из-за квантизации, особенно у IQ2; README прямо предупреждает о заметном ухудшении по сравнению с IQ3. Для обработки изображений требуется загрузка mmproj-файла, а фактическая поддерживаемая длина контекста зависит от выбранного варианта, настроек KV-кэша и доступной памяти. Модель распространяется по лицензии Swift Open License 1.0; в метаданных также указано общее обозначение лицензии other.

Swift-Qwen3.8-27B-Uncensored-NVFP4-LocalHessian-ActivationHeadroom-NInfer — мультимодальная модель, разработанная на базе d0xin/Swift-Qwen3.8-27B-Uncensored-BF16 и распространяемая в формате NInfer. Это квантованная сборка семейства Swift-Qwen3.8 с поддержкой текстовых и визуальных входов, рассуждений, агентских сценариев, вызова инструментов и длинного контекста. Модель позиционируется как версия с существенно сниженным количеством отказов, однако это также уменьшает встроенную фильтрацию безопасности. Архитектура использует смешанную точность: MLP-слои 0–55 работают в NVFP4 W4A4, остальные MLP-слои, проекции self-attention и linear-attention/GDN, эмбеддинги и LM head — в row-wise FP8, а GDN a/b — в BF16. Калибровка выполнена с помощью NVIDIA ModelOpt Local-Hessian, activation headroom и подбора FP8-масштабов. Размер модели — 27B параметров; точный набор поддерживаемых языков в README не указан. По заявленным измерениям на NVIDIA RTX PRO 6000 Blackwell сборка обеспечивает на 20,4–26,6% более высокую скорость декодирования, на 33,8–38,2% более высокую скорость prefill и на 15,1% меньшее потребление VRAM по сравнению с FP8. На фиксированной выборке MMLU-Pro она показала 80,36% точности при рекомендованном thinking budget 2048, но результаты зависят от оборудования и конфигурации. Рекомендуется использовать NInfer с NVIDIA Blackwell sm_120a; работа на RTX 5090 ожидается, но непосредственно автором не проверялась. Лицензия — Swift Open License 1.0.