II.1Анализ требований и архитектура ПО

llmfan46/gemma-4-E2B-it-ultra-uncensored-heretic — мультимодальная производная Gemma 4 E2B IT от независимого автора llmfan46. По README, изменён компонент attn.o_proj; модель основана на google/gemma-4-E2B-it и предназначена для диалогов, рассуждений, генерации и исправления кода, а также анализа изображений и аудио. Метаданные указывают архитектуру Gemma4ForConditionalGeneration, плотную модель и формат safetensors; библиотека для работы — Transformers. Модель принимает текст и изображения, а для варианта E2B также поддерживает распознавание речи и перевод речи в текст. README базовой Gemma 4 сообщает о контекстном окне до 128K токенов для E2B и E4B, видеоанализе по последовательности кадров, вызове инструментов и поддержке более 35 языков; карточка этой производной не подтверждает отдельно все эти возможности. Лицензия — Apache-2.0. В названии и тегах модель обозначена как uncensored, decensored и abliterated. README в основном описывает базовое семейство и не приводит отдельных оценок качества или точных характеристик этого варианта. Возможны фактические ошибки, затруднения с неоднозначными формулировками и пробелы, связанные с обучающими данными.

llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

airoboros-l2-c70b-3.1.2 — экспериментальная диалоговая модель jondurbin на архитектуре Llama 2, дообученная на Llama 2 70B Chat с использованием преимущественно синтетических данных набора airoboros-3.1. Модель содержит 68,7 млрд параметров, работает с текстом и рассчитана на контекст до 4096 токенов; для диалога использует шаблон Llama 2 Chat. Модель предназначена для выполнения инструкций и широкого круга текстовых задач: ответов по предоставленному контексту, суммаризации, извлечения информации из логов, обезличивания текста, программирования и генерации структурированных аргументов для функций. В README отмечено, что акцент сделан на следовании инструкциям, а не на непринуждённом общении и ролевой игре. Для MathJSON автор рекомендует низкую температуру генерации. Автор характеризует модель как экспериментальную и сообщает о тестовом дообучении поверх чат-версии Llama 2. Возможны ошибки и выдуманные ответы; для вопросов по контексту рекомендуется явно просить не придумывать ответ при нехватке сведений. Модель распространяется под лицензией Llama 2.

airoboros-m-7b-3.1.2 — экспериментальная языковая модель jondurbin для диалогов и выполнения инструкций. Она основана на архитектуре Mistral с плотной причинно-языковой моделью на 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель обучена преимущественно на синтетических данных набора airoboros-3.1 и использует формат чата Llama 2. Модель подходит для ответов на вопросы по заданному контексту, суммаризации, следования многошаговым инструкциям, генерации кода и структурированных ответов. В набор обучения также входили математические задачи с выдачей MathJSON, извлечение сведений из логов и анонимизация текста. Разработчик отмечает, что модель особенно ориентирована на выполнение инструкций, а не на непринуждённый чат или ролевую игру. В README модель названа экспериментальной; для MathJSON рекомендуется низкая температура, а формат чата важно настроить корректно. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3-VL-8B-Thinking-FP8 — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-8B-Thinking с мелкозернистым квантованием и размером блока 128; заявлено, что её метрики почти идентичны исходной версии в формате BF16. Модель предназначена для генерации текста по изображениям и тексту, визуального и мультимодального рассуждения, анализа видео, OCR, понимания пространственных отношений, а также агентского взаимодействия с графическими интерфейсами и инструментами. Модель поддерживает работу с изображениями, видео и текстом. Среди заявленных возможностей — понимание длинного контекста до 256K токенов с возможностью расширения до 1M, анализ книг и продолжительных видео, распознавание текста на 32 языках, улучшенное понимание STEM-задач, временной привязки событий в видео и генерация Draw.io/HTML/CSS/JS по изображениям и видео. В архитектуре упоминаются Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Конкретный набор языков, точные ограничения контекста для этой сборки и сведения о вычислительных требованиях в README не указаны. Сильные стороны — сочетание визуального восприятия, рассуждения, OCR, пространственного и видеоанализа при существенно меньшем размере представления благодаря FP8-квантованию. Ограничение на момент публикации README заключается в том, что Transformers не поддерживает прямую загрузку этих весов; для развёртывания рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

Nex-N2.5-mini — разговорная модель семейства агентных моделей Nex-N2.5 от Nex-AGI, основанная на архитектуре Qwen3.5 MoE. Она предназначена для длительных многошаговых задач: работы с компьютером и браузером, выполнения и проверки программ, а также научной и офисной работы. Модель использует визуальную обратную связь для восприятия интерфейсов, проверки результатов и продолжения действий; поддерживает режимы рассуждения и вызов функций. Для запуска автор приводит конфигурацию на двух ускорителях H100 и рекомендует параметры генерации temperature 0.7, top_p 0.95 и top_k 40. В метаданных указаны Transformers и формат safetensors; лицензия — Apache-2.0. README описывает мультимодальные возможности семейства и отдельно позиционирует Nex-N2.5-Max как текстовую модель, поэтому точные размер, контекст и перечень входов и выходов именно mini по этим данным установить нельзя.

Qwen3-VL-30B-A3B-Thinking — мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Это версия с визуальным анализом и режимом Thinking для рассуждений; репозиторий содержит веса в формате Safetensors и предназначен для использования с Transformers. Архитектура указана как Qwen3 VL MoE; название модели обозначает класс 30B-A3B. Модель принимает текст и изображения, а также предназначена для понимания видео и пространственных сцен. Она поддерживает диалог, визуальный анализ, OCR, рассуждения по STEM-задачам, извлечение информации из длинных документов и взаимодействие с инструментами; заявлены сценарии управления графическими интерфейсами и генерации кода интерфейсов по изображениям и видео. В README указан контекст 256K с возможностью расширения до 1M токенов и OCR на 32 языках. Сильные стороны — объединённое текстовое и визуальное понимание, анализ временной структуры видео, распознавание текста в сложных условиях и пространственные рассуждения. Точные результаты зависят от сценария; README не содержит численных результатов тестирования. Лицензия — Apache-2.0.

QuantTrio/Qwen3-VL-32B-Instruct-AWQ — это квантизированная версия AWQ мультимодальной instruct-модели Qwen3-VL-32B-Instruct, разработанной командой Qwen. Репозиторий предназначен для запуска модели с использованием Transformers и vLLM; размер файлов модели составляет около 20 GiB, а в README приведена конфигурация с контекстом 32 768 токенов и тензорным параллелизмом на двух GPU. Модель принимает текст и визуальные данные, включая изображения и видео, и предназначена для генерации ответов, визуального анализа, OCR, пространственного и временного рассуждения, STEM- и математических задач, визуального программирования, а также взаимодействия с графическими интерфейсами и инструментами. Для OCR заявлена поддержка 32 языков, однако полный перечень языков в README не указан. Базовая архитектура включает механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками, направленные на улучшение обработки длинного контекста, деталей изображений и видеособытий. Для исходной модели заявлен нативный контекст до 256K с возможностью расширения до 1M, но для данной AWQ-конфигурации в примере запуска задан лимит 32 768 токенов. Сильные стороны модели — сочетание текстового и визуального понимания, работа с изображениями и видео, распознавание текста в сложных условиях и развитое пространственно-временное рассуждение. Ограничения связаны с необходимостью совместимого программного окружения и GPU-инфраструктуры; README рекомендует vLLM версии 0.11.0 или выше и qwen-vl-utils 0.0.14. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-2B-Instruct-FP8 — это FP8-квантизированная версия мультимодальной модели Qwen3-VL-2B-Instruct, разработанной командой Qwen. Квантование выполнено методом fine-grained FP8 с размером блока 128; согласно README, показатели почти идентичны исходной версии в формате BF16. Модель предназначена для задач image-text-to-text и обработки текста, изображений и видео. Модель ориентирована на визуальное понимание и рассуждение, распознавание текста на изображениях, анализ документов, пространственное восприятие, понимание видеосцен и временных событий, а также взаимодействие с графическими интерфейсами и инструментами. Она может применяться для визуального программирования, генерации Draw.io/HTML/CSS/JS по изображениям и видео, STEM- и математических задач, OCR и агентских сценариев. Заявлена поддержка OCR на 32 языках, однако полный перечень языков в README не приведён. Архитектура относится к семейству Qwen3-VL и включает механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Указан нативный контекст 256K с возможностью расширения до 1M, но эти характеристики описаны для поколения Qwen3-VL в целом и не уточнены отдельно для данной 2B-версии. Размер модели — 2B параметров по идентификатору базовой модели. README рекомендует развёртывание через vLLM или SGLang и отмечает, что Transformers пока не поддерживает прямую загрузку этих весов. Модель распространяется по лицензии Apache-2.0.

Mungert/Qwen3-VL-8B-Instruct-GGUF — квантованная GGUF-версия мультимодальной модели Qwen3-VL-8B-Instruct, разработанной командой Qwen и подготовленной пользователем Mungert с помощью llama.cpp. Модель предназначена для задач «изображение—текст»: анализа изображений и видео, генерации текста, визуального вопросно-ответного взаимодействия, OCR, пространственного рассуждения, анализа документов, визуального программирования и взаимодействия с графическими интерфейсами и инструментами. Модель имеет плотную архитектуру с 8 млрд параметров и поддерживает обработку текста, изображений и видео. Заявлены нативный контекст до 256K токенов с возможностью расширения до 1M, понимание длительных видео с временной индексацией, улучшенное пространственное рассуждение и OCR для 32 языков. Среди архитектурных компонентов указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Формат GGUF ориентирован на запуск через llama.cpp и другие совместимые средства локального инференса. Сильными сторонами являются мультимодальность, распознавание текста в сложных условиях, анализ пространственных и временных отношений, работа с длинным контекстом и возможности визуального агента. Точность и размер файла зависят от выбранного уровня квантования: низкая разрядность может ухудшать качество, тогда как описанный автором подход с повышением точности отдельных слоёв увеличивает размер модели и потенциально сохраняет больше точности. README не содержит подробных результатов тестирования конкретных квантованных файлов и сведений о требованиях к оборудованию. Лицензия — Apache 2.0.

Moxie — специализированная большая языковая модель и агент, разработанные Moxiegen Business Group. Модель демонстрирует собственный Moxiegen Method — алгоритмический подход к устранению избыточности в весах. Доступна через Moxie Desktop и Moxie Cloud, а также может работать локально в вариантах light, standard и full. Модель основана на оптимизированной transformer-архитектуре и использует методы удаления избыточных весов. Согласно README, Lossless Pointer-Based Weight Mapping позволяет сопоставлять одинаковые числовые значения с единой ссылкой без потери точности вычислений FP32. В основе возможностей заявлены дистиллированные компоненты моделей Qwen для программирования и математики, GLM для длинного контекста и следования инструкциям, а также Gemma для быстрой обработки запросов и автоматизации. Поддерживаемый язык — английский. Точный размер модели и длина контекстного окна не указаны. Moxie предназначена для настольной автоматизации, выполнения shell-команд, работы с файлами, анализа данных в форматах CSV, Excel, Word и SQLite, оркестрации многошаговых задач, поиска в интернете, обработки документов и создания или анализа текстового, графического, видео- и аудиоконтента. Сильными сторонами заявлены низкие требования к GPU, высокая скорость и возможность гибридной работы с переносом сложных вычислений в облако. Ограничения включают зависимость от Moxie Desktop и Moxie Cloud для части функций, а также отсутствие подтверждённых независимых оценок качества и производительности. Весы модели и inference engine являются проприетарными и принадлежат Moxiegen. Использование предназначено для работы в Moxie Desktop в соответствии с пользовательским соглашением и политикой конфиденциальности на сайте Moxiegen; лицензия обозначена как other.

EuroBERT-2.1B — мультиязычная плотная модель-энкодер семейства EuroBERT, разработанная командой EuroBERT. Модель содержит 2,1 млрд параметров и обрабатывает последовательности длиной до 8192 токенов. Это masked language model для заполнения пропусков; её также можно дообучать или использовать с соответствующими головами для классификации текста и токенов, ответов на вопросы, поиска и регрессии. Модель рассчитана на английский, французский, немецкий, испанский, китайский, итальянский, русский, польский, португальский, японский, вьетнамский, нидерландский, арабский, турецкий и хинди. Карточка также указывает поддержку кода и математики. Для работы подходит библиотека Transformers версии 4.48.0 и выше; веса доступны в форматах PyTorch и Safetensors. EuroBERT-2.1B показала сильные результаты в оценках мультиязычного поиска, классификации, регрессии, качества переводов, кода и математических задач; авторы сообщают, что она превзошла сравниваемые системы в проведённых оценках. Как энкодер, она не предназначена для свободной генерации длинных ответов. Лицензия — Apache-2.0.

Карточка модели SAIFIINDUSTRIES/Nex-N2.5-mini на Hugging Face совпадает с карточкой nex-agi/Nex-N2.5-mini, поэтому описание составлено по ней. Nex-N2.5-mini — разговорная модель семейства агентных моделей Nex-N2.5 от Nex-AGI, основанная на архитектуре Qwen3.5 MoE. Она предназначена для длительных многошаговых задач: работы с компьютером и браузером, выполнения и проверки программ, а также научной и офисной работы. Модель использует визуальную обратную связь для восприятия интерфейсов, проверки результатов и продолжения действий; поддерживает режимы рассуждения и вызов функций. Для запуска автор приводит конфигурацию на двух ускорителях H100 и рекомендует параметры генерации temperature 0.7, top_p 0.95 и top_k 40. В метаданных указаны Transformers и формат safetensors; лицензия — Apache-2.0. README описывает мультимодальные возможности семейства и отдельно позиционирует Nex-N2.5-Max как текстовую модель, поэтому точные размер, контекст и перечень входов и выходов именно mini по этим данным установить нельзя.

unsloth/Qwen3-4B-Base-unsloth-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-4B-Base, подготовленная Unsloth и основанная на модели Qwen от команды Qwen. Это каузальная языковая модель на стадии предобучения, предназначенная для генерации и продолжения текста, обработки естественного языка, программирования, STEM-задач, логического рассуждения и работы с многоязычными данными. Поскольку модель является базовой, она не заявлена как специально обученная для диалогов или следования инструкциям. Модель содержит около 4,0 млрд параметров, из них 3,6 млрд без учёта embedding-слоёв, имеет 36 слоёв и использует Grouped-Query Attention с 32 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. Семейство Qwen3 предварительно обучалось на 36 трлн токенов на 119 языках с использованием данных для кодирования, STEM, рассуждений, книг, многоязычных и синтетических источников. Ключевое преимущество варианта — 4-битное представление, снижающее требования к памяти; при этом квантование может ограничивать точность по сравнению с полной или менее агрессивно квантованной версией. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется актуальная версия библиотеки Transformers; версии ниже 4.51.0 не поддерживают архитектуру Qwen3.

Карточка модели luganoquant/Nex-N2.5-mini на Hugging Face совпадает с карточкой nex-agi/Nex-N2.5-mini, поэтому описание составлено по ней. Nex-N2.5-mini — разговорная модель семейства агентных моделей Nex-N2.5 от Nex-AGI, основанная на архитектуре Qwen3.5 MoE. Она предназначена для длительных многошаговых задач: работы с компьютером и браузером, выполнения и проверки программ, а также научной и офисной работы. Модель использует визуальную обратную связь для восприятия интерфейсов, проверки результатов и продолжения действий; поддерживает режимы рассуждения и вызов функций. Для запуска автор приводит конфигурацию на двух ускорителях H100 и рекомендует параметры генерации temperature 0.7, top_p 0.95 и top_k 40. В метаданных указаны Transformers и формат safetensors; лицензия — Apache-2.0. README описывает мультимодальные возможности семейства и отдельно позиционирует Nex-N2.5-Max как текстовую модель, поэтому точные размер, контекст и перечень входов и выходов именно mini по этим данным установить нельзя.

Ratanak/Qwen3.8-27B-OBLITERATED — текстовая генеративная модель на базе Qwen/Qwen3.8-27B, разработанная в сообществе Ratanak и ориентированная на сценарии, где требуется минимальное количество отказов и защитных рассуждений. Модель предназначена для генерации текста и кода, исследовательских задач в области AI safety и red teaming, а также агентных сценариев, включая автоматизацию программирования и тестирование безопасности. Модель имеет архитектуру Qwen3, размер 27 млрд параметров и доступна в форматах GGUF, Safetensors и MLX. Поддерживает режимы с рассуждением и без него; рекомендуемый режим — без рассуждения. В README не указаны точный размер контекста и перечень поддерживаемых языков. Для генерации рекомендуются температура 0, repetition penalty 1.15 и не менее 2048 новых токенов; для агентных сценариев допустимы температура 0,1–0,3 и более короткие ответы. К сильным сторонам относятся сохранение большей части возможностей исходной модели, генерация рабочего кода и сниженное количество жёстких отказов и формальных защитных отступлений. По приведённым данным, показатель MMLU версии V3 составляет 82,3%, что на 2,1 процентного пункта ниже базовой модели. Ограничения включают возможное зацикливание без repetition penalty, снижение качества при высокой температуре и потенциальные риски использования модели для вредоносных или небезопасных запросов. Указана лицензия Apache-2.0.

Qwen3-VL-8B-Thinking — плотная мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen; этот репозиторий содержит её веса. Модель принимает изображения и текст, поддерживает диалог и интерфейс вызова инструментов, а режим Thinking предназначен для задач, требующих рассуждений. Архитектура — Qwen3VLForConditionalGeneration, веса доступны в формате safetensors; модель использует библиотеку Transformers. Модель предназначена для визуальных вопросов и ответов, распознавания текста и структуры документов, анализа видео и временных событий, пространственных рассуждений, STEM-задач и управления графическими интерфейсами с помощью инструментов. Также она может генерировать код интерфейсов Draw.io и HTML/CSS/JS по изображениям или видео. В README заявлен контекст 256K токенов с возможностью расширения до 1M и OCR на 32 языках; эти характеристики относятся к описанию семейства Qwen3-VL. Лицензия — Apache-2.0. README не приводит отдельных результатов бенчмарков для этой версии 8B; заявленные возможности и качество следует считать характеристиками из карточки разработчика, а эффективность на конкретных задачах может зависеть от входных данных и конфигурации запуска.

Qwen2.5-VL-32B-Instruct-AWQ — мультимодальная instruction-tuned модель семейства Qwen, разработанная командой Qwen. Это квантизированная AWQ-версия модели Qwen2.5-VL-32B-Instruct с 32 млрд параметров, предназначенная для обработки изображений, видео и текстовых запросов. Указанный язык — английский; точный размер контекста в README не приведён. Модель распознаёт и анализирует объекты, текст, диаграммы, графики, значки и структуру документов на изображениях, поддерживает визуальную локализацию с помощью bounding boxes и точек, а также формирование структурированных данных из счетов, форм, таблиц и сканов. Она рассчитана на визуальные вопросы и ответы, математические и логические задачи, анализ документов, понимание видео длительностью более часа с поиском релевантных моментов, а также сценарии визуального агента, включая управление компьютером и телефоном. Архитектура включает языковую модель Qwen2.5 и оптимизированный vision encoder на базе ViT с window attention, SwiGLU и RMSNorm. Для видео используются динамические разрешение и частота кадров, а также временное позиционирование mRoPE. AWQ-квантизация может снизить требования к памяти и ускорить инференс, однако по приведённым оценкам уступает полной версии по MMMU, MMBench и MathVista, сохраняя сопоставимый результат на DocVQA. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-2B-Instruct-GGUF — это мультимодальная модель семейства Qwen, разработанная командой Qwen. Репозиторий содержит веса модели Qwen3-VL-2B-Instruct в формате GGUF: языковой компонент доступен в вариантах FP16, Q8_0 и Q4_K_M, а vision encoder — в FP16 и Q8_0. Модель предназначена для запуска через llama.cpp, Ollama и другие инструменты, совместимые с GGUF, на CPU, NVIDIA GPU, Apple Silicon и Intel GPU. Модель работает с текстом и изображениями, а семейство Qwen3-VL также ориентировано на понимание видео. Она предназначена для визуального вопросно-ответного взаимодействия, распознавания и анализа изображений, OCR, пространственного рассуждения, мультимодального reasoning, генерации кода и сценариев visual agent, включая взаимодействие с графическими интерфейсами и инструментами. Заявлены контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона, поддержка OCR на 32 языках, улучшенное понимание пространственных отношений, видео и документов. К ключевым архитектурным особенностям относятся Interleaved-MRoPE для временных и пространственных представлений, DeepStack для объединения признаков разных уровней vision encoder и выравнивание текста с временными метками для анализа видео. Сильными сторонами являются сочетание компактного размера, мультимодальности, вариантов квантования и возможности локального запуска, однако README не содержит подробных численных результатов бенчмарков, полного перечня языков, точных требований к памяти и детального описания ограничений качества. Распространение модели выполняется по лицензии Apache-2.0.

Qwen3-VL-30B-A3B-Thinking — мультимодальная модель семейства Qwen3-VL в варианте с режимом рассуждений, представленная в репозитории Unsloth как набор весов с исправлениями шаблона чата. Она принимает текст и изображения и предназначена для диалога, визуального анализа и ответов на вопросы по изображениям; карточка также описывает распознавание текста, понимание видео, пространственные рассуждения и взаимодействие с инструментами. Архитектура — Qwen3 VL MoE для условной генерации; веса опубликованы в формате safetensors, лицензия Apache-2.0. В README заявлены контекст 256K с возможностью расширения до 1M, поддержка OCR на 32 языках, анализ длительных видео, распознавание элементов интерфейса и генерация кода или схем по визуальным примерам. Эти возможности перечислены для семейства Qwen3-VL; подробные результаты тестирования именно этого набора весов в карточке не приведены. Для запуска с llama.cpp README рекомендует параметр --jinja.

Nemotron-3.5-Lightning-Omni-30B-A3B-GGUF — мультимодальная версия NVIDIA Nemotron 3.5 Lightning, подготовленная engram-ae в формате GGUF для llama.cpp. Модель объединяет текстовую агентную основу NVIDIA Nemotron 3.5 Lightning 30B-A3B с 3B активных параметров, гибридной архитектурой Mamba-2, MoE и attention, а также контекстом до 1 млн токенов. Обучение для добавления модальностей не проводилось: использованы vision tower C-RADIO ViT-H и audio tower Parakeet FastConformer-XL из Nemotron-3-Nano-Omni, подключённые через единый мультимодальный проектор. Модель предназначена для работы с текстом, изображениями, аудио и видео, включая однопроходный анализ видео вместе с аудиодорожкой. Для видео применяются обработка кадров C-RADIO, временные патчи из двух кадров и прореживание токенов EVS. Доступны различные квантизации GGUF размером примерно от 18,7 до 35 ГБ; проектор занимает около 3 ГБ и используется со всеми вариантами. Поддерживаются сценарии локального запуска от Jetson до серверных систем и API-совместимый endpoint llama.cpp. Сильными сторонами являются широкий набор модальностей, большой контекст, агентная текстовая основа и возможность локального инференса. Видео для Nemotron требует специализированной ветки llama.cpp-omni; стандартная upstream-версия поддерживает текст, изображения и аудио, но не этот видеопуть. При совместном анализе видео и звука рекомендуется явно просить модель описать визуальную часть и транскрибировать речь, поскольку нейтральный запрос может привести к доминированию аудиоканала. Лицензия указана как openmdw-1.1.

DeepSeek-V4-Flash-0731-GPTQ-Int4-V1 — это 4-битная GPTQ-квантизованная версия модели DeepSeek-V4-Flash-0731, опубликованная пользователем sokada4. Квантизация выполнена с помощью GPTQModel 7.3.4 и предназначена для более эффективного запуска исходной модели при ограниченных ресурсах GPU. Данные о точном размере модели, архитектуре, поддерживаемых модальностях, полном наборе языков и исходном размере контекста в README не указаны. Модель использует схему W4A16 с 4-битными весами, group size 128, симметричной квантизацией и упаковкой в int32; параметр lm_head не квантизован. Калибровка проведена на 128 примерах на китайском, английском, японском языках и Python-коде с длиной последовательности 2048 токенов. В README приведены результаты на 4 GPU Ampere: по сравнению с неквантизованным fp8-чекпойнтом модель показала меньшее время до первого токена и более высокую производительность, особенно при параллелизме 8. Основные ограничения связаны с инфраструктурой: для запуска через vLLM требуется специальная сборка с поддержкой DeepSeek-V4 GPTQ для GPU Ampere, а полный чекпойнт занимает около 153 ГБ и может потребовать выгрузки части весов в CPU. Релиз является первой калибровочной версией V1; заявлена возможная последующая версия V2 с другим набором калибровочных данных. Лицензия — MIT, унаследованная от базовой модели.

EuroBERT-210m — многоязычная плотная модель-энкодер семейства EuroBERT, разработанная для работы с текстом, кодом и математическими задачами. В этой версии около 211,7 млн параметров; максимальная длина входной последовательности — 8192 токена. Модель доступна для использования через Transformers и опубликована под лицензией Apache-2.0. Модель предназначена для заполнения пропусков в тексте, поиска и извлечения информации, классификации и регрессии. По данным карточки, семейство EuroBERT оценивается на задачах retrieval, классификации последовательностей, оценки качества и задачах, связанных с кодом и математикой; каталог также указывает поддержку разметки токенов и ответов на вопросы. Поддерживаются английский, французский, немецкий, испанский, китайский, итальянский, русский, польский, португальский, японский, вьетнамский, нидерландский, арабский, турецкий и хинди. Сильная сторона модели — многоязычное представление текста и широкий набор сценариев для энкодера при умеренном размере. Это не генеративная чат-модель: её основная задача в метаданных — fill-mask, а для прикладных сценариев классификации, поиска и других задач может потребоваться соответствующая голова или дообучение. README сообщает о сильных результатах семейства на сравнительных оценках, но не приводит здесь подробных метрик для версии 210m.

Qwen3.8-27B-tq4-g64 — 27,8-миллиардная плотная мультимодальная модель семейства Qwen, подготовленная для Apple Silicon в формате 4-битной квантизации TurboQuant-MLX. Она сохраняет возможности обработки изображений и диалогового взаимодействия базовой модели, включая интерфейс вызова инструментов. Архитектура включает 64 декодерных слоя: 48 слоёв Gated DeltaNet с линейным вниманием и 16 слоёв полного внимания; также указана 27-блочная башня зрения. В метаданных библиотека модели — MLX, лицензия — Apache-2.0. Модель подходит для диалогов с изображениями, распознавания текста на изображениях, подсчёта объектов, анализа диаграмм, визуального описания и агентных сценариев с вызовом инструментов, в том числе для работы с кодом. README приводит тесты на Apple Silicon: файл занимает около 15,15 ГиБ, пиковое потребление памяти при контексте 16 тысяч токенов составляет около 22,5 ГБ, а скорость генерации — примерно 11 токенов в секунду. При запуске на Mac с 24 ГБ памяти рекомендуется размер шага предварительной обработки 256; на системах с 16 ГБ автор сообщает, что модель не помещается. Встроенный тест зрения пройден на четырёх синтетических примерах, но эти результаты не гарантируют качество на произвольных данных. README не сообщает поддерживаемые естественные языки или длину контекста базовой модели.

mT5-base — многоязычная модель Google на архитектуре encoder-decoder Transformer семейства T5 с 291,2 млн параметров. Она предварительно обучена в формате text-to-text на корпусе mC4, собранном из Common Crawl и охватывающем 101 язык. Веса доступны в форматах PyTorch, TensorFlow и Flax; лицензия — Apache-2.0. Модель служит базой для дообучения под прикладные задачи обработки естественного языка: например, перевод, суммаризацию и ответы на вопросы. Предварительное обучение не включало обучение на размеченных задачах, поэтому для использования в конкретном сценарии модель необходимо дообучить.

GLiClass Multilang Edge от Knowledgator — компактная модель семейства GLiClass для классификации последовательностей с произвольными метками в zero-shot и few-shot режимах. Модель насчитывает около 140 млн параметров и предназначена для эффективной классификации текста; карточка указывает архитектуру GLiClassModel и формат safetensors. Модель поддерживает тематическую и тональную классификацию, определение намерений, проверку следования правилам и безопасности LLM, выявление галлюцинаций, NLI и оценку релевантности текстовых фрагментов. Можно задавать описания меток, пользовательские инструкции и иерархии меток; текст и метки могут быть на разных языках. По карточке, модель обучена для 20 языков: шведского, норвежского, чешского, польского, литовского, эстонского, латышского, испанского, финского, немецкого, французского, румынского, итальянского, португальского, нидерландского, украинского, хинди, китайского, арабского и иврита. Английский также присутствует в метках языков карточки. Небольшой размер обеспечивает высокую скорость: в тесте автора средняя пропускная способность составила 553,6 примера в секунду при пакетной обработке на RTX PRO 6000 Blackwell. Качество зависит от языка и задачи; приведённые в карточке результаты показывают более низкие средние показатели Edge по сравнению с более крупными вариантами multilang-mini и multilang-ultra. Лицензия — Apache-2.0.

Functionary Medium v3.1 — языковая модель компании MeetKai для диалогов и работы с функциями и плагинами. Она основана на meta-llama/Meta-Llama-3.1-70B-Instruct и использует плотную архитектуру Llama; в метаданных указаны 69,5 млрд параметров и контекст до 131 072 токенов. Модель принимает определения инструментов в формате JSON Schema, выбирает, когда вызывать функции, может запускать несколько вызовов параллельно или последовательно и учитывать их результаты в ответе. Она также может вести обычный диалог без вызова инструментов и поддерживает сценарии с интерпретатором кода. Модель предназначена для ассистентов, которым нужно вызывать API и плагины, оркестрировать инструменты и формулировать ответы с учётом полученных данных. README рекомендует запуск через совместимый с OpenAI сервер vLLM; для разбора сырых ответов в JSON предусмотрен специальный код. Репозиторий содержит веса Safetensors. Лицензия — MIT.

unsloth/Qwen2.5-VL-7B-Instruct-bnb-4bit — квантизированная 4-битная версия instruction-tuned мультимодальной модели Qwen2.5-VL-7B-Instruct, разработанной командой Qwen. Модель предназначена для задач image-text-to-text: анализа изображений и видео, ответов на вопросы по визуальному содержимому, распознавания текста, документов, таблиц, графиков, схем и макетов, а также формирования структурированных данных. Она также ориентирована на визуальную локализацию объектов, работу с интерфейсами компьютеров и мобильных устройств и агентские сценарии с использованием инструментов. Модель объединяет vision encoder и языковую модель, имеет около 7 миллиардов параметров и поддерживает динамическое разрешение изображений и частоту кадров видео. Она способна анализировать длинные видео длительностью более часа и указывать релевантные временные сегменты. Архитектурные улучшения включают оконное внимание в ViT, а также использование SwiGLU и RMSNorm в vision encoder. В README явно указан английский язык; поддержка других языков для этой версии не уточняется. Сильные стороны модели — обработка документов и OCR, понимание диаграмм и таблиц, визуальное рассуждение, локализация объектов с помощью bounding boxes или точек и выдача стабильных JSON-структур. Ограничения включают высокие требования к вычислительным ресурсам по сравнению с компактными моделями, зависимость видеообработки от корректной поддержки инструментов и отсутствие в README подробных данных о точном размере контекста и системных требованиях для 4-битной сборки. Модель распространяется по лицензии Apache-2.0.

LFM2-1.2B — компактная языковая модель, разработанная Liquid AI для работы на периферийных устройствах и локального развертывания. Это плотная авторегрессионная модель семейства LFM2 с 1,1 млрд параметров. Архитектура сочетает 10 блоков коротких свёрток с двойными затворами и 6 блоков группового внимания GQA. Модель принимает текст и генерирует текст; предусмотрены шаблон диалога в стиле ChatML и интерфейс для вызова инструментов. Контекст по метаданным каталога — до 128 000 токенов. Модель рассчитана на многошаговые диалоги, агентные сценарии, извлечение данных, RAG и творческое письмо. Liquid AI заявляет о высокой скорости и экономном использовании памяти на CPU, GPU и NPU, что подходит для смартфонов, ноутбуков и автомобильных систем. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. README рекомендует дообучать модель под узкие задачи и не рекомендует полагаться на неё в задачах, требующих глубоких знаний или навыков программирования. Лицензия обозначена в метаданных как other; конкретные условия следует проверять в репозитории модели.

Qwen2.5-VL-7B-Instruct-heretic — модифицированная версия мультимодальной модели Qwen2.5-VL-7B-Instruct, разработанная автором saidutta69 с использованием Heretic v1.4.0. Модель предназначена для работы с текстом и изображениями, а также поддерживает сценарии, связанные с OCR, разбором документов, привязкой объектов на изображении и анализом видео. В карточке указано, что основной язык — английский. Модель сохраняет архитектуру и основные возможности базовой Qwen2.5-VL-7B-Instruct; заявленный нативный размер составляет около 8,3 млрд параметров. Вариант создан методом directional ablation («abliteration»): из весов целенаправленно удалены направления, связанные с отказами в ответах, без дообучения. Поэтому у модели должны в значительной степени сохраняться знания в области vision-language и следование инструкциям базовой модели, но защитные ограничения и фильтрация намеренно ослаблены. Это может быть полезно разработчикам, которым требуется меньше отказов, однако одновременно повышает риск выдачи нежелательного или небезопасного содержимого. Доступны полные веса в формате Safetensors BF16 и текстовые GGUF-квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0. GGUF-файлы содержат текстовую часть и не включают vision-энкодер, поэтому для полноценной мультимодальной работы следует использовать полные веса Safetensors. Модель совместима с Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Лицензия — Apache-2.0, унаследованная от базовой модели.