II.10Разработка и эксплуатация AI/ML-систем

Модель Hjgugugjhuhjggg/mergekit-passthrough-owrmdht — объединение языковой модели meta-llama/Llama-3.2-1B-Instruct, созданное методом passthrough с помощью mergekit. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 1,2 млрд параметров; она предназначена для генерации текста и диалогового взаимодействия, включая сценарии с интерфейсом вызова инструментов. Модель принимает текст и генерирует текст. Указанная длина контекста — 131 072 токена. Базовая модель Meta описана как компактная многоязычная модель, настроенная на выполнение инструкций и предназначенная для диалогов, поиска сведений, суммаризации и помощи в написании текста. Модель опубликована в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

MiniCPM5-2B-CoreAI — это конверсия модели openbmb/MiniCPM5-2B, разработанной OpenBMB, в формат Apple Core AI (.aimodel) для локального запуска на устройствах Apple. Модель предназначена для генерации текста, диалоговых приложений, суммаризации, работы с агентами и вызова инструментов полностью на устройстве, включая iPhone и Mac на Apple Silicon, без обязательной передачи данных в облако. Модель относится к классу 2B и поддерживает гибридные режимы рассуждения Think и No-Think, нативный вызов инструментов и контекст до 128K токенов. В README указаны варианты квантования для разных сценариев: int8 с block-32 и 6-битная k-means-палетизация с group 8 для Neural Engine. Для iPhone 17 Pro заявлена скорость декодирования около 38,5 токена в секунду в ANE-варианте, однако первая загрузка может занимать около 23 минут из-за построения программ Neural Engine, а размер модели составляет примерно 2,7 ГБ. Сильными сторонами модели являются небольшой размер, работа полностью на устройстве, поддержка длинного контекста, инструментов и режимов рассуждения, а также оптимизация под GPU и Neural Engine Apple. Ограничения включают значительные требования к памяти, длительную первоначальную компиляцию на iPhone и возможные расхождения квантованных вариантов с исходной моделью. Модель распространяется по лицензии Apache-2.0.

MiniCPM-Llama3-V 2.5 — мультимодальная языковая модель команды OpenBMB для диалога и анализа изображений. Она объединяет визуальный энкодер SigLip-400M с языковой моделью Llama 3-8B-Instruct; в метаданных указано 7,5 млрд параметров, архитектура — плотная MiniCPMV. Модель принимает текст и изображения и формирует текстовые ответы; поддерживает контекст до 8192 токенов. Модель предназначена для визуальных вопросов и ответов, распознавания текста на изображениях, извлечения содержимого документов и таблиц, а также многоязычного общения по изображениям. README заявляет поддержку более 30 языков и эффективное локальное развёртывание, включая запуск через llama.cpp. В карточке упомянуты safetensors и возможность дообучения с LoRA. Лицензия в предоставленных данных не указана.

MistralLite — языковая модель на архитектуре Mistral-7B, дообученная участниками AWS для работы с длинным контекстом. Она предназначена для поиска сведений в длинных текстах, извлечения тем и строк, суммаризации и ответов на вопросы по предоставленному контексту. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. При дообучении использованы адаптация Rotary Embedding с rope_theta = 1 000 000 и окно скользящего внимания размером 16 384 токена. README сообщает об улучшении результатов на задачах извлечения и ответов по длинному контексту; основной язык модели — английский. Указанная лицензия — Apache 2.0. Для запросов с входным контекстом длиннее 12 000 токенов README рекомендует использовать специальный контейнер TGI. Разработчики советуют самостоятельно оценивать качество и проверять соответствие применения местным правилам, лицензиям и требованиям контроля качества.

Это набор GGUF-квантизаций модели Ornith-1.5-9B, разработанной ornith-ai и подготовленной пользователем mistrjirka с использованием форматов PXA/PXQ. Модель имеет около 9 млрд плотных параметров, архитектуру qwen35 и нативный контекст до 262 144 токенов. Она предназначена для генерации и анализа текста, а исходная модель также поддерживает обработку изображений при наличии совместимого мультимодального проектора, который в этом репозитории не поставляется. Доступны варианты с разной степенью сжатия: от PXQ2 и PXQ3 до рекомендованного PXQ4, повышающего качество PXQ4-HQ и ориентированного на качество PXQ6. Чем выше уровень, тем больше размер файла и потенциально выше точность, тогда как PXQ2 и PXQ3 рассчитаны на ограниченные ресурсы и сильнее жертвуют качеством. Преимуществами являются большой контекст и выбор компромисса между размером, качеством и скоростью декодирования. Ограничение заключается в использовании нестандартных PXQ-типов тензоров: обычные сборки llama.cpp без их поддержки, как правило, не загрузят файлы. Требуется PXA или специальная ветка mistrjirka/llama.cpp; оптимизация в первую очередь ориентирована на GPU NVIDIA Pascal и Volta, а поддержка более новых архитектур может использовать общие, менее специализированные пути. Указана лицензия MIT.

PhillNet Mini Omni Max — дообученная модель ayjays132 на базе Qwen/Qwen3.5-0.8B, предназначенная для генерации текста и диалогов. Карточка заявляет режимы рассуждения с разной глубиной, генерацию кода, суммаризацию и защиту от атак через внедрение инструкций в недоверенные данные. В метаданных указаны архитектура DendroForCausalLM семейства Dendro Omni с MoE, 375,9 млн параметров, контекст до 1 048 576 токенов и формат safetensors; для работы заявлена библиотека Transformers. README также описывает встроенную генерацию изображений на основе SDXL и создание видеоключевых кадров, однако метаданные подтверждают только задачу text-generation, поэтому эти возможности следует считать заявлениями карточки. В README приведены результаты внутренних тестов защиты и рассуждений, но они не подтверждены независимой оценкой. Модель поддерживает английский язык. Лицензия — Apache-2.0.

Pix2Struct Large — предварительно обученная модель Google для визуального понимания языка. Это архитектура «визуальный энкодер — текстовый декодер», обученная преобразовывать изображения в текст. Для обучения модель разбирала замаскированные снимки веб-страниц в упрощённый HTML; такой подход объединяет сигналы распознавания текста, языкового моделирования и описания изображений. Модель предназначена для дообучения под задачи, где текст связан с визуальным содержимым: например, для создания подписей к изображениям и ответов на вопросы по изображению. В статье описаны сценарии работы с документами, иллюстрациями, пользовательскими интерфейсами и обычными фотографиями; вход может иметь переменное разрешение, а текстовый запрос можно наложить на изображение. В метаданных указана поддержка английского, французского, румынского и немецкого языков. Модель опубликована в форматах PyTorch и Safetensors. Это базовый предобученный чекпойнт, который README рекомендует использовать для дообучения, поэтому готовое качество на конкретной прикладной задаче зависит от дополнительной настройки. Лицензия — Apache-2.0.

Qwen3.5-9B VLM Q4_K_M GGUF — мультимодальная модель на базе Qwen/Qwen3.5-9B, представленная в формате GGUF и подготовленная пользователем jc-builds. Пакет включает квантованные веса основной модели и отдельный мультимодальный проектор mmproj, необходимый для обработки изображений через llama.cpp. Модель предназначена для анализа изображений и текста, визуального рассуждения, генерации описаний, ответов на вопросы по изображениям, а также для обычных текстовых задач. Заявлена поддержка 201 языка, включая английский, китайский, японский, корейский, русский, европейские, арабские и ряд языков Юго-Восточной Азии. Указана архитектура раннего объединения визуальных и текстовых данных, контекстное окно 262 144 токена с возможностью расширения более чем до 1 млн токенов, 9,6 млрд плотных параметров и словарь размером более 200 тысяч токенов. Основные веса используют 4-битную смешанную квантование Q4_K_M и занимают около 6 ГБ, а визуальный проектор хранится в FP16 и занимает около 918 МБ. Для полной мультимодальной инференции требуется примерно 7–8 ГБ RAM или VRAM. Сильные стороны модели — сочетание визуальных и текстовых возможностей, большой контекст, относительно компактный размер и возможность локального запуска, в том числе на устройствах iOS. Ограничения включают зависимость от поддержки mmproj в программном обеспечении: vision-режим доступен в llama.cpp и KoboldCpp, частично поддерживается в LM Studio и не поддерживается в Ollama согласно README. Квантованная версия может незначительно уступать FP16 по качеству. Лицензия — Apache-2.0.

Qwen3.6-27B-V2-abliterated-uncensored-TQ3_4S-GGUF — мультимодальная модель Lemura Labs на базе объединённых Qwen3.6-27B и Jackrong/Qwopus3.6-27B-v2. Последняя версия описана как дистилляция рассуждений Claude Opus на основе Qwen3.6-27B. Модель прошла abliteration для снижения числа отказов и выпущена в формате GGUF с квантизацией TQ3_4S; для обработки изображений требуется отдельный файл проектора mmproj.gguf. Модель предназначена для диалогов, рассуждений и работы с изображениями. Гибридная архитектура сочетает линейное внимание GatedDeltaNet и полнослойное softmax-внимание; заявленная длина контекста — 262144 токена. В карточке сообщается о снижении отказов с 91 до 4 из 100 проверочных запросов при KL-дивергенции 0,0176. Доступны GGUF-веса размером около 14 ГБ вместе с проектором; для TQ3_4S требуется форк llama.cpp от turbo-tan, а без mmproj вход изображений недоступен. Модель принимает текст и изображения и генерирует текст. В метаданных указаны английский и китайский языки, а также мультиязычная поддержка. Лицензия — Apache-2.0. Вследствие удаления отказов модель может отвечать на запросы, которые исходная модель отклоняла; результаты генерации требуют соответствующей проверки.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, опубликованная HauhauCS. Модель распространяется в формате GGUF и предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео через отдельный vision-проектор. Указаны языки English, Chinese и multilingual, однако точный перечень поддерживаемых языков не приведён. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120, размером FFN 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000. Встроенная поддержка MTP/NextN сохранена, а профиль HauhauCS FastMTP предназначен для ускорения генерации; заявлены преимущества в скорости для документных и reasoning-сценариев. Для изображений и видео требуется отдельный BF16 vision-проектор. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие отказов, что может быть полезно для задач, где важны быстрота и непрерывность генерации. Это одновременно является ограничением: README рекомендует для надёжной работы с длинным контекстом и агентскими задачами сбалансированный вариант, если он доступен. Модель не вносит изменений в датасеты или заявленные возможности базовой Qwen3.8-27B, но применяет профиль «uncensored». Доступны различные уровни квантизации, включая пользовательские K_P и IQ-варианты, совместимые с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Лицензия — Apache-2.0.

Qwen3.8-9B-Distill-uncensored-heretic-GGUF — GGUF-квантизированная версия модели Qwen3.8-9B-Distill, подготовленная пользователем petruhonk на базе empero-ai/Qwen3.8-9B-Distill. Модель подвергнута «abliteration» с помощью Heretic v1.4.0 для снижения числа отказов при ответах на запросы, которые исходная модель отклоняет. Она предназначена для генерации текста, диалоговых приложений, агентских сценариев и функционального вызова инструментов через llama.cpp. Модель содержит 9 млрд параметров, 33 блока и сохранённую MTP-голову для speculative decoding с режимом draft-mtp. В репозитории опубликованы только текстовые веса в формате GGUF, предположительно с квантизацией Q8_0; для запуска с мультимодальными возможностями необходим отдельный файл mmproj. Исходная архитектура поддерживает изображения и видео, однако данный репозиторий не содержит соответствующих компонентов. Встроенный шаблон чата поддерживает tools и <tool_call>, а пример запуска рассчитан на контекст до 32768 токенов. К сильным сторонам относятся сохранённая MTP-голова, совместимость со speculative decoding и существенно меньшее число отказов по сравнению с исходной моделью: 6 из 100 против 100 из 100 в указанном тесте. Ограничения включают неполную мультимодальную поставку, зависимость качества и потребления памяти от выбранной квантизации, а также возможные изменения поведения из-за abliteration; показатель KL-дивергенции относительно исходной модели составляет 0,0306. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Distilled-9B-NPU2 — это квантизированный порт модели empero-ai/Qwen3.8-9B-Distill, подготовленный Atomic-Germ для инференса на NPU AMD XDNA. Модель скомпилирована для среды выполнения FastFlowLM версии 1.0.1 и поставляется в формате Q4NX, а не GGUF. Размер файла весов model.q4nx составляет 7,11 ГБ; конверсия выполнена 26 августа 2026 года. Модель предназначена для языковых и визуально-языковых задач, включая работу с изображениями, рассуждения и function calling. В репозитории также присутствует отдельный файл vision_weight.q4nx, а конфигурация и шаблон диалога рассчитаны на использование с FastFlowLM. Архитектура, точное число параметров, поддерживаемые языки и размер контекстного окна в карточке не указаны. Ключевое преимущество модели — адаптация к инференсу на AMD XDNA NPU с использованием квантизации Q4NX и специализированного runtime FastFlowLM. Ограничения связаны с зависимостью от FastFlowLM и совместимого оборудования AMD XDNA, а также с отсутствием подробных сведений о качестве, языковом охвате и контексте. Лицензия — Apache-2.0.

DavidAU представил Qwen3-MOE-4x0.6B-2.4B-Writing-Thunder-V1.2 — компактную текстовую MoE-модель общего назначения на базе четырёх моделей Qwen3 по 0,6 млрд параметров, объединённых в структуру с 1,54 млрд параметров. Она предназначена для быстрой генерации текста, творческого письма, диалогов, ролевых сценариев, программирования и других общих задач; автор отмечает улучшения в кодировании относительно предыдущих версий. Модель поддерживает контекст до 40 960 токенов и режим рассуждений; в MoE по умолчанию активны два эксперта, а для сложного кода автор рекомендует повышать их число и использовать более точное представление весов. В метаданных указаны архитектура Qwen3 MoE, формат safetensors и лицензия Apache-2.0. Карточка также перечисляет слияние базовой Qwen3-0.6B с кодовой, математической и медицинской экспертными моделями. README предупреждает, что ответы могут заметно различаться между генерациями при одинаковых настройках; для программирования и сложных задач рекомендуются Q8 или полная точность. Автор модели — DavidAU; исходные модели созданы их соответствующими авторами и командой Qwen.

qwen-carpmuscle-r-v0.3 — языковая модель TheTsar1209 на архитектуре Qwen2.5 с 14 млрд параметров. Она создана методом TIES merge из qwen-carpmuscle-v0.3, Qwen2.5-14B-Instruct и Qwen2.5-14B; исходная модель qwen-carpmuscle-v0.3 прошла непрерывное предобучение в формате ChatML с контекстом 24 тыс. токенов. Репозиторий содержит веса Safetensors в формате bfloat16, а заявленное нативное окно контекста итоговой модели — 131 072 токена. Модель предназначена для генерации текста и диалогов. Метаданные указывают поддержку китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Разработчик приводит результаты оценок Open LLM Leaderboard, включая IFEval и BBH. Модель выпущена под лицензией Apache-2.0.

DeepSeek-R1-Distill-Qwen-14B-Q4_K_M-GGUF — это квантованная версия модели DeepSeek-R1-Distill-Qwen-14B, разработанной организацией deepseek-ai и опубликованной в формате GGUF пользователем Andrew Webby из RolePlai. Модель предназначена для генерации текста, диалоговых сценариев, ролевого общения, а также задач программирования и математики; она может использоваться в приложениях на базе llama.cpp. Модель основана на архитектуре Qwen, имеет размер 14 млрд параметров и поддерживает текстовый ввод и вывод. Квантование Q4_K_M уменьшает требования к памяти по сравнению с полной версией, что делает модель более подходящей для локального запуска, однако может снижать точность по сравнению с исходными весами. В README не указаны поддерживаемые языки, размер контекстного окна, точные требования к оборудованию, результаты тестирования и ограничения качества. Файл модели имеет формат GGUF, не использует imatrix и не разделён на части. Лицензия и условия использования в предоставленных данных не указаны.

EMMA-500 — многоязычная языковая модель MaLA-LM на архитектуре Llama 2 7B, дообученная продолжительным предварительным обучением для улучшения представления языков с ограниченными ресурсами. Модель содержит 6,6 млрд параметров, принимает текст и генерирует текст; базовый контекст составляет 4096 токенов. В карточке заявлена поддержка 546 языков, включая языки, для которых в обучающих данных было более 100 тысяч токенов. Модель предназначена для многоязычной генерации и может применяться для машинного перевода, классификации текста, логического вывода на естественном языке, ответов на вопросы по тексту, генерации кода и рассуждений на основе здравого смысла. Обучение продолжалось на корпусе MaLA, который, согласно карточке, охватывает более 500 языков и содержит 74 млрд токенов из разных областей. В карточке сообщается об улучшении результатов на многоязычных задачах и бенчмарках относительно других моделей на основе Llama 2. Для низкоресурсных языков отмечено снижение разнообразия генераций. Модель распространяется по лицензии Llama 2; перед использованием следует соблюдать её условия.

MaziyarPanahi/Experiment26Neuralsirkrishna_Experiment27Inex12 — объединённая языковая модель на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием automerger/Experiment26Neuralsirkrishna-7B и automerger/Experiment27Inex12-7B. Модель предназначена для генерации текста и диалогов; размер контекстного окна составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

NoxStrix/gemma-4-31B-it-Q4_K_M-GGUF — это конвертированная в формат GGUF инструкциямодель на базе google/gemma-4-31B-it, подготовленная автором NoxStrix с использованием llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для локального запуска через llama.cpp, включая интерактивные запросы в CLI и работу в режиме сервера. Из доступных данных известно, что исходная модель имеет размер 31B параметров и относится к мультимодальным моделям image-text-to-text, то есть может обрабатывать изображения и текст и генерировать текстовые ответы. Ключевые характеристики исходной архитектуры, поддерживаемые языки и размер контекстного окна в README не указаны. Квантование Q4_K_M уменьшает требования к памяти по сравнению с полноразмерной версией, но README не содержит точных сведений о качестве, скорости и необходимых ресурсах. Для использования требуются llama.cpp и подходящее аппаратное обеспечение; возможна настройка сборки под конкретную платформу, включая Nvidia GPU. В README приведён пример контекста размером 2048 токенов, но это может быть лишь параметром запуска, а не максимальным размером контекста модели. Модель распространяется по лицензии Apache-2.0, при этом для исходной Gemma могут действовать дополнительные условия лицензии Google Gemma.

GLM-4.5V-FP8 — мультимодальная vision-language модель, разработанная ZhipuAI на базе текстовой модели GLM-4.5-Air. Она предназначена для анализа изображений, видео и документов, визуального рассуждения, понимания интерфейсов и задач GUI-агента, а также точной локализации объектов на изображениях. Модель поддерживает китайский и английский языки и работает через библиотеку Transformers. Модель имеет архитектурную основу GLM-4.5-Air с 106 млрд параметров, из которых 12 млрд активны, и представлена в формате FP8. Она поддерживает режим Thinking Mode для выбора между быстрыми ответами и углублённым рассуждением, умеет выполнять анализ сцен и нескольких изображений, распознавать события в длинных видео, разбирать сложные графики и длинные документы, а также возвращать координаты ограничивающих рамок объектов в нормализованном формате. Заявлена высокая эффективность на 42 публичных vision-language бенчмарках среди моделей сопоставимого масштаба. Ограничения, включая размер контекста, перечень поддерживаемых форматов и требования к ресурсам, в README не указаны. Модель распространяется по лицензии MIT.

Vontra/GLM-5.3-Flash-MLX-2bit-MTP — это конвертированная и гибридно квантованная версия мультимодальной модели GLM-5.3-Flash от Z.ai, подготовленная Vontra для Apple Silicon на базе MLX. Модель предназначена для генерации текста и работы с изображениями в совместимых MLX- и VLM-средах, включая oMLX. Заявлены английский и китайский языки. Модель использует архитектуру glm5_next с разреженной смесью экспертов (MoE), чередованием KDA-линейного и разреженного внимания, vision encoder и одним нативным NextN/MTP-слоем для спекулятивного декодирования. Объём параметров составляет 320 млрд, из них 18 млрд активны при обработке запроса; заявленный контекст — до 1 048 576 токенов. Чекпойнт хранится в MLX safetensors и занимает около 111,3 ГБ. Квантование выполнено по гибридной схеме: основные экспертные веса имеют точность 2 бита, отдельные проекции — 8 или 4 бита, а чувствительные компоненты, включая vision encoder, projector, эмбеддинги и выходную голову, сохранены в BF16. К сильным сторонам относятся существенное уменьшение размера весов, поддержка мультимодальных сценариев, сохранённый нативный MTP и совместимость с экосистемой Apple MLX. В тесте на Apple M3 Studio включение MTP повысило скорость декодирования с 6,063 до 6,257 токена в секунду при совпадении результатов. Производительность и прирост от MTP зависят от оборудования, запроса и степени принятия черновых токенов. Для работы требуется runtime с поддержкой архитектуры glm5_next, нативного MTP и покомпонентных метаданных квантования MLX; указаны совместимые версии oMLX 0.6.3rc3, MLX 0.32.0, mlx-lm 0.31.3 и mlx-vlm 0.6.3. Лицензия — MIT.

GLM-5.3-Flash-VQ-2.7bpw — векторно-квантизированная версия мультимодальной модели GLM-5.3-Flash от zai-org, подготовленная TheDrainFlorist для Apple Silicon. Модель поддерживает работу с текстом и изображениями, ориентирована на задачи генерации и понимания текста, анализа изображений, программирования и других сценариев, доступных базовой vision-модели. Заявлены английский и китайский языки. Точная длина контекста в README не указана. Модель использует архитектуру MoE и занимает около 101,9 GiB. В основе применяется data-free vector quantization: большинство экспертных слоёв представлены кодами d=4/K=512, а восемь слоёв имеют повышенный размер кодбука d=4/K=2048; attention, эмбеддинги и выходная голова используют 8-битное affine-квантование, нормы, маршрутизаторы и vision tower из 347 тензоров сохраняются в bf16. Такой компромисс позволяет разместить модель на Mac с 128 ГБ памяти и обеспечивает лучшее качество, чем указанный affine q3 сопоставимого размера, хотя качество заметно ниже исходной bf16-модели и более крупных вариантов квантования. Для запуска требуется совместимый стек MLX: mlx-lm с поддержкой model_file и mlx-vlm версии не ниже 0.6.17 для изображений. Встроенный runtime поставляется внутри checkpoint, поэтому загрузчик должен поддерживать параметр model_file. Основные ограничения — большой объём памяти, зависимость от Apple Silicon и специализированного MLX-окружения; показатели производительности и качества приведены для конкретных тестовых корпусов и не гарантируют аналогичные результаты во всех задачах. В карточке указана лицензия MIT.

Это GGUF-квантизованная версия мультимодальной инструкционной модели google/gemma-4-26B-A4B-it, разработанной Google и подготовленной в форматах GGUF автором bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций. Базовая модель имеет размер 26B и обозначение A4B, однако README не раскрывает подробности её архитектуры. Модель предназначена для диалогового применения и обработки задач, соответствующих режиму image-text-to-text, то есть может работать с текстом и изображениями. Она подходит для локального запуска через llama.cpp, LM Studio, Jan AI, KoboldCpp, Text Generation Web UI и другие совместимые инструменты. В README приведён специальный шаблон запросов и отмечены обновления шаблона чата и исправления совместимости. Сильная сторона сборки — широкий выбор уровней квантизации, позволяющий выбирать между качеством и требованиями к памяти: наиболее качественными названы Q6_K_L, Q6_K, Q5 и Q4 варианты, а Q4_K_M рекомендован как типичный компромисс. Более компактные варианты экономят память, но могут заметно уступать по качеству. Языки, размер контекстного окна, точные характеристики мультимодальности и требования к оборудованию в README не указаны. Распространение осуществляется по лицензии Apache-2.0; для самой базовой модели также указана отдельная лицензия Gemma 4.

granite-4.0-h-3b-ar — компактная инструктивная языковая модель, разработанная IBM Research и Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) в рамках IBM–MBZUAI AI Center of Excellence. Она предназначена для диалогов и генерации текста на современном стандартном арабском, нескольких региональных арабских диалектах и английском языке, в том числе для разнородных и межъязыковых сценариев. Модель содержит 2,6 млрд параметров и использует плотную decoder-only архитектуру GraniteMoeHybrid с GQA, Mamba2, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Контекстное окно по метаданным составляет 131 072 токена. Компактный размер позволяет рассматривать её для эффективного развёртывания при ограниченных ресурсах; обучение охватывало общие задачи, а также примеры по математике, программированию и рассуждениям. Качество может зависеть от диалекта, предметной области, формулировки запроса и сложности задачи; результаты на арабских диалектах могут уступать английским. Модель способна выдавать неточные, предвзятые, неподходящие или небезопасные ответы, поэтому перед использованием в конкретной задаче рекомендуется оценка и настройка, а для рискованных сценариев — модерация входов и выходов. Лицензия — Apache-2.0.

Grok 4.3 — мультимодальная модель рассуждений от SpaceXAI. Она принимает текст и изображения и генерирует текстовые ответы; предназначена для агентных сценариев, выполнения инструкций и задач, требующих высокой фактической точности. Модель подходит для приложений, в которых нужно анализировать текстовые запросы и изображения, следовать инструкциям и формировать ответы для дальнейших действий агента. Данных о размере, архитектуре, длине контекста, поддерживаемых языках и лицензии в предоставленной карточке нет.

Huihui-MiroThinker-v1.0-8B-abliterated — версия MiroThinker-v1.0-8B, изменённая проектом huihui-ai методом abliteration для снижения числа отказов. Это плотная языковая модель семейства Qwen3 с 7,6 млрд параметров, рассчитанная на генерацию текста и диалог; базовая MiroThinker предназначена для многошаговых исследований, поиска информации и вызова инструментов. Модель можно запускать через Transformers или Ollama. Контекст модели составляет 262 144 токена. В карточке указаны английский язык и лицензия MIT. Abliteration снижает защитные отказы и может приводить к чувствительным, спорным или неподходящим ответам; результаты следует тщательно проверять.

InternVL3-14B-Instruct-GGUF — мультимодальная языковая модель в формате GGUF, подготовленная Unsloth на основе OpenGVLab/InternVL3-14B-Instruct. Исходную модель разработала команда OpenGVLab; она построена по схеме ViT-MLP-LLM и сочетает визуальный модуль InternViT-300M-448px-V2_5 с языковой частью Qwen2.5-14B. Это SFT-версия, прошедшая нативное мультимодальное предварительное обучение и supervised fine-tuning, но не прошедшая MPO. Модель предназначена для задач понимания изображений и текста, мультимодального восприятия и рассуждений. Заявленные сценарии включают использование инструментов, создание GUI-агентов, промышленный анализ изображений, восприятие 3D-сцен и другие мультимодальные приложения. В метаданных указана поддержка multilingual, а тип конвейера — image-text-to-text. Конкретный размер контекста в предоставленных данных не указан. К сильным сторонам относятся расширенные возможности мультимодального анализа и рассуждений, а также GGUF-квантизация, удобная для локального запуска при подходящей инфраструктуре. Ограничение версии заключается в отсутствии этапа MPO; авторы рекомендуют при сомнениях использовать базовую версию InternVL3-14B. Модель распространяется по лицензии Apache-2.0, при этом в карточке также указана ссылка на лицензию Qwen.

Карточка модели hemanthdegapudi/LFM2.5-1.2B-Instruct на Hugging Face совпадает с карточкой LiquidAI/LFM2.5-1.2B-Instruct, поэтому описание составлено по ней. LFM2.5-1.2B-Instruct — плотная гибридная языковая модель Liquid AI для локального и периферийного развертывания. Это версия общего назначения, дообученная следовать инструкциям на базе LiquidAI/LFM2.5-1.2B-Base. В карточке указано 1,17 млрд параметров, 16 слоёв (10 блоков double-gated convolution и 6 блоков GQA), а метаданные Hugging Face указывают 1,5 млрд параметров. Модель принимает текст и генерирует текст; поддерживает контекст до 32 768 токенов по README, тогда как метаданные каталога указывают нативный контекст 128 000 токенов. Модель рассчитана на агентные сценарии, извлечение данных, ответы по документам в RAG и вызов функций. Liquid AI заявляет высокую скорость локального вывода и возможность работы с ограниченной памятью. Поддерживаемые языки: английский, арабский, китайский, французский, немецкий, японский, корейский и испанский. Модель не рекомендуется для задач, требующих обширных знаний, и программирования. Лицензия обозначена в метаданных как other; конкретные условия следует сверить с лицензией репозитория.

MuXodious выпустил дообученную версию Ministral-3-14B-Instruct-2512, изменённую методом abliteration с использованием Heretic и слияния с Magnitude-Preserving Orthogonal Ablation. Это мультимодальная плотная модель семейства Mistral 3: языковая часть содержит 13,5 млрд параметров, а визуальный энкодер — 0,4 млрд. Она принимает текст и изображения и предназначена для диалогов, выполнения инструкций и анализа изображений; в README также заявлены вызов функций и вывод JSON. Модель поддерживает английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский языки, а контекстное окно базовой модели составляет 256 тыс. токенов. Модификация снижает склонность к отказам: в приведённой оценке Heretic модель отказала в 5 случаях из 100. Автор предупреждает, что модель сильно uncensored, и рекомендует использовать её с осторожностью. Для работы указаны Transformers v5; в метаданных также заявлена поддержка vLLM. Лицензия Apache-2.0 допускает коммерческое и некоммерческое использование.

Карточка модели sworge/poc-custom-arch на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Qwable-v1-Qwen3.6-35B-A3B-abliterated — мультимодальная производная модель, опубликованная пользователем eggdog100 на основе lordx64/Qwable-v1. Она предназначена для генерации текста и обработки изображений с текстовыми инструкциями, включая сценарии, где требуется сниженное количество отказов. Модель относится к семейству Qwen3.6-35B-A3B и использует архитектуру Mixture-of-Experts: 35 млрд параметров всего, около 3 млрд активных на токен, 256 экспертов и 40 слоёв. В архитектуре применяются гибридное линейное внимание Gated-DeltaNet и отдельная vision tower, сохранённая без изменений. Точный размер контекста и перечень поддерживаемых языков в карточке не указаны. Это версия v2, полностью пересобранная после проблем с предыдущей версией, которая страдала от повторов и бессвязной генерации. Для подавления отказов изменялись выходные проекции внимания attn.o_proj; маршрутизатор MoE, эксперты, слои Gated-DeltaNet и vision tower не редактировались. В заявленных тестах модель показала 1 отказ из 100 adversarial-запросов без reasoning и 1 из 94 при включённом reasoning, при этом зафиксировано ноль случаев коллапса генерации. На MMLU-Pro результат составил 78,9, на GSM8K — около 95, однако показатели зависят от настроек и оборудования, а часть бенчмарков не проводилась. К сильным сторонам относятся мультимодальность, сохранённая визуальная часть, разреженная MoE-архитектура с низким числом активных параметров и существенно сниженная склонность к отказам. Ограничения включают потенциально ослабленные защитные механизмы, отсутствие подробных данных о контексте и языковой поддержке, а также неполные результаты оценки. Модель распространяется по лицензии AGPL-3.0.