I.6Перевод и языковая адаптация

Карточка модели Pq234/Kimi-VL-A3B-Instruct на Hugging Face совпадает с карточкой moonshotai/Kimi-VL-A3B-Instruct, поэтому описание составлено по ней. Kimi-VL-A3B-Instruct — открытая мультимодальная модель Moonshot AI для понимания изображений, видео и текста. Она объединяет языковую модель с архитектурой Mixture-of-Experts, визуальный энкодер MoonViT с обработкой изображений в исходном разрешении и MLP-проектор. Всего модель содержит 16 млрд параметров, при генерации активирует около 3 млрд; контекстное окно — 128 тыс. токенов. Модель предназначена для диалогов с визуальными данными, распознавания текста на изображениях, анализа длинных документов и видео, понимания нескольких изображений и выполнения агентных задач по скриншотам. Поддерживает ввод текста, изображений и видео и выдаёт текстовые ответы. В README приведены результаты на задачах OCR, визуального понимания и взаимодействия с агентами; для сложных рассуждений, включая математику, разработчики рекомендуют вариант Kimi-VL-A3B-Thinking. Модель распространяется по лицензии MIT. Для запуска доступны веса в формате safetensors и библиотека Transformers. README рекомендует температуру 0,2 для Instruct-варианта. Указанные результаты основаны на бенчмарках разработчиков; качество может зависеть от задачи и настроек инференса.

L3.3-70B-Magnum-v4-SE-Cirrus-x1-ModelStock — объединённая модель для генерации текста и диалогов, созданная с помощью mergekit методом Model Stock. В качестве основы использована meta-llama/Llama-3.3-70B-Instruct, в объединение также вошли Sao10K/70B-L3.3-Cirrus-x1 и Doctor-Shotgun/L3.3-70B-Magnum-v4-SE. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 69,5 млрд параметров. Она принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. В карточке заявлены мультиязычные возможности базовой модели, но конкретные языки для этого чекпойнта не перечислены. Модель подходит для диалоговых ассистентов и генерации текста с длинным контекстом. Репозиторий содержит веса safetensors; лицензия в предоставленных данных не указана.

Карточка модели glxiexie/LFM2.5-2.6B на Hugging Face совпадает с карточкой developerjeremylive/LFM2.5-2.6B-etheroi, поэтому описание составлено по ней. LFM2.5-2.6B-etheroi — многоязычная текстовая модель на 2,6 млрд параметров, созданная на базе LiquidAI/LFM2.5-2.6B-Base и дообученная для агентных сценариев. Она использует гибридную архитектуру LFM2: 30 слоёв, включая блоки коротких свёрток и GQA, и поддерживает контекст до 131 072 токенов. Модель предназначена для локального и периферийного развёртывания; карточка указывает поддержку Transformers, vLLM и SGLang. Модель подходит для вызова инструментов, выполнения многошаговых инструкций, извлечения данных, RAG и работы с длинным контекстом. Она поддерживает английский, арабский, китайский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, польский, португальский, русский, испанский, тайский и вьетнамский языки. По карточке, она не рекомендуется для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other; конкретные условия следует проверить в репозитории модели.

Llama 2 70B Chat — это диалоговая языковая модель семейства Llama 2, разработанная Meta. Данный репозиторий содержит её квантизированные файлы в формате GGUF, подготовленные TheBloke на основе оригинальной модели meta-llama/Llama-2-70b-chat-hf. Модель предназначена для генерации текста и ведения диалогов: ответов на вопросы, выполнения инструкций и создания связных текстовых ответов. Указан английский язык. Архитектура — Llama, размер — 70 миллиардов параметров, модальность — текстовая. Максимальный размер контекста в README не указан. Для работы используется специальный шаблон запросов Llama 2 Chat с системными инструкциями о полезных, безопасных и честных ответах. Формат GGUF поддерживает метаданные и специальные токены и совместим с llama.cpp, а также рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. Доступны варианты квантизации от 2 до 8 бит для CPU+GPU-инференса, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством ответов; конкретные характеристики зависят от выбранного варианта. Репозиторий распространяется по лицензии Llama 2.

Карточка модели nuottroisaoduoc/Meta-Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B-Instruct, поэтому описание составлено по ней. unsloth/Meta-Llama-3.1-8B-Instruct — инструкционно настроенная плотная авторегрессионная языковая модель семейства Llama, опубликованная Unsloth на основе Meta-Llama-3.1-8B-Instruct. Она предназначена для диалогов, генерации текста и выполнения пользовательских инструкций; каталог также отмечает интерфейс вызова инструментов. В репозитории указаны 7,5 млрд параметров, формат safetensors и библиотека Transformers. Заявленная длина контекста — 131 072 токена. Модель подходит для создания чат-ботов, генерации и продолжения текста, а также приложений, использующих интерфейс вызова инструментов. В метаданных указан английский язык; README посвящён настройке Llama 3.1 и не сообщает результатов оценки качества именно этой версии. Лицензия — llama3.1; условия использования следует сверять с лицензией семейства Llama 3.1.

bartowski/MiMo-V2.5-Pro-GGUF — это набор GGUF-квантизаций языковой модели MiMo-V2.5-Pro, разработанной XiaomiMiMo. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как XiaomiMiMo/MiMo-V2.5-Pro. Модель предназначена для генерации текста, работы с агентскими сценариями, задачами программирования и применений с длинным контекстом. В карточке указаны английский и китайский языки, текстовая модальность и формат GGUF для запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Длина контекста, точная архитектура и число параметров не указаны. Доступно множество вариантов квантования от IQ1 до Q4, с размерами файлов примерно от 212 до 640 ГБ; Q4_K_M отмечен как рекомендуемый вариант с хорошим качеством, а более компактные варианты экономят память ценой снижения качества. К сильным сторонам относятся поддержка разных уровней компромисса между качеством и требованиями к памяти, совместимость с экосистемой llama.cpp и возможность локального запуска. Ограничения — очень большой размер файлов, зависимость от поддержки модели конкретным инструментом и ухудшение качества у низкобитных квантов, особенно IQ1 и некоторых Q2–Q3 вариантов. В карточке указана лицензия MIT.

MiniCPM5-2B GGUF — набор GGUF-квантизаций модели MiniCPM5-2B, разработанной OpenBMB и подготовленной для локального развертывания. Это плотная Llama-based модель примерно на 2 млрд параметров, предназначенная для генерации текста, программирования, рассуждений, работы с длинным контекстом и использования инструментов. Модель работает только с текстом и поддерживает английский и китайский языки. Исходная модель имеет нативный контекст до 131 072 токенов (128K). Доступны варианты квантизации Q2_K, Q3_K_M, Q4_0, Q4_K_S, Q4_K_M, Q5_K_M, Q6_K, Q8_0, IQ2_M, IQ3_M и IQ4_XS размером примерно от 0,97 до 2,68 ГБ. Файлы содержат встроенный chat template и рассчитаны на использование с актуальными сборками llama.cpp с поддержкой MiniCPM5. К сильным сторонам относятся небольшой размер, возможность локального запуска, поддержка очень длинного контекста и широкий выбор квантизаций для компромисса между качеством и требованиями к памяти. Поддержка вызова инструментов зависит от парсера и API-интеграции конкретного сервера, поэтому её необходимо проверять в целевом окружении. Модель распространяется по лицензии Apache-2.0.

Muse-Glimmer-30B-Abliterated-GGUF — экспериментальная версия 30-миллиардной агентной on-device-модели Muse Glimmer, разработанная Blackfrost на базе meta-models/Muse-Glimmer-30B от Meta. Модель распространяется в формате GGUF для локального запуска через llama.cpp на одной потребительской видеокарте или CPU, полностью офлайн. Вариант abliterated получен изменением весов, направленным на удаление отказов модели; заявленные тесты на 450 запросах показали отсутствие истинных отказов, однако эти результаты относятся к родительской модели и могут не отражать все сценарии использования. Архитектура muse_glimmer включает 52 слоя, скрытое пространство размером 6656, GQA с 32 query- и 2 key/value-головами, sliding-window attention и vision tower. Поддерживаются текстовые и визуальные входы, при этом для обработки изображений требуется отдельный mmproj-проектор. Контекстное окно составляет 131 072 токена. Доступны квантизации от Q2_K до Q8_0 размером примерно от 10 до 27,6 ГБ; рекомендуемым балансом качества и размера назван Q4_K_M. Для ускорения генерации предусмотрен DFlash drafter со speculative decoding в llama-server. Модель предназначена для локальных агентных, мультимодальных, кодовых и общих диалоговых сценариев, включая работу в условиях ограниченного или отсутствующего сетевого доступа. К сильным сторонам относятся большое контекстное окно, локальная работа, широкий выбор квантизаций и поддержка спекулятивного декодирования. Ограничения включают экспериментальный статус, необходимость совместимой свежей версии llama.cpp, значительные требования к памяти, а также потенциальные риски и непредсказуемость поведения из-за удаления защитных отказов. Базовая модель и производная распространяются по лицензии Apache-2.0.

Nanbeige4-3B-Thinking-2511-GGUF — квантизированная GGUF-версия языковой модели Nanbeige4-3B-Thinking-2511, разработанной командой Nanbeige и созданной на базе Nanbeige4-3B-Base. Модель предназначена для генерации текста, диалогов, решения сложных задач с рассуждением, агентских сценариев и вызова функций. Указана поддержка английского и китайского языков; модель относится к текстовым causal language models и запускается с использованием llama.cpp или совместимых инструментов. Точный размер контекста и число параметров в README не указаны, однако из названия следует размер порядка 3 млрд параметров. Модель улучшена по сравнению с Nanbeige4-3B-Thinking-2510 с помощью дистилляции знаний и целевой оптимизации методом reinforcement learning. Заявлены сильные результаты в рассуждении, function calling, эмоциональном интеллекте и творческом письме, включая высокие позиции на Berkeley Function Calling Leaderboard, EQBench3 и WritingBench. В репозитории также описан метод повышения точности отдельных важных слоёв при квантизации, увеличивающий размер файлов, но улучшающий качество на заданном уровне битности. Ограничения включают риск неожиданных, вредных, предвзятых или дискриминационных ответов; модель не гарантирует полную безопасность и требует проверки результатов. Конкретный формат GGUF и степень квантизации следует выбирать с учётом доступных ресурсов и требований к качеству. Лицензия — Apache-2.0.

Nex-N2.5-mini-GGUF — набор общественных GGUF-квантизаций модели Nex-N2.5-mini, разработанной Nex-AGI и преобразованной в GGUF пользователем ngquocvinh для запуска через llama.cpp. Модель предназначена для локального текстового поколения и агентных сценариев с длительными цепочками действий, включая работу с компьютером, веб-сёрфинг, визуальное заземление, программирование, рассуждения и вызов инструментов. Исходная модель поддерживает изображения и видео через официальный мультимодальный процессор и шаблон чата; для этого релиз включает отдельный vision projector mmproj-Nex-N2.5-mini-F16.gguf. Архитектура исходной модели — Qwen3.5 Mixture-of-Experts с 256 экспертами, из которых активны 8 на токен, и 40 текстовыми слоями. Размер исходной BF16-версии — 35 млрд параметров, заявленный текстовый контекст — 262 144 токена, однако локальная проверка данного пакета проводилась только с контекстом 4096 токенов. Доступны варианты от Q1_0 до Q8_0; Q4_K_M рекомендуется как практичный баланс памяти и качества, а Q5_K_M, Q6_K и Q8_0 обычно сохраняют больше точности. Низкобитные варианты требуют проверки на конкретной задаче: измерения показывают заметное снижение сходства с BF16, особенно у Q1_0. Релиз не обучает и не дообучает модель, а выполняет только конвертацию и квантизацию, поэтому качество зависит от выбранного профиля и рабочей нагрузки. Приведённые тесты оценивают лишь сходство поведения при предсказании следующего токена и не гарантируют сохранение исходных возможностей в рассуждениях, мультиязычности, работе с изображениями или инструментами. Распространение указано по лицензии Apache-2.0.

Ornith-1.0-35B-GGUF-llamacpp-tp1 — это GGUF-версия языковой модели Ornith-1.0-35B, разработанной deepreinforce-ai, подготовленная для запуска через llama.cpp на одной GPU. Модель предназначена для генерации текста и кода, а также для сценариев локального сервинга с различными требованиями к скорости, объёму памяти и точности. В комплект входят варианты квантования Q3_K_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также вариант IQ4_XS-MTP с интегрированной головой multi-token prediction для ускорения спекулятивной генерации при низкой конкуренции. Размер исходной модели составляет 35B параметров. Доступны артефакты объёмом примерно от 15,61 до 34,37 GiB на диске, с требованиями к загруженной VRAM примерно от 17,27 до 34,77 GiB в зависимости от квантования. Вариант Q4_K_M позиционируется как сбалансированный по скорости и памяти, Q6_K и Q8_0 обеспечивают наиболее высокую точность, а Q3_K_M предназначен для минимального потребления памяти. Для MTP-варианта заявлено ускорение однопоточной генерации примерно в 1,3 раза; при этом длинные детерминированные последовательности не являются побитно идентичными режиму без MTP. Сильными сторонами являются широкий выбор квантований, высокая скорость инференса через llama.cpp и возможность локального запуска на одной GPU. Ограничениями выступают требование режима tp=1, отсутствие поддержки multi-GPU tensor parallel serving в этой версии и неизбежная потеря точности у более компактных квантований. Лицензия — MIT.

Phi-3-mini-128k-instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Phi-3-mini-128k-instruct, разработанной Microsoft. Квантизацию выполнила Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая обработку естественного языка и кода; в метаданных указан английский язык. Это текстовая, а не мультимодальная модель. Ключевая характеристика модели — контекстное окно до 128 000 токенов. Репозиторий содержит варианты с квантизацией от 2 до 8 бит, а также версию f16 размером 7,64 ГБ. Рекомендуемыми считаются Q4_K_M как сбалансированный вариант, а также Q5_K_M и Q5_K_S с меньшими потерями качества. Более компактные варианты требуют меньше памяти, но могут заметно терять в качестве; для Q2_K, Q3 и некоторых Q4-вариантов это прямо отмечено в описании. Модель может использоваться локально через совместимые инструменты GGUF и LlamaEdge; для запуска требуется LlamaEdge версии 0.12.2 или выше и шаблон запросов phi-3-chat. В README не приведены результаты тестирования, точное число параметров, требования к аппаратному обеспечению или сведения о качестве на конкретных задачах. Модель распространяется по лицензии MIT.

coder3101/Qwen3.5-27B-heretic — производная мультимодальная модель на основе Qwen/Qwen3.5-27B, опубликованная в формате Transformers. В карточке представлены параметры abliteration и сравнение с исходной моделью: доля отказов в приведённом тесте снизилась с 94 до 14 из 100, а KL-дивергенция составила 0,0653. Модель сохраняет архитектуру Qwen3.5 с языковой моделью и энкодером изображений; заявленный размер — 27 млрд параметров. Модель предназначена для диалогов, рассуждений, анализа изображений и сценариев с вызовом инструментов. Базовая Qwen3.5 поддерживает 201 язык и диалект, имеет контекст 262 144 токена с возможностью расширения до 1 010 000 токенов; карточка не приводит отдельных измерений этих характеристик для данной производной модели. Уменьшение числа отказов может быть полезно там, где нужна менее ограниченная генерация, но приведённая оценка не описывает полноту качества или безопасность ответов. Лицензия — Apache-2.0.

coder3101/Qwen3.5-35B-A3B-heretic — мультимодальная разговорная модель на основе Qwen3.5-35B-A3B, изменённая автором репозитория методом abliteration для заметного снижения частоты отказов. Это модель с причинным языковым ядром и кодировщиком изображений; архитектура использует разреженную смесь экспертов и Gated Delta Networks: всего 35 млрд параметров, из которых активируются около 3 млрд. Веса доступны в формате Safetensors и совместимы с Transformers и рядом движков инференса. Модель предназначена для диалогов, ответов на вопросы по изображениям, рассуждений и сценариев с вызовом инструментов. Она унаследовала от базовой модели контекст 262 144 токена с возможностью расширения примерно до 1 010 000 токенов. Карточка сообщает о поддержке 201 языка и диалекта базовой моделью, но не уточняет языковой охват именно этой производной версии. В приведённом сравнении частота отказов составила 5 из 100 запросов против 91 из 100 у исходной модели; KL-дивергенция относительно неё указана как 0,0972. Это указывает на ослабление отказного поведения, но не подтверждает качество ответов по другим задачам. Лицензия — Apache-2.0. Пониженная частота отказов означает, что модель может слабее ограничивать ответы на потенциально вредные запросы.

Qwen3.8-Flash-Next (PLElast) GGUF — это GGUF-сборка модели Qwen3.8-Flash-Next, опубликованная whm0627 на основе весов Qwen/Qwen3.8-Flash-Next и квантизаций unsloth. Модель предназначена для генерации текста, включая программный код и структурированные форматы. Архитектура — MoE с общим размером около 177B параметров и примерно 3B активных параметров. Доступны варианты Q2_K_XL размером 79 ГБ и IQ1_S размером 68 ГБ; веса не переквантизировались, изменён только порядок тензоров. Особенность сборки PLElast — размещение большой таблицы PLE/n-gram-эмбеддингов в конце файла. Это позволяет запускать модель на Apple Silicon и Metal при ограниченной памяти: на Mac с 64 ГБ заявлено около 42–48 ГБ использования VRAM или unified memory, несмотря на больший размер файла. Поддерживается контекст до 128K токенов. В тестах на Apple M1 Max с llama.cpp скорость декодирования составила около 21 токена в секунду, а с MTP speculative decoding для кода — около 24 токенов в секунду. Q2_K_XL обеспечивает немного лучшую perplexity, тогда как IQ1_S занимает меньше места и оставляет больше памяти для длинного контекста; автор отмечает, что глубокое тестирование не проводилось. Модель требует llama.cpp с поддержкой qwen4exp, быстрой SSD-памяти и актуального runtime; для MTP нужны отдельная draft-модель и специальная ветка llama.cpp. Совместимость с LM Studio заявлена только для новых runtime. Лицензия — Apache-2.0.

JANGQ-AI подготовила JANG_4S — квантованный 4-битный вариант Qwen/Qwen3.8-Flash-Next для запуска на компьютерах Apple Silicon через MLX и vMLX. В основе лежит экспериментальная архитектура Qwen4: разреженная MoE-модель на 125 млрд параметров с 6 млрд активных, большой хешированной n-граммной таблицей эмбеддингов, гибридными слоями Gated DeltaNet и Qwen Sparse Attention, а также башнями для обработки изображений и видео. В этой сборке сохранена голова многотокенного предсказания; таблица эмбеддингов может обслуживаться с SSD при поддержке рантайма. Модель предназначена для диалога, рассуждений, анализа изображений и видео и агентных сценариев с вызовом инструментов. Она принимает текст, изображения и видео, а контекст составляет 262 144 токена с возможностью расширения до 1 млн через YaRN. По заявлению карточки, квантование оценивали сравнением с bf16 на 5 931 отложенной позиции; качество выражено метриками KL и совпадения предсказаний. Для работы требуются значительные ресурсы: файлы занимают около 71,8 ГиБ, заявленный резидентный объём при обслуживании таблицы с SSD — около 53 ГиБ. Вызовы инструментов используют диалект Qwen XML, поэтому рантайм должен поддерживать соответствующий парсер; карточка предупреждает о несовместимости с Hermes-only парсерами. Лицензия указана как other, её конкретные условия в предоставленных данных не раскрыты.

Карточка модели gonghao1234/Qwen3-VL-4B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-VL-4B-Instruct, поэтому описание составлено по ней. Qwen3-VL-4B-Instruct — плотная мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Она принимает текст и изображения, а также предназначена для понимания видео и временных событий; в ответ генерирует текст. Модель доступна как репозиторий весов в формате safetensors и рассчитана на диалоговое использование через Transformers. Модель подходит для визуальных вопросов и ответов, распознавания и разбора текста на изображениях, анализа видео, пространственного рассуждения, мультимодальных STEM-задач и управления интерфейсами с вызовом инструментов. В README заявлены контекст 256 тысяч токенов с возможностью расширения до миллиона и OCR на 32 языках. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных данных и объединение многоуровневых визуальных признаков DeepStack. Лицензия Apache-2.0. Это вариант Instruct, предназначенный для применения в мультимодальных диалоговых сценариях; качество зависит от задачи и входных данных, а заявленные возможности не сопровождаются в карточке результатами бенчмарков.

Zen Designer GGUF — мультимодальная модель семейства Zen от Hanzo AI и Zoo Labs Foundation, дообученная на основе Qwen/Qwen3-VL-235B-A22B-Instruct, обработанная методом abliteration и выпущенная в формате GGUF. Это MoE-модель на 235 млрд параметров, из которых активно 22 млрд; заявленная длина контекста — 256 тыс. токенов. В репозитории указаны варианты квантизации Q2_K и Q4_K_M, а метаданные также отмечают GGUF F16. Модель предназначена для диалогов и анализа изображений, видео, документов, диаграмм, таблиц и интерфейсов, включая OCR, пространственное понимание и навигацию по GUI. README сообщает о поддержке временных рассуждений по видео и визуального определения областей. Поддерживаемые языки по метаданным: английский, китайский, японский, корейский, французский, немецкий, испанский, португальский, итальянский и русский; в карточке отдельно не выделен основной язык. Abliteration удаляет заложенные в весах отказы, поэтому поведение модели может быть менее безопасным; автор рекомендует задавать правила поведения на уровне приложения. Для локального запуска предлагается llama.cpp с отдельным файлом mmproj для визуального ввода. Модель распространяется по лицензии Apache-2.0.

YOYO-AI/ZYH-LLM-Qwen2.5-14B-V3 — третья версия модели серии ZYH-LLM от YOYO-AI, созданная с помощью слияния нескольких языковых моделей. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров в формате safetensors. В README описан первый этап слияния Qwen/Qwen2.5-14B-Instruct и Qwen/Qwen2.5-14B методом DELLA; метаданные также указывают среди исходных моделей Azure99/Blossom-V6-14B, arcee-ai/Virtuoso-Small-v2 и варианты Qwen2.5-14B. Модель предназначена для генерации текста и диалогов, включая структурированные ответы и взаимодействие через интерфейс вызова инструментов. Заявленная длина контекста — 1 010 000 токенов. Метаданные карточки указывают английский и китайский языки. В README приведены результаты Open LLM Leaderboard: среднее значение 41,63, IFEval — 85,78 и BBH — 48,18; эти результаты не описывают все сценарии применения. Модель распространяется по лицензии Apache-2.0.

Alfred-40B-1023 — языковая модель LightOn, дообученная на базе Falcon-40B. Это причинная авторегрессионная модель с архитектурой Falcon/RefinedWeb и примерно 65 млрд параметров; она предназначена для диалогов и выполнения инструкций. Модель доступна под лицензией Apache 2.0. Модель обучена на англоязычных, немецких, испанских и французских данных, а также имеет ограниченные возможности для итальянского, португальского, польского, нидерландского, румынского, чешского и шведского языков. Контекст расширен до 8192 токенов методом NTK-YaRN. Обучение использовало короткие и длинные задачи, включая диалоговые данные и наборы для работы с длинным контекстом. Модель подходит для создания чат-ассистентов, ответов на запросы и обработки длинных текстовых входов. Ограничения включают слабую переносимость на языки, не представленные в обучении, и возможное воспроизведение стереотипов и смещений из веб-данных. Для практического применения карточка рекомендует оценивать риски и применять защитные меры.

Alberto-Codes/gemma-4-31B-it-fit24gib-GGUF — это смешанно-точный GGUF-пакет модели Google Gemma 4 31B Instruct, созданный Alberto-Codes на основе QAT-чекпойнта google/gemma-4-31B-it-qat-q4_0-unquantized. Пакет предназначен для локального запуска текстовых и мультимодальных сценариев с обработкой изображений через llama.cpp на видеокарте с 24 ГиБ VRAM. Для работы с текстом требуется файл декодера, а для изображений — также отдельный vision-проектор. Модель относится к классу image-text-to-text и поддерживает текстовый ввод, а также изображения; точный набор языков в карточке не указан. Декодер занимает 14,92 ГиБ, проектор — 629 МиБ. Пакет не использует единую схему квантования: в нём применены тензоры Q5_0, Q8_0, F16 и F32, а эффективная разрядность составляет 9,16 бит на параметр. Заявленная особенность — размещение на карте с 24 ГиБ VRAM и увеличение доступного контекста по сравнению с официальным QAT Q4_0 GGUF: до 86 016 токенов в текстовом режиме и до 73 728 токенов с одним изображением в описанной конфигурации RTX 4090 и llama.cpp. По приведённым измерениям пакет имеет меньший размер и сопоставимое качество с QAT Q4_0: на тестах он показал одну статистически значимую победу и четыре ничьи, однако у базовой версии немного лучше средние KLD и совпадение наиболее вероятного токена. Результаты зависят от конкретной конфигурации запуска, версии llama.cpp, доступной VRAM и используемого проекторного файла. Модель распространяется по лицензии Apache-2.0.

RedHatAI/GLM-5.3-MXFP4 — текстовая генеративная модель, разработанная RedHatAI на основе zai-org/GLM-5.3. Она предназначена для задач генерации текста, следования инструкциям и решения математических и других reasoning-задач. Модель принимает текст и возвращает текст, поддерживает английский и китайский языки и реализует архитектуру GlmMoeDsaForCausalLM. Размер модели и длина контекстного окна в README не указаны. Это квантизированная версия GLM-5.3 для инференса через vLLM. Веса и активации линейных операторов внутри transformer-блоков представлены в формате FP4 по схеме MXFP4 с микромасштабированием OCP; для весов используются формат e2m1, группы размера 32 и масштабы E8M0, а для активаций — динамическое масштабирование по группам. По сравнению с контрольной версией FP8 такая оптимизация примерно на 50% уменьшает размер на диске и требования к памяти GPU, при этом на заявленных тестах сохраняет большую часть качества FP8-модели. Наибольшее относительное снижение показателей отмечено на AIME 2025 и GPQA Diamond. Модель предназначена для развёртывания с vLLM; в README приведена конфигурация с FP8 KV-cache, четырьмя устройствами в tensor parallelism и speculative decoding. Квантизация выполнена методом model-free post-training quantization без калибровочных данных с использованием LLM Compressor, а модель экспортирована в формате compressed-tensors. Лицензия обозначена как glm-5.3, тип лицензии — other; дополнительные условия в README не раскрыты.

Granite-3.0-8B-Base — базовая языковая модель IBM Granite Team для генерации текста и преобразования текста в текст. Это плотный авторегрессионный трансформер с архитектурой decoder-only, реализованный как GraniteForCausalLM; модель содержит 8,2 млрд параметров и распространяется в формате safetensors для библиотеки Transformers. Она обучена с нуля в два этапа на 10 трлн токенов разнородных данных и затем на 2 трлн токенов отобранных данных. Контекст модели составляет 4096 токенов. Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы, а также как базовая точка для дообучения под специализированные сценарии. В архитектуре используются GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Лицензия — Apache 2.0. Модель не прошла выравнивание по требованиям безопасности и может выдавать проблемные ответы, предвзятый или недостоверный контент; возможны галлюцинации и воспроизведение фрагментов обучающих данных. Результаты требуют проверки, особенно в сценариях с высокими последствиями.

Mungert/LightOnOCR-2-1B-GGUF — GGUF-версия LightOnOCR-2-1B, разработанная LightOn. Это эффективная vision-language-модель примерно на 1 млрд параметров для сквозного распознавания и понимания документов: PDF-файлов, сканов и изображений. Модель преобразует документы в чистый текст с естественным порядком чтения без внешнего OCR-конвейера. Модель предназначена для обработки таблиц, чеков, форм, многостолбцовых макетов и математических обозначений, включая LaTeX. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, нидерландского, португальского, шведского, датского, китайского и японского языков. В README не указаны размер контекстного окна и подробности внутренней архитектуры. Для стандартной версии с идентификатором Mungert/LightOnOCR-2-1B-GGUF предсказание bounding box для встроенных изображений не заявлено; такая возможность относится к отдельному варианту bbox. К сильным сторонам относятся компактный размер, высокая скорость, end-to-end обработка и универсальность для различных типов документов. По заявлению разработчика, LightOnOCR-2 превосходит конкурирующие решения по скорости и показывает state-of-the-art результаты на OlmOCR-Bench, однако конкретные методики и значения бенчмарков в карточке не приведены. Модель распространяется по лицензии Apache-2.0.

Luna-8B-Instruct-262k — объединённая модель на архитектуре Llama 3, созданная Ppoyaa с помощью LazyMergekit. В состав входят gradientai/Llama-3-8B-Instruct-262k, jondurbin/bagel-8b-v1.0, mlabonne/ChimeraLlama-3-8B-v3 и nbeerbower/llama-3-wissenschaft-8B; в конфигурации указан метод model_stock и формат bfloat16. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы. В репозитории заявлено окно контекста до 262 144 токенов; размер составляет 7,5 млрд параметров. Использование предусмотрено через Transformers и формат safetensors. Лицензия в предоставленных данных не указана.

RedHatAI/Qwen3-30B-A3B-NVFP4 — квантизированная версия языковой модели Qwen/Qwen3-30B-A3B, разработанная RedHatAI. Модель принимает и генерирует текст и предназначена для задач генерации текста, включая диалоговые сценарии и развёртывание через vLLM с OpenAI-совместимым сервером. Модель использует архитектуру Qwen3-30B-A3B, однако в представленном README не указаны подробности о числе параметров активной части, размере контекста и точном наборе поддерживаемых языков. Веса и активации линейных операторов в трансформерных блоках квантизированы в формат FP4; квантизация выполнена с помощью LLM Compressor, а модель подготовлена для инференса в vLLM версии 0.9.1 и выше. Переход с 16 до 4 бит на параметр уменьшает размер модели на диске и требования к памяти GPU примерно на 75%, что является её основным преимуществом. К ограничениям относятся возможная потеря качества по сравнению с неквантизированной моделью и зависимость от совместимого программного стека и аппаратной поддержки. README отдельно ограничивает использование сценариями, соответствующими применимым законам и требованиям экспортного контроля, а также указывает использование на английском языке вне заявленной области применения. Модель распространяется по лицензии Apache-2.0.

Mike0021/Qwen3.8-27B-GGUF — набор GGUF-конвертаций базовой модели Qwen/Qwen3.8-27B, подготовленный пользователем Mike0021 с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев и мультимодального анализа изображений и видео; для работы с визуальными данными требуется отдельный vision projector. Доступны варианты BF16, Q8_0 и архитектурно адаптированный Q4_K_M размером 18,97 ГБ, рекомендованный для практического использования. Модель содержит 64 слоя, поддерживает контекст до 262 144 токенов, а заявленные языки — английский и китайский. В состав также может входить опциональная од Layer MTP-модель для speculative decoding, не изменяющая итоговое распределение вероятностей целевой модели. Для визуального ввода используются отдельные файлы projector размером 0,63 или 0,93 ГБ. Сильными сторонами являются большое контекстное окно, поддержка текста и изображений, варианты с разным компромиссом между качеством и требованиями к памяти, а также сохранённые шаблоны чата и режимы reasoning. Ограничения включают значительный объём файлов и потребность в соответствующих ресурсах памяти; для полной поддержки новой архитектуры требуется llama.cpp ревизии 1692f9e или более новая, поскольку старые версии и некоторые другие GGUF-рантаймы могут быть несовместимы. Лицензия — Apache-2.0.

Qwen3-VL-2B-Instruct-1M-GGUF — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen и представленная в формате GGUF с динамической квантизацией Unsloth Dynamic 2.0. Репозиторий основан на Qwen3-VL-2B-Instruct и предназначен для запуска и инференса через совместимые инструменты, включая llama.cpp и Transformers. Модель принимает текст и изображения, а также ориентирована на понимание видео. Она предназначена для визуального вопросно-ответного взаимодействия, описания изображений, OCR, анализа документов, STEM- и математического рассуждения, пространственного анализа, генерации кода и взаимодействия с графическими интерфейсами и инструментами. Заявлены поддержка контекста 256K с возможным расширением до 1M токенов, улучшенное понимание длительных видео и OCR на 32 языках; конкретный перечень языков в README не приведён. Архитектурно модель использует плотную конфигурацию с примерно 2 млрд параметров, а среди ключевых компонентов указаны Interleaved-MRoPE для временных и пространственных позиций, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками. Сильными сторонами являются сочетание текстового и визуального понимания, работа с длинным контекстом, документами, видео и пространственными отношениями. Ограничения включают небольшой по современным меркам размер, возможные потери качества из-за квантизации и отсутствие в README подробных количественных результатов, точного списка языков и требований к аппаратному обеспечению. Лицензия — Apache-2.0.

Qwen3-VL-30B-A3B-Instruct — мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Она принимает текст и изображения, а также анализирует видео, отвечая на вопросы и выполняя инструкции в диалоге. Модель предназначена для визуального анализа, распознавания текста на изображениях и документах, пространственных рассуждений и взаимодействия с графическими интерфейсами через инструменты. Архитектура — Qwen3-VL-MoE; обозначение модели указывает на 30 млрд параметров всего и 3 млрд активных параметров на токен. В README заявлен контекст 256 тыс. токенов с возможностью расширения до 1 млн. Модель поддерживает OCR на 32 языках, работу с видео с привязкой событий ко времени, а также генерацию кода и разметки интерфейсов по изображениям и видео. Доступна в формате safetensors и использует библиотеку Transformers. Модель подходит для визуальных вопросов и ответов, разбора документов, анализа видео и управления интерфейсами с помощью инструментов. Заявлены улучшения в распознавании деталей и пространственных отношениях, но в карточке нет численных результатов бенчмарков. Лицензия — Apache-2.0.

unsloth/Qwen3-VL-32B-Thinking — репозиторий весов плотной мультимодальной модели Qwen3-VL, подготовленный Unsloth на основе Qwen/Qwen3-VL-32B-Thinking. Это версия Thinking для диалогов и рассуждений по тексту и визуальным данным; модель предназначена для вопросов об изображениях и видео, OCR, визуального анализа и выполнения задач через интерфейс агента с инструментами. Модель принимает текст, изображения и видео, а выдаёт текст. В README заявлены контекст 256K токенов с возможностью расширения до 1M, понимание пространственных отношений, временных меток и событий в видео, разбор структуры длинных документов и OCR на 32 языках. Архитектура относится к семейству Qwen3-VL и реализована как Qwen3VLForConditionalGeneration; файлы представлены в safetensors. Репозиторий включает исправления chat template от Unsloth. Модель подходит для визуального анализа, распознавания текста и рассуждений по изображениям и видео, а также для взаимодействия с графическими интерфейсами и инструментами. Указана лицензия Apache-2.0. README описывает возможности семейства Qwen3-VL; отдельные результаты бенчмарков для этого репозитория не приведены.