I.6Перевод и языковая адаптация

Phi-4-mini-instruct-GGUF — GGUF-квантизированная версия инструкционной модели Phi-4-mini-instruct, разработанной Microsoft. Квантизацию выполнил bartowski на базе llama.cpp версии b4792; модель распространяется в рамках программы Community Models для LM Studio. Модель предназначена для широкого круга коммерческих и исследовательских задач генерации текста, включая диалоговое взаимодействие, следование инструкциям и вызов функций. Она поддерживает контекст длиной до 128 тысяч токенов, заявлена как многоязычная и обладает улучшенными возможностями instruction following и function calling. README не содержит сведений о точном размере модели, конкретной архитектуре, перечне поддерживаемых языков и типе квантизации. Для использования в LM Studio на указанную дату требуется Beta runtime. Лицензия в предоставленных данных не указана; модель может генерировать неточный, вредный или нежелательный контент.

Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-FP8-Dynamic — квантизированная версия модели Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled, подготовленная пользователем mconcat. Это Qwen3.5-27B, дообученная методом distillation на данных с рассуждениями, связанными с Claude Opus, и предназначенная для генерации текста, решения сложных задач и сценариев, требующих развитого reasoning. Модель поддерживает английский и китайский языки, а также имеет визуальный энкодер, однако README не уточняет полный набор мультимодальных возможностей. Модель использует гибридную архитектуру DeltaNet и softmax attention: 64 слоя, из которых 48 используют DeltaNet, а 16 — обычное внимание; применяется GQA с 24 query-heads и 4 KV-heads. Размер скрытого представления — 5120, промежуточный размер MLP — 17408, словарь содержит 248320 токенов, максимальная длина позиции — 262144 токена. Благодаря рекуррентному состоянию DeltaNet только 16 слоёв требуют растущего KV-кэша, что повышает эффективность работы с длинным контекстом. Используется динамическая FP8 W8A8-квантизация в формате compressed-tensors: веса линейных слоёв хранятся в FP8, а чувствительные компоненты, включая lm_head, embeddings, нормы, роутеры MoE и визуальный энкодер, сохраняются в BF16. Размер модели на диске составляет около 29 ГБ, заявленная деградация perplexity относительно BF16 — около 1,4%. Для работы рекомендуется GPU с объёмом памяти от 48 ГБ, оптимально NVIDIA RTX PRO 6000 на 96 ГБ; на одной RTX 5090 модель практически не оставляет памяти для контекста. Поддерживаются vLLM, Transformers и SGLang, но не llama.cpp/GGUF; для отдельных 32-гигабайтных Blackwell GPU указаны проблемы совместимости с vLLM. Лицензия — Apache-2.0.

Qwen3.8-27B-heretic-ara-oQ4e-mtp — смешанно-точно квантованная версия модели trohrbaugh/Qwen3.8-27B-heretic-ara, опубликованная underlotus. В основе лежит Qwen3.8-27B; модель имеет около 27 млрд параметров, поддерживает текстовые, графические и видео входы, а также английский и китайский языки. Vision tower и голова Multi-Token Prediction сохранены. Веса представлены в формате MLX safetensors и совместимы с oMLX, mlx-lm, LM Studio и другими приложениями с поддержкой MLX. Модель предназначена для генерации текста, мультимодального анализа изображений и видео, программирования и локального запуска на устройствах Apple Silicon. Квантование oQ4e использует около 4,6 бит на параметр и распределяет точность по слоям с учётом их чувствительности, что уменьшает требуемую память примерно с 55 ГБ до 16–18 ГБ. Ограничениями являются зависимость от MLX-совместимой инфраструктуры, повышенные требования к памяти по сравнению с небольшими моделями и отсутствие указанного в README максимального контекста. Модель описана как декензурированная и сохраняет мультимодальные возможности, однако конкретные гарантии качества и безопасности для всех сценариев не приведены. Лицензия — Apache 2.0, унаследованная от базовой модели.

Qwen3.8-27B-W4A16-AutoRound — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, подготовленная dbirks с использованием Intel AutoRound и упакованная в формат compressed-tensors для запуска через vLLM. Модель предназначена для генерации текста и обработки изображений с применением на NVIDIA GPU поколения Ampere и новее, включая сценарии инференса на видеокартах без поддержки Blackwell. В основе лежит гибридная архитектура GatedDeltaNet с линейным вниманием и полноформатным attention: 64 слоя, из которых 48 используют линейное внимание, а 16 — полное; также присутствует vision tower. Заявлен контекст до 262 тысяч токенов. Квантизация W4A16 хранит веса языкового декодера в формате int4 с размером группы 128, тогда как активации остаются в BF16. В BF16 сохранены отдельные проекции управления рекуррентностью, vision tower, MTP-head и lm_head. Размер модели на диске составляет около 19,5 ГБ против примерно 52 ГБ для версии BF16; логический объём — около 27,78 млрд параметров. Основное преимущество — существенное сокращение размера при сохранении качества, близкого к BF16-версии: на заявленных тестах GSM8K, HumanEval и MMLU-Pro результаты находятся в пределах доверительных интервалов базовой модели. Ограничение W4A16 заключается в отсутствии ускорения за счёт квантизации активаций, поскольку они остаются BF16; для видеокарт Blackwell автор рекомендует родственную версию NVFP4. Указанная лицензия — Apache-2.0.

Qwen3-Embedding-0.6B — плотная текстовая embedding-модель семейства Qwen3, разработанная командой Qwen для получения векторных представлений текста. Она построена на базе Qwen/Qwen3-0.6B-Base и содержит около 508 млн параметров. Модель предназначена для поиска и сопоставления текстов, классификации и кластеризации, поиска кода и межъязыкового поиска. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст длиной до 32 тыс. токенов и выдаёт эмбеддинги размерности от 32 до 1024. Она поддерживает инструкции, задающие цель представления, и настройку размерности выходного вектора. В метаданных карточки указана задача text-generation, однако README описывает модель именно как инструмент для создания текстовых эмбеддингов; поэтому для каталога основная задача — text-embedding. Для использования требуется библиотека Transformers версии 4.51.0 или новее: более ранние версии могут выдавать ошибку при загрузке архитектуры Qwen3. В README отмечено, что подходящие инструкции могут улучшать результаты на 1–5%, а их отсутствие в запросах поиска может снижать качество. Лицензия — Apache-2.0.

Qwen3-VL-4B-Instruct GGUF — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Данная версия представляет собой GGUF-сборку весов Qwen3-VL-4B-Instruct, подготовленную автором Mungert с использованием llama.cpp. Модель предназначена для диалога и генерации текста на основе изображений, видео и текстовых запросов. Модель имеет плотную архитектуру и размер 4B параметров. Она поддерживает анализ изображений и видео, визуальное распознавание, OCR, пространственное рассуждение, понимание длительных видеосцен, мультимодальные задачи STEM и генерацию кода интерфейсов и схем по визуальным материалам. Также заявлены возможности визуального агента для взаимодействия с графическими интерфейсами и инструментами. Контекст составляет 256K токенов с возможностью расширения до 1M; OCR заявлен для 32 языков, однако полный перечень языков в карточке не указан. К сильным сторонам относятся расширенное понимание изображений и видео, точное пространственное и временное рассуждение, обработка длинного контекста, улучшенное распознавание текста и интеграция визуальной и текстовой информации. GGUF-формат удобен для локального запуска через llama.cpp, а применённый автором подход с повышением точности отдельных слоёв призван улучшить качество при заданном уровне квантизации, хотя увеличивает размер файла. Ограничения включают зависимость качества от выбранного варианта квантизации и аппаратных ресурсов, а также отсутствие в README подробных результатов тестирования и требований к памяти. Лицензия — Apache 2.0.

Solar-Open-100B-NVFP4A16 — сборка модели Solar-Open-100B, разработанной компанией Upstage, которую FuriosaAI самостоятельно квантизировала в формате NVFP4A16 и подготовила для запуска на аппаратуре FuriosaAI RNGD с использованием Furiosa-LLM. Это авторегрессионная текстовая языковая модель с архитектурой Mixture-of-Experts (MoE), предназначенная для генерации текста, чат-взаимодействия, задач с рассуждениями и без них, а также вызова инструментов через функции. Поддерживаются английский и корейский языки, входные и выходные данные представлены в текстовом формате. Веса модели используют 4-битный формат NVFP4, тогда как активации и KV-кэш сохраняются в 16-битной точности. Для рассуждений можно задавать уровень reasoning_effort: low, medium или high; модель также поддерживает отдельную передачу рассуждений и автоматический выбор инструментов при соответствующей настройке сервера. На FuriosaAI RNGD модель работает с tensor parallelism на 32 PE, что соответствует четырём картам RNGD. В README не указаны общий и активный размер модели, длина контекста и точные параметры архитектуры, поэтому эти характеристики нельзя определить по имеющимся данным. Основное преимущество модели — сочетание крупной MoE-архитектуры, возможностей рассуждения и вызова инструментов с экономией памяти благодаря 4-битной квантизации. Сборка ориентирована прежде всего на FuriosaAI RNGD и Furiosa-LLM, хотя квантизированные веса также заявлены как совместимые с vLLM, SGLang и Transformers. Модель распространяется по лицензии Upstage Solar License; в карточке она обозначена как license: other, с отдельной ссылкой на текст лицензии.

OsaurusAI Spark-X2.5-4B-JANG_6M — производная версия Spark-X2.5-4B от XHToken, подготовленная Jinho Jang для Apple Silicon и MLX. Это плотная авторегрессионная модель примерно на 3,8 млрд параметров для генерации текста, диалога, рассуждений и вызова инструментов; веса упакованы в смешанной точности: внимание и связанные эмбеддинги — 8-битные, MLP — 6-битный, масштабы групп — bfloat16, отдельные компоненты и нормы сохранены в полной точности. Репозиторий занимает около 3,41 GiB. Модель предназначена для запуска в оболочке Osaurus и поддерживает разговорный шаблон с включённым по умолчанию режимом рассуждений и интерфейсом вызова инструментов. В README заявлен нативный контекст до 1 048 576 токенов, при этом в контракте конкретной сборки указан контекст 131 072. По данным измерений авторов, скорость декодирования на M5 Max составила 104,7 токена в секунду; результаты получены в заданном тестовом режиме и не гарантируют такую же скорость на другом оборудовании. Карточка указывает английский и китайский языки; исходная модель описана как многоязычная и предназначенная также для кода, перевода и агентных задач. Сборка ориентирована на Apple Silicon и требует совместимой среды MLX и оболочки Osaurus; это текстовая модель. Лицензия Apache-2.0 унаследована от базовой модели XHToken/Spark-X2.5-4B.

BlueLM-7B-Chat — диалоговая языковая модель vivo AI Lab, подразделения исследований искусственного интеллекта компании vivo. Это плотная авторегрессионная модель семейства BlueLM с 6,9 млрд параметров, предназначенная для генерации ответов в чате и других текстовых задач. Для этой версии заявлен контекст 2 048 токенов; отдельно в семействе выпущены варианты с контекстом 32K. Модель обучалась на корпусе объёмом 2,6 трлн токенов, преимущественно на китайском и английском текстах, с небольшим количеством японских и корейских данных. Разработчик сообщает о конкурентных результатах на C-Eval и CMMLU, а также об оценке общих, математических и программных способностей на наборах бенчмарков. Весами разрешено пользоваться для академических исследований и коммерческих приложений; в метаданных лицензия обозначена как other, поэтому перед использованием следует свериться с условиями LICENSE разработчика.

Bonsai-2-27B-CRACK-1.75bit-JANG — языковая модель семейства Qwen3.5, подготовленная dealign.ai на основе тернарно-квантованной модели prism-ml/Ternary-Bonsai-2-27B-mlx-2bit. Это плотная модель на 27 млрд параметров с гибридной архитектурой: 48 слоёв GatedDeltaNet SSM и 16 слоёв полнослойного внимания, а также отдельной визуальной башней. Весовые данные языковой части упакованы с плотностью 1,75 бита на параметр; заявленный размер набора — около 6,1 ГБ. Указан контекст до 262 тысяч токенов. Модель предназначена для диалоговой генерации текста, рассуждений, программирования и вызова инструментов через XML-интерфейс. README также заявляет обработку изображений и видео и поддержку английского и китайского языков. В карточке приведены результаты MMLU: 77,19% на указанном наборе из 2280 вопросов, близко к базовой модели. Отказное поведение удалено на уровне весов, поэтому модель может выдавать ответы на запросы, которые базовая модель могла бы отклонить. Для запуска требуется MLX на Apple Silicon и среда vMLX с JANG-Hadamard runtime и загрузчиком ternary_packed_26b; обычный mlx_lm.load() с этим набором, по README, даёт некорректные результаты. Лицензия — Apache 2.0. Это производная модель, а заявленные характеристики и результаты приведены авторами карточки.

TechxGenus/DeepSeek-V2-Lite-Chat-AWQ — AWQ-квантованная версия диалоговой модели DeepSeek-V2-Lite-Chat, разработанной DeepSeek AI. Это языковая модель, дообученная для взаимодействия в формате чата и предназначенная для генерации текста, ответов на вопросы и других сценариев использования разговорных LLM. Модель построена по архитектуре Mixture-of-Experts (MoE) с Multi-head Latent Attention (MLA): всего она содержит 16 млрд параметров, из которых при обработке активируется 2,4 млрд. MLA сжимает KV-кэш в латентное представление, а разреженные вычисления MoE повышают эффективность обучения и инференса. Контекстное окно составляет 32 тысячи токенов. В README заявлена поддержка сценариев на английском и китайском языках; модель обучалась с нуля на 5,7 трлн токенов. К сильным сторонам относятся сравнительно небольшое число активных параметров, эффективность инференса и возможность развертывания на одной GPU с 40 ГБ памяти. Квантованный формат AWQ ориентирован на более экономичное локальное развертывание, однако README не приводит подробностей о влиянии квантования на качество, аппаратных требованиях конкретного запуска или результатах именно этой квантованной сборки. Модель распространяется по лицензии DeepSeek Model Agreement; код проекта отдельно отмечен как распространяемый по MIT, но это не заменяет условия лицензии самой модели.

Dolphin X1 405B — диалоговая модель общего назначения, разработанная командой Dolphin на базе allenai/Llama-3.1-Tulu-3-405B. Это плотная авторегрессионная модель семейства Llama с 403,7 млрд параметров и контекстом до 131 072 токенов. Она сохраняет способности базовой модели следовать инструкциям и предназначена для диалогов и генерации текста; разработчики подчёркивают управляемость системным промптом и более низкий уровень отказов по сравнению с другими моделями этого класса. Модель рассчитана на развёртывание в собственных приложениях и инфраструктуре, где владелец задаёт системный промпт и правила поведения. В README приведены способы запуска через vLLM, Transformers и llama.cpp. Модель доступна по лицензии Apache-2.0. README заявляет о снижении частоты отказов, поэтому модель может выдавать ответы на запросы, которые другие модели отклоняют; качество и поведение следует оценивать в целевом сценарии.

davidsyoung/GLM-5.3-EXL3-TR3-3.25bpw — квантизированная версия GLM-5.3 от zai-org, подготовленная в формате EXL3/TR3 с использованием смешанной точности. В основе лежит MoE-модель GLM-5.3 объёмом 755 млрд параметров с архитектурой glm_moe_dsa: 78 слоёв и 256 маршрутизируемых экспертов на слой, включая MTP. Модель предназначена для генерации текста, сложного программирования и задач с длинной цепочкой рассуждений. Заявлены английский и китайский языки, а также поддержка библиотеки Transformers на уровне метаданных модели. Маршрутизируемые эксперты в слоях 3–78 квантизированы методом EXL3 с усреднённой точностью 3,25 бит на параметр: 192 эксперта на слой используют K3, а 64 наиболее чувствительных к ошибке — K4. Внимание, эмбеддинги, нормализации, lm_head и ранние плотные MLP сохранены в BF16; shared experts хранятся в BF16 и обслуживаются с online K6. Квантизация выполнена без калибровочных данных, с использованием trellis-поиска и детерминированных параметров. По измерениям README, отклонение от BF16-учителя при FP8 KV-кэше составило KLD 0,026103 на проверочных окнах. Главное преимущество — существенное снижение требований к памяти: модель рассчитана на запуск в конфигурации TP4 на четырёх GPU с 96 ГБ памяти и FP8 KV-кэшем, что делает крупную GLM-5.3 доступнее для локального сервинга. Ограничения связаны с нестандартным форматом: требуется стек на базе exllamav3-b12x или sparkinfer-lineage, поддерживающий смешанные projection tiers, TP4, DCP4/MTP3 и FP8 KV-кэш. Стандартный загрузчик vanilla exllamav3 несовместим и может выдавать некорректный текст; README также не указывает максимальную длину контекста. Лицензия обозначена как glm-5.3; подробные условия приведены по ссылке на лицензию базовой модели.

professorf/gpt-oss-20b-mxfp4-gguf — GGUF-квантизация модели gpt-oss-20b, опубликованная профессором Ником В. Флором. Это открытая языковая модель OpenAI семейства gpt-oss с архитектурой MoE: около 21 млрд параметров, из которых активно используются 3,6 млрд. Вариант MXFP4 рассчитан на локальный запуск и, согласно карточке, укладывается примерно в 16 ГБ памяти; модель работает в формате диалога Harmony и поддерживает настройку уровня рассуждений. Модель предназначена для диалога, генерации текста, задач рассуждения и агентных сценариев, включая вызов функций и работу с инструментами. Её можно запускать через Transformers, vLLM, Ollama и LM Studio. Карточка предупреждает, что формат Harmony обязателен для корректной работы, а цепочку рассуждений не следует показывать конечным пользователям. Лицензия — Apache 2.0.

NVIDIA Llama 3.1 405B Instruct FP8 — версия Meta Llama 3.1 405B Instruct, квантизованная NVIDIA до FP8 с помощью TensorRT Model Optimizer. Это плотная авторегрессионная Transformer-модель семейства Llama с примерно 403,7 млрд параметров; она принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Окно контекста составляет до 131 072 токенов. Модель предназначена для диалоговых систем и генерации ответов по инструкциям, а также для инференса через TensorRT-LLM или vLLM. По данным README, FP8-квантизация весов и активаций линейных операторов в блоках трансформера уменьшает требования к диску и видеопамяти примерно вдвое; на H200 заявлено ускорение примерно в 1,7 раза. README указывает совместимость с NVIDIA Blackwell, Hopper и Lovelace. Модель построена на базе Meta-Llama-3.1-405B-Instruct и не является разработкой NVIDIA: README уточняет, что NVIDIA подготовила её под требования конкретного сценария. Лицензия — Llama 3.1; карточка заявляет готовность к коммерческому и некоммерческому использованию в рамках её условий.

ErtasAI/Llama-3.2-1B-Instruct — это диалоговая языковая модель на базе Meta Llama 3.2, размещённая ErtasAI. Модель содержит около 1,2 млрд параметров и использует плотную авторегрессионную архитектуру Transformer; обучение включает настройку по инструкциям. Она принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и предназначена для многоязычного общения. Модель подходит для диалогового помощника, суммаризации, поиска сведений, переписывания запросов и помощи при написании текстов, в том числе в сценариях с ограниченными вычислительными ресурсами. В карточке базовой модели официально перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки; качество на других языках не гарантируется. Это дообученная версия meta-llama/Llama-3.2-1B-Instruct, поэтому её специфические изменения и преимущества в карточке не описаны. Модель предоставляется по лицензии Llama 3.2 Community License, предусматривающей собственные условия коммерческого использования.

Llama-3-70B-Synthia-v3.5 — универсальная языковая модель семейства Llama 3, дообученная разработчиком migtissera на наборе Synthia-v3.5 и других общедоступных данных. Вычислительные ресурсы для обучения предоставила KindoAI. Модель предназначена для следования инструкциям и продолжительных диалогов. Её можно применять для ответов на вопросы, написания и редактирования текста, объяснений и диалоговых сценариев. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и примерно 69,5 млрд параметров; она принимает текст, выдаёт текст и поддерживает контекст до 8192 токенов. В карточке приведены результаты оценивания на нескольких наборах задач, включая IFEval и BBH. Модель может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или иной неуместный контент; автор характеризует её как uncensored и рекомендует проверять ответы. Репозиторий содержит веса в формате safetensors. Лицензия — Llama 3 License (llama3).

Kaoeiri выпустил объединённую модель для генерации текста на основе Mistral-Small-Instruct-2409 и mistral-small-springdragon-qlora. Слияние выполнено методом task arithmetic с помощью mergekit; архитектура — плотная Mistral, модель содержит 22 млрд параметров и работает с контекстом до 131 072 токенов. Репозиторий содержит веса в формате safetensors, для работы указана библиотека Transformers. Модель предназначена для диалогов и генерации текста; метаданные также отмечают интерфейс вызова функций. Она поддерживает текстовый ввод и выдаёт текст. Лицензия в предоставленных данных не указана.

NeoHorse-1-4B-GGUF — набор общественных GGUF-квантизаций модели NeoHorse-1-4B, опубликованный пользователем ngquocvinh на основе модели TokenRhythm/NeoHorse-1-4B. Это текстовая авторегрессионная языковая модель примерно на 4 млрд параметров, дообученная из Qwen3.5-4B для агентских сценариев, использования инструментов, программирования, следования инструкциям и диалогового общения. Модель работает через llama.cpp и поддерживает форматы квантизации GGUF; варианты представлены с разным балансом между размером файлов и точностью сохранения поведения исходной BF16-модели. Модель предназначена для генерации текста, рассуждений, ответов на инструкции, кодирования и текстового tool use. Заявлена нативная длина контекста 262 144 токена, однако практически доступный контекст зависит от используемого runtime, объёма памяти, настроек KV-cache и рабочей нагрузки. Поддерживаются текстовые сценарии; vision-веса отсутствуют. Проверка поведения охватывала английский, вьетнамский и китайский языки, а также код, JSON и текстовый формат вызовов инструментов. Варианты Q8_0 и Q6_K лучше сохраняют исходное поведение, Q5_K_M является сбалансированным выбором, а Q4_K_M — более компактным практическим вариантом. К преимуществам относятся локальный запуск через llama.cpp, большой заявленный контекст, несколько вариантов размера и подтверждённая загрузка всех опубликованных квантизаций на NVIDIA A10M. Ограничения связаны с потерей качества в низкобитных вариантах: Q3 и более низкие версии отмечены как экспериментальные, а тест строгого вывода по JSON Schema завершился ошибкой инициализации runtime-сэмплера. Проверка tool use оценивала только формат сериализации, а не полноценное выполнение инструментов. Указана лицензия Apache-2.0; в данном репозитории изменён только формат хранения посредством квантизации, без дополнительного обучения.

Карточка модели ArchiveStudio/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Sakalti/ultiima-72B-v1.5 — объединённая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES. В качестве основы использована Sakalti/ultiima-72B; в объединение также вошли newsbang/Homer-v1.0-Qwen2.5-72B и shuttleai/shuttle-3. Модель содержит 71,5 млрд параметров, работает с текстом и рассчитана на контекст до 131 072 токенов. Модель предназначена для генерации текста и диалоговых сценариев; метаданные также указывают интерфейс вызова инструментов. Веса представлены в формате safetensors. Лицензия обозначена как other, поэтому перед использованием следует проверить условия на странице модели.

Charm 15 — текстовая генеративная модель на архитектуре Mistral с 2,1 млрд параметров, опубликованная ZeppelinCorp. По карточке она предназначена для диалоговой генерации, рассуждений, решения математических задач и написания кода. Модель дообучена на mattshumer/mistral-8x7b-chat; метаданные указывают формат SafeTensors и контекст до 4096 токенов. В README заявлены мультимодальные возможности для текста и изображений, однако архитектура и назначение репозитория описывают только текстовую генерацию, поэтому обработка изображений не подтверждена. Метаданные содержат широкий набор языковых тегов, а карточка перечисляет многоязыковую поддержку; основные языки не выделены. Лицензия — MIT. README также заявляет оптимизацию для ONNX и TensorFlow Lite, но эти форматы не подтверждены метаданными репозитория.

DeepSeek-V2.5-1210-FP8 — квантованная версия языковой модели DeepSeek-V2.5-1210, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена для задач генерации и обработки естественного языка, включая развертывание чат-сервисов и других приложений на базе causal language model. В README указано, что модель доступна для инференса через библиотеку Transformers и оптимизирована для vLLM версии 0.5.2 и выше. Модель использует архитектуру DeepSeek-V2.5-1210 и формат квантования FP8 для весов и активаций. Квантованию подвергаются линейные операторы в блоках трансформера, за исключением маршрутизаторов MLP. Переход с 16 на 8 бит примерно на 50% уменьшает размер модели на диске и требования к памяти GPU. Указанный максимальный размер контекста для примера развертывания составляет 4096 токенов; язык в карточке заявлен как английский. На OpenLLM Leaderboard V1 модель получила средний результат 77,8, практически совпавший с результатом неквантованной версии 77,82. Сильными сторонами модели являются снижение требований к дисковой и GPU-памяти при сохранении близкой к исходной результативности, а также поддержка эффективного инференса и OpenAI-совместимой подачи через vLLM. Ограничения включают зависимость от совместимого стека vLLM, необходимость использования tensor parallelism для конфигурации из примера и отсутствие в README подробных сведений о числе параметров, полном списке языков и характеристиках исходной архитектуры. Модель распространяется по лицензии DeepSeek; точные условия указаны в файле лицензии по ссылке, приведенной в карточке.

Gemma-4-31B-IT-NVFP4-GGUF — квантизированная версия мультимодальной модели Google Gemma-4-31B-it, подготовленная LibertAI для запуска через llama.cpp. Модель предназначена для генерации и понимания текста, а с дополнительным файлом mmproj — также для обработки изображений и аудио. Указан английский язык поддержки. Это плотная decoder-модель примерно на 30,7 млрд параметров с гибридной схемой локального скользящего и глобального внимания, unified KV в глобальных слоях и Proportional RoPE для длинного контекста. Тензоры dense FFN квантизированы в NVFP4, а остальные компоненты используют варианты GGUF-квантизации Q4_K_M, Q8_0 или BF16. Доступны файлы размером примерно от 17 до 30 ГБ; для мультимодального ввода требуется отдельный mmproj-файл размером около 1,2 ГБ. В README приведены примеры запуска с контекстом до 32768 токенов и результаты тестов на NVIDIA RTX 5090. Главное преимущество NVFP4-варианта — уменьшенный объём видеопамяти и высокая производительность на NVIDIA Blackwell, включая RTX 50-й серии, B100 и B200; вариант Q4_K_M рекомендован для наиболее эффективной работы. На старых GPU модель запускается, но преимуществ в производительности NVFP4 может не быть. Большой KV-кэш Gemma-4 ограничивает высокую конкурентную нагрузку, а более точные варианты требуют больше памяти. Модель распространяется по лицензии Gemma, унаследованной от исходной модели Google.

Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP — квантизированная версия модели Huihui-Qwen3.6-27B-abliterated, опубликованная пользователем или организацией sakamakismile и основанная на семействе Qwen3.5. Это гибридная модель с чередованием linear attention и периодических блоков full attention, дополненная встроенной MTP-головой для speculative decoding. Модель предназначена для генерации текста, рассуждений и вызова инструментов; заявлена также мультимодальная совместимость с визуальными и видеотокенами, но данный вариант ориентирован на текстовый режим. Модель использует формат NVFP4 с конфигурацией modelopt W4A4 и имеет размер 27B параметров. Поддерживается контекст до 262144 токенов, при этом в рекомендуемой конфигурации используется 65536 токенов. Предусмотрен вывод рассуждений в тегах <think> и XML-вызовы инструментов. Для ускорения генерации применяется MTP с тремя спекулятивными токенами; в приведённых тестах на четырёх NVIDIA RTX PRO 2000 Blackwell заявлены скорости около 81–83 токенов в секунду для одного потока и до примерно 880 токенов в секунду при 24 одновременных запросах. К сильным сторонам относятся поддержка длинного контекста, экономичное KV-кэширование, ускоренная генерация и интеграция с vLLM. Основные ограничения — необходимость четырёх GPU NVIDIA Blackwell по 16 ГБ, совместимого ПО и CUDA 13.x для оптимальных NVFP4-ядер, а также возможные риски, связанные с характером abliterated-модели и отсутствием заявленных ограничений безопасности. Лицензия — Apache-2.0.

Huihui-Qwen3.8-27B-abliterated-FP8-v2 — мультимодальная модель для обработки текста и изображений, созданная пользователем batsclamp на основе huihui-ai/Huihui-Qwen3.8-27B-abliterated. Это версия v2, квантизированная из upstream-релиза от 24 августа 2026 года; исходная модель основана на семействе Qwen3.8. Модель предназначена для генерации текста, рассуждений, работы с изображениями, а также сценариев с вызовом инструментов и использованием vLLM. Модель имеет размер 27B параметров и поддерживает контекст до 262 144 токенов при указанной конфигурации обслуживания. Используется гибридная архитектура с Mamba-проекциями и визуальной башней; 256 плотных линейных модулей квантизированы в FP8 E4M3 с поканальными статическими масштабами для весов и динамическим масштабированием по токенам для активаций. Формат хранения — compressed-tensors float-quantized. Визуальная часть, эмбеддинги, нормализации, lm_head и MTP-модуль сохранены в BF16, что позволяет использовать speculative decoding. Преимуществами являются уменьшенный размер по сравнению с BF16-версией, совместимость с vLLM и потенциально более высокая точность квантизации благодаря поканальному масштабированию. При этом качество FP8-варианта не подтверждено полноценными бенчмарками: заявлены только структурная проверка и тестовая генерация. Модель аблитерирована, поэтому у неё удалено исходное поведение отказа и отсутствуют гарантии безопасности оригинального релиза; при высоком уровне reasoning effort она может расходовать очень большой бюджет вывода и возвращать пустой ответ при преждевременном ограничении max_tokens. Лицензия — Apache 2.0.

INF-34B-Base — базовая плотная языковая модель с 34 млрд параметров, разработанная командой INF и построенная на архитектуре LLaMA. Для стабилизации обучения вместо RMSNorm используется LayerNorm с gamma, центрированной относительно нуля. Модель предварительно обучена примерно на 3,5 трлн очищенных токенов из англо-китайского корпуса. README сообщает о контексте до 32K токенов, тогда как метаданные Hugging Face указывают native context в 4096 токенов. Модель предназначена для генерации текста и служит основой для последующей адаптации под диалоговые и прикладные сценарии. В обучении уделялось внимание общим знаниям, математике и программированию, а разработчики также отмечают потенциал в финансах и здравоохранении. В README приведены результаты базовой модели на академических тестах, включая MMLU, CMMLU и GSM8K. Модель опубликована в формате safetensors. В метаданных указана лицензия other; README допускает коммерческое применение на условиях раздела лицензии, но сам текст условий здесь не приведён. Заявление о работе квантованной версии на видеокартах с 24 ГБ видеопамяти относится к отдельной квантованной версии, а не непосредственно к этому базовому репозиторию.

InternVL2_5-78B — мультимодальная модель серии InternVL 2.5, разработанная командой OpenGVLab. Она сочетает зрительный энкодер InternViT и языковую модель Qwen2.5-72B-Instruct в архитектуре ViT-MLP-LLM; компоненты объединены с помощью обучаемого MLP-проектора. Репозиторий использует формат safetensors и библиотеку Transformers. Модель предназначена для диалога по изображениям, анализа нескольких изображений и видеокадров, а также для текстовой генерации. Динамическое разбиение изображений на тайлы 448×448 помогает работать с изображениями высокого разрешения; поддерживаются многоязычные сценарии, включая OCR и анализ математических диаграмм. В обучении использовано 120 млрд токенов. Длина контекста в доступных сведениях не приводится. Модель подходит для визуальных вопросов и ответов, описания изображений и видео, распознавания текста на изображениях и диалоговой генерации. Её размер 78 млрд параметров требует значительных вычислительных ресурсов; обработка нескольких изображений увеличивает расход контекста. В метаданных указана лицензия other, поэтому конкретные условия использования следует сверять с лицензией в репозитории.

LLaMa-3.1-Instruct-Zeroed-13B — объединённая языковая модель семейства Llama, созданная сообществом mergekit методом passthrough на основе unsloth/Meta-Llama-3.1-8B-Instruct. Она предназначена для диалогов и генерации текста по инструкциям; поддерживает интерфейс вызова инструментов. Модель содержит 12,5 млрд параметров, принимает текст и имеет контекстное окно до 131 072 токенов. Модель подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста. В репозитории указаны веса Safetensors для Transformers. Лицензия в предоставленных данных не указана.

Карточка модели zsjTiger/Llama-3.2-1B на Hugging Face совпадает с карточкой unsloth/Llama-3.2-1B, поэтому описание составлено по ней. unsloth/Llama-3.2-1B — текстовая модель генерации на базе Meta Llama 3.2, представленная Unsloth. Это плотная авторегрессионная трансформерная архитектура Llama с 1,2 млрд параметров; репозиторий содержит веса в формате safetensors и предназначен для использования через Transformers. В README Unsloth также предлагает ноутбуки для дообучения модели и экспорта полученных моделей. Модель принимает текст и генерирует текст. Семейство Llama 3.2 предназначено для генерации и диалога; в карточке указаны сценарии суммаризации и агентного поиска, а также поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Контекстное окно составляет 131072 токена. Модель опубликована 25 сентября 2024 года и распространяется по лицензии Llama 3.2 Community License, условия которой следует соблюдать при использовании и распространении.