I.6Перевод и языковая адаптация

infosave/Qwen3.8-27B-cmf — это квантизированная версия модели Qwen3.8-27B, преобразованная в контейнер CMF. Исходная модель разработана командой Qwen, а данный репозиторий содержит её представление для запуска через cortiq — нативный Rust-бинарник без Python и ML-фреймворков. Модель предназначена для генерации текста, диалогов, объяснения технических тем и работы через API, совместимый с OpenAI, а также через Ollama-совместимый интерфейс. Модель имеет 27 млрд параметров и гибридную архитектуру: 48 слоёв GatedDeltaNet с линейным вниманием и 16 слоёв полного внимания. Заявлено контекстное окно до 262 тысяч токенов и режим рассуждений. Поддерживаются английский, русский и китайский языки. Доступны варианты квантизации 4-bit и 8-bit; наиболее компактный q4tp занимает 14,3 ГБ, q4t — 15,4 ГБ, а q8_2f — 27,4 ГБ. К сильным сторонам относятся большое контекстное окно, поддержка различных GPU через Vulkan, Metal и DX12, работа на CPU, совместимость с NVIDIA, AMD, Intel и Apple silicon, а также возможность спекулятивного декодирования для ускорения жадной генерации. Ограничения связаны с высокими требованиями к памяти, зависимостью производительности от оборудования и характера запроса, а также с тем, что спекулятивное декодирование применяется преимущественно для greedy-генерации и не всегда ускоряет свободный текст. Модель распространяется по лицензии Apache-2.0.

TelperionAI/Qwen3.8-27B-NVFP4-AWQ-GPTQ — это квантованная версия базовой модели Qwen/Qwen3.8-27B, опубликованная под лицензией Apache-2.0. Модель предназначена для запуска большой языковой модели с меньшими требованиями к памяти, прежде всего в задачах генерации и обработки текста, включая программирование, математику, STEM, диалоги и многоязычные сценарии. В README также указана поддержка speculative decoding через MTP и возможность FP8-квантизации KV-кэша. Модель использует смешанную точность: основные MLP-слои квантованы в NVFP4 с группами размера 16 и FP8-масштабами, часть MLP-слоёв, attention- и GDN-модули работают в динамическом FP8, а эмбеддинги, lm_head, нормализации, параметры состояния GDN, MTP-голова и vision tower сохранены в BF16. Квантизация выполнена методом AWQ с последующим GPTQ и калибровкой на сбалансированном наборе данных из кода, математики, STEM, диалогов и многоязычных текстов. Размер чекпойнта составляет около 24,7 ГБ. По приведённому сравнению модель точнее других рассмотренных NVFP4-чекпойнтов и заметно компактнее FP8-версии, сохраняя высокую скорость инференса. AWQ повышает устойчивость к потере качества без увеличения размера или снижения пропускной способности. Ограничения включают необходимость Blackwell-класса GPU, совместимый vLLM с compressed-tensors и то, что оценка проводилась только на одном внутреннем корпусе; качество vision tower отдельно не оценивалось. Acceptance rate для MTP не измерялся.

Wizard-Zephyr-Orpo-8x22B — объединённая диалоговая языковая модель, созданная разработчиком tlphams с помощью mergekit на основе alpindale/WizardLM-2-8x22B и HuggingFaceH4/zephyr-orpo-141b-A35b-v0.1. Она предназначена для генерации текста в диалоге и ответов на запросы; базовая модель WizardLM рассчитана на сложные запросы, рассуждения, многоязычное общение, программирование и математику. Модель использует архитектуру Mixtral MoE и класс MixtralForCausalLM, содержит 22B параметров и имеет контекст длиной до 65 536 токенов. Доступна в формате safetensors для Transformers. Автор сообщает, что результат MT-Bench был немного ниже, чем у alpindale/WizardLM-2-8x22B, но выше GPT-4-0314; это оценка из README, а не гарантия качества. Лицензия CC-BY-NC-SA-4.0 разрешает использование с указанием авторства и на условиях распространения производных материалов по той же лицензии, но ограничивает коммерческое использование.

FriendliAI публикует версию C4AI Command R+, квантизированную в FP8 для ускорения инференса при сохранении высокой точности. В основе — авторегрессионный трансформер CohereForAI примерно на 103,8 млрд параметров; модель принимает текст и генерирует текст. Для этой версии метаданные указывают контекст 8192 токена. Указанные в карточке базовой Command R+ 128K токенов к этой версии не относятся. Модель предназначена для диалогов, ответов на вопросы, суммаризации, RAG и многошагового использования инструментов. Она оптимизирована для английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков; русский входил в дополнительные языки предобучения. Для работы с FP8 нужны GPU NVIDIA Ada, Hopper или Blackwell; README описывает запуск через Friendli Container. Лицензия — CC-BY-NC-4.0, с ограничениями на коммерческое использование.

ChatGLM3-6B-128K 是由 Z.ai（智谱 AI）推出的 ChatGLM3 系列长文本对话模型，基于 ChatGLM3-6B 并针对长上下文更新了位置编码和训练方法。Модель поддерживает контекст до 131072 токенов и предназначена для многоходового диалога, анализа длинных документов и сценариев с вызовом инструментов, выполнением кода и агентскими задачами. Архитектура — плотная ChatGLM, размер — 7,5 млрд параметров; модель работает с текстом и поддерживает китайский и английский языки. Для контекстов до 8K авторы рекомендуют ChatGLM3-6B, а эту версию — для более длинных входов. Веса доступны для академических исследований; бесплатное коммерческое использование разрешено после регистрации через анкету.

DeepSeek-V3 — крупная языковая модель, разработанная командой DeepSeek и представленная в репозитории Unsloth на базе deepseek-ai/DeepSeek-V3. Она предназначена для задач генерации и обработки текста, включая диалоговые приложения, продолжение текста, адаптацию под специализированные наборы данных и запуск через совместимые инструменты Transformers, vLLM или GGUF. В README указан английский язык модели. Модель использует архитектуру Mixture-of-Experts (MoE) с 671 млрд общих параметров, из которых 37 млрд активируются для каждого токена. В ней применяются Multi-head Latent Attention (MLA), архитектура DeepSeekMoE, стратегия балансировки нагрузки без вспомогательной функции потерь и обучение с предсказанием нескольких токенов, которое может использоваться для ускорения speculative decoding. Предобучение выполнено на 14,8 трлн токенов, после чего проведены Supervised Fine-Tuning и Reinforcement Learning. К сильным сторонам относятся высокая заявленная производительность, эффективность MoE и стабильность обучения; ограничением являются очень большие требования к вычислительным ресурсам для запуска и обучения, а размер контекста и мультимодальные возможности в README не указаны. Лицензия — MIT.

JiRack Ultra 7B — текстовая модель для генерации и диалогов от CMSManhattan. Она построена на плотной архитектуре Qwen2 с 7,1 млрд параметров, а в карточке модели также заявлена основа DeepSeek R1 7B. Модель оптимизирована для запуска на CPU: автор сообщает о применении технологий BitNet и QAT, а в репозитории доступны веса safetensors и варианты GGUF с квантованием от Q2_K до Q8_0. Указанный контекст — до 131 072 токенов. Модель предназначена для диалоговых сценариев, использования в RAG, агентной разработки и вызова инструментов. Карточка упоминает специализированные токены для маршрутизации, мультимедиа, зрения, звука и робототехники, но метаданные подтверждают только текстовую генерацию и возможность чата; мультимодальный ввод или вывод ими не подтверждён. Среди отмеченных в метаданных языков — английский, китайский, японский, корейский, французский, испанский, португальский, немецкий, итальянский, русский, арабский, вьетнамский и тайский. По заявлению автора, модель рассчитана на экономичный локальный или облачный инференс, включая запуск через llama.cpp и Ollama. Для квантованного Q4_K_M README рекомендует не менее 12 ГБ системной памяти, а для комфортной работы — 16–24 ГБ; фактическая скорость зависит от процессора и контекста. Веса распространяются по лицензии MIT, однако Docker-образ, готовые Ollama-сборки и UI-клиенты могут требовать отдельной коммерческой лицензии.

Heretic-org/LFM-2.5-2.6B-heretic — текстовая чат-модель на 2,6 млрд параметров, созданная с помощью Heretic v1.4.0 как «децензурированная» версия LiquidAI/LFM2.5-2.6B. Это плотная причинная языковая модель семейства LFM2 с 30 слоями и контекстом до 131 072 токенов; модель работает с текстом и поддерживает многоязычный ввод и генерацию, включая русский, английский, арабский, китайский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, польский, португальский, испанский, тайский и вьетнамский. Модель предназначена для диалогов, следования инструкциям, работы с инструментами, извлечения данных, RAG и сценариев с длинным контекстом, в том числе локального и периферийного развертывания. В README приведено сравнение с исходной моделью: 4 отказа из 100 запросов против 98 у оригинала при KL-дивергенции 0,0321; это указывает на снижение склонности к отказам, но не доказывает универсальное качество или безопасность. Разработчик исходной модели — Liquid AI; эту производную модель подготовил heretic-org. Указана лицензия «other», поэтому конкретные права и ограничения следует проверять в файлах репозитория и условиях исходной модели.

LFM2.5-8B-A1B — мультиязычная текстовая модель Liquid AI для диалогов и рассуждений. Это дообученная версия базовой модели LiquidAI/LFM2.5-8B-A1B-Base; архитектура — гибридная MoE с 8,3 млрд параметров всего и примерно 1,5 млрд активных. Модель рассчитана на запуск на устройствах и поддерживает контекст до 128 000 токенов. Модель предназначена для персональных ассистентов, выполнения сложных инструкций, вызова инструментов, структурированного вывода и агентных сценариев. Она поддерживает английский, арабский, китайский, французский, немецкий, итальянский, японский, корейский, португальский и испанский языки. Для инференса доступны Transformers, vLLM и SGLang; авторы также отмечают поддержку llama.cpp и MLX. По карточке, модель показывает конкурентные результаты для своего размера в следовании инструкциям и агентных задачах. Она хуже подходит для сложного программирования и вопросов, требующих обширных знаний без поиска по источникам. Лицензия указана как other; конкретные условия следует сверить с файлами лицензии в репозитории.

NVIDIA Llama 3.1 70B Instruct FP8 — квантованная до FP8 версия диалоговой языковой модели Meta Llama 3.1 70B Instruct. В README указано, что модель разработана не NVIDIA: веса и активации линейных операторов в блоках трансформера преобразованы в FP8 с помощью TensorRT Model Optimizer. Архитектура — авторегрессионный трансформер Llama 3.1 с 69,5 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и интерфейс для вызова инструментов. Модель предназначена для диалоговых ассистентов и генерации текста. FP8-квантование примерно вдвое сокращает требования к дисковому пространству и памяти GPU; в описанном тесте на H100 заявлено ускорение примерно в 1,5 раза. Для инференса указаны TensorRT-LLM и vLLM, совместимое оборудование включает NVIDIA Blackwell, Hopper и Lovelace. Лицензия — Llama 3.1; README сообщает о возможности коммерческого и некоммерческого использования. Следует учитывать условия лицензии Meta и ограничения исходной модели. Модель текстовая, поэтому она не принимает изображения, аудио или видео.

mistral-community/mixtral-8x22B-v0.3 — текстовая генеративная модель семейства Mixtral, опубликованная сообществом mistral-community. Архитектура — MixtralForCausalLM с механизмом смеси экспертов (MoE); модель предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Контекстное окно составляет до 65 536 токенов. Эта версия соответствует v0.1, но использует токенизатор большего размера. В репозитории представлены веса Safetensors; лицензия — Apache-2.0. Карточка предупреждает, что чекпойнт может быть неактуальным, и рекомендует использовать соответствующую версию у организации-разработчика.

NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 — квантизированная FP8-версия большой языковой модели NVIDIA Nemotron-Nano-3-30B-A3B, разработанная NVIDIA Corporation с нуля. Модель предназначена для генерации текста, диалогов, решения задач с рассуждением, следования инструкциям, работы с кодом и математикой, а также сценариев tool-calling. В карточке также заявлены задачи text-to-text, image-to-text и reasoning, однако подробности о мультимодальных возможностях не приведены. Модель использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE, а также 6 attention-слоёв. Всего модель содержит около 30 млрд параметров, из которых 3,5 млрд активируются для каждого токена. Каждый MoE-слой включает 128 экспертов и одного общего эксперта, при этом для токена активируются 6 экспертов. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский языки; также указано улучшение с использованием Qwen. Размер контекста в предоставленных данных не указан. Модель объединяет режимы с рассуждением и без него. По умолчанию она может сначала формировать reasoning trace, а затем итоговый ответ; рассуждение можно отключить через настройку chat template, что немного снижает точность на сложных запросах. К сильным сторонам относятся сочетание высокой общей ёмкости с меньшим числом активных параметров, поддержка нескольких языков и специализированных сценариев, включая reasoning и tool-calling. Ограничениями являются необходимость совместимого инференсного стека и отсутствие в карточке подробных результатов бенчмарков, сведений о контекстном окне и детального описания заявленной image-to-text функциональности. Модель распространяется по NVIDIA Open Model License. Она валидирована в RHOAI 3.0, RHAIIS 3.2.5 и vLLM 0.11.2.

Qianfan-OCR — мультимодальная vision-language модель для анализа документов, разработанная командой Baidu Qianfan. Это end-to-end модель с 4 млрд параметров, предназначенная для преобразования изображений документов в Markdown и выполнения задач OCR, анализа структуры и расположения элементов, извлечения таблиц, понимания графиков, ответов на вопросы по документам и извлечения ключевой информации. Представленная версия распространяется в формате GGUF и была создана с использованием llama.cpp. Архитектура включает vision-энкодер Qianfan-ViT с 24 Transformer-слоями и поддержкой изображений разрешением до 4K, языковую модель Qwen3-4B с контекстом 32K токенов, расширяемым до 131K, а также двухслойный cross-modal adapter. Модель поддерживает OCR на 192 языках. Опциональный режим Layout-as-Thought позволяет сначала сформировать структурированное описание макета с ограничивающими рамками, типами элементов и порядком чтения, что полезно для сложных и неоднородных страниц; для простых документов этот режим можно отключать ради снижения задержки. Сильными сторонами модели являются единый подход к распознаванию и пониманию документов, поддержка сложной структуры, таблиц и многоязычного OCR. В заявленных результатах она получила 93,12 на OmniDocBench v1.5, 79,8 на OlmOCR Bench и 880 баллов на OCRBench; производительность достигает 1,024 страницы в секунду при W8A8-квантизации на одной GPU A100. Ограничения включают зависимость качества и скорости от разрешения изображений, сложности макета и выбранного режима обработки; конкретные требования к оборудованию для GGUF-версии в карточке не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen1.5-32B-Chat-GPTQ-Int4 — чат-модель из серии Qwen, разработанная командой Qwen. Это decoder-only языковая модель на архитектуре Transformer, дообученная с применением supervised fine-tuning и direct preference optimization для диалогового взаимодействия и генерации текста. Она предназначена для создания виртуальных ассистентов, ответов на вопросы, ведения диалогов и других сценариев text-generation. Модель содержит 32 млрд параметров и предоставляется в формате GPTQ с 4-битным квантованием, что снижает требования к памяти по сравнению с полноразмерной версией. Для неё заявлена поддержка контекста до 32K токенов, мультиязычность и работа с естественными языками и кодом; в метаданных README явно указан английский язык. Архитектура включает SwiGLU, bias в QKV и group query attention для версии 32B. Модель поддерживает стандартный интерфейс Transformers без необходимости использовать trust_remote_code. К сильным сторонам относятся чатовая настройка, улучшенная работа с предпочтениями пользователей, большой контекст и более экономичное размещение благодаря Int4-квантованию. Ограничения включают beta-статус семейства, возможные проблемы при переключении между языками и необходимость подбора рекомендованных параметров генерации. README временно не рекомендует развёртывание этой версии через vLLM и советует использовать AWQ-модель. Для загрузки рекомендуется transformers версии 4.37.0 или новее. Лицензия указана как tongyi-qianwen; применяются условия лицензии, опубликованной разработчиками.

mlx-community/Qwen3-4B-bf16 — конверсия модели Qwen/Qwen3-4B в формат MLX, выполненная сообществом mlx-community; веса представлены в bf16. Это плотная авторегрессионная языковая модель Qwen3 с примерно 3,7 млрд параметров, предназначенная для генерации текста и диалогов. Она поддерживает контекст до 40 960 токенов, а метаданные также указывают интерфейс для вызова инструментов. Модель можно применять для ответов в чате, рассуждений, генерации кода и многоязычных текстовых задач. Для запуска используется библиотека MLX и пакет mlx-lm; карточка README описывает преобразование исходной модели Qwen/Qwen3-4B в формат MLX. Лицензия — Apache-2.0.

Hyper-AI/Qwen3.5-9B-fp8 — квантизированная FP8-версия мультимодальной модели Qwen3.5-9B, основанная на Qwen/Qwen3.5-9B-Base. Модель предназначена для задач понимания и генерации текста, визуального анализа и сценариев vision-language, включая рассуждение, программирование, работу с изображениями и агентские приложения. Квантизация выполнена с использованием lightvl — инструментария, разработанного автором репозитория; модель совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers, а запуск через vLLM заявлен как поддерживаемый. Это causal language model с vision encoder и 9 млрд параметров. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженный Mixture-of-Experts; языковая часть содержит 32 слоя, скрытое измерение 4096 и поддерживает контекст длиной 262 144 токена с расширением до 1 010 000 токенов. Qwen3.5 заявляет поддержку 201 языка и диалекта, однако конкретные языки и характеристики визуального энкодера для этой версии отдельно не раскрыты. Основные преимущества версии — снижение потребления памяти примерно с 19 до 12 ГБ и заявленное ускорение примерно на 30% по сравнению с исходной моделью, что делает её более подходящей для локального и высокопроизводительного инференса. Ограничения связаны с использованием FP8-квантизации: фактическая точность и совместимость могут зависеть от оборудования и программного стека, а в README не приведены подробные результаты сравнения именно с неквантизированной версией. Модель распространяется по лицензии Apache-2.0.

Это текстовая языковая модель Lemura Labs, представляющая собой MLX-квантизацию модели Qwen3.6-27B-Claude-Opus-Reasoning-Distill-v2 от TeichAI. В основе лежит Qwen3.6-27B от команды Qwen; модель дополнительно прошла abliteration — удаление направлений, связанных с отказами, — с использованием OBLITERATUS, а затем была подвергнута статической смешанной квантизации OptiQ примерно до 3,7 бит на вес. Модель предназначена для генерации текста, диалогов, рассуждений, объяснений и планирования. Она поддерживает текстовые сценарии на английском и, согласно метаданным, мультиязычные задачи. Это модель только для текста: визуальный ввод и обработка изображений недоступны, поскольку исходный визуальный модуль был удалён. Архитектура включает гибридный стек из слоёв GatedDeltaNet и полноценных softmax-attention, 64 слоя, скрытое представление размером 5120, словарь около 248 тысяч токенов и контекст до 262 тысяч токенов. Главное преимущество версии — соотношение размера и качества: файл занимает около 12 ГБ, а модель рассчитана примерно на 16 ГБ оперативной памяти на устройствах Apple Silicon, включая M1–M4 Air, mini и базовые Pro. Квантизация OptiQ распределяет точность по слоям на основе чувствительности и KL-дивергенции, стремясь сохранить качество при ограниченных ресурсах. Ограничения включают отсутствие зрения, возможные потери качества из-за квантизации и особенности abliterated-модели: она может отвечать на запросы, от которых исходная модель отказывалась, поэтому её следует применять ответственно и в рамках закона. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска в формате MLX с использованием mlx-lm, прежде всего на Apple Silicon.

NVIDIA Qwen3-Next-80B-A3B-Instruct NVFP4 — это квантизированная версия авторегрессионной текстовой модели Qwen3-Next-80B-A3B-Instruct, разработанной Alibaba. NVIDIA подготовила и оптимизировала эту версию с помощью TensorRT Model Optimizer; сама базовая модель не является разработкой NVIDIA. Модель предназначена для генерации текста, чат-ботов, AI-агентов, RAG-систем и других приложений на базе больших языковых моделей. Модель использует архитектуру Transformers с сетевой архитектурой Qwen3NextForCausalLM, принимает текстовые последовательности и генерирует текст. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Количество параметров в карточке не раскрыто. Веса и активации линейных операторов внутри трансформерных блоков переведены в формат NVFP4, что уменьшает число бит на параметр с 16 до 4, а размер на диске и требования к памяти GPU примерно в 3,3 раза. К сильным сторонам относятся сниженные требования к памяти и готовность к ускоренному выводу через TensorRT-LLM. Основные ограничения связаны с привязкой к NVIDIA GPU, совместимостью прежде всего с микроархитектурой NVIDIA Blackwell и предпочтительной средой Linux; для использования требуется дополнительное тестирование на данных конкретного сценария. Модель распространяется по лицензии Apache License 2.0 и допускает коммерческое и некоммерческое использование. Для инференса заявлена интеграция с TensorRT-LLM; результаты полной оценки в предоставленной карточке приведены не полностью.

Qwen3-VL-8B-Instruct-GGUF — мультимодальная vision-language модель серии Qwen, разработанная командой Qwen. Репозиторий содержит веса модели Qwen3-VL-8B-Instruct в формате GGUF, разделённые на языковую модель и vision encoder. Модель предназначена для понимания и генерации текста по текстовым и визуальным данным, включая изображения и видео, а также для визуального анализа, OCR, пространственного рассуждения, STEM-задач и взаимодействия с графическими интерфейсами. Доступны варианты языковой части FP16, Q8_0 и Q4_K_M, а vision encoder — FP16 и Q8_0, что позволяет выбирать баланс качества, скорости и требований к памяти. Формат совместим с llama.cpp, Ollama и другими GGUF-инструментами, поддерживает CPU, NVIDIA GPU, Apple Silicon и Intel GPU. Для семейства Qwen3-VL заявлены контекст до 256K токенов с возможностью расширения до 1M, улучшенное понимание длительных видео, OCR на 32 языках, распознавание объектов и документов, визуальное кодирование, 2D- и 3D-заземление, а также механизмы Interleaved-MRoPE, DeepStack и временного выравнивания текста с событиями видео. Сильными сторонами являются сочетание текстовых и визуальных возможностей, поддержка видео, расширенный контекст, работа с документами и возможность локального запуска на разнообразном оборудовании. Ограничения включают зависимость требований к ресурсам и качества от выбранной точности квантования, необходимости использовать актуальную версию совместимого ПО и наличия подходящего оборудования; конкретные языки, точные результаты бенчмарков и детальные ограничения именно версии 8B в README не указаны. Лицензия — Apache-2.0.

Qwopus3.8-27B-Flash-GGUF — это мультимодальная инструкция-ориентированная модель на 27 миллиардов параметров, представленная в формате GGUF. Она основана на модели Jackrong/Qwopus3.8-27B-Flash, а GGUF-квантизацию выполнил mradermacher. Модель поддерживает обработку текста и изображений, генерацию текста, рассуждения, написание кода, агентские сценарии, использование инструментов и вызов функций. Заявлена поддержка английского, китайского, испанского, русского и японского языков. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, а также для задач conversational AI, text-generation и image-text-to-text. В комплект входят мультимодальные дополнения mmproj, необходимые для работы с изображениями, и несколько вариантов квантизации размером примерно от 11 до 29,1 ГБ. В README наиболее быстрыми и рекомендуемыми названы Q4_K_S и Q4_K_M, а Q8_0 отмечен как вариант с лучшим качеством среди перечисленных. К сильным сторонам относятся мультимодальность, поддержка нескольких языков, возможности рассуждения, генерации кода, агентского взаимодействия и tool use, а также широкий выбор вариантов квантизации для локального запуска. Ограничения включают необходимость значительных вычислительных ресурсов для 27B-модели, возможное снижение качества при сильной квантизации и отсутствие в README сведений о размере контекста, результатах бенчмарков и подробностях архитектуры. Модель распространяется по лицензии Apache-2.0.

llmfan46/gemma-4-12B-it-uncensored-heretic — производная от Google Gemma 4 12B IT модель, опубликованная независимым автором. По README это мультимодальная модель для диалога, рассуждений, программирования и понимания текста, изображений, видео и аудио. Вариант 12B построен на плотной архитектуре Gemma 4 Unified с чередованием локального скользящего и глобального внимания; заявленный контекст базовой модели — до 256K токенов. Модель поддерживает многоязычные сценарии и вызов инструментов. В названии и тегах автор характеризует эту версию как uncensored, decensored и abliterated; README сообщает о целевом компоненте attn.o_proj, но не раскрывает конкретную методику изменения модели. Заявлены распознавание речи и перевод речи в текст, а также анализ изображений и последовательностей видеокадров. Возможные применения включают диалоговых помощников, извлечение сведений из документов и изображений, суммаризацию и генерацию кода. Ответы могут содержать фактические ошибки, отражать смещения обучающих данных и быть ненадёжными при неоднозначных или сложных запросах. Указанная в метаданных лицензия — Apache-2.0.

LibertAIDAI/GLM-5.3-NVFP4 — квантизированная версия GLM-5.3, разработанного Z.ai (Zhipu), подготовленная LibertAI. Модель предназначена для генерации текста, диалоговых приложений, рассуждений, работы с инструментами и обработки длинного контекста; заявлена поддержка английского и китайского языков. Модель содержит около 753 млрд параметров и использует архитектуру glm_moe_dsa с разреженным MoE-механизмом на 256 маршрутизируемых экспертов и DeepSeek-sparse attention. Заявленный контекст составляет до 1 млн токенов. Вариант NVFP4 квантизирует преимущественно веса экспертных FFN-слоёв, тогда как attention, маршрутизаторы, общие эксперты, эмбеддинги, нормализации и другие чувствительные компоненты сохраняются в BF16. Размер весов сокращён примерно с 1403 до 433 GiB, а сходство с исходными весами по round-trip cosine составляет 0,9961. Основное преимущество модели — существенное снижение требований к памяти: она рассчитана на запуск, в частности, на четырёх GPU B200 и поддерживается vLLM и SGLang без специальной сборки. Ограничениями остаются крайне большой общий размер модели, необходимость мощной многографической GPU-конфигурации и возможные потери точности, связанные с квантизацией. Модель имеет лицензию glm-5.3; в карточке указана лицензия other со ссылкой на лицензию базовой модели.

Карточка модели kakaocorp/kanana-2-30b-a3b-thinking-2601 на Hugging Face совпадает с карточкой kakaocorp/kanana-2-30b-a3b-instruct-2601, поэтому описание составлено по ней. Kanana-2-30B-A3B-Instruct-2601 — инструктивная языковая модель компании Kakao для диалогов и сценариев агентного ИИ. Она предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов; модель можно развернуть, например, через vLLM или SGLang с поддержкой выбора инструментов. Модель основана на архитектуре DeepSeek V3 с механизмом внимания MLA и разреженной смесью экспертов (MoE): всего 30 млрд параметров, из которых активируются около 3 млрд. Контекст составляет до 32 768 токенов. Семейство поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки. README указывает лицензию как отличную от стандартных вариантов, поэтому перед использованием следует проверить условия на странице репозитория Hugging Face. Для обработки контекста свыше 32 768 токенов требуется отдельно настроить YaRN; такая настройка может повлиять на качество коротких текстов. Метаданные указывают 2,9 млрд параметров, что расходится с описанием серии в README (30 млрд всего и около 3 млрд активных).

mlx-community/Llama-3.3-70B-Instruct-bf16 — конверсия модели Meta Llama 3.3 70B Instruct в формат MLX, выполненная сообществом mlx-community с помощью mlx-lm 0.20.1. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, предназначенная для диалогов, следования инструкциям и генерации текста; метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст. Контекстное окно составляет до 131 072 токенов. Поддерживаемые языки включают английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий. Модель подходит для диалоговых ассистентов, генерации и преобразования текста, а также работы с длинными текстовыми контекстами. Репозиторий содержит веса в safetensors и предназначен для использования с MLX. Лицензия — Llama 3.3; условия Meta следует соблюдать при использовании и распространении модели. Для запуска требуется совместимая среда MLX, а модель такого размера предъявляет значительные требования к памяти и вычислительным ресурсам.

Это копия Mistral-7B-Instruct-v0.1, опубликованная sanchit-gandhi. Модель представляет собой плотный трансформер Mistral с 7,1 млрд параметров, дообученный для следования инструкциям на общедоступных диалоговых наборах данных. Веса разбиты на шарды по 5 ГБ, чтобы облегчить загрузку в средах с ограниченной оперативной памятью; по остальным характеристикам модель идентична оригиналу. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Архитектура использует Grouped-Query Attention, Sliding-Window Attention и токенизатор BPE с поддержкой байтового отката; контекст составляет до 32 768 токенов. Для формата инструкций применяются маркеры [INST] и [/INST], также доступен шаблон чата Transformers. Лицензия — Apache-2.0. В карточке отмечено отсутствие встроенных механизмов модерации, поэтому сгенерированные ответы могут не соблюдать ограничения безопасности. Уменьшенный размер шардов упрощает загрузку модели, но не уменьшает её объём параметров или вычислительные требования при генерации.

NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-BF16 — языковая модель NVIDIA для генерации текста и диалогов с поддержкой рассуждений. Это эластичный чекпойнт на базе NVIDIA-Nemotron-3-Nano-30B-A3B-BF16, содержащий вложенные варианты размером 30B, 23B и 12B параметров, которые можно извлечь из общих весов. Для основного варианта указаны 30B общих и 3,6B активных параметров; архитектура сочетает Mamba-2, Transformer и Mixture-of-Experts. Модель распространяется в формате BF16 через safetensors и использует библиотеку Transformers. Модель предназначена для диалогов, решения задач на рассуждение и генерации текста с возможностью выбирать вариант под доступный вычислительный бюджет. Она поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Размер контекста по метаданным — 262 144 токена; в README также описана настройка развёртывания с контекстом до 1M токенов. README заявляет готовность к коммерческому использованию, однако конкретное обозначение лицензии в метаданных — other, поэтому условия следует проверить на странице модели.

DeepSeek-V4-Flash-0731-W4A16 — это квантизированная версия языковой модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Модель предназначена для генерации текста, включая диалоговые ответы, рассуждения, решение математических задач, программирование, работу с инструкциями и задачи на понимание текста. В карточке указаны английский и китайский языки. Архитектура поддерживает 283 млрд параметров; сведения о контекстном окне и мультимодальных возможностях не приведены. Модель использует смешанную точность: routed experts преобразованы из FP4 в INT4 с group_size=32 и вычислениями активаций в BF16, attention, shared experts и indexer сохранены в FP8, а остальные перечисленные компоненты — в BF16. Формат совместим с vLLM и предназначен для запуска на GPU NVIDIA без аппаратной поддержки FP4, включая H20, H100, A100, L40S, L20 и RTX 4090, при наличии подходящей конфигурации. Размер файлов модели составляет около 166 ГБ; для запуска рекомендуется vLLM версии 0.26.0 или новее и не менее двух H20 96 ГБ либо четырёх A100 80 ГБ. Сильная сторона модели — возможность инференса исходной DeepSeek-V4-Flash-0731 на Hopper и Ampere без FP4 tensor core, при сохранении заявленного качества на небольшой проверочной выборке из 50 заданий. К ограничениям относятся неизбежная ошибка INT4-квантизации, высокая потребность в видеопамяти и необходимость использовать специальный модуль кодирования prompt вместо стандартного chat template. Лицензия обозначена как DeepSeek с отдельной ссылкой на её текст; условия коммерческого и иного использования следует уточнять в лицензии.

FastwebMIIA — языковая модель Fastweb с 7 млрд параметров на авторегрессионной архитектуре Transformer с декодером и RoPE. Она рассчитана прежде всего на итальянский язык и культурный контекст, также обучена на английском. Собственный токенизатор Fastweb оптимизирован для итальянского, английского и основных языков программирования; словарь содержит 50 000 токенов, контекстное окно — 16 тыс. токенов. Модель принимает текст и предназначена для диалоговой помощи, генерации контента, суммаризации и извлечения информации, в том числе из длинных документов и многоходовых бесед. По карточке, веса на Hugging Face доступны для некоммерческих исследований, образования и внутреннего применения; коммерческое использование требует отдельной коммерческой лицензии Fastweb. Ответы могут быть фактически неверными, неполными или предвзятыми, поэтому модель не следует считать авторитетным источником или заменой профессионального суждения. Для важных решений и применений с существенными рисками необходима проверка человеком.

Gemma 3 27B IT — мультимодальная модель Google с открытыми весами, дообученная для следования инструкциям на основе google/gemma-3-27b-pt. Она принимает текст и изображения и генерирует текст; поддерживает диалоговые сценарии и задачи понимания изображений. Модель содержит 27 млрд параметров, использует контекстное окно до 128 тыс. токенов и поддерживает более 140 языков. Модель подходит для ответов на вопросы по тексту и изображениям, суммаризации, генерации текстов, диалоговых помощников и извлечения сведений из визуальных материалов. Карточка указывает лицензию Gemma. Среди ограничений — возможные фактические ошибки и предвзятость, а также трудности с неоднозначностью, нюансами и сложными открытыми задачами; для приложений следует предусмотреть проверку ответов и меры безопасности.

ArchiveStudio/gemma-4-E4B-it-assistant — ассистент на базе Gemma 4 E4B от Google DeepMind. Карточка описывает его как черновую модель Multi-Token Prediction (MTP): в спекулятивном декодировании она предлагает несколько следующих токенов, которые основная модель проверяет параллельно, ускоряя генерацию без изменения её качества. Модель предназначена для низколатентного диалогового и локального использования. Семейство Gemma 4 поддерживает текст и изображения, а модели E2B и E4B также работают с аудио; семейство умеет генерировать текст и, по карточке, обрабатывать видеокадры. Указаны задачи рассуждения, программирования, распознавания речи, перевода речи в текст, OCR и разбора документов. Для E4B заявлено контекстное окно 128K токенов; семейство поддерживает более 140 языков при предобучении и более 35 языков в штатном режиме. Репозиторий содержит веса safetensors и распространяется по лицензии Apache 2.0. Карточка описывает возможности всего семейства Gemma 4, поэтому отдельные функции, включая видео, нельзя уверенно приписать именно этому чекпойнту. Точный размер этой модели и список поддерживаемых языков отдельно не приведены. Механизм MTP требует совместимого целевого чекпойнта и конвейера спекулятивного декодирования.