I.6Перевод и языковая адаптация

NVIDIA GLM-4.7 NVFP4 — это квантизированная версия авторегрессионной языковой модели GLM-4.7, разработанной ZAI и оптимизированной с помощью NVIDIA Model Optimizer. Модель не принадлежит и не разработана NVIDIA; NVIDIA подготовила её под требования соответствующего сценария применения. Модель предназначена для коммерческого и некоммерческого использования, включая AI-агентов, чат-ботов, RAG-системы и другие приложения на основе искусственного интеллекта. Модель построена на архитектуре Transformer и имеет 358 млрд параметров. Она работает только с текстом: принимает строковые последовательности и генерирует текст. Максимальная длина контекста составляет до 200 000 токенов. Версия NVFP4 1.0 квантизирована до формата NVFP4 с использованием nvidia-modelopt v0.41.0; квантизации подвергнуты веса и активации линейных операторов в Transformer-блоках MoE. Данные о полном составе обучающей выборки и поддерживаемых языках не раскрыты, однако калибровка включает англоязычный cnn_dailymail и набор Nemotron с данными на испанском, французском, немецком, итальянском и японском языках. Модель ориентирована на инференс на NVIDIA GPU, особенно на архитектуре Blackwell, с использованием SGLang и Linux. Квантизация NVFP4 может снизить требования к ресурсам и ускорить развертывание, однако для работы требуется совместимая NVIDIA-инфраструктура и дополнительное тестирование в конкретном сценарии. В README приведены результаты на MMLU-PRO, GPQA Diamond, ns_livecodebench, SCICODE и AIME 2025, но они не описывают все практические ограничения модели. Лицензия — MIT.

NVIDIA-Nemotron-Labs-Teacher-STEM — большая языковая модель NVIDIA из семейства Nemotron 3 Ultra, предназначенная для сложных рассуждений и использования как самостоятельная модель и учитель для генерации синтетических данных и дистилляции. Она дообучена на основе постобученной Nemotron 3 Ultra Student с дополнительной настройкой на рассуждения и обучением с подкреплением; в рецепте также применяется дистилляция с участием нескольких учителей. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Она содержит 550 млрд параметров, из которых 55 млрд активны, и поддерживает генерацию текста с контекстом до 262 144 токенов по метаданным Hugging Face. Предназначена для математики, программирования, естественных наук, гуманитарных и общественных дисциплин, ответов на сложные вопросы и работы с инструментами, включая поиск и выполнение кода. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, арабский, китайский, иврит и бразильский вариант португальского. Карточка сообщает о возможности коммерческого и некоммерческого использования; лицензия в метаданных указана как other, поэтому конкретные лицензионные условия следует сверить с репозиторием. Для запуска требуются значительные вычислительные ресурсы и совместимое оборудование.

ianshank/phi-35-moe-instruct — инструктивная языковая модель семейства Phi-3.5-MoE на архитектуре mixture-of-experts, опубликованная под лицензией MIT. Она предназначена для диалоговых и генеративных приложений, включая сценарии с ограничениями по вычислительным ресурсам или задержке, а также задачи рассуждения, программирования, математики и логики. В README указано, что модель прошла supervised fine-tuning и этапы оптимизации предпочтений PPO и DPO; метаданные каталога указывают 4 млрд параметров, а карточка заявляет 6,6 млрд активных параметров. Эти значения приведены в источниках по-разному и могут отражать разные способы подсчёта. Модель поддерживает многоязычные запросы и рассчитана на чатовый формат. В README заявлена длина контекста 128 тыс. токенов, тогда как метаданные указывают нативный контекст 4096 токенов; фактическую длину для этой копии следует проверять по её конфигурации. Репозиторий использует safetensors и библиотеку Transformers. Модель подходит для генерации текста и кода, но качество и безопасность для конкретного применения требуют отдельной оценки; README отмечает уязвимость к длинным многошаговым jailbreak-запросам и необходимость осторожности в высокорисковых сценариях.

Qwen3.5-122B-A10B-44GB-GPT5.6Sol-SFT-LynnStyle-GGUF — GGUF-сборка модели Qwen3.5-122B-A10B, опубликованная пользователем nerkyor. Модель предназначена для текстовой генерации, рассуждений, ответов на вопросы и программирования в среде llama.cpp. В репозитории также доступен опциональный мультимодальный vision projector для обработки визуального ввода; основной GGUF может использоваться отдельно для текстовых задач. Модель использует архитектуру qwen3next и содержит 807 тензоров. Это слойно-смешанная imatrix-assisted квантизация LynnStyle: наиболее важные компоненты сохранены в Q8_0, Q6_K или Q5_K, а значительная часть маршрутизируемых экспертных слоёв сжата до IQ2_XS. Основной файл занимает 44,61 ГБ, а вместе с mmproj — 45,23 ГБ. Указаны языки English и Chinese. Проверенный режим рассчитан на общий контекст 131 072 токена, Q4 K/V cache и полную выгрузку на GPU; пиковое потребление VRAM составило 45 551 МиБ. К сильным сторонам относятся сохранение высокой точности для attention, shared-expert и ключевых управляющих структур при существенном уменьшении размера, а также хорошие заявленные результаты без MTP: MMLU 91,6%, GPQA 86,4% и LiveCodeBench 82,0%. Ограничения — высокая требовательность к памяти, отсутствие MTP sidecar и необходимость использовать llama.cpp с рекомендуемыми настройками. LoRA step64 уже объединён с основным файлом и отдельно не требуется. Модель распространяется по лицензии Apache-2.0.

TelperionAI/Qwen3.8-27B-INT4-AWQ-GPTQ — квантизированная версия языковой модели Qwen3.8-27B, основанная на базовой модели Qwen/Qwen3.8-27B. Модель создана с использованием llm-compressor и сочетает AWQ-масштабирование, учитывающее активации, с последующей GPTQ-квантизацией. Она предназначена для запуска и генерации текста в задачах общего назначения, включая программирование, математику, STEM, диалоговые и многоязычные сценарии. Основная часть MLP-слоёв квантизирована в INT4 с группами размера 32 и асимметричными шкалами, отдельные компоненты используют INT8, а эмбеддинги, lm_head, нормализации, параметры состояния GDN, vision tower и MTP-head сохранены в BF16. Размер модели на диске составляет около 25,1 ГБ; требуется видеокарта с Compute Capability не ниже 7.5, поэтому поддерживаются Turing, Ampere, Ada и Blackwell без необходимости FP8 или FP4. Контекст, точное число языков и полный набор модальностей в README не указаны, однако присутствует vision tower и заявлена калибровка на многоязычных данных. Ключевое преимущество модели — повышенная близость к исходной BF16-версии по сравнению с некоторыми другими 4-битными сборками: в заявленном тесте совпадение top-1 составило 96,30%, а медианная позиция первого расхождения генерации — 48 токенов. Модель поддерживает vLLM и MTP speculative decoding, но скорость на Blackwell примерно в 2,3 раза ниже, чем у NVFP4-варианта. Размер 25,1 ГБ не позволяет комфортно разместить её на одной видеокарте с 24 ГБ памяти с учётом KV-кэша, а результаты оценены только на одном корпусе и не проверены на независимом распределении. Распространяется по лицензии Apache-2.0.

Qwen3-VL-235B-A22B-Thinking-GGUF — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Репозиторий содержит веса модели Qwen3-VL-235B-A22B-Thinking в формате GGUF и предназначен для локального запуска на совместимых устройствах через llama.cpp, Ollama и другие инструменты GGUF. Модель предназначена для анализа и генерации текста по изображениям и видео, визуального распознавания, OCR, пространственного и временного рассуждения, решения STEM- и математических задач, генерации Draw.io/HTML/CSS/JS по визуальным примерам, а также взаимодействия с графическими интерфейсами и инструментами. Заявлены улучшенные возможности понимания документов, объектов, сцен, событий в видео и GUI. Поддерживается нативный контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона; OCR заявлен для 32 языков. Архитектура включает языковую модель и отдельный vision encoder mmproj. Для компонентов доступны варианты FP16 и квантованные варианты Q8_0 и Q4_K_M для языковой модели, а также FP16 и Q8_0 для vision encoder. Поддерживаются CPU, NVIDIA GPU через CUDA, Apple Silicon через Metal и Intel GPU через SYCL. Основные ограничения — очень высокий размер модели и соответствующие требования к памяти и вычислительным ресурсам; производительность и доступное качество зависят от выбранной точности и оборудования. Модель распространяется по лицензии Apache-2.0.

Qwen-7B-Chat — диалоговая языковая модель семейства Qwen, разработанная Alibaba Cloud на основе предварительно обученной Qwen-7B с применением методов выравнивания. Это плотная Transformer-модель с архитектурой QWenLMHeadModel, 32 слоями, RoPE, SwiGLU и RMSNorm. В метаданных указано 11,4 млрд параметров и контекст длиной 32 768 токенов. Модель предназначена для многоходовых диалогов и генерации текста: она отвечает на вопросы, помогает с кодом и математическими задачами, а также может использоваться для длинных последовательностей и вызова внешних инструментов. README описывает токенизатор на основе tiktoken с большим словарём, ориентированным на китайский, английский и код; метаданные также указывают китайский и английский языки. Репозиторий содержит веса safetensors. Модель проверялась на китайском и английском понимании, математике, программировании, длинном контексте и использовании инструментов. Результаты могут колебаться из-за аппаратных и программных различий; при дообучении следует учитывать особенности специальных токенов токенизатора. Лицензия указана как other, поэтому перед использованием нужно проверить условия лицензирования в карточке модели.

Hermes3.6-35B-A3B-Uncensored-Genesis-NVFP4-GGUF — квантованная версия семейства Qwen 3.6 / Hermes 3.6, созданного на основе работ LuffyTheFox и HauhauCS. Квантование NVFP4, интеграцию MTP и публикацию GGUF выполнил jan1k. Модель предназначена для генерации текста, программирования, точных и творческих задач, агентских сценариев и вызова инструментов. Также заявлена поддержка изображений через отдельный мультимодальный проектор mmproj в формате F16. Модель построена на архитектуре Mixture of Experts: содержит около 35 млрд параметров, при этом на каждом токене активируется примерно 3 млрд параметров и 8 экспертов. Доступен контекст до 128K токенов при использовании рекомендованной конфигурации llama.cpp. Заявлена поддержка английского, китайского и других языков. Формат NVFP4 оптимизирован для GPU NVIDIA поколений Ada Lovelace, Blackwell и Ampere. Genesis — применённый алгоритм посттренировочной регенерации и калибровки GGUF, направленный на снижение шума весов и сохранение значимой части исходного сигнала без переобучения. К сильным сторонам относятся высокая вычислительная эффективность MoE, большой контекст, поддержка vision, режимов рассуждения и JSON-вызова инструментов, а также сниженное потребление памяти благодаря 4-битному представлению. Ограничение этой версии существенно: репозиторий помечен как устаревший, а расширенный вариант NVFP4 с отдельными тензорами масштабирования несовместим с LM Studio и Pelican и может выдавать некорректный результат. Для работы рекомендуется совместимый llama.cpp и соответствующая настройка шаблона чата. Модель распространяется по лицензии Apache-2.0.

Phi-3-medium-128k-instruct-GGUF — квантизированная версия инструкционной языковой модели Phi-3-medium-128k-instruct, разработанной Microsoft и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, работу с длинными документами и программным кодом. В README указана поддержка multilingual, однако конкретный перечень языков не приведён. Архитектура и точное число параметров не указаны; модель относится к типу phi-msft и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, размером примерно от 5,14 до 27,9 ГБ. Варианты с более сильной квантизацией требуют меньше памяти, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые для баланса между размером и качеством. Модель рассчитана на запуск через совместимые инструменты, включая LlamaEdge, с использованием шаблона phi-3-chat. Лицензия — MIT; дополнительные ограничения или сведения о мультимодальности в README не указаны.

Qwen2.5-32B-Instruct-4bit — преобразованная в формат MLX инструктивная языковая модель семейства Qwen2.5, опубликованная сообществом mlx-community на основе Qwen/Qwen2.5-32B-Instruct. Она предназначена для диалоговой генерации текста и выполнения пользовательских инструкций; доступен интерфейс для вызова инструментов. Модель содержит 32 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и рассчитана на контекст до 32 768 токенов. Репозиторий содержит веса в safetensors; README указывает на конвертацию с помощью mlx-lm 0.18.1. Метаданные указывают лицензию Apache-2.0. Карточка модели и метаданные не описывают специальную предметную область; английский указан среди поддерживаемых языков.

surogate/Qwen3.5-2B-FP8 — вариант модели Qwen3.5-2B, опубликованный Surogate и основанный на Qwen/Qwen3.5-2B-Base. Это каузальная языковая модель с vision encoder для текстово-визуальных задач, включая рассуждения, программирование, агентские сценарии и анализ изображений. В README вариант рекомендован для движка обучения агентов Surogate и совместим с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель содержит около 2 млрд параметров, 24 слоя, скрытое измерение 2048 и нативное контекстное окно до 262 144 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Представленные веса подвергнуты мелкозернистому FP8-квантованию с размером блока 128. По данным README, такая оптимизация сохраняет показатели, близкие к исходной модели, одновременно снижая требования к памяти и повышая эффективность инференса. Сильными сторонами являются мультимодальность, большое контекстное окно, компактный размер и пригодность для высокопроизводительного развертывания и агентских систем. Ограничения включают возможную потерю точности, характерную для квантования, а также то, что README не содержит подробных сведений о качестве на всех языках, ограничениях безопасности и результатах визуальных тестов. Модель распространяется по лицензии Apache 2.0.

Это конвертированная в формат Llama версия инструктивной языковой модели Qwen2.5-7B-Instruct. Репозиторий создан llamafy; модель предназначена для программ, совместимых с форматом Llama. По метаданным, это плотная причинная языковая модель на 7,1 млрд параметров с контекстом до 4096 токенов, сохранённая в safetensors и используемая через библиотеку Transformers. Модель подходит для диалогов и генерации текста, включая код и структурированные ответы, которые поддерживает базовая Qwen2.5-7B-Instruct. В метаданных указаны языки китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Лицензия в предоставленных данных не указана.

Kanana-1.5-15.7B-A3B-Instruct — разговорная языковая модель Kakao с разреженной архитектурой Mixture-of-Experts на базе Mixtral. В модели 15,7 млрд параметров всего, при этом активируется около 3 млрд параметров; заявленный размер в метаданных — 824,7 млн параметров. Модель принимает текст и генерирует текст, поддерживает английский и корейский языки, а длина контекста составляет 32 768 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, следование инструкциям, решение математических задач и написание кода. Kakao сообщает, что её эффективность по вычислениям на токен сопоставима с Kanana-1.5-8B при использовании 37% FLOPS, а постобучение включало дистилляцию на собственных ответах и обучение с подкреплением. Для запуска README рекомендует vLLM версии 0.8.5 или новее. Лицензия указана как other, поэтому конкретные условия использования следует сверять с карточкой модели.

Mungert/Meta-Llama-3-8B-Instruct-GGUF — это версия инструкционно дообученной языковой модели Meta Llama 3, подготовленная пользователем или организацией Mungert в формате GGUF. Базовую модель разработала Meta. Она предназначена для генерации текста по инструкциям и диалоговых сценариев; в карточке указана специализация text-generation и поддержка английского языка. Из идентификатора следует, что модель относится к семейству Llama 3 с размером около 8 миллиардов параметров и ориентирована на локальный инференс в совместимых инструментах, поддерживающих формат GGUF. Точные характеристики архитектуры, размер контекста, варианты квантования, системные требования и перечень модальностей в README не указаны; по доступным данным модель является текстовой и не предназначена для обработки изображений или других мультимодальных входов. Лицензия — Meta Llama 3 Community License: она допускает использование, копирование, модификацию и распространение с установленными условиями, включая соблюдение Acceptable Use Policy, указание атрибуции и требований к маркировке продуктов. Для крупных сервисов с более чем 700 миллионами месячных пользователей предусмотрено получение отдельного разрешения Meta.

MiniCPM5-2B MLX 8-bit — это квантованная версия текстовой языковой модели OpenBMB MiniCPM5-2B, подготовленная в формате MLX для локального запуска. Модель имеет плотную Llama-based архитектуру и около 2 млрд параметров; конверсия использует аффинное 8-битное квантование с размером группы 64 и занимает примерно 2,5 ГБ в формате MLX safetensors. Поддерживаются английский и китайский языки, максимальная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста, программирования, рассуждений, задач с длинным контекстом и использования инструментов, включая сценарии локального развертывания через mlx-lm. Это text-only модель: компоненты для обработки изображений и MTP-файлы отсутствуют, поэтому мультимодальные задачи не поддерживаются. Лицензия — Apache-2.0; приведённые в README результаты тестирования относятся к исходной версии MiniCPM5-2B от OpenBMB, а не непосредственно к этой MLX-конверсии.

OsaurusAI/Qwen3.8-27B-MXFP8 — квантованная версия мультимодальной модели Qwen/Qwen3.8-27B, подготовленная Jinho Jang из Osaurus AI для Apple Silicon и MLX. Это плотная модель на 27 млрд параметров с гибридной архитектурой из 64 слоёв: 48 слоёв GatedDeltaNet и 16 слоёв gated full-attention. Она поддерживает работу с текстом, изображениями и видео, а также сохраняет нативную multi-token-prediction head. Модель предназначена для визуально-языковых задач, рассуждений, программирования, агентских сценариев и использования инструментов. Нативный контекст составляет 262 144 токена и может быть расширен до 1 млн. По умолчанию включён режим рассуждений с настраиваемым уровнем reasoning_effort от low до xhigh; предусмотрены отдельные параметры для обычного режима инструкций. Для запуска рекомендуется mlx-vlm, а для работы требуется Apple Silicon с не менее чем 32 ГБ объединённой памяти. Ключевое свойство этой версии — равномерное 8-битное квантование MXFP8 с размером группы 32 для 580 модулей без калибровки Hessian, AWQ и imatrix refit; 27 проекций vision-блоков оставлены в fp16. Размер на диске составляет около 26,4 ГиБ. На отложенных тестах относительно исходной bf16-модели зафиксированы медианный KL 0,0189, совпадение top-1 95,83% и скорость декодирования до 29,3 токена/с на M5 Max при оптимальной глубине спекуляции 2. При этом автор прямо указывает, что версия уступает калиброванным вариантам по качеству и служит структурным fallback-решением, а показатели ускорения зависят от типа запроса. Модель распространяется по лицензии Apache-2.0.

Это конверсия в формат MLX модели Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B, опубликованная сообществом mlx-community. Модель построена на архитектуре Qwen3.5 и предназначена для диалогов, работы с текстом и кодом, а также обработки изображений и видеовходов; доступны интерфейсы вызова инструментов. Веса представлены в BF16, сохранены шаблон чата и настройки мультимодального процессора. Репозиторий ориентирован на запуск на Apple Silicon через mlx-vlm; для мультимодального использования рекомендуется эта библиотека. Модель поддерживает английский, китайский, испанский, русский и японский языки. Лицензия — Apache 2.0, унаследованная от исходной модели. Размер параметров и длина контекста в предоставленных данных не приведены. Подробности о назначении и ограничениях исходной модели следует уточнять в её карточке.

InternLM-Chat-20B — диалоговая версия языковой модели InternLM, разработанная Шанхайской лабораторией искусственного интеллекта совместно с SenseTime, Китайским университетом Гонконга и Фуданьским университетом. Это плотная авторегрессионная модель на 19,6 млрд параметров с архитектурой InternLMForCausalLM. Базовая модель обучалась на более чем 2,3 трлн токенов английского, китайского и кода; Chat-версия дополнительно прошла SFT и RLHF. Метаданные указывают контекст 4096 токенов, а README сообщает о возможности расширения до 16 тысяч токенов посредством экстраполяции при инференсе. Модель предназначена для диалогов, генерации текста, ответов на вопросы, рассуждений, математических задач, программирования и взаимодействия с инструментами. Авторы отмечают улучшения в понимании и рассуждении, а также более безопасное поведение после дообучения. Модель принимает текст и генерирует текст; заявлены английский и китайский языки, а также данные для программирования. Весовая версия распространяется отдельно от кода: код открыт по Apache-2.0, а для весов README указывает академический доступ и возможность запросить бесплатную коммерческую лицензию. Модель может выдавать предвзятые, дискриминационные или иные нежелательные ответы; результаты генерации требуют проверки.

giannisan/llama3.1-70B-upscaled-105B — плотная авторегрессионная языковая модель семейства Llama 3.1, созданная методом passthrough-сборки в mergekit из двух перекрывающихся диапазонов слоёв предобученной Llama 3.1 70B. Веса сохранены в формате safetensors; размер модели — около 103,7 млрд параметров, длина контекста — до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Большой контекст подходит для работы с длинными документами и многоходовыми диалогами. Карточка не описывает отдельное обучение или специализированную предметную область. Лицензия в предоставленных данных не указана.

LLaMa-3.1-Instruct-13B — языковая модель, созданная сообществом mergekit-community с помощью mergekit из unsloth/Meta-Llama-3.1-8B-Instruct. Применён метод passthrough: в итоговую модель включены указанные диапазоны слоёв исходной модели. Это плотная архитектура Llama для генерации текста и диалогов; размер составляет 12,5 млрд параметров, нативный контекст — до 131 072 токенов. Модель подходит для ответов на вопросы, диалоговых сценариев и генерации текста; метаданные также указывают интерфейс вызова инструментов. В репозитории используются веса safetensors, библиотека — Transformers. В карточке указана лицензия исходной модели Llama 3.1: используйте модель в соответствии с её условиями.

MiniCPM5-2B-OptiQ-4bit — локальная 4-битная MLX-квантизация модели openbmb/MiniCPM5-2B, разработанной OpenBMB, с использованием инструментария mlx-optiq. Это языковая модель Llama-архитектуры с 42 слоями, размером 2B параметров и контекстом до 128k токенов. Указаны английский и китайский языки. Модель предназначена для текстовой генерации, диалоговых ассистентов, перефразирования, математических и кодовых задач, многошагового рассуждения, работы с инструментами и локального запуска на устройствах Apple Silicon. Ключевая особенность — чувствительная к слоям смешанная точность: 112 из 295 линейных слоёв сохранены в 8-битном формате, остальные 183 используют 4-битное представление. Размер файла составляет около 1,84 ГБ. Доступны режимы без рассуждений для быстрых ответов и с рассуждениями для математики, планирования и многошагового кода. Модель поддерживает собственный формат tool calling, который через optiq serve преобразуется в вызовы инструментов, совместимые с OpenAI и Anthropic API. По приведённым тестам модель показывает высокие результаты в следовании инструкциям, математике, генерации кода и вызове инструментов, однако оценка извлечения информации из длинного контекста заметно ниже остальных показателей. К ограничениям относятся необходимость MLX и Apple Silicon для описанного локального сценария, зависимость качества от режима рассуждений и отсутствие заявленных мультимодальных возможностей. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

unsloth/Qwen3-14B-Base-unsloth-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-14B-Base, подготовленная Unsloth с использованием квантования Unsloth Dynamic 2.0. Исходную модель разработала команда Qwen. Это причинная языковая модель на стадии предварительного обучения, предназначенная для генерации и продолжения текста, обработки естественного языка, программирования, STEM-задач, рассуждений и работы с многоязычными данными. Модель содержит 14,8 млрд параметров, из них 13,2 млрд без учёта embedding-слоёв, имеет 40 слоёв и использует Grouped Query Attention: 40 голов для запросов и 8 для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. При обучении использовался корпус объёмом 36 трлн токенов на 119 языках, включавший языковые, кодовые, научно-технические, книжные, многоязычные и синтетические данные. Квантование до 4 бит снижает требования к памяти и может упростить локальный запуск, однако потенциально сопровождается потерей точности по сравнению с полной или менее агрессивной разрядностью. Это базовая, а не instruction-tuned модель, поэтому для диалоговых сценариев и выполнения инструкций может потребоваться дополнительная настройка или специально подобранный prompting. Для работы рекомендуется использовать актуальную версию transformers; версии ниже 4.51.0 не поддерживают архитектуру Qwen3. Модель распространяется по лицензии Apache-2.0.

Qwythos-27B-v1-GGUF — это набор GGUF-квантизаций модели Qwythos-27B-v1, разработанной компанией Empero. Модель предназначена для локального запуска через llama.cpp, Ollama, LM Studio, jan, KoboldCpp и другие совместимые среды. Это плотная гибридная модель семейства Qwen3.5 с 27 миллиардами параметров, прошедшая SFT, DPO и ESFT; представленная версия является предварительной RL-оптимизации v1. Модель поддерживает текстовые задачи и обработку изображений при использовании отдельного vision-проектора mmproj-Qwythos-27B-F16.gguf. Заявлены встроенные MTP-возможности для ускорения генерации, мультимодальность и контекстное окно до 1 048 576 токенов. Доступны варианты от Q4_K_M до BF16 с различным соотношением размера, качества и требований к памяти; Q4_K_M указан как рекомендуемый вариант по умолчанию. На практике полноценное использование длинного контекста требует значительных ресурсов для KV-кэша, а более точные варианты могут потребовать 48–80 ГБ видеопамяти, нескольких GPU или выгрузки части вычислений на CPU. Модель подходит для локальных диалоговых и аналитических сценариев, рассуждений, агентных задач, работы с длинным контекстом и анализа изображений. Сильными сторонами являются сохранённые vision tower и MTP head, большой контекст и широкий выбор квантизаций. Ограничения связаны с высокими требованиями к памяти, зависимостью MTP от свежей версии llama.cpp и необходимостью отдельного vision-проектора для изображений. Модель и её квантизации распространяются по лицензии Apache-2.0.

Карточка модели Yaldat/Yalda-Embedding4 на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

unsloth/Llama-3.2-1B — текстовая модель генерации на базе Meta Llama 3.2, представленная Unsloth. Это плотная авторегрессионная трансформерная архитектура Llama с 1,2 млрд параметров; репозиторий содержит веса в формате safetensors и предназначен для использования через Transformers. В README Unsloth также предлагает ноутбуки для дообучения модели и экспорта полученных моделей. Модель принимает текст и генерирует текст. Семейство Llama 3.2 предназначено для генерации и диалога; в карточке указаны сценарии суммаризации и агентного поиска, а также поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Контекстное окно составляет 131072 токена. Модель опубликована 25 сентября 2024 года и распространяется по лицензии Llama 3.2 Community License, условия которой следует соблюдать при использовании и распространении.

Карточка модели EmperoAI/NVIDIA-Nemotron-Labs-Teacher-STEM на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-Labs-Teacher-STEM, поэтому описание составлено по ней. NVIDIA-Nemotron-Labs-Teacher-STEM — большая языковая модель NVIDIA из семейства Nemotron 3 Ultra, предназначенная для сложных рассуждений и использования как самостоятельная модель и учитель для генерации синтетических данных и дистилляции. Она дообучена на основе постобученной Nemotron 3 Ultra Student с дополнительной настройкой на рассуждения и обучением с подкреплением; в рецепте также применяется дистилляция с участием нескольких учителей. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Она содержит 550 млрд параметров, из которых 55 млрд активны, и поддерживает генерацию текста с контекстом до 262 144 токенов по метаданным Hugging Face. Предназначена для математики, программирования, естественных наук, гуманитарных и общественных дисциплин, ответов на сложные вопросы и работы с инструментами, включая поиск и выполнение кода. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, арабский, китайский, иврит и бразильский вариант португальского. Карточка сообщает о возможности коммерческого и некоммерческого использования; лицензия в метаданных указана как other, поэтому конкретные лицензионные условия следует сверить с репозиторием. Для запуска требуются значительные вычислительные ресурсы и совместимое оборудование.

unsloth/Qwen2.5-14B — 14-миллиардная плотная авторегрессионная языковая модель семейства Qwen2.5, опубликованная Unsloth как дообученная версия Qwen/Qwen2.5-14B. Она предназначена для генерации и продолжения текста; базовая модель особенно подходит для дальнейшего постобучения, а карточка не рекомендует использовать базовые языковые модели непосредственно для диалогов. Архитектура использует RoPE, SwiGLU, RMSNorm и grouped-query attention; контекст составляет до 131 072 токенов. Модель поддерживает многоязычную генерацию, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Семейство Qwen2.5 заявлено как улучшенное в программировании, математике, следовании инструкциям, работе с длинными текстами и структурированными данными, однако эти характеристики в README описаны для семейства в целом и не подтверждены отдельной оценкой данного чекпойнта. Репозиторий использует Transformers и формат safetensors; лицензия — Apache-2.0.

NVIDIA Qwen3-14B NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3-14B, разработанной Alibaba и подготовленной с помощью NVIDIA TensorRT Model Optimizer. Модель предназначена для генерации текста и может использоваться в AI-агентах, чат-ботах, RAG-системах и других приложениях на основе искусственного интеллекта. Модель построена на архитектуре Transformers и содержит около 14,8 млрд параметров. Она принимает и генерирует текстовые последовательности, поддерживает контекст до 131K токенов и использует квантизацию весов и активаций линейных операторов в трансформерных блоках до формата FP4. Модель подготовлена для инференса через TensorRT-LLM, оптимизирована для систем с GPU NVIDIA, включая микроархитектуру Blackwell, и рассчитана прежде всего на Linux. Версия Model Optimizer — 0.35.0. К сильным сторонам относятся уменьшенное представление модели за счёт FP4-квантизации, поддержка длинного контекста и возможность производительного развёртывания на совместимом оборудовании NVIDIA. Ограничения включают зависимость от TensorRT-LLM и совместимой NVIDIA-платформы; сведения о языках, результатах тестирования, обучающих данных и характеристиках качества в карточке не раскрыты. Использование регулируется лицензией Apache 2.0 и допускается для коммерческих и некоммерческих задач.

Qwen3.5-27B-NVFP4 — квантованная версия модели Qwen/Qwen3.5-27B, опубликованная apolo13x. Это мультимодальная модель типа image-text-to-text: принимает текст и изображения, а генерирует текстовые ответы. Она предназначена для диалоговых сценариев, анализа изображений и решения общих задач обработки текста и мультимодального понимания. Весы и активации модели преобразованы в формат FP4 с использованием llm-compressor и 512 калибровочных образцов из набора neuralmagic/calibration. Квантование уменьшает размер модели с 51,8 до 18,4 ГБ, примерно в 2,8 раза, при заявленном среднем восстановлении точности 99,1% относительно исходной Qwen3.5-27B. Модель поддерживает режим рассуждений и предназначена для запуска, в частности, через nightly-версии vLLM. По результатам оценки в режиме zero-shot с включённым рассуждением модель получила 79,29% на GPQA Diamond, 93,88% на IFEval и 94,32% на MMLU-Redux; средний результат составил 89,16% против 89,76% у исходной модели. Сильными сторонами являются существенное снижение требований к дисковому пространству и сохранение близкой к исходной точности. Ограничения включают возможные потери качества из-за квантования и зависимость поддержки от актуальных сборок vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-oQ8e-fp16-mtp — это 8-битная MLX-квантизированная версия модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем evsinlb. Модель предназначена для генерации текста, диалогов, рассуждений и агентских сценариев с вызовом инструментов. Она поддерживает режим thinking с сохранением цепочек рассуждений в многошаговом диалоге, а также визуальные компоненты, поэтому не является текстовой версией без vision-модулей. Архитектура основана на гибриде Gated DeltaNet и Gated Attention; заявлены нативная работа с изображениями и контекст до 262 144 токенов. Квантизация выполнена в формате MLX safetensors с эффективной точностью 8,6 bpw, размером группы 64 и калибровкой imatrix на 1024 образцах. Веса multi-token prediction сохранены, что обеспечивает поддержку MTP и Lightning MTP после квантизации. Неквантизированные параметры имеют тип float16; размер весов составляет около 27,5 GiB. Модель ориентирована прежде всего на Apple Silicon, при этом для M3 и M4 рекомендуется родственная версия с bf16 из соображений численной безопасности. Сильными сторонами являются большой контекст, сохранение reasoning-трасс, стабильный многошаговый tool use и возможность экспериментального ускорения обработки длинных промптов через ANE в oMLX 0.6.3. На M2 Ultra прирост prompt processing составлял до 35,7% на промптах длиной 4096 токенов и 19,5% на 65 536 токенах, однако требуется около 16 ГБ дополнительной оперативной памяти, а короткие промпты преимуществ не дают. Thinking увеличивает время работы примерно на 25–35%, а decode при включённом ANE существенно не ускоряется. Для использования необходимы совместимые MLX/oMLX-окружение и аппаратные ресурсы, достаточные для размещения модели и KV-кэша. Лицензия — Apache-2.0.