I.6Перевод и языковая адаптация

Qwopus3.8-27B-GGUF — это набор GGUF-квантизаций модели Qwopus3.8-27B, опубликованный nom666. Модель создана как весовое слияние Qwen3.8-27B с компонентами Qwopus3.6-27B-v2, содержащими дистиллированный стиль рассуждений Opus. Базовую модель разработала команда Qwen, а исходный вклад в дистилляцию Qwopus принадлежит Jackrong. Это не дообучение с градиентами, а арифметическое слияние весов. Модель предназначена прежде всего для генерации текста, инструкционного взаимодействия, программирования и агентских циклов, особенно в режиме без рассуждений. Она сохраняет архитектуру Qwen3.8: 64 слоя, скрытое представление размером 5120, гибридную архитектуру GDN и full attention, словарь примерно на 248 тысяч токенов, контекст до 262 144 токенов и встроенную MTP-голову для speculative decoding. Экспорт в формате nextn позволяет использовать спекулятивное декодирование через llama.cpp. Доступны варианты с 4- и 8-битной квантизацией размером примерно от 16 до 27 ГБ. Сильные стороны модели — высокая эффективность по числу токенов, улучшенное следование инструкциям в non-thinking режиме и совместимость с быстрым локальным обслуживанием через llama.cpp. В приведённых тестах 4-битная версия набрала 37 из 38 заданий в наборе instruct/code/math, а в thinking-режиме сопоставила базовую модель на сложном наборе, используя примерно на 45% меньше токенов рассуждений. Ограничения включают меньшую стабильность на самых сложных задачах в режиме рассуждений и риск превышения жёсткого лимита токенов; для таких сценариев базовая Qwen3.8 может быть предпочтительнее. Лицензия — Apache-2.0.

Tess-2.0-Llama-3-8B — универсальная языковая модель с диалоговой настройкой, разработанная в серии Tess; вычислительные ресурсы для обучения предоставила KindoAI. Модель дообучена на базе meta-llama/Meta-Llama-3-8B и содержит около 7,5 млрд параметров. Она использует архитектуру LlamaForCausalLM, формат весов safetensors и шаблон диалога Llama 3 с контекстом до 8192 токенов. Модель предназначена для общения с пользователем, выполнения инструкций, генерации текста и помощи с задачами по программированию и общего назначения. Для настройки использовали около 100 тысяч примеров кода и общих задач из набора Tess-2.0; обучение длилось одну эпоху с низкой скоростью обучения, чтобы сохранить разнообразие ответов. Модель описана как малоограниченная и часто следующая инструкциям. Лицензия — Llama 3. Модель может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или другой неподходящий контент; важные сведения следует проверять.

LordNeel/Agents-A1-GGUF — набор высококачественных квантованных GGUF-версий модели InternScience/Agents-A1, агентской модели на архитектуре Qwen3.5-MoE с примерно 35 млрд параметров. Модель предназначена для генерации текста, выполнения инструкций, программирования и чат-сценариев в среде llama.cpp. Для обработки изображений доступны совместимые квантизации с отдельным BF16-модулем mmproj на базе Qwen3VL, поэтому модель поддерживает мультимодальные сценарии с визуальным вводом. В набор входят варианты Q3_K_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K, Q8_0 и NVFP4 размером примерно от 16,76 до 36,90 ГБ, а также варианты с интегрированным блоком MTP для speculative decoding. IQ4_XS ориентирован на компактность и совместимость, Q6_K обеспечивает наиболее близкое к BF16 качество среди протестированных вариантов, а NVFP4 предназначен для ускоренной работы на видеокартах NVIDIA Blackwell при наличии поддержки соответствующего типа данных. В опубликованных тестах на RTX PRO 6000 Blackwell скорость генерации составляла примерно 222,7–269 токенов в секунду в зависимости от квантизации; результаты приведены для конкретной конфигурации и не гарантируют аналогичную производительность на другом оборудовании. Для запуска требуется llama.cpp с поддержкой архитектуры qwen35moe; некоторые варианты требуют поддержки GGML_TYPE_NVFP4, а мультимодальные версии — соответствующего mmproj. MTP-варианты могут ускорять генерацию, но их эффективность зависит от настроек speculative decoding и оборудования. README не содержит сведений о языках обучения и максимальном размере контекста, поэтому эти характеристики нельзя достоверно указать. Модель распространяется по лицензии Apache 2.0.

Dolphin-Mistral-24B-Venice-Edition-1.2-GGUF — это набор квантованных GGUF-версий модели Dolphin-Mistral-24B-Venice-Edition, разработанный пользователем douganger на основе релиза 1.2 от dphn. Модель предназначена для запуска локально с использованием совместимых инструментов, включая llama.cpp, и ориентирована на мультимодальные сценарии с обработкой текста и изображений, а также на работу с инструментами. Архитектурно это модель семейства Mistral с размером около 24 млрд параметров; доступны варианты квантования от Q3_K_M до Q8_0 размером примерно от 10,69 до 23,33 ГБ. Для версии 1.2 заявлены поддержка vision, контекст длиной до 131 тыс. токенов и улучшенный tool calling. Vision-адаптеры и importance matrix включены в сборку. README не указывает полный перечень поддерживаемых языков. Сильные стороны модели — широкий контекст, мультимодальность, улучшенная работа с инструментами и несколько вариантов квантования с разным компромиссом между размером и качеством; Q4_K_M обозначен как хороший вариант по умолчанию, а Q8_0 — практически эквивалентный исходным весам BF16. Ограничения связаны с требованиями к памяти, зависящими от выбранного квантования, а также с тем, что фактическая поддержка vision и tool calling зависит от совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

Llama-3 70B Gradient Instruct 524K — языковая модель Gradient, созданная при поддержке вычислительных ресурсов Crusoe Energy на основе Meta-Llama-3-70B-Instruct. Это плотная модель семейства Llama с 69,5 млрд параметров, предназначенная для генерации текста в диалогах и работы с длинными контекстами. Авторы сообщают о расширении контекста исходной модели с 8 тысяч до более чем 524 тысяч токенов за счёт настройки RoPE theta и обучения примерно на 400 млн токенов суммарно; нативная длина контекста по метаданным — 524 288 токенов. Модель подходит для диалоговых помощников, анализа длинных документов и других сценариев, где запрос и большой объём исходного текста нужно учитывать одновременно. Карточка рекомендует Transformers или TGI для запуска. Модель принимает и выдаёт текст; в метаданных указан английский язык. Лицензия — Llama 3, с условиями использования Meta Llama 3 Community License. Как и другие большие языковые модели, она может ошибаться и требует проверки ответов и настройки защитных мер под конкретное применение.

Карточка модели lactroiii/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 на Hugging Face совпадает с карточкой LimitlessMindd/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, поэтому описание составлено по ней. NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель NVIDIA для чата, рассуждений и генерации текста. Это эталонные веса BF16 модели с гибридной архитектурой Mixture-of-Experts: слои Mamba-2 чередуются со слоями MoE и отдельными слоями Attention. Всего модель содержит 30 млрд параметров, из которых активно задействуются 3 млрд; также используются слои Multi-Token Prediction. Модель предназначена прежде всего для дообучения, адаптации к предметным областям и задачам, оценки и создания производных квантованных вариантов. Её можно применять как основу для чат-ботов, систем RAG и агентных приложений; карточка рекомендует для прямого развёртывания оптимизированный релиз NVFP4. В карточке заявлен контекст до 1 млн токенов, при этом на одной H100 80 ГБ BF16 проверен до 256 тыс. токенов из-за ограничений памяти. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский, японский и китайский. В метаданных указано 1,9 млрд параметров, что расходится с README, где заявлены 30 млрд всего и 3 млрд активных. Метаданные указывают лицензию other, а README сообщает о готовности к коммерческому использованию; конкретные условия лицензии следует сверять с файлами репозитория.

OpenChat-3.5-0106 Gemma — диалоговая языковая модель OpenChat, дообученная методом C-RLFT на данных OpenChat-3.5-0106 на базе Gemma. Это плотная архитектура Gemma для генерации текста, в том числе ответов в диалоге; заявленный размер в метаданных — 8,2 млрд параметров, контекст — до 8192 токенов. README приводит результаты тестов по программированию, математике, общим знаниям и диалоговому качеству. Модель предназначена для чат-ботов, ответов на вопросы, написания и преобразования текста, а также задач рассуждения и генерации кода. Для развертывания авторы рекомендуют OpenChat с OpenAI-совместимым сервером на базе vLLM. README указывает лицензию Apache 2.0, тогда как метаданные Hugging Face содержат значение «other»; условия распространения стоит сверить с файлами лицензии репозитория. Модель может выдумывать факты и выдавать вредные, предвзятые или небезопасные ответы, поэтому важные результаты нужно проверять, а для безопасных сценариев нужна дополнительная модерация.

Ornith-1.5-9B-OptiQ-4bit — квантованная версия языковой reasoning-модели Ornith-1.5-9B-MLX, разработанной ornith-ai и адаптированной сообществом mlx-community для MLX. Модель предназначена для локального запуска на устройствах Apple Silicon без PyTorch и облачных сервисов, а также для генерации текста, рассуждений, работы с длинным контекстом, function calling, tool use и агентских сценариев. Указан английский язык. Модель основана на архитектуре Qwen3.5 с 9 млрд параметров и 32 слоями. Используется смешанная покомпонентная квантизация OptiQ: 116 компонентов представлены в 4-битном формате, 134 — в 8-битном, размер группы — 64. На диске модель занимает около 7 ГБ; обозначение 4bit относится к семейству квантов, а не к среднему числу бит на параметр. Для запуска используются mlx-lm и mlx-optiq, доступен совместимый с OpenAI и Anthropic серверный интерфейс с поддержкой смешанной точности KV-кэша. Сильными сторонами являются уменьшенный размер, локальная работа на Apple Silicon и сохранение более высокой точности в чувствительных слоях за счёт смешанной квантизации. Ограничения включают специализацию на экосистеме MLX и Apple Silicon, а также необходимость выделять модели достаточный бюджет токенов для reasoning-сценариев. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Instruct-1M — разговорная модель генерации текста из семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалога, ответов на вопросы, работы с длинными документами и другими задачами, где нужно учитывать большой объём контекста. Модель построена на архитектуре Qwen2 с причинно-следственной языковой моделью и 7,1 млрд параметров по метаданным. Карточка семейства указывает на RoPE, SwiGLU, RMSNorm и контекст до 1 010 000 токенов; генерация ограничена 8192 токенами. Модель дообучена на базе Qwen/Qwen2.5-7B, поддерживает чат и интерфейс вызова инструментов. Указанные языковые сведения подтверждают английский, но сами по себе не доказывают поддержку только одного языка. Для работы с контекстом около миллиона токенов README рекомендует специальную сборку vLLM и указывает потребность как минимум в 120 ГБ видеопамяти суммарно для версии 7B. В прежних средах выполнения качество может снижаться на последовательностях длиннее 262 144 токенов. Лицензия — Apache-2.0.

mlx-community/Qwen3-1.7B-bf16 — конверсия модели Qwen/Qwen3-1.7B в формат MLX, подготовленная сообществом mlx-community с помощью mlx-lm версии 0.24.0. Это плотная авторегрессионная языковая модель семейства Qwen3 с 1,7 млрд параметров; она предназначена для генерации текста и диалогов, следования инструкциям, рассуждений и работы с кодом. Метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Нативная длина контекста — 40 960 токенов. Репозиторий использует safetensors, а вариант bf16 рассчитан на запуск в экосистеме MLX. Лицензия — Apache-2.0.

AtomicChat/Qwen3.6-35B-A3B-GGUF — это набор самостоятельно квантованных версий базовой модели Qwen/Qwen3.6-35B-A3B, подготовленный командой Atomic Chat в формате GGUF для локального и полностью офлайн-запуска. Модель предназначена для генерации текста, диалоговых сценариев, агентного программирования, работы с frontend-задачами и рассуждений на уровне репозитория. Модель можно использовать через llama.cpp, Ollama, LM Studio, Jan и Atomic Chat. Базовая модель содержит 36 млрд параметров и построена на архитектуре Mixture-of-Experts с 40 слоями, 256 маршрутизируемыми экспертами и выбором 8 экспертов на токен. Архитектура использует 16 attention heads и 2 KV heads, словарь из 248 320 токенов и контекст до 262 144 токенов. Исходная модель поддерживает текст и изображения, однако представленные GGUF-файлы являются текстовыми и не содержат vision projector. Репозиторий включает варианты Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0; размеры файлов составляют примерно от 21,2 до 36,9 ГБ. Квантование выполнено с importance matrix, что позволяет сохранить большую часть качества исходной модели, при этом Q4_K_M рекомендуется как оптимальный баланс размера, скорости и качества. К сильным сторонам относятся большой контекст, MoE-архитектура, возможность автономного запуска и несколько уровней квантования с разным компромиссом между качеством и требованиями к памяти. Ограничения — высокая потребность в оперативной или видеопамяти, отсутствие обработки изображений в данных версиях и необходимость применять шаблон чата Qwen3.6 через параметр --jinja. Лицензия исходной модели — Apache 2.0; квантованные файлы подготовлены Atomic Chat.

Terathox-Coder/Qwen3.8-27B-MTP-GGUF — это общественная GGUF-конверсия и квантованная версия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Дополнительное обучение или дообучение не выполнялось. Модель содержит 27 млрд параметров, представлена в формате GGUF и использует квантование Q4_K_M; исходные MTP/NextN-тензоры сохранены. Модель предназначена для локальной генерации текста, программирования, задач software engineering, агентных сценариев, технического рассуждения и работы с длинным контекстом. Она совместима с llama.cpp и совместимыми GGUF-рантаймами, включая Ollama. Сохранение MTP/NextN позволяет экспериментировать со спекулятивным декодированием, однако наличие соответствующих тензоров само по себе не гарантирует их фактическое использование: это зависит от версии и настроек рантайма. В README заявлена поддержка языков English, Spanish и Chinese, а локальное тестирование проводилось с контекстом до 204800 токенов. Ключевые преимущества — существенно сниженные требования к памяти по сравнению с исходной BF16-моделью, поддержка локального запуска и сохранённые компоненты MTP/NextN. Размер файла составляет около 16,8 ГБ. Ограничения включают возможное снижение качества из-за квантования Q4_K_M, отсутствие стандартизированных тестов качества для этой сборки и риск неточных, предвзятых или галлюцинированных ответов. Хотя исходная модель обладает мультимодальными возможностями, данный репозиторий содержит только языковой GGUF-артефакт без проверенного мультимодального проектора, поэтому сборку следует считать текстовой. Модель распространяется по лицензии Apache-2.0. Конкретные показатели скорости в README относятся к локальной конфигурации на трёх GPU и не являются стандартизированными бенчмарками качества или производительности.

kingjones777/Qwen3.8-Flash-Next-ROCmFP4-FAST-GGUF — это квантизированная GGUF-версия модели Qwen3.8-Flash-Next, разработанная сообществом Qwen и адаптированная kingjones777 для запуска на AMD Ryzen AI Max+ 395 с интегрированной графикой Radeon 8060S, архитектурой Strix Halo и GPU-целью gfx1151. Модель предназначена для генерации текста, включая рассуждения, создание JSON, программирование и суммаризацию документов. Модель использует архитектуру qwen4exp и формат ROCmFP4; обычная версия llama.cpp её не загружает. Для работы требуется специальная ветка ROCmFPX с поддержкой qwen4exp и ROCmFP4, а также совместимая сборка для ROCm. В README указана проверка работы с контекстом до 128K, однако размер модели, точный перечень поддерживаемых языков и модальности не приведены. Доступен speculative decoding через MTP-head, который может повышать скорость генерации, но результат проверяется основной моделью; эффективность зависит от типа задачи и настроек. Сильная сторона модели — возможность запуска крупной модели на системе с общей памятью CPU и GPU, включая длинный контекст и аппаратные оптимизации для AMD. Ограничения включают необходимость специального runtime и патчей, зависимость производительности от пропускной способности общей памяти, а также непредсказуемый выигрыш от MTP: в приведённых измерениях он ускорял часть сценариев, но замедлял другие. Лицензия указана как qwen-community-1.0.

Карточка модели xg3s/Qwen3-VL-8B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-VL-8B-Instruct, поэтому описание составлено по ней. Qwen3-VL-8B-Instruct — мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Это плотная модель с 8 млрд параметров для диалога и генерации текста по текстовым и визуальным входам; репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Лицензия — Apache-2.0. Модель предназначена для анализа изображений и видео, визуальных вопросов и ответов, распознавания текста и структуры документов, пространственного рассуждения, STEM-задач и управления интерфейсами через инструменты. Она также генерирует код и разметку Draw.io, HTML, CSS и JavaScript по изображениям или видео. Заявлены контекст 256K токенов с возможностью расширения до 1M, временная привязка событий в видео и OCR на 32 языках. Модель объединяет текстовое и визуальное понимание, поддерживает агентные сценарии и вызов инструментов. Карточка описывает возможности семейства Qwen3-VL; конкретные показатели качества для версии 8B в предоставленном README не приведены.

cyankiwi/Qwen3-VL-8B-Instruct-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3-VL-8B-Instruct, разработанной командой Qwen. Модель предназначена для обработки изображений, видео и текста: она поддерживает визуальные вопросы и ответы, описание и анализ изображений, OCR, понимание документов и видео, пространственное рассуждение, STEM- и математические задачи, а также взаимодействие с графическими интерфейсами и инструментами. В README также заявлена генерация Draw.io, HTML, CSS и JavaScript по изображениям и видео. Модель имеет плотную архитектуру с 8 млрд параметров, поддерживает текстово-визуальное понимание и контекст до 256K токенов с возможностью расширения до 1M. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных зависимостей, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. OCR заявлен для 32 языков, однако полный перечень языков в README не приведён. К преимуществам относятся улучшенное распознавание объектов, документов и пространственных отношений, длительный контекст и понимание видео; ограничения конкретной AWQ-квантизации, точные требования к оборудованию и результаты тестов для данного репозитория не указаны. Распространяется по лицензии Apache-2.0.

Карточка модели Jackrong/Qwopus-GLM-18B-Healed на Hugging Face совпадает с карточкой KyleHessling1/Qwopus-GLM-18B-Healed, поэтому описание составлено по ней. Qwopus-GLM-18B-Healed — плотная языковая модель примерно на 18 млрд параметров, собранная Kyle Hessling как 64-слойное слияние двух дообученных моделей Qwen3.5-9B от Jackrong. Первые 32 слоя взяты из Jackrong/Qwopus3.5-9B-v3.5, остальные — из Jackrong/Qwen3.5-9B-GLM5.1-Distill-v1; границу между частями сгладили 1000 шагами QLoRA-дообучения. В репозитории размещены исходные веса BF16 в формате safetensors для дальнейшей квантизации или дообучения. Модель предназначена для генерации текста в диалоге, рассуждений, вызова инструментов и агентных сценариев. Автор сообщает о результатах на собственной серии из 44 тестов, включая проверки вызова инструментов и агентных задач; это заявление автора, а не независимая оценка. Метаданные указывают поддержку английского, китайского, корейского, японского, французского, немецкого и испанского языков. Лицензия — Apache-2.0. Для запуска и квантизации требуются подходящие вычислительные ресурсы; готовая квантизированная версия размещена отдельно.

Swift-Qwen3.8-27b-int4-AMD — квантованная версия модели Swift-Qwen3.8-27B, разработанная UkisAI на базе Qwen3.8-27B. Модель предназначена для задач рассуждения, генерации текста, программирования и структурированного вывода, а также заявлена как image-text-to-text модель с поддержкой визуального компонента. Swift оптимизирована для сокращения избыточных рассуждений: по данным разработчика, она использует на 58,3% меньше thinking-токенов при потере производительности менее 1% и ускорении до 1,95 раза на ряде задач. Данный выпуск использует квантование AMD Quark AWQ INT4 в формате W4A16: веса имеют точность INT4, активации — BF16, применяется симметричное группирование с размером группы 128. Квантованы 496 линейных слоёв языковой модели, а vision tower, embeddings, output head и 15 MTP-тензоров сохранены в BF16. Размер файлов весов составляет около 19,5 ГБ против 55,6 ГБ у BF16-версии. Калибровка выполнена на 128 образцах Pile по 512 токенов. Сильными сторонами являются снижение объёма весов и потенциальное ускорение инференса при сохранении основных возможностей базовой модели. Проверки показали небольшой рост perplexity на Wikitext-2, успешную арифметическую и JSON-генерацию, однако это не является полноценным сравнением качества. Ключевое ограничение выпуска состоит в том, что квантование и проверка проводились на NVIDIA H100, а работа и производительность на AMD/ROCm ещё не валидировались; требуется совместимый с native Quark INT4 runtime. Vision inference и MTP decoding отдельно не тестировались. Модель распространяется по лицензии swift-open-license-1.0.

Bagel-8b-v1.0-GGUF — квантизированная версия текстовой генеративной модели bagel-8b-v1.0, разработанной jondurbin на базе Meta-Llama-3-8B. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF с вариантами квантизации от Q8_0 до IQ2_XXS. Модель предназначена для генерации и обработки текста, включая диалоговые сценарии, следование инструкциям, программирование, работу с математическими и естественно-научными задачами, суммирование, ответы на вопросы и function calling. Это одномодальная языковая модель: поддерживается только текстовый ввод и вывод. В README не указаны точный размер контекста, полный список поддерживаемых языков и подробные параметры архитектуры. Сильная сторона модели — выбор вариантов квантизации, позволяющий подобрать баланс между качеством, размером файла и требованиями к памяти: Q6_K и Q5 рекомендованы для высокого качества, а более компактные варианты подходят для систем с ограниченными ресурсами, хотя могут заметно уступать по качеству. Ограничения включают возможное ухудшение результатов при низких уровнях квантизации, а также отсутствие в представленных данных независимых оценок качества и подробностей о поведении модели в специализированных задачах. Лицензия обозначена как other с именем llama3; применяется лицензия Meta Llama 3, ссылка на текст которой приведена в карточке модели.

bagel-dpo-8x7b-v0.2-GGUF — это квантизированная версия текстовой генеративной модели bagel-dpo-8x7b-v0.2, разработанной jondurbin и подготовленной в формате GGUF пользователем bartowski. Квантизация выполнена с помощью llama.cpp версии b4222 и метода imatrix. Модель распространяется для локального запуска, в частности через LM Studio. Модель предназначена для генерации текста в формате инструкций и диалогов, а также может применяться к широкому кругу задач: ответам на вопросы, рассуждениям, программированию, работе с естественным языком, математике, извлечению и пониманию информации и ролевым сценариям. В обучении или дообучении использовался широкий набор датасетов, включая MMLU, ARC, BoolQ, DROP, Spider, SQuAD, MathInstruct, CodeParrot и наборы диалогов и preference-данных DPO. Доступны варианты квантизации от Q2_K и Q3 до Q8_0 с размером файлов примерно от 17,44 до 49,63 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M, Q5_K_M и Q6_K отмечены как рекомендуемые. Модель работает с текстом; сведения о поддерживаемых языках, размере контекста и точной архитектуре в README не указаны. Ограничения включают возможное снижение качества в компактных вариантах квантизации и высокие требования к памяти. Лицензия — Apache-2.0.

QuantFactory/calme-2.1-phi3.5-4b-GGUF — это квантованная GGUF-версия языковой модели calme-2.1-phi3.5-4b, созданной на основе Microsoft Phi-3.5-mini-instruct. Исходную модель разработал MaziyarPanahi, а квантование выполнено им же с использованием llama.cpp. Модель предназначена для генерации текста и работает с шаблоном диалогов ChatML. Модель ориентирована на ответы на вопросы, работу чат-ботов и виртуальных ассистентов, генерацию и суммирование контента, генерацию и анализ кода, решение сложных задач и поддержку принятия решений. Заявлен размер около 4 млрд параметров; поддерживаемая модальность — текст, основной указанный язык — английский. Длина контекста в карточке не указана. К сильным сторонам относятся универсальность, формат инструкционной и диалоговой работы, а также доступность в квантованном GGUF-формате, удобном для запуска с llama.cpp и совместимыми инструментами. Ограничения включают возможные смещения и ошибки, характерные для языковых моделей, а также умеренные результаты на сложных тестах рассуждений: средний результат Open LLM Leaderboard указан как 27,01. Для продуктивного использования рекомендуются защитные меры и контроль человеком. Лицензия модели — MIT.

Deepthink-Llama-3-8B-Preview — диалоговая языковая модель PrithivMLmods, дообученная на базе meta-llama/Llama-3.1-8B-Instruct с использованием Rethinking R1 Dataset Logits. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров; поддерживает контекст до 131 072 токенов и работает с текстом. В карточке заявлены обучение с учителем и обучение с подкреплением на основе отзывов людей. Модель предназначена для диалогов и генерации текста с рассуждениями, пошаговыми объяснениями и структурированными ответами. Её можно применять для помощи в программировании, обучения, исследований, творческого письма, генерации JSON и таблиц, а также для чат-ботов и ассистентов. В README заявлена поддержка более 29 языков; метаданные карточки подтверждают английский и китайский. Лицензия — Llama 3. Ограничения включают возможные ошибки в вычислениях и логике, предвзятость, устаревшие сведения, ухудшение связности на длинном контексте и трудности с неоднозначными запросами; критичные результаты требуют проверки человеком.

FuseChat-Llama-3.1-8B-Instruct — разговорная языковая модель FuseAI, созданная методом неявного объединения знаний нескольких крупных языковых моделей. В основе лежит плотная архитектура Llama с 7,5 млрд параметров; модель обучена на основе Llama-3.1-8B-Instruct с этапами дообучения с учителем и оптимизации предпочтений (DPO). Для репозитория указаны библиотека Transformers и формат Safetensors, а заявленный контекст составляет 131 072 токена. Модель предназначена для диалога и следования инструкциям, а также для общих задач, математики, программирования и работы с китайским языком. В описании FuseChat-3.0 сообщается об улучшениях на тестах разговорных навыков и следования инструкциям по сравнению с целевой базовой моделью. Модель принимает текст и генерирует текст. Модель распространяется по лицензии Apache-2.0. Результаты, указанные в карточке для серии FuseChat-3.0, не гарантируют аналогичного качества на всех задачах и языках; подробные сведения о качестве именно этого чекпойнта в предоставленном фрагменте карточки отсутствуют.

GLM-4.7-Flash-NVFP4-GGUF — квантизированная версия языковой модели GLM-4.7-Flash, разработанной Zhipu AI и представленной в формате GGUF. Это модель архитектуры Mixture-of-Experts на базе DeepSeek2 с Multi-head Latent Attention: около 30 млрд параметров всего, из которых примерно 3,2 млрд активны на токен; используются 64 маршрутизируемых эксперта и один общий. Контекст составляет 200 000 токенов. Модель предназначена для генерации текста в диалоге, рассуждений и программирования на английском и китайском языках. Квантизация NVFP4 до примерно 4,53 бит на вес уменьшает размер файла до 15,79 ГБ и рассчитана на эффективный запуск на GPU NVIDIA Blackwell. Режим рассуждений включён по умолчанию; модель не имеет визуального энкодера. Это преобразование базовой модели в формат GGUF с квантизацией NVFP4. Репозиторий распространяется по лицензии MIT. Качество после квантизации может отличаться от исходной модели; для работы с NVFP4 требуется совместимое программное и аппаратное обеспечение.

GRaPE 2.5 Quasar — мультимодальная модель на 27 млрд параметров от SL-AI, дообученная на базе Qwen/Qwen3.8-27B. Она принимает изображения и текст, а также, согласно карточке, видео, и генерирует текст. Модель предназначена для диалогов, анализа визуальных данных, творческих задач, программирования с использованием инструментов, STEAM-задач и многошаговых рассуждений. В ней есть настраиваемые режимы глубины рассуждений и усилий при работе с инструментами; заявлена поддержка десяти языков. Разработчики описывают Quasar как флагман третьего поколения GRaPE с улучшенным обучающим набором и более естественной манерой письма. Доступны веса в формате Safetensors, библиотека для работы — Transformers. Модель распространяется по лицензии Apache-2.0. Карточка не приводит измеримых результатов оценки качества, поэтому заявления о высокой производительности следует считать заявлениями разработчиков.

li-14b-v0.4 — языковая модель на 14 млрд параметров от wanlige, объединённая с помощью mergekit методом Model Stock. В качестве основы использована Qwen/Qwen2.5-14B-Instruct; в слияние также вошли Qwen2.5-Coder-14B, DeepSeek-R1-Distill-Qwen-14B и другие модели семейства Qwen. Модель имеет плотную архитектуру Qwen2 и доступна в формате safetensors. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, выполнение инструкций, рассуждения и задачи, связанные с кодом. Поддерживает контекст до 32 768 токенов; в карточке указаны китайский, английский, французский и немецкий языки. Для инференса используется библиотека Transformers. Лицензия — Apache-2.0. В README приведены результаты Open LLM Leaderboard, включая оценку IFEval 81,33 и MATH Level 5 55,74; они характеризуют тестирование автора и не гарантируют качество на пользовательских задачах. Модель объединяет несколько чекпойнтов, поэтому её поведение и качество могут различаться между типами задач; независимые подробные оценки в карточке не представлены.

MiniCPM3-4B — плотная языковая модель третьего поколения семейства MiniCPM, разработанная командой OpenBMB. Она содержит 4,9 млрд параметров и предназначена для диалогов и генерации текста; также поддерживает вызов функций и работу с интерпретатором кода. Модель принимает текст и формирует текстовые ответы. Контекстное окно составляет 32 768 токенов. В README заявлена возможность теоретически обрабатывать контекст неограниченной длины с помощью LLMxMapReduce без резкого увеличения памяти. Модель ориентирована на китайский и английский языки и доступна для использования через Transformers; для vLLM в README требуется форк библиотеки. Модель подходит для диалоговых помощников, генерации и классификации текста, а также сценариев с вызовом инструментов и выполнением кода через интерпретатор. README сообщает о результатах, сопоставимых с рядом моделей большего размера, но конкретная таблица оценок в предоставленных данных отсутствует. Лицензия — Apache-2.0. Разработчики предупреждают, что ответы следует самостоятельно проверять.

Muse Glimmer 30B GGUF — это квантизированная версия 30-миллиардной каузальной языковой модели Muse Glimmer, разработанной Meta Superintelligence Lab и дистиллированной из Muse Spark. Репозиторий содержит сборки в формате GGUF для локального запуска через llama.cpp на пользовательском оборудовании без облачной инфраструктуры и сетевого доступа. Релиз датирован августом 2026 года, лицензия — Apache 2.0. Модель предназначена для автономных агентных задач, многошагового рассуждения, надёжного использования инструментов, мультимодального понимания и восстановления после сбоев. Базовые GGUF-файлы работают с текстом, а для обработки изображений требуется отдельный perception encoder. Дополнительно доступен DFlash drafter для ускорения генерации с помощью speculative decoding. Указан контекст до 131072 токенов при запуске сервера, однако конкретная доступная длина зависит от конфигурации и ресурсов устройства. Доступны две текстовые квантизации: Q4_K_M размером около 16,8 ГБ, ориентированная на видеокарты с 24 ГБ памяти, и Dynamic Q4_K_XL размером около 19,7 ГБ для систем с 32 ГБ памяти. Вместе с энкодером изображений и drafter требуется примерно до 23 ГБ памяти. Сильными сторонами являются локальная работа, поддержка агентных сценариев, рассуждения и изображений; ограничениями — крупный размер, необходимость совместимой версии llama.cpp не ниже b10353 и отсутствие опубликованной bf16 GGUF-сборки в этом репозитории.

Это 5-битная квантованная версия языковой модели NVIDIA Nemotron 3 Nano 30B A3B, подготовленная командой LM Studio с помощью mlx_lm для работы на компьютерах Apple Silicon. Базовая модель создана NVIDIA; карточка представляет её как разговорную модель с интерфейсом вызова инструментов. Модель предназначена для генерации текста в диалогах, рассуждений, программирования и агентных приложений. Метаданные указывают поддержку английского, испанского, французского, немецкого, японского и итальянского языков. Квантование уменьшает точность весов до 5 бит и ориентировано на запуск через MLX. Репозиторий распространяется по лицензии, обозначенной как other; конкретные условия следует сверить с файлами лицензии модели. Как и другие генеративные модели, она может выдавать неточную, вредную или неподходящую информацию.

Quartz-R1-8B-Genesis-i1-GGUF — квантизированная версия текстовой модели Vaultek/Quartz-R1-8B-Genesis, подготовленная пользователем mradermacher в формате GGUF. Модель ориентирована на генерацию текста, рассуждения, диалоговые сценарии, программирование и задачи, связанные с математикой; в метаданных также указана совместимость с форматами ChatML и направлениями вроде SWE-bench. Заявлена поддержка русского и английского языков. Модель имеет около 8 миллиардов параметров в базовой версии, однако точная архитектура и размер контекстного окна в README не указаны. Репозиторий содержит набор вариантов квантизации i1, включая IQ- и Q-семейства, с размером файлов примерно от 2,1 до 6,7 ГБ; выбор варианта позволяет учитывать компромисс между качеством, скоростью и требованиями к памяти. В качестве обучающих данных перечислены наборы для образовательных текстов, программного кода, математики, диалогов, рассуждений и русскоязычной дистилляции. Сильной стороной модели является широкий выбор квантизаций, благодаря которому её можно запускать на системах с различным объёмом памяти; для баланса скорости, размера и качества автор рекомендует i1-Q4_K_M. Ограничения связаны с потерями качества у низкобитных вариантов, а также с отсутствием в README подробных результатов бенчмарков, сведений о точной архитектуре, контекстном окне и мультимодальных возможностях. Лицензия в предоставленных данных не указана.

Youssofal/Qwen3.6-35B-A3B-MTPLX-Optimized-Balance — локальная модель для генерации текста, опубликованная пользователем или организацией Youssofal и основанная на семействе Qwen3.6. Она предназначена для запуска на компьютерах Apple Silicon через MLX и ускорения генерации с помощью MTPLX — механизма speculative decoding, использующего собственные MTP-головы модели для чернового предсказания токенов с последующей проверкой основной моделью. Модель подходит для локального чата, программирования и других сценариев генерации текста, включая задачи с рассуждениями и обычные контексты разработки. README не указывает поддерживаемые языки и точное максимальное окно контекста. Модель имеет конфигурацию 35B-A3B и архитектуру mixture-of-experts, поставляется в виде 6-битного MLX-квантизованного основного блока с размером группы 64, 8-битными router и gate-тензорами, а также калиброванными INT4 MLX MTP-головами. Нормализации, масштабы, смещения и обычные тензоры сохранены в BF16. Заявлены высокая скорость локальной генерации и практичное потребление памяти; измеренная скорость генерации в режиме MTPLX Sustained Max на Apple Silicon для рекомендованной конфигурации D2 составила около 123–126 токенов в секунду, а скорость обработки промпта в тестах достигала 1756,8–4109,8 токена в секунду в зависимости от длины контекста. Ограничения связаны с применением квантизации, зависимостью от Apple Silicon и MTPLX, а также с тем, что это не полноточный чекпойнт. Лицензия — Apache-2.0.