I.7Речь, диалоги и встречи

Карточка модели omegaT4224/Emulator.exe на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

unsloth/inkling-NVFP4 — вариант мультимодальной модели Inkling от Thinking Machines, опубликованный Unsloth. Модель представляет собой авторегрессионный трансформер с 66 слоями и разреженной архитектурой Mixture-of-Experts: всего 975 млрд параметров, из которых активно 41 млрд. Она принимает текст, изображения и аудио, обрабатывает их совместно и генерирует текст. В README также описана поддержка видео у семейства Inkling; для этой версии метаданные каталога подтверждают задачу image-text-to-text и возможность работы с изображениями. Модель предназначена для диалогов, следования инструкциям, анализа изображений, приложений с инструментами и агентными сценариями, помощников по программированию и систем RAG. Основной язык — английский; заявлены общие многоязычные возможности. Версия NVFP4 обозначена в названии, а в README для семейства перечислены NVFP4 и BF16. Лицензия — Apache-2.0. Модель может галлюцинировать, неточно следовать инструкциям и хуже работать в длинных многоходовых диалогах; качество может различаться по языкам и предметным областям. Для потенциально вредных запросов возможны обходы защит через ролевые и косвенные формулировки, поэтому для пользовательских продуктов нужны проверки и дополнительная модерация.

Meta Llama 3.3 70B Instruct — мультиязычная генеративная языковая модель Meta для диалогов и следования инструкциям. Это авторегрессионный трансформер на 70 млрд параметров, дообученный с помощью supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей. Модель принимает и выдаёт текст, поддерживает контекст до 128 тысяч токенов и оптимизирована для диалоговых сценариев. Модель подходит для создания ассистентов, ответов на вопросы, написания и преобразования текстов, а также генерации синтетических данных. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; русский среди них не указан. Для инференса описана библиотека Transformers, а контрольные точки можно использовать с 8- и 4-битной загрузкой через bitsandbytes для снижения требований к памяти. Модель статична и обучена на офлайн-данных с отсечкой знаний в декабре 2023 года. Она не принимает изображения, аудио или видео; качество и безопасность ответов требуют оценки и мер защиты в конкретном приложении. Использование регулируется пользовательским соглашением Llama 3.3 Community License, включая его ограничения и Acceptable Use Policy.

Marin 8B Instruct — англоязычная инструктивная модель команды Marin при Stanford CRFM, созданная как открытая модель с учителем (SFT). Это плотный авторегрессионный Transformer архитектуры Llama с 7,5 млрд параметров и контекстом 4096 токенов; карточка указывает поддержку английского языка и возможность диалогового использования. Модель предназначена для ответов на инструкции и диалога, а обучающие данные включают примеры по программированию, математике, рассуждениям и общим беседам. Она распространяется в формате safetensors и рассчитана на запуск через Transformers и совместимые библиотеки для Llama. Лицензия модели и кода — Apache 2.0. Это SFT-only модель без настройки безопасности. Она может выдавать неточную информацию или вредоносный и предвзятый контент; ответы следует проверять, а модель не предназначена для полностью автономного применения.

MiniCPM5-2B MLX 4-bit — это квантизированная версия языковой модели OpenBMB/MiniCPM5-2B, подготовленная для локального запуска в формате MLX. Исходная модель разработана OpenBMB; данный вариант представлен пользователем abenzerps. Модель предназначена для генерации текста, программирования, рассуждений, работы с длинным контекстом и использования инструментов. Модель имеет плотную Llama-подобную архитектуру и содержит около 2 млрд параметров. Это текстовая модель без поддержки изображений: в поставку не входят vision-проектор и файлы MTP. Поддерживаются английский и китайский языки. Заявленная нативная длина контекста исходной модели составляет 131 072 токена. Квантование выполнено методом affine 4-bit с размером группы 64; размер MLX safetensors-файлов — около 1,4 ГБ. Ключевые преимущества модели — небольшой размер, возможность локального запуска, поддержка длинного контекста и сценариев с инструментами при существенно сниженных требованиях к памяти. Ограничения связаны с 4-битным квантованием, текстовой модальностью и отсутствием заявленных в карточке подробных результатов тестирования для этой конкретной конвертации. Модель распространяется по лицензии Apache-2.0.

NVIDIA-Nemotron-3-Nano-30B-A3B-Base-BF16 — базовая большая языковая модель, обученная NVIDIA с нуля на предсказание следующего токена. Она предназначена для разработчиков и исследователей, которым нужна основа для дообучения под следование инструкциям и создания специализированных ИИ-агентов. Архитектура сочетает Mamba2 и Transformer с экспертами (MoE); модель содержит 30 млрд параметров, принимает и генерирует текст, а в карточке указано окно контекста до 1 млн токенов. Конфигурация Hugging Face по умолчанию использует 256 тыс. токенов из-за требований к видеопамяти. Модель обучалась на коде, математике, научных и общеязыковых данных; NVIDIA приводит поддержку русского и других естественных языков, а также обучение на 43 языках программирования. Заявленные области корпуса включают право, математику, науку и финансы. Для запуска NVIDIA рекомендует GPU-системы, в частности H100-80GB или A100, и NeMo Framework; также перечислены Transformers, vLLM и TRT-LLM. Модель заявлена как готовая к коммерческому использованию, однако метаданные Hugging Face обозначают лицензию как «other», поэтому перед использованием следует проверить условия лицензии в карточке.

OpenCerebrum-2.0-7B — англоязычная языковая модель от Cognitive Computations, дообученная методом SFT и DPO на базе alpindale/Mistral-7B-v0.2-hf. Она предназначена для генерации текста и ответов на вопросы, включая задачи программирования, математики, естественных наук, рассуждений и диалогов с несколькими ходами. Обучающая выборка содержит около 7 тысяч примеров из 15 источников, подобранных для воспроизведения возможностей закрытой модели Cerebrum. Модель имеет плотную архитектуру Mistral с 7,1 млрд параметров и контекстное окно до 32 768 токенов. Карточка заявляет английский язык; репозиторий содержит веса в формате safetensors. Лицензия — Apache 2.0. Это открытая реплика, обученная на подмножестве данных, поэтому она может уступать оригинальной Cerebrum. На ответы могут влиять смещения и ограничения обучающих данных; размер 7B также ограничивает требования к памяти и вычислительным ресурсам по сравнению с более крупными моделями.

sudo-0x2a/Qwen3.6-27B-NVFP4-GPTQ — квантованная версия базовой модели Qwen/Qwen3.6-27B, подготовленная автором репозитория sudo-0x2a. Это текстогенерационная модель с поддержкой визуальных компонентов, предназначенная прежде всего для локального запуска и инференса на высокопроизводительном потребительском оборудовании. Тестирование проводилось на одной NVIDIA RTX 5090 с использованием vLLM и FP8 для KV-кэша. Модель использует смешанную точность: слои внимания, линейного внимания и MLP квантованы в NVFP4, а vision-компоненты, MTP, lm head и embeddings сохранены в BF16. При квантовании применялись SmoothQuant и GPTQ, калибровка выполнена на 512 образцах с длиной последовательности 8192. По приведённым локальным оценкам модель показывает 85,0 на подмножестве MMLU-Pro и GPQA Diamond, 57,0 на SWE-bench Verified Easy и 84,0 на подмножестве MMMU Pro; результаты напрямую сопоставимы с BF16-оценками ограниченно, поскольку получены в разных средах. Главное преимущество — существенное снижение требований к памяти при сохранении широких возможностей базовой модели, включая работу с текстом, кодом и визуальными задачами. При этом надёжность работы с длинным контекстом не гарантируется: из-за сильного квантования чувствительных linear attention layers возможна деградация на больших длинах последовательности. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-heretic-ara-oQ4e-mtp — смешанно-точно квантованная версия модели trohrbaugh/Qwen3.8-27B-heretic-ara, опубликованная underlotus. В основе лежит Qwen3.8-27B; модель имеет около 27 млрд параметров, поддерживает текстовые, графические и видео входы, а также английский и китайский языки. Vision tower и голова Multi-Token Prediction сохранены. Веса представлены в формате MLX safetensors и совместимы с oMLX, mlx-lm, LM Studio и другими приложениями с поддержкой MLX. Модель предназначена для генерации текста, мультимодального анализа изображений и видео, программирования и локального запуска на устройствах Apple Silicon. Квантование oQ4e использует около 4,6 бит на параметр и распределяет точность по слоям с учётом их чувствительности, что уменьшает требуемую память примерно с 55 ГБ до 16–18 ГБ. Ограничениями являются зависимость от MLX-совместимой инфраструктуры, повышенные требования к памяти по сравнению с небольшими моделями и отсутствие указанного в README максимального контекста. Модель описана как декензурированная и сохраняет мультимодальные возможности, однако конкретные гарантии качества и безопасности для всех сценариев не приведены. Лицензия — Apache 2.0, унаследованная от базовой модели.

Qwen3.8-27B-Uncensored-OptiQ-4bit — это квантизированная версия reasoning-модели семейства Qwen3.8, разработанная сообществом mlx-community на базе orcarouter/Qwen3.8-27B-Uncensored. Модель предназначена для генерации текста, рассуждений, работы с длинным контекстом, function calling, tool use и агентских сценариев. В карточке указана поддержка английского языка. Модель содержит 27 млрд параметров и использует смешанную квантизацию OptiQ с точностью 4 и 8 бит на уровне отдельных компонентов: 237 компонентов представлены в 4-битном формате, 261 — в 8-битном. Размер модели на диске составляет около 19 ГБ, group size — 64. В ней сохранена MTP-голова для speculative decoding, которая может ускорять генерацию при использовании совместимого сервера. Модель оптимизирована для локального запуска на Apple Silicon через MLX без PyTorch и облачных сервисов. Сильными сторонами являются сочетание сниженного потребления памяти, reasoning-возможностей, поддержки инструментов и потенциально более быстрой генерации благодаря MTP. Ограничения включают необходимость экосистемы MLX и Apple Silicon, а также специального пакета mlx-optiq для загрузки архитектуры и MTP-компонента. README не указывает точный размер контекстного окна, подробные результаты тестирования или дополнительные языки. Модель распространяется по лицензии Apache-2.0.

Theta-35 — плотная языковая модель семейства Theta от SVECTOR, предназначенная для диалогов и задач, требующих сложных рассуждений. Она обучалась в несколько этапов: предварительное обучение, supervised fine-tuning и обучение с подкреплением. Архитектура включает Transformers, RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV; в карточке указано 33 млрд параметров, а в метаданных — 32 млрд. Модель поддерживает генерацию текста и интерфейс вызова инструментов. Theta-35 рассчитана на математические и научные рассуждения, логические выводы, многошаговое решение задач, а также понимание и генерацию кода. В метаданных указаны английский язык и контекст до 131 072 токенов; README приводит контекст 32 768 токенов, поэтому фактическую длину контекста следует сверить с документацией и конфигурацией используемой версии. Для работы нужна актуальная версия Transformers, README рекомендует версию 4.43.1 или новее. Модель распространяется по лицензии Apache-2.0.

Это экспериментальная дообученная версия Gemma 4 26B A4B IT, подготовленная glyphsoftware с помощью Unsloth. Модель обучена методом supervised fine-tuning на примерно 8,7 тыс. примеров рассуждений, дистиллированных из Claude Opus 4.6 и 4.7. Она предназначена для диалогов и генерации текста с упором на многошаговое рассуждение, планирование и самопроверку; поддерживает интерфейс вызова инструментов. Основа — мультимодальная архитектура Gemma4ForConditionalGeneration с экспертной архитектурой MoE. Базовая модель принимает текст, изображения, аудио и видео; README заявляет контекст до 262 тыс. токенов. Метаданные указывают формат safetensors и лицензию GPL-3.0. Обучающие примеры акцентируют математику, код, логику и разбиение задач на шаги. Мультимодальные возможности унаследованы от базовой модели и специально не улучшались этим дообучением. Небольшой обучающий набор скорее влияет на стиль рассуждений, чем обеспечивает широкий прирост возможностей; возможны ошибки и перенос особенностей стиля и отказов Claude. Дополнительная настройка безопасности не проводилась, поэтому для высокорисковых сценариев нужны проверка человеком и собственные защитные меры.

Granite-4.2-3B GGUF — это набор квантизированных версий компактной reasoning-модели Granite-4.2-3B, разработанной IBM и распространяемой пользователем NANI-Nithin в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста, решения математических и многошаговых задач, программирования, агентских сценариев и вызова инструментов. Она поддерживает встроенное рассуждение с использованием блоков <think>...</think> и режимы полного, отключённого и облегчённого рассуждения, позволяющие выбирать баланс между качеством и задержкой ответа. Модель построена как плотный decoder-only Transformer с 3 млрд параметров, Grouped Query Attention с 40 attention heads и 8 KV heads, RoPE с θ = 10 000 000 и MLP-блоками. Заявлено контекстное окно 512K токенов, подходящее для длинных документов, многошаговых диалогов и сложных agentic workflows. В README явно указана текстовая генерация; сведения о поддерживаемых языках и мультимодальности не приведены. К сильным сторонам относятся малый размер, встроенное reasoning, гибкие режимы рассуждения, поддержка reasoning-augmented tool calling и широкий выбор квантизаций — от BF16 и почти без потерь Q8_0 до сильно сжатых вариантов для устройств с ограниченной памятью. К ограничениям относятся неизбежное снижение качества при агрессивной квантизации, а также отсутствие в предоставленных данных результатов бенчмарков и подробностей о языковом покрытии. Модель и её квантизированные варианты заявлены под лицензией Apache 2.0, допускающей коммерческое и исследовательское использование.

nvidia_AceInstruct-72B-GGUF — это GGUF-квантизованная версия instruct-модели AceInstruct-72B, разработанной NVIDIA и подготовленной пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста в диалоговом и инструкционном формате, включая задачи общего назначения, программирование и математику. В README указана поддержка английского языка. Модель имеет размер 72B параметров; конкретная архитектура и максимальная длина контекста не указаны. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-квантов с размером файлов примерно от 29 до 77 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше оперативной памяти; варианты Q4_K_M, Q5_K_M и Q6_K отмечены как рекомендуемые. Формат рассчитан на запуск через llama.cpp, LM Studio и другие совместимые проекты. К сильным сторонам относятся широкий выбор вариантов квантизации и возможность локального запуска, а также специализация исходной модели на инструкциях, коде и математике. Ограничениями являются высокие требования к памяти даже у компактных вариантов, снижение качества при низкой квантизации и отсутствие в предоставленных данных подробных результатов тестирования, сведений о мультимодальности и контекстном окне. Распространение указано по лицензии CC BY-NC-4.0, которая ограничивает коммерческое использование.

Qwen2.5-14B — базовая языковая модель серии Qwen2.5, разработанной командой Qwen. Это предварительно обученная плотная авторегрессионная модель на архитектуре Transformer с RoPE, SwiGLU, RMSNorm и смещениями в проекциях QKV; в ней 14 млрд параметров, 48 слоёв, 40 голов Q и 8 голов KV. Модель принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для дообучения и дальнейшей адаптации под генерацию текста, включая диалоги, следование инструкциям, программирование, математику и структурированные данные. Серия поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий и японский. В карточке этой базовой версии отмечены английский язык и интерфейс для вызова инструментов. Сильные стороны серии — работа с длинным контекстом, улучшенное следование инструкциям, генерация длинных текстов и структурированных результатов, в том числе JSON. Это базовая версия, поэтому авторы не рекомендуют использовать её для диалогов без дополнительного постобучения. Модель распространяется по лицензии Apache 2.0.

Это мультимодальная модель Qwen3.6-27B, созданная darkc0de на основе Qwen/Qwen3.6-27B и дообученная на примерах рассуждений Claude Opus. Затем модель прошла decensoring методом abliteration с помощью Heretic v1.3.0; опубликованные параметры и сравнение показывают снижение частоты отказов с 98 до 8 на 100 запросах относительно исходной версии distill. Модель предназначена для диалогов, программирования, творческого письма, понимания изображений и задач общего назначения. Архитектура плотная, с 27 млрд параметров; заявлена поддержка изображений и текстового чата. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0. Для запуска автор отсылает к инструкциям команды Qwen.

SergiioB/Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16 — это квантованная версия Qwen3.8-27B, разработанная SergiioB для запуска и обслуживания через vLLM XPU на видеокартах Intel Arc с архитектурой Xe2. Модель предназначена для генерации текста, включая кодинг и другие сценарии локального инференса, а также поддерживает обработку изображений благодаря встроенной vision tower. В карточке заявлены английский и китайский языки. Модель использует архитектуру Qwen3_5ForConditionalGeneration с гибридным механизмом внимания GDN: линейное внимание чередуется с полным вниманием каждые четыре слоя. Указаны 5120 скрытых признаков, 64 слоя, 24 Q-head и 4 KV-head с GQA. Основная часть модели квантована в GPTQ INT4 с симметричными группами размера 128 и форматом W4A16; MTP-компоненты сохранены в BF16 для поддержки нативного speculative decoding. Vision tower также не квантована. Максимальная позиционная длина в конфигурации составляет 262144 токена, однако на протестированной конфигурации Intel Arc Pro B70 32 ГБ измерялась работа с контекстом до 131072 токенов. Сильная сторона модели — ускоренная генерация благодаря MTP4: в приведённых измерениях на Intel Arc Pro B70 скорость декодирования достигала 83,7 токена в секунду без дополнительного overlay и 112,65 токена в секунду с опциональным INT4-квантованием draft-компонентов. Производительность зависит от длины контекста, числа параллельных запросов, настроек vLLM XPU и конкретного оборудования. Ограничениями являются привязка к совместимому XPU-стеку, особенности GPTQ-квантизации и то, что заявленные результаты получены на одной видеокарте и не гарантируют аналогичную скорость в других условиях. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Omnimerge-v6 — плотная мультимодальная модель семейства Qwen, созданная ManniX-ITA слиянием опубликованных чекпойнтов на базе Qwen/Qwen3.8-27B. Веса получены арифметическим слиянием трёх дообученных моделей Qwen3.6 с переносом их изменений на новую базу; модель сама не дообучалась и не дистиллировалась. Архитектура поддерживает обработку текста и изображений, диалог, программирование, рассуждения и интерфейс вызова инструментов. Модель предназначена для диалоговых сценариев, анализа изображений, задач программирования и многошаговых рассуждений. В единственном сравнительном тестировании на выборке из пяти бенчмарков заметное улучшение относительно v4 показано на LiveCodeBench; остальные результаты в основном находятся в пределах погрешности, а GPQA ниже на 2 процентных пункта. Модель склонна к длинным рассуждениям и может исчерпать лимит бюджета ответа. Оценки проводились на Q6_K; другие уровни квантования отдельно не проверялись. Модель использует Transformers и формат Safetensors. Лицензия — Apache-2.0. README характеризует её как исследовательский чекпойнт и отмечает ограничения оценки: одна выборка, один seed и один уровень квантования.

Qwen3.8-Flash-Next (PLElast) GGUF — это GGUF-сборка модели Qwen3.8-Flash-Next, опубликованная whm0627 на основе весов Qwen/Qwen3.8-Flash-Next и квантизаций unsloth. Модель предназначена для генерации текста, включая программный код и структурированные форматы. Архитектура — MoE с общим размером около 177B параметров и примерно 3B активных параметров. Доступны варианты Q2_K_XL размером 79 ГБ и IQ1_S размером 68 ГБ; веса не переквантизировались, изменён только порядок тензоров. Особенность сборки PLElast — размещение большой таблицы PLE/n-gram-эмбеддингов в конце файла. Это позволяет запускать модель на Apple Silicon и Metal при ограниченной памяти: на Mac с 64 ГБ заявлено около 42–48 ГБ использования VRAM или unified memory, несмотря на больший размер файла. Поддерживается контекст до 128K токенов. В тестах на Apple M1 Max с llama.cpp скорость декодирования составила около 21 токена в секунду, а с MTP speculative decoding для кода — около 24 токенов в секунду. Q2_K_XL обеспечивает немного лучшую perplexity, тогда как IQ1_S занимает меньше места и оставляет больше памяти для длинного контекста; автор отмечает, что глубокое тестирование не проводилось. Модель требует llama.cpp с поддержкой qwen4exp, быстрой SSD-памяти и актуального runtime; для MTP нужны отдельная draft-модель и специальная ветка llama.cpp. Совместимость с LM Studio заявлена только для новых runtime. Лицензия — Apache-2.0.

Raptor 0.6 — GGUF — это квантизированная версия модели Raptor 0.6, разработанная Osaurus AI на базе XHToken/Spark-X2.5-4B. Модель предназначена для генерации текста, рассуждений, агентских сценариев и использования инструментов, включая работу с файлами и вызов функций. Заявлена поддержка английского и китайского языков, а формат GGUF ориентирован на локальный запуск, в частности в Osaurus for Windows и совместимых рантаймах семейства llama.cpp. Модель содержит около 4 млрд параметров и использует архитектуру spark2_5: объединённый q_k_v_proj, sigmoid-gate на выходе attention, GELU-MLP, RMSNorm без сдвига, а также комбинацию sliding и full attention с окном 512 токенов. В репозитории доступны варианты Q6_K размером около 3,38 ГБ и Q4_K_M размером около 2,60 ГБ; оба созданы с importance matrix для снижения потерь при квантизации. Поддерживаются встроенное рассуждение с отделением reasoning_content от основного ответа и преобразование вызовов инструментов в стандартный OpenAI JSON. Сильными сторонами являются возможность локального запуска, небольшой размер, поддержка reasoning и tool use, а также калибровка imatrix; для Q6_K заявлено совпадение top-1 с исходными bf16-весами на уровне 98,27%. Ограничение — необходим runtime с поддержкой архитектуры spark2_5: стандартные версии llama.cpp, Ollama и LM Studio без такой поддержки эти файлы не загрузят. Для работы рекомендуется llama.cpp с параметром --jinja; при сложных запросах рассуждения могут потребовать более 8192 выходных токенов, которые учитываются вместе с входом в пределах контекстного окна. Лицензия — Apache-2.0.

Tele-FLM (также FLM-2) — открытая многоязычная языковая модель на 52,2 млрд параметров, разработанная BAAI и TeleAI. Это плотный декодерный Transformer, обученный примерно на 2 трлн токенов; архитектура использует RoPE, RMSNorm и SwiGLU и во многом совместима с Llama. Контекст модели составляет 4096 токенов. Модель предназначена для генерации текста и извлечения признаков, включая многоязычные запросы и задачи, где важны фактические суждения. В обучающих данных преобладают английский и китайский языки; также включены код и тексты на других языках. Доступны веса и сведения о разработке и обучении модели. Модель распространяется по лицензии Apache 2.0. По предупреждению разработчиков, она может воспроизводить предвзятые или оскорбительные примеры и выдавать небезопасный контент; ответы следует проверять.

airoboros-l2-13b-2.2.1 — экспериментальная инструкция-ориентированная языковая модель на архитектуре Llama с 12,9 млрд параметров, созданная Джоном Дурбином на основе преимущественно синтетических данных. Это обновлённая версия airoboros-l2-13b-2.2: в ней заново сгенерированы ответы для задач письма, добавлены более длинные контекстные блоки, удалены примеры ролевой игры и изменена степень снятия ограничений. Модель предназначена для выполнения инструкций, ответов на вопросы по предоставленному контексту, суммаризации, генерации текста и кода, а также формирования аргументов функций в JSON или YAML. Для диалога используется текстовый формат с метками USER и ASSISTANT; контекст составляет 4096 токенов. Модель не ориентирована прежде всего на непринуждённый чат и ролевую игру. Карточка характеризует модель как экспериментальную и предупреждает, что при ответах вне заданного контекста она может выдумывать сведения; для закрытых вопросов рекомендуется явно просить не придумывать ответ при недостатке информации. Распространяется по лицензии Llama 2.

BAAI_AREX-Turbo-GGUF — это квантизированная версия модели AREX-Turbo, разработанной BAAI и опубликованной в формате GGUF пользователем bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от BF16 и Q8_0 до более компактных Q2/Q3/IQ-квантизаций. Размер файлов составляет примерно от 2,2 до 8,4 ГБ в зависимости от варианта. Модель предназначена для сценариев агентного использования, глубокого исследования, рассуждений и работы с инструментами. В карточке она также отмечена как long-context и dense; pipeline обозначен как image-text-to-text, однако подробные сведения о поддерживаемых визуальных входах, архитектуре, числе параметров и максимальной длине контекста не приведены. Указан английский язык. Для работы предлагается шаблон промпта в стиле Qwen с отдельным блоком рассуждений. Сильной стороной модели является широкий выбор квантизаций: варианты Q6_K и Q6_K_L позиционируются как близкие к исходному качеству, Q4_K_M — как сбалансированный вариант для большинства сценариев, а компактные версии подходят для систем с ограниченной оперативной памятью. При этом снижение разрядности может ухудшать качество ответов, особенно у низкобитных вариантов. Модель распространяется по лицензии Apache-2.0 и может запускаться через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты.

DeepSeek-R1-Distill-Qwen-7B-bnb-4bit — это 4-битно квантованная версия модели DeepSeek-R1-Distill-Qwen-7B, опубликованная Unsloth и основанная на базовой модели deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Модель относится к семейству плотных языковых моделей Qwen, дистиллированных из DeepSeek-R1, и предназначена для исследовательских и прикладных задач, требующих рассуждений, включая решение математических задач, программирование, анализ и генерацию текста. В README также упоминается применение для диалоговых сценариев и текстового завершения через экосистему Transformers и инструменты Unsloth. Модель имеет размер 7B параметров и поддерживает английский язык; другие языки и мультимодальные возможности в предоставленных данных не указаны. Суффикс bnb-4bit указывает на 4-битное представление в формате, связанном с bitsandbytes, что снижает требования к памяти и делает запуск доступнее на ограниченных по ресурсам GPU, однако может сопровождаться компромиссом между качеством и точностью по сравнению с полной точностью. Архитектурные детали и размер контекста в README не приведены. Сильной стороной модели являются возможности рассуждения, унаследованные от DeepSeek-R1 и дистиллированные в компактную 7B-модель, а также более экономичное потребление памяти благодаря квантованию. Ограничения включают возможные ошибки, недостаточную читаемость или смешение языков, характерные для reasoning-моделей и упомянутые в контексте исходного семейства; конкретные результаты для этой версии не указаны. Модель распространяется по лицензии Apache-2.0.

ressl/gemma-4-31B-it-uncensored-GGUF — квантизированная GGUF-версия модели gemma-4-31B-it-uncensored, основанной на Google Gemma 4 31B-it. Формат подготовлен Robert Ressl для запуска через llama.cpp, Ollama и LM Studio; разработчик базовой модели — Google, а адаптация, «uncensored»/abliterated-обработка, конвертация и валидация выполнены Robert Ressl. Модель предназначена для генерации текста, диалоговых задач, локального запуска и сценариев, где требуется ассистент с минимальным количеством отказов, включая этичный анализ безопасности, исследование уязвимостей, анализ вредоносного и exploit-кода, написание правил обнаружения и red-teaming. GGUF-репозиторий является текстовым: мультимодальная vision-компонента удалена. Заявлены английский и немецкий языки. Модель поддерживает режим рассуждений, включаемый по умолчанию в llama.cpp; для прямых ответов его можно отключить. Доступны квантизации от q8_0 до q2_k размером примерно от 31 до 12 ГБ; q4_k_m указан как рекомендуемый баланс качества и размера. Меньшие квантизации снижают требования к памяти, но могут ухудшать качество. README сообщает о 0 эффективных отказов в большинстве уровней квантизации и о скорости около 75 токенов в секунду для q4 на одной RTX PRO 6000, однако эти показатели зависят от среды и методики тестирования. Максимальная длина контекста и архитектурные детали не указаны. Модель распространяется по Apache License 2.0, унаследованной от базовой модели Google Gemma 4; использование должно соответствовать условиям этой лицензии и применимому законодательству.

Ling-2.6-flash — открытая инструктивная языковая модель компании InclusionAI для диалога и агентных сценариев. Она предназначена для вызова инструментов, многошагового планирования и выполнения задач, включая работу в агентных и программных фреймворках; также подходит для ответов на общие вопросы, математических рассуждений, следования инструкциям и обработки длинного контекста. Архитектура — гибридная MoE семейства Bailing; в карточке заявлены 104 млрд параметров всего и 7,4 млрд активных, тогда как метаданные репозитория указывают 6,4 млрд параметров. Метаданные указывают контекст до 131 072 токенов, текстовый ввод и генерацию текста; карточка отмечает интерфейс вызова инструментов. Заявлены оптимизация скорости вывода и экономии токенов, а также результаты на агентных бенчмарках. Модель распространяется по лицензии MIT. Ограничения включают возможные галлюцинации при вызове инструментов в сложных сценариях, недостаточную глубину рассуждений, не всегда естественное переключение между китайским и английским и трудности со сложными инструкциями. Карточка описывает преимущественно китайско-английские сценарии, а метаданные указывают английский язык; другие языки отдельно не подтверждены.

hardcoreerik выпустил декензурированную версию Llama-3.1-Nemotron-Nano-4B-v1.1, созданную с помощью Heretic v1.3.0. По карточке это плотный decoder-only Transformer семейства Llama, дообученный на базе nvidia/Llama-3.1-Minitron-4B-Width-Base; размер — 3,9 млрд параметров, контекст — до 131 072 токенов. Модель принимает и выдаёт текст, поддерживает чат, рассуждения, следование инструкциям и вызов инструментов. Она предназначена для чат-ботов, агентных систем, RAG и общих задач, включая программирование, математику и рассуждения. Основной язык — английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского. В сравнении с исходной моделью в README указано меньше отказов на тесте из 100 запросов, что отражает её декензурированную настройку. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия указана как other, а README заявляет готовность исходной модели к коммерческому использованию, но условия лицензии именно этой версии следует проверять отдельно.

MiniCPM5-2B — плотная причинная языковая модель семейства MiniCPM5, разработанная командой MiniCPM. Она предназначена для локальных помощников, запуска на устройствах и в условиях ограниченных ресурсов, а также для задач программирования, рассуждений и работы с инструментами. Модель построена на архитектуре LlamaForCausalLM, содержит 2,2 млрд параметров по метаданным и поддерживает контекст до 131 072 токенов. Модель подходит для диалогов, агентных сценариев и обработки длинного контекста. В карточке отмечены сильные результаты относительно моделей сопоставимого размера в программировании, математике, работе с длинным контекстом и инструментами. Указаны английский и китайский языки. Доступны веса safetensors и запуск через Transformers, в том числе на CPU и GPU. Лицензия — Apache-2.0. Ответы могут содержать ошибки, предвзятые или оскорбительные сведения; выводы по медицине, финансам, праву и политике не являются профессиональной консультацией. Модель предоставляется без гарантий.

MiniCPM5-2B-GGUF — это набор общественных GGUF-квантизаций плотной языковой модели MiniCPM5-2B, разработанной OpenBMB и преобразованной в формат GGUF автором ngquocvinh. Релиз предназначен для локального запуска через llama.cpp и совместимые среды, включая Ollama и LM Studio, а также для создания локальных ассистентов, coding agents, сценариев с использованием инструментов и развёртывания на устройствах с ограниченными ресурсами. Релиз является только конвертацией и квантизацией исходной модели без дополнительного обучения, дообучения, объединения весов или иных изменений параметров. Модель использует архитектуру LlamaForCausalLM, содержит около 2,52 млрд параметров, 42 слоя и GQA с 16 query-heads и 2 KV-heads. Нативная длина контекста составляет 131 072 токена. В метаданных указаны английский и китайский языки. Поддерживаются генерация текста, рассуждения и официальный шаблон чата с thinking и XML-стилем вызова инструментов, однако поведение tool calling в этом релизе отдельно не сертифицировано. Доступно несколько уровней квантизации: от Q8_0 и Q6_K с наибольшей близостью к BF16-версии до более компактных вариантов с меньшей точностью. Чем сильнее сжатие, тем ниже требования к ресурсам, но тем заметнее отклонение поведения от исходной модели; экстремально низкие уровни, такие как Q1_0 и некоторые Q2-варианты, демонстрируют существенную потерю качества по приведённым измерениям. Релиз распространяется по Apache License 2.0 с требованием сохранять атрибуцию OpenBMB и лицензию при перераспределении. Это общественная квантизация, не официальный релиз и не одобрение OpenBMB.

Nanbeige4.2-3B-Base — базовая языковая модель семейства Nanbeige, разработанная командой Nanbeige и обученная с нуля. Это плотная модель с архитектурой Looped Transformer: она повторно использует те же слои, что позволяет увеличить вычислительную ёмкость без увеличения числа параметров. Размер модели — 3,2 млрд параметров, нативная длина контекста — 131 072 токена. Модель распространяется в формате safetensors и рассчитана на работу через Transformers. Модель предназначена для генерации текста и служит базой для задач рассуждения, математики, программирования, STEM и ответов на вопросы. В карточке сообщается об увеличении объёма обучающих данных до 28 трлн токенов и усиленном представлении математических, кодовых, STEM-данных и синтетических вопросов и ответов. Указаны английский и китайский языки; доступен разговорный режим. Лицензия — Apache-2.0. Модель может выдавать недостоверную информацию, предвзятые или вредные ответы; результаты требуют проверки.