I.3Извлечение и структурирование данных

Apertus-70B-Instruct-2509 — многоязычная языковая модель Swiss AI Initiative для диалогов и генерации текста. Это дообученная версия Apertus-70B-2509 с архитектурой декодерного трансформера; в метаданных указано 97,7 млрд параметров и контекст до 65 536 токенов. Модель принимает текст и выдаёт текст, поддерживает более 1 800 языков и умеет использовать инструменты в агентных сценариях. Модель предназначена для ответов на вопросы, диалогов и других задач генерации текста, в том числе с длинным контекстом. Разработчики заявляют об открытых весах, данных и описании обучения, а также о соблюдении согласия владельцев данных. Модель распространяется по лицензии Apache-2.0. Ответы могут содержать фактические ошибки, логические несоответствия и смещения. Фильтр для удаления персональных данных в комплект не входит; важные сведения следует проверять.

jondurbin/bagel-20b-v04-llama — языковая модель для диалогов и генерации текста, созданная как версия Bagel-20B-v04 с архитектурой Llama. В README указано, что Bagel-20B-v04 дообучена на базе internlm2-20b; метаданные также указывают internlm/internlm2-20b в качестве базовой модели. Модель содержит 19,3 млрд параметров, имеет контекст до 32 768 токенов и распространяется в формате safetensors. Модель предназначена для ответов на вопросы, следования инструкциям, написания и пересказа текстов, решения задач по математике и естественным наукам, программирования, ролевого общения и вызова функций. В обучении использовались данные для диалогов, чтения с пониманием, контекстных ответов, суммаризации, Python и SQL, а также многоязычные материалы. Поддерживаются несколько форматов промптов; шаблон по умолчанию использует формат Llama 2. Карточка указывает лицензию «other», не раскрывая в предоставленных данных её точные условия. Обучающие данные охватывают разные стили и задачи, включая ролевые диалоги и токсичные примеры; ответы требуют проверки, особенно для фактических, программных и чувствительных запросов. Модель является дообученной версией InternLM2-20B.

C4AI Command R 08-2024 — языковая модель Cohere и Cohere For AI, представленная в этом репозитории в виде дообученной версии весов CohereLabs/c4ai-command-r-08-2024. Это плотный авторегрессионный трансформер с 32,3 млрд параметров и контекстом до 131 072 токенов; в обучении применялись supervised fine-tuning и обучение на предпочтениях, а для ускорения инференса используется grouped-query attention. Модель принимает текст и генерирует текст. Модель предназначена для диалогов, рассуждений, суммаризации и ответов на вопросы. Она поддерживает генерацию на 23 языках, включая русский, и обучена на задачах grounded generation: может отвечать по предоставленным фрагментам документов и добавлять ссылки на источники, что подходит для RAG. Также поддерживает выбор внешних инструментов и формирование вызовов по специальному шаблону. Для grounded generation и использования инструментов важно соблюдать рекомендованные шаблоны промптов: отклонение от них может снизить качество. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование; README также требует соблюдать Acceptable Use Policy Cohere for AI.

Cohere и Cohere Labs разработали Command-R — авторегрессионную языковую модель на основе оптимизированного Transformer с 35 млрд параметров. После предварительного обучения модель прошла дообучение с учителем и обучение на предпочтениях. Это выпуск с открытыми весами, предназначенный для генерации текста, рассуждений, суммаризации и ответов на вопросы; модель поддерживает чат и работу с внешними инструментами по специальному шаблону запросов. Command-R принимает и генерирует текст, поддерживает контекст до 128 тыс. токенов и оптимизирована для английского, французского, испанского, итальянского, немецкого, бразильского португальского, японского, корейского, китайского и арабского языков. Среди её ключевых возможностей — генерация ответов с опорой на предоставленные фрагменты документов и цитированием источников для сценариев RAG. Для работы с grounded generation и вызовом инструментов рекомендуется соблюдать шаблоны запросов из документации: отклонение от них может снизить качество. Режим быстрых цитат обменивает часть точности на меньшее число генерируемых токенов. Лицензия CC-BY-NC-4.0 требует некоммерческого использования и соблюдения политики допустимого использования Cohere Labs.

QuantFactory/Fireball-3.1-8B-ORPO-GGUF — квантизированная версия EpistemeAI/Fireball-3.1-8B-ORPO, созданная с помощью llama.cpp. В основе лежит Meta Llama 3.1 8B от Meta, дообученная методом ORPO, который объединяет supervised fine-tuning и выравнивание по предпочтениям в едином процессе. Разработчик и автор исходной версии — EpistemeAI; квантизацию также выполнила EpistemeAI. Модель предназначена для генерации текста, диалоговых ассистентов и других задач обработки естественного языка, включая работу с кодом. Это текстовая autoregressive Transformer-модель примерно на 8 млрд параметров с поддержкой Grouped-Query Attention. Заявлены мультиязычные текстовые входы и выходы, включая английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Максимальная длина контекста составляет 128 тысяч токенов, дата отсечения знаний — декабрь 2023 года. Квантизированный формат GGUF ориентирован на запуск через llama.cpp и может снизить требования к памяти и вычислительным ресурсам по сравнению с полноразмерными весами. Ограничения включают статичность знаний, возможные ошибки и ограничения качества после дообучения и квантизации, а также отсутствие поддержки изображений и других немультимодальных входов. В README указана лицензия Llama 3.1 Community License; при этом в разделе сведений о загруженной модели также упомянута Apache-2.0, поэтому условия распространения следует уточнить по актуальным файлам лицензии репозитория.

GLM-5.3-Flash-GGUF-Finetuning — GGUF-квантованная версия модели GLM-5.3-Flash, связанная с экосистемой Unsloth и основанная на модели zai-org/GLM-5.3-Flash. Исходную модель разработала команда GLM-5; README также содержит ссылки на материалы Z.ai. Модель предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с длинным контекстом. Она поддерживает английский и китайский языки. GLM-5.3-Flash — нативно мультимодальная модель с гибридной архитектурой, объединяющей sparse attention и linear attention. Объём модели составляет 320 млрд параметров, из которых 18 млрд активируются при обработке запроса. Для повышения эффективности масштабирования используется Manifold-Constrained Hyper-Connections, а обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. Заявлена поддержка длинного контекста; в оценках использовались контексты до 300 000 и 1 млн токенов, однако точное штатное ограничение для данной GGUF-версии не указано. К сильным сторонам относятся сочетание высокой заявленной производительности, экономичности инференса, мультимодальности, возможностей программирования и агентской работы, а также снижение стоимости обработки длинного контекста. Ограничения конкретной квантованной сборки, включая точный уровень квантования, требования к оборудованию и возможную потерю качества, в README не описаны. Лицензия указана как MIT; для запуска рекомендуются совместимые версии llama.cpp или Unsloth Desktop.

Hunyuan-1.8B-Instruct — компактная инструктивная языковая модель Tencent из семейства Hunyuan. Это плотная авторегрессионная модель на 1,8 млрд параметров для генерации текста и диалогового взаимодействия; она поддерживает вызов инструментов через соответствующий интерфейс. Модель предназначена для ответов на вопросы, следования инструкциям, рассуждений, задач по математике и программированию, а также агентных сценариев. Поддерживаются быстрый и медленный режимы рассуждения и контекст до 256K токенов. В карточке приведены результаты тестирования разных вариантов семейства, но отдельные цифры для модели 1.8B не следует считать гарантией качества в реальных задачах. Модель разработана Tencent и опубликована 30 июля 2025 года. Для запуска описана поддержка Transformers, TensorRT-LLM, vLLM и SGLang. Сведения о лицензии в предоставленных данных отсутствуют.

K2-Horizon-32B MLX 4-bit — 4-битная квантованная версия плотной авторегрессионной языковой модели IFM/K2-Horizon-32B, разработанной Institute of Foundation Models. Репозиторий преобразует исходную модель в формат MLX для запуска на компьютерах Apple Silicon; заявленный размер после квантования — около 18 ГБ. Модель содержит около 31,2 млрд параметров и поддерживает контекст до 524 288 токенов. Модель предназначена для генерации текста и диалогов с длинным контекстом, рассуждений, программирования и агентных задач. README описывает её как reasoning-модель и приводит результаты на tau3 Banking Agentic, Terminal-Bench 2.1 и SciCode. Для запуска указана библиотека mlx-lm; для поддержки специфичных форматов размышлений и вызовов инструментов README требует oMLX версии 0.6.4 или новее с патчем K2-Horizon. Это квантованная производная исходной модели, а не отдельное дообучение: README называет её равномерной 4-битной квантовкой IFM/K2-Horizon-32B, хотя метаданные помечают связь как finetune. В карточке указано, что опубликован Stage 1 checkpoint и ожидается финальная версия с улучшенными результатами, поэтому приведённые показатели следует считать предварительными. Лицензия — Apache-2.0.

Карточка модели Aregay01/Kimi-K2.6 на Hugging Face совпадает с карточкой moonshotai/Kimi-K2.6, поэтому описание составлено по ней. Kimi K2.6 — открытая мультимодальная агентная модель компании Moonshot AI для сложных задач программирования, проектирования интерфейсов, автономного выполнения многошаговых задач и координации групп агентов. В карточке Hugging Face указана архитектура семейства Kimi K2.5 для условной генерации, а README описывает MoE-модель с 1 трлн параметров, из которых активны 32 млрд. Модель принимает текст, изображения и видео; заявленная длина контекста в описании испытаний составляет 262 144 токена. Модель предназначена для создания и изменения кода, генерации интерфейсов по текстовым и визуальным запросам, а также выполнения задач с инструментами и параллельными агентами. По данным README, она может координировать до 300 подагентов и 4 000 шагов и рассчитана на работу с языками программирования, включая Rust, Go и Python. Метаданные Hugging Face отмечают чат-возможность и задачи генерации текста и преобразования изображений в текст. Указана лицензия other; её конкретные условия следует проверять в репозитории модели. README сообщает о нативной INT4-квантизации и рекомендует vLLM, SGLang и KTransformers для запуска.

Карточка модели calmresearch-ai/Model4 на Hugging Face совпадает с карточкой shaikat2007/MiMo-V2.6-Pro, поэтому описание составлено по ней. MiMo-V2.6-Pro-RL — флагманская модель серии MiMo-V2.6, разработанная Xiaomi и обученная с масштабированием обучения с подкреплением для агентных сценариев и самоулучшения. Она предназначена для генерации текста, программирования, работы с инструментами и задач, где агент взаимодействует со средой и оценивает результаты своих действий. Модель построена на разреженной архитектуре Mixture of Experts. В README указаны 1,02 трлн общих и 42 млрд активируемых параметров; метаданные репозитория указывают 27,7 млрд параметров и класс MiMoV2ForCausalLM. Контекст составляет до 1 млн токенов. Модель поддерживает текст, изображения, видео и аудио, а также интерфейс вызова инструментов. В карточке заявлены английский и китайский языки. Модель подходит для длительных агентных запусков, анализа визуальных и аудиовизуальных материалов, программирования и работы с длинными документами или репозиториями. README приводит результаты бенчмарков, но они не гарантируют качество на конкретных задачах; развёртывание рассчитано на специализированные средства инференса и мощное оборудование. Лицензия репозитория — MIT.

cafepm/Muse-Glimmer-30B-Q3Q4-GGUF — квантованная GGUF-сборка мультимодальной модели Muse Glimmer, подготовленная исследовательской командой TNT.Chat в рамках проекта LOCAL AI. В основе — meta-models/Muse-Glimmer-30B; исходная архитектура представляет собой плотный каузальный трансформер с энкодером восприятия и примерно 29,6 млрд параметров. В этой сборке около 20% весов хранятся в 4-битном формате Q4_K, остальные — в 3-битном Q3_K, чтобы уменьшить размер модели и требования к памяти. Репозиторий также содержит mmproj в формате BF16. Модель предназначена для локальных агентных сценариев: многошагового планирования, вызова инструментов, программирования и анализа изображений, включая скриншоты, графики и документы. Она принимает текст и изображения и генерирует текст; аудио не поддерживается. В README указано, что тестирование проводилось на внутреннем наборе из 51 вопроса, поэтому приведённые оценки не заменяют проверку на задачах конкретного применения. Возможны неточные, предвзятые или нежелательные ответы; для внедрения рекомендованы дополнительные защитные механизмы. Лицензия — Apache 2.0.

Next 32B — плотная языковая модель с архитектурой Qwen3 для генерации текста, диалога и выполнения инструкций. В карточке она представлена как разработка Lamapi; модель содержит 29,7 млрд параметров, использует формат safetensors и имеет контекстное окно 40 960 токенов. Модель предназначена для многошаговых рассуждений, анализа сложных запросов и стратегического планирования. Среди заявленных сценариев — генерация кода, работа с длинными документами, исследовательские задачи и агентные системы. README особо выделяет турецкий и английский языки; в метаданных карточки также перечислены немецкий, испанский, французский, русский, китайский, японский и корейский. Модель принимает текст и генерирует текст. README заявляет высокие результаты в рассуждениях и пригодность для корпоративных сценариев, однако не приводит проверяемых результатов бенчмарков; эти заявления следует считать заявлениями разработчика. Для запуска крупной модели потребуется существенная память GPU: в README приведены рекомендации от 24 ГБ для 4-битной квантизации и от 48 ГБ для 8-битной или FP16. Лицензия — MIT.

Phi-3-mini-4k-instruct-llamafile — переносимая исполняемая упаковка модели Microsoft Phi-3-mini-4k-instruct, подготовленная в формате llamafile. Она предназначена для локальной генерации текста, диалоговых приложений, ответов на инструкции, суммаризации, задач на понимание языка, математику, программирование и логическое рассуждение. Модель ориентирована на коммерческое и исследовательское использование на английском языке. Модель содержит 3,8 млрд параметров и поддерживает контекст до 4 096 токенов. Это текстовая instruction-tuned модель, прошедшая supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и мер безопасности. В поставку входят исполняемые веса, запускаемые на Linux, macOS, Windows, FreeBSD, OpenBSD и NetBSD на платформах AMD64 и ARM64; предусмотрены CLI-интерфейс, веб-интерфейс и совместимый с OpenAI API режим. Для запуска рекомендуется не менее 32 ГБ оперативной памяти. К сильным сторонам относятся компактный размер, возможность локального автономного запуска и высокая производительность среди моделей с менее чем 13 млрд параметров по ряду задач, включая понимание языка, здравый смысл, математику, код и рассуждение. Ограничения — поддержка английского языка, контекст 4K и потребность в значительных вычислительных ресурсах; конкретные возможности зависят от выбранного формата весов и оборудования. Сам llamafile распространяется по лицензии Apache 2.0, а содержащиеся веса Phi-3 опубликованы Microsoft под лицензией MIT.

mkurman/Qwen2.5-14B-DeepSeek-R1-1M — объединённая языковая модель для генерации текста, созданная на основе DeepSeek-R1-Distill-Qwen-14B и Qwen/Qwen2.5-14B-Instruct-1M. Слияние выполнено методом TIES с использованием Qwen2.5-14B-Instruct-1M в качестве базовой модели; заявленная цель — сочетать возможности рассуждения DeepSeek-R1 с поддержкой длинного контекста модели Qwen2.5. Модель предназначена для универсальной генерации текста и диалоговых сценариев, включая программирование, анализ документов и работу с большими объёмами контекста. Она поддерживает использование через Transformers, а также может запускаться в LM Studio и Ollama при наличии файлов GGUF. Пример применения демонстрирует генерацию Python-кода в формате чата. Из известных характеристик: модель относится к классу causal language models, содержит 14 миллиардов параметров и рассчитана на контекст размером до 1 миллиона токенов, унаследованный от Qwen2.5-14B-Instruct-1M. В конфигурации слияния указан тип данных bfloat16. README не сообщает поддерживаемые языки, результаты бенчмарков или точные требования к оборудованию, поэтому качество рассуждений, эффективность на длинных контекстах и практические ограничения следует оценивать отдельно. Модель распространяется по лицензии Apache 2.0.

Tolu49ja/Qwen3-4B-Instruct-2507-heretic — производная чат-модель семейства Qwen3, созданная на основе Qwen/Qwen3-4B-Instruct-2507 методом abliteration, направленным на снижение частоты отказов. В приведённом сравнении доля отказов снизилась с 99 до 21 из 100 запросов; KL-дивергенция относительно исходной модели составляет 0,43. Репозиторий содержит веса safetensors для Transformers, лицензия — Apache-2.0. Модель предназначена для генерации ответов по инструкциям, рассуждений, работы с математическими и научными вопросами, кодом и инструментами, а также для задач на длинном контексте. Это плотная причинная языковая модель с 3,7 млрд параметров и контекстом до 262 144 токенов; README указывает, что она работает в режиме без пошагового рассуждения. Заявлена поддержка нескольких языков, но конкретные языки не перечислены. Меньшая частота отказов может быть полезна для запросов, которые исходная модель отклоняет, однако приведённая оценка основана на тесте из 100 запросов и не характеризует все сценарии. Как и другие языковые модели, она может ошибаться, а ответы требуют проверки; применение в чувствительных областях требует дополнительной оценки.

llmfan46/Qwen3.6-27B-uncensored-heretic-v2-Native-MTP-Preserved — производная модель автора llmfan46 на основе Qwen/Qwen3.6-27B. Это мультимодальная причинная языковая модель с визуальным энкодером на 27 млрд параметров; в версии сохранены все 15 компонентов MTP, а параметры модели изменены для снижения числа отказов. Она предназначена для диалогов, работы с изображениями, программирования и агентных сценариев, включая вызовы инструментов. Модель принимает текст и изображения и генерирует текст; заявленный нативный контекст — 262 144 токена с расширением до 1 010 000. В README приведены результаты тестов на отказах и MMLU, однако они не гарантируют качество на других задачах. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

Big-Pluto/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF — GGUF-версия модели, разработанная на базе Qwen3.6 и опубликованная Big-Pluto; в README также указаны методы и наборы данных DavidAU, включая Claude 4.6 Opus High Reasoning и Deckard/PDK. Модель предназначена для универсального применения, включая рассуждения, программирование, математику, творческое и художественное письмо, ролевые сценарии и генерацию историй различных жанров. Заявлены 40 млрд плотных параметров, 96 слоёв и 1275 тензоров; модель описана как расширенная с 27B до 40B параметров и поддерживающая переменную длину рассуждений. Указан контекст до 256K токенов, языки English и Chinese, а также поддержка изображений через отдельный mmproj-файл, что соответствует мультимодальному сценарию image-text-to-text. Распространяются различные GGUF-квантизации с dual imatrix-настройками; для них заявлено сохранение значительной доли качества BF16, однако конкретные результаты зависят от выбранного кванта. Сильными сторонами заявлены развитое reasoning, работа с длинным контекстом, кодом и математикой, творческая выразительность и отсутствие цензурных ограничений. Ограничения включают значительные требования к памяти и вычислительным ресурсам из-за размера модели, необходимость отдельного mmproj для работы с изображениями и возможную нестабильность или потерю качества при использовании низких квантизаций. Лицензия — Apache-2.0.

Модель представляет собой INT4-квантованную версию Qwen/Qwen3.8-27B, опубликованную под идентификатором philbert440/Qwen3.8-27B-W4A16-AWQ. Базовая модель разработана командой Qwen и является плотной vision-language-моделью с поддержкой текстовых и визуальных данных. В README не указано, кто именно выполнил квантование, однако сохранены исходная башня зрения и голова MTP для speculative decoding. Модель предназначена для диалогов, рассуждений, программирования, анализа изображений, математических задач, агентных сценариев и генерации длинных текстов. Архитектура включает 27 млрд параметров, 64 слоя, гибрид GatedDeltaNet linear attention и GatedAttention, контекст до 262 144 токенов с возможностью расширения до 1 млн через YaRN. Квантованы линейные слои внимания и MLP в формате W4A16, group size 128, при этом vision tower, эмбеддинги, lm_head и MTP head сохранены в BF16. Размер модели составляет около 19,5 ГБ. Сильные стороны сборки — сохранение мультимодальности и режима reasoning, совместимость с vLLM, поддержка MTP и возможность запуска на двух GPU V100 по 32 ГБ. В README приведены успешные проверки понимания изображений, математики, длинной генерации и корректного поведения think-тегов, а также измерения производительности до примерно 59 токенов в секунду в отдельных режимах на двух V100. Ограничения заключаются в том, что приведённые бенчмарки качества относятся к базовой BF16-модели, а не к данной квантованной версии; фактическая совместимость и скорость зависят от аппаратного обеспечения и используемого сервера. Лицензия — Apache-2.0.

NVIDIA Qwen3-Next-80B-A3B-Instruct NVFP4 — это квантизированная версия авторегрессионной текстовой модели Qwen3-Next-80B-A3B-Instruct, разработанной Alibaba. NVIDIA подготовила и оптимизировала эту версию с помощью TensorRT Model Optimizer; сама базовая модель не является разработкой NVIDIA. Модель предназначена для генерации текста, чат-ботов, AI-агентов, RAG-систем и других приложений на базе больших языковых моделей. Модель использует архитектуру Transformers с сетевой архитектурой Qwen3NextForCausalLM, принимает текстовые последовательности и генерирует текст. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Количество параметров в карточке не раскрыто. Веса и активации линейных операторов внутри трансформерных блоков переведены в формат NVFP4, что уменьшает число бит на параметр с 16 до 4, а размер на диске и требования к памяти GPU примерно в 3,3 раза. К сильным сторонам относятся сниженные требования к памяти и готовность к ускоренному выводу через TensorRT-LLM. Основные ограничения связаны с привязкой к NVIDIA GPU, совместимостью прежде всего с микроархитектурой NVIDIA Blackwell и предпочтительной средой Linux; для использования требуется дополнительное тестирование на данных конкретного сценария. Модель распространяется по лицензии Apache License 2.0 и допускает коммерческое и некоммерческое использование. Для инференса заявлена интеграция с TensorRT-LLM; результаты полной оценки в предоставленной карточке приведены не полностью.

Qwopus3.8-27B-Flash-V2-GGUF — мультимодальная instruction-tuned модель, разработанная Jackrong. Это обновлённый post-training релиз Qwopus3.8-27B-Flash, основанный на Qwen3.8-27B. Модель предназначена для генерации текста по текстовым и визуальным входным данным, решения сложных задач, рассуждений, генерации кода, использования инструментов, function calling и агентских сценариев с многократными итерациями «анализ — вызов инструмента — наблюдение — редактирование — проверка». Версия GGUF ориентирована на локальный inference. Ключевая заявленная характеристика — размер 27B параметров. Модель поддерживает image-text-to-text и относится к мультимодальным моделям с vision-возможностями. В README указаны языки English, Chinese, Spanish, Russian и Japanese. Архитектура и размер контекстного окна не раскрыты. Обновлённое обучение направлено на сокращение неэффективных рассуждений, повышение скорости завершения задач и улучшение практичности длительных агентских рабочих процессов; отдельно отмечено улучшение форматирования Python. Сильными сторонами модели являются сочетание рассуждений, программирования, работы с изображениями и инструментами, а также ориентация на эффективность при ограниченных вычислительных ресурсах. При этом README подчёркивает компромисс между сокращением длины рассуждений и сохранением корректности; универсальные улучшения качества не заявлены. Точные методы обучения V2 и полный рецепт reinforcement learning не раскрыты. Модель распространяется по лицензии Apache-2.0.

Карточка модели jamiefutch/Qwythos-9B-Claude-Mythos-5-1M-MXFP4-GGUF на Hugging Face совпадает с карточкой FreedomAISVR/Qwythos-9B-Claude-Mythos-5-1M-MXFP4-GGUF, поэтому описание составлено по ней. Qwythos-9B-Claude-Mythos-5-1M-MXFP4-GGUF — это квантованная в формате GGUF MXFP4 версия модели empero-ai/Qwythos-9B-Claude-Mythos-5-1M, дообученной Empero AI на базе Qwen3.5-9B. Это мультимодальная модель с архитектурой Qwen3.5 и зрительным энкодером SigLIP ViT; основной файл использует 4-битный формат MXFP4, а для обработки изображений нужен отдельный файл mmproj в F16. Репозиторий распространяется под лицензией Apache-2.0. Модель предназначена для диалогов с рассуждениями, работы с изображениями, вызова инструментов и задач с длинным контекстом, включая анализ кода и документов. README заявляет контекст до 1 048 576 токенов, а также сильные стороны в математике, кибербезопасности и биомедицинских темах. Поддерживаются английский язык и интерфейс вызова инструментов в стиле OpenAI/Qwen3.5. Зрительная часть унаследована от базовой модели и не дообучалась; README также предупреждает, что модель может уверенно выдавать ошибочные идентификаторы CVE и дозировки лекарств. Для критически важных ответов нужны внешняя проверка и инструменты, а для пользовательских развёртываний README рекомендует добавить собственный слой безопасности. Ответы начинаются с блока рассуждений, поэтому требуется достаточный лимит генерации.

Карточка модели Epharim/Ternary-Bonsai-2-27B-mlx-2bit на Hugging Face совпадает с карточкой TechnoBaptist/Ternary-Bonsai-2-27B-mlx-2bit, поэтому описание составлено по ней. Bonsai 2 27B — производная от Qwen/Qwen3.8-27B модель семейства Prism ML для генерации текста, рассуждений и диалогов. Это плотный трансформер с гибридным вниманием, SwiGLU, RoPE и RMSNorm; языковые веса представлены в троичном формате {-1, 0, +1} с блочной Hadamard-ротацией. Репозиторий содержит веса в формате safetensors для MLX; заявлены 27,36 млрд параметров и контекст до 262 тыс. токенов. Модель также включает башню зрения, однако карточка этого варианта указывает основной задачей генерацию текста. Модель рассчитана на локальный запуск на устройствах Apple Silicon и совместимых GPU, в том числе для продолжительного анализа документов и кода, диалогов, рассуждений и сценариев с вызовом инструментов. Автор заявляет сохранение 98,2% среднего результата FP16-версии на 14 тестах, включая математику, программирование и использование инструментов. Троичное представление сокращает размер весов, но требует специализированных низкоразрядных ядер; скорость зависит от аппаратуры и реализации. Модель основана на Qwen/Qwen3.8-27B и распространяется по лицензии Apache-2.0. Для использования нужны совместимый runtime MLX и соответствующие низкоразрядные ядра; заявленные характеристики скорости и качества являются результатами автора и могут отличаться на конкретном оборудовании.

gaunernst/gemma-3-4b-it-int4-awq — это 4-миллиардная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind. Модель мультимодальная: принимает текст и изображения, а генерирует текст. Данный репозиторий содержит QAT INT4-чекпойнт из Flax, преобразованный в формат Hugging Face и AWQ для удобства использования; при этом квантование методом AWQ для исходного чекпойнта не применялось. Модель предназначена для диалоговых и прикладных задач: ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Она поддерживает более 140 языков, обрабатывает изображения, нормализованные до разрешения 896 × 896 и представленные 256 токенами на изображение. Для размеров 4B, 12B и 27B заявлено контекстное окно до 128 000 токенов, а максимальный объём генерируемого вывода составляет 8192 токена. Ключевые преимущества — сравнительно компактный размер, instruction-tuned поведение, мультимодальность и INT4-представление, потенциально упрощающее запуск на ограниченных ресурсах, включая локальные компьютеры и собственную облачную инфраструктуру. Ограничения включают зависимость качества от языка, задачи и входных изображений, а также необходимость учитывать особенности конвертированного формата и совместимость с поддерживаемыми инструментами. Использование регулируется лицензией Gemma; доступ к исходной модели на Hugging Face требует принятия условий использования Google.

Inkling-Small — мультимодальная модель общего назначения от Thinking Machines, построенная на авторегрессионном трансформере с 42 слоями и разреженным MoE-блоком: из 256 экспертов для каждого токена выбираются 6, а 2 общих эксперта активны всегда. Всего модель содержит 276 млрд параметров, из которых активно 12 млрд. Она принимает текст, изображения и аудио, обрабатывая их в общем пространстве представлений, и генерирует текст. Поддерживаются форматы BF16 и NVFP4; для работы предусмотрена библиотека Transformers. Модель предназначена для диалогов, следования инструкциям, мультимодальных запросов, программирования, чат-ботов, агентных систем с использованием инструментов и приложений с поиском по документам. Основной язык — английский; заявлены общие многоязычные возможности, но языки отдельно не перечислены. Для изображений рекомендован размер сторон 40–4096 пикселей, для аудио — WAV с частотой 16 кГц и длительностью менее двух минут. Модель может выдавать фактически неверные ответы, неточно следовать инструкциям и хуже работать в длинных диалогах; качество также может различаться по языкам и предметным областям. Для важных решений необходимы проверка человеком и дополнительные меры безопасности. Весы доступны по лицензии Apache-2.0.

NVIDIA Llama 3.1 70B Instruct FP8 — квантованная до FP8 версия диалоговой языковой модели Meta Llama 3.1 70B Instruct. В README указано, что модель разработана не NVIDIA: веса и активации линейных операторов в блоках трансформера преобразованы в FP8 с помощью TensorRT Model Optimizer. Архитектура — авторегрессионный трансформер Llama 3.1 с 69,5 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и интерфейс для вызова инструментов. Модель предназначена для диалоговых ассистентов и генерации текста. FP8-квантование примерно вдвое сокращает требования к дисковому пространству и памяти GPU; в описанном тесте на H100 заявлено ускорение примерно в 1,5 раза. Для инференса указаны TensorRT-LLM и vLLM, совместимое оборудование включает NVIDIA Blackwell, Hopper и Lovelace. Лицензия — Llama 3.1; README сообщает о возможности коммерческого и некоммерческого использования. Следует учитывать условия лицензии Meta и ограничения исходной модели. Модель текстовая, поэтому она не принимает изображения, аудио или видео.

Карточка модели ushakov15/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой woodx/Qwen3-Embedding-0.6B-SGLang, поэтому описание составлено по ней. Qwen3-Embedding-0.6B-SGLang — дообученная модель семейства Qwen3, представленная в репозитории woodx и основанная на Qwen/Qwen3-0.6B-Base. Она преобразует текст в эмбеддинги для семантического поиска и сопоставления текстов. Модель содержит около 507,6 млн параметров, поддерживает контекст до 32 768 токенов и формирует векторы размерностью от 32 до 1024 с возможностью задавать инструкцию под задачу. Модель предназначена для многоязычного поиска по текстам и коду, классификации и кластеризации текстов, поиска параллельных фрагментов на разных языках и задач семантического сходства. В карточке серии заявлена поддержка более 100 языков. Для улучшения результатов поиска рекомендуется задавать подходящую инструкцию; в многоязычных сценариях авторы советуют формулировать её на английском. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

Nex-N2.5-mini-GGUF — это квантизированное представление модели Nex-N2.5-mini, разработанной Nex-AGI и преобразованной в формат GGUF с использованием llama.cpp. Модель предназначена для генерации текста, программирования, агентских сценариев, вызова инструментов, работы с компьютером и мультимодальных задач. Поддерживаются английский и китайский языки. Исходная модель заявлена с контекстным окном до 262 144 токенов и может использоваться в текстовом режиме или с дополнительным vision-проектором mmproj-Nex-N2.5-mini-F16.gguf для мультимодальной обработки. Репозиторий содержит варианты квантизации от Q8_0 до IQ1_S и TQ1_0, поэтому можно выбирать между качеством, размером файлов и требованиями к памяти. Размеры файлов составляют примерно от 7,48 до 36,90 ГБ, а проектор занимает 899 МБ. Сильными сторонами являются поддержка длинного контекста, инструментов и мультимодальных сценариев, а также возможность локального запуска через llama.cpp и OpenAI-совместимый сервер. Ограничения связаны с необходимостью значительного объёма памяти, возможной потерей качества при агрессивной квантизации и зависимостью корректной работы вызова инструментов от возможностей конкретного runtime и его интеграции. Приведённые в README результаты тестов относятся к исходному семейству Nex-N2.5, а не непосредственно к этой GGUF-конверсии. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Qwen3-1.7B-GGUF — квантизированная версия языковой модели Qwen3-1.7B, созданная QuantFactory с использованием llama.cpp на основе базовой модели Qwen/Qwen3-1.7B от команды Qwen. Это причинная языковая модель для генерации текста, диалогов, следования инструкциям, математических и логических задач, программирования, творческого письма, ролевого общения, перевода и сценариев с использованием внешних инструментов. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к embedding-слою, и включает 28 слоёв. Используется grouped-query attention: 16 голов для Q и 8 для KV. Максимальная длина контекста — 32 768 токенов. Qwen3 поддерживает более 100 языков и диалектов, а также мультиязычное следование инструкциям и перевод. В одной модели доступны режимы с рассуждением и без него: первый ориентирован на сложные задачи, математику и код, второй — на более быстрый диалог и универсальную генерацию. Формат GGUF и квантизация предназначены для более эффективного локального запуска с инструментами и приложениями, совместимыми с llama.cpp, включая Ollama и LM Studio; конкретный уровень квантизации в карточке не указан. Ограничениями являются отсутствие сведений о точном варианте квантизации, требованиях к аппаратному обеспечению и результатах бенчмарков, а также возможное появление повторов при неподходящих параметрах генерации. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-REAM-192 — мультимодальная модель Samsung SAIL Montreal, созданная слиянием экспертов базовой Qwen/Qwen3.6-35B-A3B методом REAM. В слоях MoE число маршрутизируемых экспертов сокращено с 256 до 192; модель содержит около 27,05 млрд параметров, из которых около 3 млрд активны на токен. Сохранены vision encoder и обработка изображений; веса представлены в формате bf16, без квантизации. Модель предназначена для диалогов, генерации текста по изображениям, агентного программирования и вызова инструментов. Это предварительный выпуск до оценки качества: автор сообщает, что модель загружается и связно отвечает на тестовых запросах, но результаты бенчмарков ещё не опубликованы. Для обычной текстовой и мультимодальной работы отсутствующие веса MTP не нужны, однако спекулятивное декодирование с MTP пока не поддерживается. Для инференса требуется bf16: fp16 может вызывать NaN в слоях GDN. Веса занимают около 52 ГБ; для контекста 32K автор указывает минимум около 60 ГБ VRAM. Лицензия Apache-2.0.

Qwen3.8-27B-GSQ-RCO-GGUF — квантизированная версия Qwen3.8-27B, разработанная с использованием методов GSQ и RCO в Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель распространяется в формате GGUF и предназначена для локального запуска в llama.cpp, Ollama и LM Studio. Модель рассчитана на текстовые и мультимодальные сценарии благодаря отдельному vision encoder и проектору mmproj в формате BF16. Доступны варианты с эффективной средней разрядностью от 2,50 до 3,50 бит на вес и размером от 8,4 до 11,8 ГБ; файл mmproj занимает около 0,9 ГБ. Вариант IQ3_S позиционируется как рекомендуемый и практически не уступающий базовой модели на заявленных тестах AIME25, LiveCodeBench v6 и GPQA-Diamond. Дополнительные сборки с MTP head поддерживают speculative decoding и примерно на 0,35 ГБ больше. GSQ выполняет посттренировочную скалярную квантизацию с учетом чувствительности отдельных координат и масштабов групп, а RCO распределяет типы квантизации между тензорами в рамках заданного бюджета размера. Это позволяет существенно уменьшить объем модели при сохранении качества, однако низкоразрядные варианты могут иметь компромиссы по точности и требуют совместимого программного обеспечения. Лицензия — Apache 2.0.