I.3Извлечение и структурирование данных

Meta-Llama-3.1-8B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Meta Llama 3.1 8B Instruct. Исходную модель разработала Meta, а файлы в формате GGUF подготовил brittlewis12 с использованием llama.cpp и autogguf. Модель работает с текстом на входе и выходе; в метаданных указано, что поддерживается английский язык. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, рассуждений, решения математических задач, программирования и использования инструментов. Формат GGUF ориентирован на локальный запуск через совместимые приложения и llama.cpp, включая устройства Apple. В README также указаны улучшения для работы с длинным контекстом, однако точный размер контекстного окна не приведён. Ключевые достоинства — относительно небольшой размер 8B, возможность локального использования и хорошие результаты исходной модели на ряде тестов, включая HumanEval, GSM-8K, MMLU и API-Bank. Ограничения включают текстовую модальность, отсутствие сведений о конкретном типе и степени квантизации, а также возможное снижение точности по сравнению с полной версией из-за квантизации. Модель распространяется по лицензии Llama 3.1; применимые условия определяются лицензией Meta.

OpenYourMind создала abliterated-версию MiniMax-M3: из модели удалено поведение отказа, при этом сохранены рассуждения, многоязычные и мультимодальные возможности, программирование и использование инструментов. Это большая мультимодальная модель класса Mixture of Experts с визуальным энкодером и режимом рассуждений. Архитектура, токенизатор и шаблон чата совпадают с базовой моделью, поэтому версия предназначена для замены MiniMax-M3 в совместимом окружении. Модель принимает текст и изображения и формирует текстовые ответы; её можно применять для диалогов, анализа изображений, программирования и агентных сценариев. Весовой файл содержит параметры BF16 и занимает около 854 ГБ, поэтому для развёртывания требуются несколько GPU или узлов; для менее мощных систем потребуется квантизация. Лицензия указана как Other и наследуется от лицензии MiniMax-M3.

MyAwesomeModel — языковая модель, доступная через библиотеку Transformers. Разработчик в README не указан; модель представлена в репозитории tttoola/MyAwesomeModel-TestRepo. В обновлённой версии заявлены улучшения глубины рассуждений, инференса и алгоритмической оптимизации на этапе post-training, а также снижение частоты галлюцинаций и улучшенная поддержка function calling. Модель предназначена для сложных задач рассуждения, включая математику, программирование, логические задачи и работу с естественным языком. Также она может применяться для понимания текста, ответов на вопросы, классификации, анализа тональности, генерации кода и диалогов, написания текстов, суммаризации, перевода, извлечения знаний и следования инструкциям. В README указана поддержка system prompt, загрузки файлов и сценариев с web search при использовании соответствующих шаблонов запросов. В качестве сильных сторон заявлены высокие результаты на представленных бенчмарках, особенно в рассуждениях и генерации, а также рост точности на AIME 2025 с 70% до 87,5% по сравнению с предыдущей версией. Среднее число токенов рассуждения на вопрос увеличилось с 12K до 23K, что может повышать качество решения, но потенциально увеличивает вычислительные затраты и задержку. Архитектура, размер, поддерживаемые языки, модальности и размер контекста в README не указаны. Для использования рекомендуется температура 0,6 и системный prompt с текущей датой. Лицензия — MIT.

Ocean-1-4B — компактная универсальная языковая модель компании OceanLabs с архитектурой Spark2.5. Она содержит 3,8 млрд параметров и предназначена для эффективного запуска на маломощных устройствах и локально: поддерживает NVIDIA, Apple Silicon и CPU, а также совместима с vLLM, SGLang, llama.cpp, Ollama и LM Studio. Модель принимает текстовые запросы и генерирует текст; предусмотрен интерфейс для чата и вызова инструментов. Модель рассчитана на диалоги, написание и перевод текстов, рассуждения, повседневное программирование и агентные сценарии. Гибридная архитектура сочетает скользящее внимание в большинстве слоёв с разреженными слоями полного внимания, что снижает потребление памяти KV-кэша и вычисления. Заявлена поддержка контекста до 1 048 576 токенов и более 200 языков. В метаданных указана связь с базовой моделью Ocean-1-4B и дообучение; её идентификатор приведён в base_model_guess. Модель распространяется по лицензии Apache-2.0. Оценки качества и заявленные преимущества приведены в карточке модели; независимые результаты тестирования не описаны.

Карточка модели yindeshuai/Phi-3.5-mini-instruct на Hugging Face совпадает с карточкой microsoft/Phi-3.5-mini-instruct, поэтому описание составлено по ней. Phi-3.5-mini-instruct — компактная языковая модель Microsoft из семейства Phi-3 для генерации текста и диалогов. Это плотная авторегрессионная модель на 3,7 млрд параметров, доступная в формате Safetensors и предназначенная для запуска в условиях ограниченных вычислительных ресурсов и низкой задержки. В README также описаны варианты с контекстом до 128 тыс. токенов; метаданные этой карточки указывают нативный контекст 4096 токенов, поэтому заявленную длину контекста для данного репозитория следует сверять с используемой конфигурацией. Модель дообучена следованием инструкциям и рассчитана на многоязычные диалоги, рассуждения, задачи по математике и логике, а также помощь с кодом. Её можно использовать как основу генеративных функций, для ответов на вопросы по длинным документам и их суммаризации. В карточке отмечены улучшения качества многоязычных многоходовых диалогов и рассуждений относительно Phi-3 Mini Instruct. Лицензия — MIT. Как и другие языковые модели, она может ошибаться и не оценивалась для всех возможных сценариев; перед применением в ответственных областях требуется проверка качества и безопасности. README также отмечает возможную уязвимость к длительным многоходовым jailbreak-атакам, в том числе на разных языках.

microsoft/phi-4-gguf — GGUF-версия модели phi-4, разработанной Microsoft Research. Это открытая языковая модель для генерации текста, ориентированная преимущественно на английский язык. Она предназначена для исследовательских задач, создания генеративных функций и универсальных AI-систем, особенно в средах с ограниченными ресурсами и требованиями к низкой задержке, а также для задач рассуждения, логики, математики, программирования, диалогового взаимодействия и следования инструкциям. Модель построена как плотный decoder-only Transformer с 14 млрд параметров и поддерживает текстовые входы и выходы. Контекстное окно составляет 16K токенов; рекомендуемый формат взаимодействия — chat-промпты. Обучение проводилось на 9,8 трлн токенов в период с октября по ноябрь 2024 года, а выпуск состоялся 12 декабря 2024 года. Данные включали синтетические учебные материалы, отфильтрованные общедоступные документы, код, академические книги, наборы вопросов и ответов и данные для supervised fine-tuning и direct preference optimization. Мультиязычные данные составляли около 8% корпуса, поэтому основной акцент сделан на английском языке. К сильным сторонам относятся компактный для своих возможностей размер, ориентация на рассуждение и логические задачи, а также дополнительное выравнивание для соблюдения инструкций и повышения безопасности. Ограничения включают статичность модели и отсечение общедоступных данных июнем 2024 года, преимущественную ориентацию на английский язык и необходимость самостоятельной проверки точности, безопасности, справедливости и соответствия требованиям законодательства в конкретных сценариях, особенно в высокорисковых областях. Модель распространяется по лицензии MIT.

q3mds-8b — объединённая текстовая языковая модель, созданная bloomsirenix с помощью mergekit методом DARE TIES. В объединение вошли Qwen/Qwen3-8B, DeepSeek-R1-0528-Qwen3-8B, Qwen3-8B-ABC и OpenCodeEdit-Qwen3-8B; базой указан Qwen3-8B. Модель построена на плотной архитектуре Qwen3ForCausalLM, содержит 7,6 млрд параметров и имеет контекстное окно до 40 960 токенов. Модель предназначена для диалоговой генерации текста, ответов на инструкции, рассуждений и помощи с кодом. Она принимает текст и выдаёт текст. Поддерживает многоязычное использование; конкретный перечень языков для этой сборки не установлен в предоставленных данных. Модель распространяется в формате safetensors через библиотеку Transformers по лицензии Apache-2.0. Качество и поведение могут отличаться от отдельных моделей, вошедших в слияние; README не приводит сравнительных оценок или результатов тестирования.

Qwen2.5 — семейство текстовых генеративных моделей, разработанное командой Qwen. Репозиторий cortexso/qwen2.5 предоставляет варианты моделей общего назначения, а также специализированные версии для программирования и математики. Модели предназначены для генерации и обработки текста, включая разработку программного кода и решение математических задач, с выбором размера под доступные вычислительные ресурсы и требования к качеству. Доступны варианты общего назначения размером от 0,5 до 72 млрд параметров, а также Qwen2.5 Coder объёмом 1,5 и 7 млрд параметров и Qwen2.5 Math объёмом 1,5 и 7 млрд параметров. В README не указаны архитектура, поддерживаемые языки, контекстное окно, модальности и конкретные показатели качества, поэтому эти характеристики нельзя надёжно определить по представленным данным. Модели распространяются для работы через Jan и Cortex; конвертером указан Homebrew. Лицензия — Apache 2.0. Сильной стороной семейства является широкий диапазон размеров и наличие специализированных вариантов для кода и математики, что позволяет выбирать модель под конкретный сценарий. Ограничения и требования к аппаратным ресурсам зависят от выбранного варианта и в README подробно не описаны.

p-e-w/Qwen3-4B-Instruct-2507-heretic-v2 — разговорная языковая модель на архитектуре Qwen3, созданная на основе Qwen3-4B-Instruct-2507. Модель использует причинную архитектуру Qwen3ForCausalLM, содержит 3,7 млрд параметров и принимает текст для генерации текстовых ответов. Нативная длина контекста — 262 144 токена; заявлен режим без рассуждений в специальном формате thinking. Модель предназначена для диалога и выполнения инструкций, включая ответы на вопросы, рассуждения, математику, программирование и работу с инструментами. В README указана abliteration: в приведённом сравнении доля отказов снизилась с 100 из 100 у исходной модели до 8 из 100 у этой версии. Это не гарантирует отсутствия отказов или корректности ответов. Карточка не уточняет языковой охват этой производной версии; README базовой модели заявляет многоязычные возможности и контекстное понимание длинных текстов. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0.

Smoffyy/Qwen3.5-4B-Instruct-Revised-GGUF — переработанная GGUF-квантизация модели Qwen3.5-4B, разработанной командой Qwen. Автор варианта Smoffyy конвертировал исходные веса в формат GGUF с помощью llama.cpp и заменил официальный шаблон чата на собственный исправленный шаблон. Модель предназначена для диалогов, рассуждений, программирования, агентских сценариев и визуального понимания; это мультимодальная causal language model с vision encoder. Для работы с изображениями требуется отдельный файл mmproj-f16.gguf. Модель содержит около 4 млрд параметров, 32 слоя и использует гибридную архитектуру Gated DeltaNet, Gated Attention и sparse Mixture-of-Experts. Заявлена поддержка 201 языка и диалекта. Вариант сохраняет возможности исходной модели, но исправляет проблемы шаблона чата, включая управление режимом рассуждений, пустые блоки рассуждений и поддержку роли developer. По умолчанию включён режим без рассуждений; его можно переключать специальными токенами в системном запросе. В README приведён пример использования q4_k_m с контекстом 64k, требующий около 7 ГБ VRAM; рекомендуемые требования к видеопамяти зависят от уровня квантизации. К ограничениям относятся потеря части качества по сравнению с полноразмерными весами при использовании более сильной квантизации, а также необходимость скачивать дополнительный мультимодальный проектор для обработки изображений. Модель и производные работы распространяются по лицензии Apache 2.0.

SwissNeuron — мультимодальная модель на 27,36 млрд параметров, разработанная SwissNeuron на базе Qwen3.8-27B. Это дообученная модель с гибридной архитектурой Qwen3.8: 64 языковых слоя, включая 48 слоёв Gated-DeltaNet и 16 слоёв полного внимания. Выпущена в формате BF16 и поддерживает диалог, анализ изображений, рассуждения и программирование; сохранены мультимодальный процессор, токенизатор и шаблон чата базовой модели. Модель предназначена для технических вопросов, написания и анализа кода, многошаговых рассуждений и диалогов с изображениями. Конфигурация расширяет контекст с исходных 262 144 до 1 048 576 токенов посредством YaRN с коэффициентом 4; отдельного этапа адаптации на контекст в миллион токенов не проводилось, поэтому качество на предельной длине требует проверки. Доступны режимы с рассуждениями и без них. Лицензия указана как other; условия следует проверять в карточке модели и у разработчика. Для запуска полной версии BF16 требуется значительный объём памяти ускорителя. Авторы также рекомендуют проверять ответы и совместимость с используемым сервером и шаблоном чата.

malvavisc0/Qwen3.8-9B-gptq-int4 — квантизированная версия модели empero-ai/Qwen3.8-9B, разработанная в формате GPTQ Int4. Модель относится к семейству Qwen и представляет собой плотную модель примерно на 9 млрд параметров, дистиллированную из Qwen3.8 2.4T A95B. Квантизация выполнена для текстовых модулей; заявлена гибридная архитектура с 24 слоями GatedDeltaNet и 8 слоями полнотекстового внимания. Нативный контекст составляет до 262 тысяч токенов. В репозитории также присутствует необработанная vision tower, однако подробности о поддерживаемых визуальных сценариях не приведены. Модель предназначена для генерации текста, рассуждений, решения математических задач, программирования и агентских сценариев с вызовом инструментов. Она поддерживает reasoning с блоками <think>, управление интенсивностью рассуждений через chat template и XML-формат вызова инструментов. Предусмотрена интеграция с vLLM и Transformers, а также совместимость с OpenAI API через локальный сервер vLLM. Указан английский язык; сведения о полноценной поддержке других языков отсутствуют. Ключевое преимущество — снижение потребления памяти: размер весов составляет около 8,5 ГБ против примерно 18 ГБ у версии BF16. Для работы рекомендуется не менее 12 ГБ общей памяти, комфортный режим начинается примерно с 16 ГБ, а видеокарты с 24 ГБ позволяют использовать длинный контекст. На CPU модель запускается, но медленно. К ограничениям относятся потери, связанные с Int4-квантизацией, необходимость правильно настраивать длину контекста и размер пакета, а также потенциально длинные рассуждения в блоках <think>, которые может потребоваться удалять перед показом пользователю. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной модели.

Qwen3-Next-80B-A3B-Instruct-REAM — сжатая версия диалоговой модели Qwen3-Next-80B-A3B-Instruct, созданная методом REAM, описанным в статье об объединении экспертов для улучшения их прореживания. Разработчик уменьшил число экспертов в слоях MoE с 512 до 384; по README, объём модели сократился с 80 до 60 млрд параметров, а требования к хранению и памяти GPU — примерно на 25%. Метаданные указывают архитектуру MoE семейства Qwen3-Next и 2,3 млрд параметров, что расходится с числом в README. Модель предназначена для диалогов и генерации текста, в том числе для задач с длинным контекстом до 262 144 токенов; метаданные также отмечают интерфейс вызова инструментов. README сообщает о сохранении не менее 95% исходного качества на ряде тестов: опубликованные результаты охватывают следование инструкциям, математику, общие знания и программирование. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Это доработка Qwen/Qwen3-Next-80B-A3B-Instruct методом сжатия экспертов; README также описывает версию v2 с изменённым составом данных сжатия, настройкой групп экспертов и сжатием слоя MTP. Лицензия — Apache-2.0. Число параметров в метаданных противоречит README, а приведённые результаты относятся к конкретным тестам и не гарантируют качество во всех сценариях.

Qwopus3.8-27B-Flash-ATX-IQ4_XS-M-GGUF — это GGUF-квантизированная версия модели Jackrong/Qwopus3.8-27B-Flash, являющейся дообученной моделью на базе Qwen3.8-27B. Рецепт квантизации разработан jakeatx с использованием llama.cpp и собственной importance matrix, рассчитанной для этой модели. Модель предназначена для генерации текста, программирования, агентских сценариев, RAG-анализа и задач с длинным контекстом, включая speculative decoding с MTP-головой. Модель содержит 27,32 млрд параметров и 866 тензоров, использует ту же архитектуру, что и базовая модель, а также включает MTP-слой. Основной формат весов — IQ4_XS с точечными повышениями точности до Q5_0, Q6_K и Q8_0; средний размер составляет 4,60 бита на вес, а файл модели занимает около 14,6 GiB. Рецепт рассчитан на видеокарты RTX 3090 или 3090 Ti с 24 ГБ памяти и позволяет использовать заполненный контекст до 200 тысяч токенов с 8-битным KV-кэшем. В измерениях на RTX 3090 Ti модель показывала преимущество по скорости декодирования над Q4_K_S на контекстах 16–64K, однако на 100K выигрыш был небольшим и зависел от принятия черновых токенов. Сильные стороны модели — эффективная работа на одной видеокарте, поддержка длинного контекста, специализированная оптимизация для короткого рассуждения и агентских циклов, а также ускорение за счёт MTP и speculative decoding. Ограничения включают потери, характерные для 4-битной квантизации, зависимость производительности от acceptance rate черновых токенов и необходимость совместимой сборки llama.cpp с поддержкой используемых ядер и MTP. Модель распространяется по лицензии Apache-2.0.

Qwopus3.8-27B-GGUF — это набор GGUF-квантизаций модели Qwopus3.8-27B, опубликованный nom666. Модель создана как весовое слияние Qwen3.8-27B с компонентами Qwopus3.6-27B-v2, содержащими дистиллированный стиль рассуждений Opus. Базовую модель разработала команда Qwen, а исходный вклад в дистилляцию Qwopus принадлежит Jackrong. Это не дообучение с градиентами, а арифметическое слияние весов. Модель предназначена прежде всего для генерации текста, инструкционного взаимодействия, программирования и агентских циклов, особенно в режиме без рассуждений. Она сохраняет архитектуру Qwen3.8: 64 слоя, скрытое представление размером 5120, гибридную архитектуру GDN и full attention, словарь примерно на 248 тысяч токенов, контекст до 262 144 токенов и встроенную MTP-голову для speculative decoding. Экспорт в формате nextn позволяет использовать спекулятивное декодирование через llama.cpp. Доступны варианты с 4- и 8-битной квантизацией размером примерно от 16 до 27 ГБ. Сильные стороны модели — высокая эффективность по числу токенов, улучшенное следование инструкциям в non-thinking режиме и совместимость с быстрым локальным обслуживанием через llama.cpp. В приведённых тестах 4-битная версия набрала 37 из 38 заданий в наборе instruct/code/math, а в thinking-режиме сопоставила базовую модель на сложном наборе, используя примерно на 45% меньше токенов рассуждений. Ограничения включают меньшую стабильность на самых сложных задачах в режиме рассуждений и риск превышения жёсткого лимита токенов; для таких сценариев базовая Qwen3.8 может быть предпочтительнее. Лицензия — Apache-2.0.

Spark-X2.5-1.7B — компактная языковая модель общего назначения от разработчиков семейства Spark-X2.5. Это постобученная версия базовой модели XHToken/Spark-X2.5-1.7B-Base с плотной архитектурой Spark2_5ForCausalLM; веса доступны в формате Safetensors и рассчитаны на работу через Transformers. Архитектура сочетает полное внимание с окнами скользящего внимания, а заявленная длина контекста составляет до 1 048 576 токенов. Модель предназначена для диалогов, письма, перевода, рассуждений, программирования, вызова инструментов и агентных сценариев. Разработчики заявляют поддержку более 200 языков и обучение примерно на 20 триллионах токенов; карточка приводит результаты сравнительных тестов, но не сами значения таблицы. Модель совместима с несколькими аппаратными платформами и средствами инференса, включая SGLang и vLLM. Модель может подойти для локальных ассистентов, анализа длинных контекстов и агентных рабочих процессов. Большое окно контекста требует достаточной памяти устройства, а при ограниченных ресурсах его рекомендуется уменьшить. Лицензия — Apache-2.0.

Spark-X2.5-1.7B-GGUF — компактная универсальная языковая модель семейства Spark-X2.5, представленная командой SparkLLM и основанная на XHToken/Spark-X2.5-1.7B-Base. Эта версия распространяется в формате GGUF и предназначена для запуска через llama.cpp и совместимые инструменты. Модель ориентирована на диалог, написание и перевод текстов, рассуждения, программирование, работу с инструментами и агентские сценарии. Архитектура использует гибридное внимание: один слой полного внимания сочетается с тремя слоями внимания со скользящим окном. Заявлена поддержка контекста до 1 млн токенов и более 200 языков. Модель обучалась примерно на 20 трлн токенов из веб-страниц, книг, научных публикаций, кода и энциклопедических материалов; дополнительное обучение включало длинный контекст, supervised fine-tuning и reinforcement learning. Размер модели — 1,7 млрд параметров, модальность — текстовая. К сильным сторонам относятся компактность, сниженные требования к вычислениям и KV-кэшу при работе с длинным контекстом, а также заявленная эффективность в задачах программирования, следования инструкциям, рассуждений и агентской работы среди моделей сопоставимого размера. Поддерживаются различные аппаратные платформы и инструменты, включая vLLM, SGLang, llama.cpp, MLX, Ollama и LM Studio. Ограничения, конкретные показатели тестов и сведения о качестве на отдельных языках в карточке подробно не приведены. Лицензия — Apache-2.0.

Yi-1.5-34B-32K — базовая большая языковая модель семейства Yi, разработанная компанией 01.AI. Это плотная авторегрессионная модель архитектуры Llama с 33,9 млрд параметров; она принимает текст и генерирует текст. Контекстное окно составляет 32 768 токенов. Модель предназначена для генерации и продолжения текста, понимания инструкций, рассуждений, решения математических задач, программирования и ответов на вопросы по длинным текстам. Yi-1.5 получена продолжением предобучения Yi на высококачественном корпусе из 500 млрд токенов и дообучением на 3 млн разнообразных примеров. README отмечает улучшения в коде, математике, рассуждениях и следовании инструкциям, сохраняя способности к пониманию языка и чтению. Репозиторий содержит веса в формате safetensors. Модель выпущена по лицензии Apache-2.0. В карточке нет сведений о поддерживаемых естественных языках или об отдельных ограничениях качества.

dranger003/c4ai-command-r-plus-iMat.GGUF — это набор GGUF-квантизаций модели C4AI Command R+, разработанной CohereForAI. Репозиторий предназначен для локального запуска модели через llama.cpp и совместимые инструменты; веса используют importance matrix для улучшения соотношения качества и размера при низкоразрядном квантовании. Базовая модель содержит около 104 млрд параметров, имеет 64 слоя и контекст до 131 072 токенов. Это текстовая autoregressive-модель для генерации текста, диалогов, рассуждений, суммаризации и ответов на вопросы. Она оптимизирована для Retrieval Augmented Generation (RAG) и многошагового использования инструментов. Модель оценивалась на английском, французском, испанском, итальянском, немецком, бразильском португальском, японском, корейском, арабском и упрощённом китайском языках. Главное преимущество репозитория — широкий выбор квантизаций с разным компромиссом между размером файлов и качеством: от IQ1_S примерно на 21,59 ГиБ до FP16 примерно на 193,38 ГиБ. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству; для запуска полноразмерных вариантов необходимы значительные вычислительные ресурсы. Для работы с моделью требуется актуальная основная ветка llama.cpp с поддержкой этой архитектуры. Лицензия — CC BY-NC 4.0, предусматривающая некоммерческое использование с соблюдением условий лицензии.

calme-2.3-qwen2-72b — языковая модель MaziyarPanahi, дообученная на базе Qwen2-72B-Instruct для генерации текста в формате диалога ChatML. Модель содержит 71,5 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 131 072 токенов. Для запуска предусмотрена библиотека Transformers, веса представлены в формате safetensors. Модель подходит для диалоговых помощников и чат-ботов, ответов на вопросы, суммаризации и создания текстов, генерации и анализа кода, а также решения задач и поддержки принятия решений. В README приведены результаты нескольких бенчмарков, в том числе GSM8K, ARC Challenge и TruthfulQA. Карточка указывает английский язык; других языков явно не заявлено. Лицензия обозначена как other, конкретные условия использования следует сверить с лицензией репозитория. Как и другие крупные языковые модели, она может выдавать неточные или предвзятые ответы; для важных решений рекомендуется проверка человеком.

cyberneurova-Qwen3.8-27B — диалоговая модель CyberNeurova, дообученная на Qwen/Qwen3.8-27B. Это плотная модель на 27 млрд параметров с поддержкой текста и изображений; автор заявляет контекст до 262 тыс. токенов, многоязычность, рассуждения и интерфейс вызова инструментов. Модель рассчитана на диалоги, ответы на вопросы, анализ изображений и программирование, а стиль ответов можно задавать системным промптом. По заявлению автора, модель сохраняет общие знания и навыки рассуждения и набрала 11 из 12 в небольшом исполняемом тесте на программирование. Она публикуется в BF16 и формате safetensors, работает с Transformers и vLLM. Лицензия — Apache-2.0. Автор отмечает, что встроенные отказы ослаблены; качество и безопасность ответов зависят от конкретного применения и заданного промпта.

unsloth/DeepSeek-R1-Distill-Qwen-7B-unsloth-bnb-4bit — 4-битная динамически квантованная версия DeepSeek-R1-Distill-Qwen-7B. Базовую модель разработала команда DeepSeek, а квантованную сборку подготовила Unsloth. Модель основана на Qwen и относится к плотным большим языковым моделям примерно на 7 млрд параметров. Модель предназначена для текстовых задач, требующих рассуждений, включая решение математических задач, программирование и другие сценарии генерации и анализа текста. DeepSeek-R1 был обучен с применением крупномасштабного reinforcement learning, а серия Distill создана на основе дистилляции возможностей рассуждения DeepSeek-R1 в модели Llama и Qwen. В метаданных указана поддержка английского языка; сведения о размере контекста и дополнительных модальностях не приведены. Ключевая особенность этой версии — Dynamic 4-bit quantization от Unsloth: отдельные параметры выборочно не квантуются, что должно обеспечивать более высокую точность по сравнению со стандартной 4-битной квантизацией при меньших требованиях к памяти. Ограничениями являются возможные потери качества из-за квантования и отсутствие в предоставленных данных подробных результатов именно для этой сборки, характеристик контекстного окна и описания многоязычной поддержки. Лицензия — Apache-2.0.

winterthurquants/DeepSeek-V4-Pro-DSpark — это вариант чекпойнта DeepSeek-V4-Pro с подключённым модулем спекулятивного декодирования DSpark; README уточняет, что это не новая модель. Семейство разработано DeepSeek и предназначено для генерации текста, диалога, рассуждений, программирования, планирования и агентных сценариев. Каталог указывает 44,9 млрд параметров, плотную архитектуру DeepseekV4ForCausalLM и формат safetensors FP8; README описывает для семейства гибридное внимание CSA/HCA и контекст до 1 048 576 токенов. Модель поддерживает режимы ответа без рассуждений и с повышенным усилием рассуждения. DSpark предназначен для ускорения вывода посредством спекулятивного декодирования; README приводит пример запуска через vLLM. В карточке не перечислены языки, поэтому языковой охват конкретного чекпойнта не уточняется. Лицензия — MIT. README описывает существенно более крупную MoE-версию DeepSeek-V4-Pro с 1,6 трлн параметров, что расходится с каталоговыми метаданными данного репозитория; характеристики размера и архитектуры в описании приведены по метаданным каталога.

dolphin-2.9.1-mixtral-1x22b-GGUF — это квантизированная версия текстовой генеративной модели Dolphin 2.9.1 Mixtral 1x22B, подготовленная пользователем bartowski в формате GGUF для запуска через llama.cpp. В качестве базовой модели указана mistral-community/Mixtral-8x22B-v0.1, а исходная модель размещена cognitivecomputations. Квантизация выполнена с использованием imatrix и llama.cpp; доступны варианты от Q8_0 до Q2_K и IQ-квантизации с размером файлов примерно от 6,64 до 23,63 ГБ. Модель предназначена для диалоговой генерации текста, следования инструкциям, программирования, решения математических задач, function calling и агентских сценариев. При обучении использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, SystemChat, Locutusque function calling и Agent-FLAN. Заявленный язык — английский. Формат взаимодействия использует шаблон ChatML с ролями system, user и assistant. Сильными сторонами являются большое базовое семейство Mixtral, широкий набор instruction- и code-oriented данных, а также выбор вариантов квантизации для компромисса между качеством и требованиями к памяти. Более высокие варианты, включая Q6_K и Q5_K_M, заявлены как обеспечивающие высокое качество, тогда как низкобитные варианты экономят память, но заметнее снижают качество. Модель работает только с текстом; сведения о размере контекста и мультимодальности в README не указаны. Распространение разрешено по лицензии Apache-2.0.

ERNIE-4.5-21B-A3B-Thinking — текстовая модель семейства ERNIE от Baidu для генерации ответов с расширенным пошаговым рассуждением. Она предназначена для сложных задач логики, математики, естественных наук, программирования, генерации текста и академических вопросов, а также умеет использовать инструменты в поддерживаемом интерфейсе вызова инструментов. Модель построена на архитектуре Mixture of Experts: всего 21 млрд параметров, из которых для каждого токена активируется около 3 млрд. В конфигурации 28 слоёв и контекст до 131 072 токенов. Модель принимает и выдаёт текст; в карточке указана поддержка английского и китайского языков. Для запуска доступны веса safetensors и интеграция с Transformers; лицензия — Apache-2.0. Увеличенная длина рассуждений предназначена для сложных запросов, но может приводить к более длинным ответам и повышенным затратам на генерацию. Карточка заявляет улучшение качества рассуждений и работы с длинным контекстом, однако не приводит численных результатов бенчмарков.

Mungert/EXAONE-4.0-32B-GGUF — GGUF-квантизированная версия языковой модели EXAONE-4.0-32B, разработанной LG AI Research. Модель предназначена для генерации текста, диалоговых приложений, решения сложных задач и агентских сценариев с использованием инструментов. Она поддерживает обычный режим работы и режим рассуждений, а также английский, корейский и испанский языки. Модель содержит около 30,95 млрд параметров без учёта эмбеддингов, 64 слоя, архитектуру GQA с 40 attention-головами и 8 KV-головами, словарь размером 102 400 токенов и контекст до 131 072 токенов. Архитектура использует гибридное внимание: локальное и глобальное внимание в соотношении 3:1, а также QK-Reorder-Norm. Включение режима рассуждений выполняется через параметр enable_thinking. Данный вариант подготовлен с помощью llama.cpp и использует GGUF-квантизацию; автор сборки применяет дополнительное повышение точности отдельных важных слоёв, что может улучшать качество при низкой разрядности ценой увеличения размера файла. Сильными сторонами являются большой контекст, мультиязычность, сочетание обычного и reasoning-режимов, а также возможность локального запуска через экосистему llama.cpp. Ограничения конкретного варианта зависят от выбранного уровня квантизации и аппаратных ресурсов; README не содержит точных характеристик каждой квантованной сборки и результатов сравнительных тестов. Модель распространяется по лицензии EXAONE, обозначенной как other; подробные условия указаны в файле LICENSE.

cyankiwi/GLM-5.2-AWQ-INT4 — это квантизированная версия GLM-5.2, разработанная на базе модели Z.ai (zai-org). Модель предназначена для генерации текста, решения задач с длинной цепочкой рассуждений, программирования, работы с инструментами и агентских сценариев. В README также указана калибровка на наборах STEM и Agentic. Модель использует формат AWQ с точностью INT4. Заявлена поддержка контекста до 1 млн токенов. Архитектура GLM-5.2 включает IndexShare, повторно использующий один индексатор для каждой группы из четырёх разреженных attention-слоёв, что снижает вычисления на длинном контексте; MTP-слой предназначен для speculative decoding. В карточке указаны английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Размер основных файлов составляет 454,29 ГБ, дополнительного MTP-слоя — 19,91 ГБ, общий объём загрузки — 474,19 ГБ. Сильные стороны модели — работа с очень длинным контекстом, программирование, математическое и научное рассуждение, а также агентские задачи; конкретные результаты приведены в бенчмарках базовой GLM-5.2. Ограничениями являются крупный объём файлов и высокие требования к ресурсам для локального развёртывания, а также возможные потери качества из-за INT4-квантизации. Для запуска указана совместимость с SGLang, vLLM, Transformers, KTransformers и Unsloth. Лицензия — MIT.

Карточка модели Ishowbackup/Hy3 на Hugging Face совпадает с карточкой tencent/Hy3, поэтому описание составлено по ней. Hy3 — разговорная модель с открытыми весами, разработанная командой Tencent Hy. Это MoE-модель для генерации текста; карточка Hugging Face описывает вариант репозитория как модель на 16,6 млрд параметров, а README — семейство Hy3 как модель на 295 млрд параметров с 21 млрд активных параметров и 3,8 млрд параметров MTP-слоя. Модель предназначена для рассуждений, работы с длинным контекстом, вызова инструментов и задач продуктивности, включая программирование, офисную работу, финансовое моделирование, фронтенд-разработку и создание игр. В метаданных указан контекст 262 144 токена, поддержка чата и формат Safetensors. Разработчик сообщает об улучшениях надёжности вызова инструментов, следования форматам, удержания контекста и снижения галлюцинаций по внутренним оценкам. README рекомендует серверный запуск через vLLM или SGLang и отмечает значительные требования к памяти: для полного варианта предлагается конфигурация из восьми GPU H20-3e или устройств с сопоставимой памятью. Лицензия — Apache-2.0. Языки в источниках не установлены.

Карточка модели manaladan6/HYDRALINK на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

NVIDIA Kimi-K2.7-Code NVFP4 — квантизированная версия языковой модели Kimi-K2.7-Code, разработанной Moonshot AI. NVIDIA подготовила и оптимизировала эту сборку с помощью Model Optimizer для запуска на NVIDIA GPU; сама NVIDIA не является разработчиком исходной модели. Модель предназначена для генерации текста и кода, научного программирования, агентного использования инструментов, работы с терминалом и решения задач программной инженерии. В зависимости от конфигурации сервинга она может возвращать естественно-языковые ответы, код, структурированный JSON, запросы вызова инструментов, инструкции для координации агентов и другие артефакты. Модель использует архитектуру Transformers с сетевой архитектурой DeepSeek V3 и механизмом Mixture-of-Experts: всего заявлен 1 трлн параметров, из которых 32 млрд активируются при обработке запроса. Поддерживаются текст, изображения и видео на входе, а также контекст длиной до 256 тысяч токенов; выход представлен текстом. Веса и активации линейных операторов внутри MoE-блоков преобразованы из INT4 через BF16 в формат NVFP4. Предусмотрен запуск через vLLM на NVIDIA Blackwell под Linux; тестирование выполнялось на NVIDIA B200. Сильные стороны модели — большой контекст, поддержка мультимодальных входных данных, задачи кодирования и агентного взаимодействия, а также готовая к инференсу NVFP4-квантизация для совместимого оборудования. При этом сведения об обучающих и тестовых данных, их размере и составе в основном не раскрыты, а NVIDIA не проводила обучение или тестирование для данного релиза Model Optimizer. Практическая производительность и безопасность требуют дополнительной проверки на данных конкретного сценария. Использование регулируется NVIDIA Open Model License; также указана Modified MIT License для исходной модели Kimi-K2.7-Code.