II.4Отладка, тестирование и качество ПО

Hermes 3 Llama 3.1 405B FP8 — языковая модель общего назначения от Nous Research, дообученная на основе Meta Llama 3.1 405B. Это плотная авторегрессионная модель семейства Llama с 403,7 млрд параметров и контекстом до 131 072 токенов. Данная версия квантизована в FP8 методом NeuralMagic и предназначена для запуска через vLLM; по данным карточки, для неё требуется около 430 ГБ видеопамяти. Модель предназначена для диалогового ассистента, следования инструкциям, рассуждений, ролевого общения, генерации кода и работы с длинным контекстом. Она поддерживает формат диалога ChatML, вызов функций и структурированный вывод JSON, позволяя интегрировать её в агентные сценарии и приложения с инструментами. Основной язык, подтверждённый карточкой, — английский. Модель выдаёт конкурентные результаты относительно инструкционных моделей Llama 3.1, но качество зависит от задачи и сценария. Это текстовая модель, поэтому она не принимает изображения или аудио. FP8-вариант требует значительных ресурсов для запуска и совместим с vLLM. Лицензия — Llama 3; применяются её условия использования.

duyntnet/Mistral-Small-24B-Instruct-2501-imatrix-GGUF — это GGUF-квантизованные версии языковой модели Mistral Small 3 (2501), разработанной командой Mistral AI. Модель основана на Mistral-Small-24B-Base-2501 и дообучена для выполнения инструкций. В карточке указано 24 млрд параметров; конкретная архитектура не раскрыта. Модель предназначена для генерации текста и работает с текстовой модальностью. Модель ориентирована на быстрых разговорных ассистентов, сценарии с низкой задержкой, вызов функций, выдачу структурированного JSON, локальный запуск и последующее дообучение под предметные области. Она поддерживает десятки языков, включая английский, французский, немецкий, испанский, итальянский, китайский, японский, корейский, португальский, нидерландский и польский. Контекстное окно составляет 32 000 токенов, используется токенизатор Tekken со словарём размером 131 000 токенов. К сильным сторонам относятся развитые диалоговые и reasoning-возможности, поддержка системных промптов, native function calling и JSON-вывода, а также возможность локального запуска после квантизации, в том числе на одной RTX 4090 или MacBook с 32 ГБ оперативной памяти. Ограничения связаны с тем, что это квантизованный вариант: конкретные компромиссы между размером, скоростью и качеством зависят от выбранного файла квантизации. Модель рассчитана на использование через llama.cpp, KoboldCPP, Ollama, text-generation-webui, Jan и GPT4All. В исходном описании базовой модели указана лицензия Apache 2.0, однако метаданные данного репозитория обозначают лицензию как other; перед коммерческим использованием следует проверить условия для конкретной сборки.

unsloth/Qwen2.5-14B-bnb-4bit — 4-битная версия базовой языковой модели Qwen2.5-14B, подготовленная Unsloth на основе Qwen/Qwen2.5-14B, разработанной командой Qwen. Модель предназначена для задач генерации и продолжения текста, а также для последующего дообучения, включая SFT, RLHF и continued pretraining. Для диалоговых сценариев базовую модель использовать не рекомендуется без дополнительного постобучения. Это авторегрессионная текстовая модель с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Она содержит 14,7 млрд параметров, из которых 13,1 млрд не относятся к эмбеддингам, включает 48 слоёв и использует GQA с 40 головами для Q и 8 для KV. Контекстное окно составляет 131 072 токена. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Модель ориентирована только на работу с текстом; сведения о других модальностях отсутствуют. К сильным сторонам относятся улучшенные по сравнению с Qwen2 возможности в программировании и математике, следование инструкциям, обработка структурированных данных и генерация структурированных ответов, включая JSON, а также поддержка длинного контекста. 4-битное представление снижает требования к памяти и удобно для локального запуска и дообучения, однако может приводить к потере точности по сравнению с полной версией. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-heretic — производная диалоговая модель на базе Qwen3-4B-Instruct-2507, созданная с помощью abliteration для заметного снижения частоты отказов. По приведённому в карточке тесту отказов стало 5 из 100 запросов против 100 из 100 у исходной модели; это измерение относится к конкретному тесту и не гарантирует поведение на других запросах. Модель плотная, с архитектурой Qwen3ForCausalLM и примерно 3,7 млрд параметров, принимает текст и генерирует текст. Поддерживает контекст до 262 144 токенов и рассчитана на диалоги и режим без пошагового рассуждения. Модель подходит для ответов на вопросы, следования инструкциям, написания и анализа текстов, решения задач, программирования и использования инструментов. В карточке базовой модели заявлена поддержка нескольких языков, но конкретные языки для этой версии не перечислены. Версия опубликована в формате safetensors и предназначена для запуска через Transformers. Лицензия — Apache-2.0.

Mungert/Qwen3.5-122B-A10B-GGUF — это GGUF-квантизированная версия мультимодальной модели Qwen3.5-122B-A10B, разработанной командой Qwen. Репозиторий подготовлен Mungert с использованием llama.cpp и предназначен для локального запуска и эффективного инференса в совместимых инструментах, включая llama.cpp и связанные экосистемы GGUF. Модель представляет собой авторегрессионную языковую модель с vision encoder, поддерживающую обработку текста и изображений. Она рассчитана на рассуждения, программирование, работу с агентами, визуальное понимание и другие универсальные задачи. Заявлена поддержка 201 языка и диалекта. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture of Experts: всего 122 млрд параметров, из которых при генерации активируются около 10 млрд. Модель содержит 48 слоёв и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Ключевое преимущество этой сборки — специальная стратегия квантизации: важные слои вручную переводятся в более высокую точность сверх стандартной конфигурации IMatrix. По заявлению автора, это особенно улучшает точность при низкой разрядности и для MoE-моделей, но увеличивает размер файлов. Фактические характеристики зависят от выбранного GGUF-варианта и аппаратного обеспечения; README не приводит подробностей о конкретных уровнях квантизации, требованиях к памяти или независимых результатах тестирования. Исходная модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GPTQ-INT4-FP8KV — квантованная версия мультимодальной модели Qwen3.8-27B, опубликованная пользователем abhishekchohan на базе Qwen/Qwen3.8-27B. Модель предназначена для диалогов, рассуждений, решения математических и научных задач, программирования, следования инструкциям, работы с длинным контекстом и анализа изображений. Поддерживаемые языки в README не указаны. Используется 4-битное GPTQ-квантование весов в формате W4A16 с асимметричными группами размера 32, а также FP8 E4M3 KV-кэш с откалиброванными масштабами. Размер модели — 27B параметров; текстовая часть включает 64 гибридных слоя attention и DeltaNet, а визуальная часть основана на замороженном ViT-энкодере. Сохраняется нативный контекст до 262 144 токенов, с расширением YaRN до 524 288 токенов на GPU с 48 ГБ и до 1 млн токенов на 96 ГБ, однако поиск за пределами 262 144 токенов не валидировался. Контрольная точка занимает около 20 ГБ и рассчитана на запуск через vLLM, включая speculative decoding. Главные преимущества — существенно сниженное потребление памяти, возможность обслуживания нативного длинного контекста на одной 48-ГБ GPU и результаты бенчмарков, сопоставимые с BF16-версией: средний показатель на заявленном наборе тестов составил 70,29 против 70,04 у базовой модели, а извлечение информации из контекста прошло без деградации на 262 144 токенах. Ограничения включают возможную зависимость результатов генерации от GPU и конфигурации, а также неизбежные риски квантования; отдельные тесты показали небольшое снижение качества. Модель распространяется по лицензии Apache-2.0.

heretic-org/Qwen3.8-27B-heretic-ara — мультимодальная модель для диалогов, изменённая на основе Qwen/Qwen3.8-27B. Это плотная модель на 27 млрд параметров с причинной языковой моделью и визуальным энкодером; она принимает текст, изображения и видео и предназначена для диалогов, анализа визуальных материалов, программирования и многошаговых задач. Контекст модели составляет 262 144 токена с возможностью расширения до 1 000 000 токенов. В README описана abliteration: изменение слоёв 26–56 с целью сократить отказы. В приведённом тесте модель отказала в 0 из 100 случаев, тогда как исходная модель — в 99 из 100; это указывает на ослабление отказного поведения и требует учитывать результат при выборе сценариев применения. Модель распространяется в формате Safetensors, совместима с Transformers и рядом движков инференса. Лицензия — Apache-2.0.

Qwen3-8B-GGUF — это квантизированная версия языковой модели Qwen3-8B, разработанной командой Qwen. Модель подготовлена в формате GGUF пользователем bartowski на основе llama.cpp, релиз b5200, и предназначена для генерации текста и локального использования через совместимые инструменты, включая LM Studio. Модель ориентирована на творческое письмо, ролевые сценарии, многошаговые диалоги, следование инструкциям, математику, программирование, рассуждения и агентские задачи. Она поддерживает более 100 языков и диалектов, а также режимы с рассуждением и без него; режим рассуждения можно отключить, добавив в запрос параметр /no_think. Заявлена поддержка контекста до 131 072 токенов с использованием YaRN, при этом стандартное значение составляет 32 000 токенов. Ключевое ограничение — это квантизированная сборка, поэтому фактические требования к ресурсам и качество могут зависеть от выбранного варианта квантизации и используемого программного обеспечения. Модель может генерировать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. Лицензия модели — Apache-2.0.

Карточка модели Mahesh111000/qwen3-8b-hanabi-rl-base-1to1-24k-step_145 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Карточка модели liuw15/qwen3-8b-ziyon-nsfw на Hugging Face совпадает с карточкой unsloth/Qwen3-8B, поэтому описание составлено по ней. unsloth/Qwen3-8B — плотная причинно-авторегрессионная языковая модель семейства Qwen3, основанная на Qwen/Qwen3-8B и опубликованная Unsloth. По карточке модели, она предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, математики и программирования; также поддерживает интерфейс вызова инструментов. Qwen3 позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают 7,6 млрд параметров и контекст до 40 960 токенов; модель распространяется в формате safetensors и рассчитана на использование с Transformers. Карточка базовой модели заявляет поддержку более 100 языков и диалектов, включая многоязычные инструкции и перевод. Модель может быть полезна для чат-ботов, генерации и редактирования текста, помощи с кодом и агентных сценариев с инструментами. Указана лицензия Apache-2.0. Заявленный в README базовой модели размер параметрического набора и длина контекста отличаются от значений метаданных этой записи, поэтому здесь приведены значения метаданных каталога.

Qwen3-Next-80B-A3B-Instruct-REAM — сжатая версия диалоговой модели Qwen3-Next-80B-A3B-Instruct, созданная методом REAM, описанным в статье об объединении экспертов для улучшения их прореживания. Разработчик уменьшил число экспертов в слоях MoE с 512 до 384; по README, объём модели сократился с 80 до 60 млрд параметров, а требования к хранению и памяти GPU — примерно на 25%. Метаданные указывают архитектуру MoE семейства Qwen3-Next и 2,3 млрд параметров, что расходится с числом в README. Модель предназначена для диалогов и генерации текста, в том числе для задач с длинным контекстом до 262 144 токенов; метаданные также отмечают интерфейс вызова инструментов. README сообщает о сохранении не менее 95% исходного качества на ряде тестов: опубликованные результаты охватывают следование инструкциям, математику, общие знания и программирование. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Это доработка Qwen/Qwen3-Next-80B-A3B-Instruct методом сжатия экспертов; README также описывает версию v2 с изменённым составом данных сжатия, настройкой групп экспертов и сжатием слоя MTP. Лицензия — Apache-2.0. Число параметров в метаданных противоречит README, а приведённые результаты относятся к конкретным тестам и не гарантируют качество во всех сценариях.

Qwen3-VL-32B-Instruct-GGUF — мультимодальная модель семейства Qwen, разработанная командой Qwen. Репозиторий содержит веса модели Qwen3-VL-32B-Instruct в формате GGUF: языковую часть в вариантах FP16, Q8_0 и Q4_K_M и vision encoder в вариантах FP16 и Q8_0. Модель предназначена для обработки текста и изображений, а также для понимания видео, включая визуальные вопросы и ответы, OCR, анализ документов, пространственное рассуждение, STEM-задачи, визуальное программирование и взаимодействие с графическими интерфейсами через инструменты. Ключевые возможности включают расширенное визуальное восприятие, распознавание объектов и текста, анализ пространственных отношений, понимание длительных видеопоследовательностей и генерацию кода или разметки по изображениям и видео. Заявлен нативный контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона. OCR поддерживает 32 языка. В архитектуре используются Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками, улучшающие обработку пространственных, временных и мелких визуальных деталей. Модель совместима с llama.cpp, Ollama и другими инструментами экосистемы GGUF и может запускаться на CPU, NVIDIA GPU, Apple Silicon и Intel GPU. Разные уровни точности позволяют выбирать компромисс между качеством, скоростью и требованиями к памяти, однако модель размером 32B может предъявлять значительные аппаратные требования, а квантование способно снижать точность. Для работы рекомендуется актуальная версия llama.cpp. Модель распространяется по лицензии Apache-2.0.

Qwopus3.8-27B-Flash-ATX-IQ4_XS-M-GGUF — это GGUF-квантизированная версия модели Jackrong/Qwopus3.8-27B-Flash, являющейся дообученной моделью на базе Qwen3.8-27B. Рецепт квантизации разработан jakeatx с использованием llama.cpp и собственной importance matrix, рассчитанной для этой модели. Модель предназначена для генерации текста, программирования, агентских сценариев, RAG-анализа и задач с длинным контекстом, включая speculative decoding с MTP-головой. Модель содержит 27,32 млрд параметров и 866 тензоров, использует ту же архитектуру, что и базовая модель, а также включает MTP-слой. Основной формат весов — IQ4_XS с точечными повышениями точности до Q5_0, Q6_K и Q8_0; средний размер составляет 4,60 бита на вес, а файл модели занимает около 14,6 GiB. Рецепт рассчитан на видеокарты RTX 3090 или 3090 Ti с 24 ГБ памяти и позволяет использовать заполненный контекст до 200 тысяч токенов с 8-битным KV-кэшем. В измерениях на RTX 3090 Ti модель показывала преимущество по скорости декодирования над Q4_K_S на контекстах 16–64K, однако на 100K выигрыш был небольшим и зависел от принятия черновых токенов. Сильные стороны модели — эффективная работа на одной видеокарте, поддержка длинного контекста, специализированная оптимизация для короткого рассуждения и агентских циклов, а также ускорение за счёт MTP и speculative decoding. Ограничения включают потери, характерные для 4-битной квантизации, зависимость производительности от acceptance rate черновых токенов и необходимость совместимой сборки llama.cpp с поддержкой используемых ядер и MTP. Модель распространяется по лицензии Apache-2.0.

Spark-X2.5-1.7B — компактная языковая модель общего назначения от разработчиков семейства Spark-X2.5. Это постобученная версия базовой модели XHToken/Spark-X2.5-1.7B-Base с плотной архитектурой Spark2_5ForCausalLM; веса доступны в формате Safetensors и рассчитаны на работу через Transformers. Архитектура сочетает полное внимание с окнами скользящего внимания, а заявленная длина контекста составляет до 1 048 576 токенов. Модель предназначена для диалогов, письма, перевода, рассуждений, программирования, вызова инструментов и агентных сценариев. Разработчики заявляют поддержку более 200 языков и обучение примерно на 20 триллионах токенов; карточка приводит результаты сравнительных тестов, но не сами значения таблицы. Модель совместима с несколькими аппаратными платформами и средствами инференса, включая SGLang и vLLM. Модель может подойти для локальных ассистентов, анализа длинных контекстов и агентных рабочих процессов. Большое окно контекста требует достаточной памяти устройства, а при ограниченных ресурсах его рекомендуется уменьшить. Лицензия — Apache-2.0.

Карточка модели jondurbin/airoboros-c34b-3.1.2 на Hugging Face совпадает с карточкой jondurbin/airoboros-l2-70b-3.1.2, поэтому описание составлено по ней. airoboros-l2-70b-3.1.2 — экспериментальная инструктивная языковая модель от jondurbin, созданная на базе Llama 2 и дообученная на наборе airoboros-3.1, преимущественно на синтетических данных. Это плотная авторегрессионная модель семейства Llama с 68,7 млрд параметров и контекстом до 4096 токенов; она принимает текст и генерирует текст. Для диалогов используется шаблон Llama 2 Chat. Модель предназначена для следования инструкциям и решает широкий круг задач: ответы на вопросы по предоставленному контексту, суммаризация, математические решения в формате MathJSON, извлечение данных из логов, анонимизация, программирование и генерация аргументов для вызова функций. Она также обучалась на многошаговых инструкциях и диалогах с учётом системного промпта и истории беседы. Для MathJSON автор рекомендует низкую температуру генерации; исполнение планов или вызовов функций требует внешнего кода. Модель распространяется по лицензии Llama 2. Карточка называет её экспериментальной и отмечает, что часть данных по снятию ограничений не опубликована.

airoboros-l2-70b-3.1.2 — экспериментальная инструктивная языковая модель от jondurbin, созданная на базе Llama 2 и дообученная на наборе airoboros-3.1, преимущественно на синтетических данных. Это плотная авторегрессионная модель семейства Llama с 68,7 млрд параметров и контекстом до 4096 токенов; она принимает текст и генерирует текст. Для диалогов используется шаблон Llama 2 Chat. Модель предназначена для следования инструкциям и решает широкий круг задач: ответы на вопросы по предоставленному контексту, суммаризация, математические решения в формате MathJSON, извлечение данных из логов, анонимизация, программирование и генерация аргументов для вызова функций. Она также обучалась на многошаговых инструкциях и диалогах с учётом системного промпта и истории беседы. Для MathJSON автор рекомендует низкую температуру генерации; исполнение планов или вызовов функций требует внешнего кода. Модель распространяется по лицензии Llama 2. Карточка называет её экспериментальной и отмечает, что часть данных по снятию ограничений не опубликована.

jondurbin/bagel-20b-v04-llama — языковая модель для диалогов и генерации текста, созданная как версия Bagel-20B-v04 с архитектурой Llama. В README указано, что Bagel-20B-v04 дообучена на базе internlm2-20b; метаданные также указывают internlm/internlm2-20b в качестве базовой модели. Модель содержит 19,3 млрд параметров, имеет контекст до 32 768 токенов и распространяется в формате safetensors. Модель предназначена для ответов на вопросы, следования инструкциям, написания и пересказа текстов, решения задач по математике и естественным наукам, программирования, ролевого общения и вызова функций. В обучении использовались данные для диалогов, чтения с пониманием, контекстных ответов, суммаризации, Python и SQL, а также многоязычные материалы. Поддерживаются несколько форматов промптов; шаблон по умолчанию использует формат Llama 2. Карточка указывает лицензию «other», не раскрывая в предоставленных данных её точные условия. Обучающие данные охватывают разные стили и задачи, включая ролевые диалоги и токсичные примеры; ответы требуют проверки, особенно для фактических, программных и чувствительных запросов. Модель является дообученной версией InternLM2-20B.

EXAONE-4.0-32B-AWQ — квантованная версия языковой модели EXAONE 4.0, разработанная LG AI Research. Это авторегрессионная модель для генерации текста, поддерживающая обычный режим работы и режим рассуждений, а также агентное использование с вызовом инструментов. Модель предназначена для диалоговых систем, решения сложных задач, генерации и обработки текста и сценариев, требующих многошагового рассуждения. Модель содержит 30,95 млрд параметров без учёта эмбеддингов, 64 слоя и использует архитектуру GQA с 40 attention heads и 8 KV heads. Для 32B-версии применяется гибридное внимание: локальное sliding-window attention и глобальное full attention в соотношении 3:1, а также архитектурный подход QK-Reorder-Norm. Контекстное окно составляет 131 072 токена, размер словаря — 102 400. Поддерживаются английский, корейский и испанский языки. Версия AWQ использует 4-битное группавое weight-only квантование W4A16g128, что снижает требования к памяти по сравнению с полноразмерной моделью. Сильные стороны модели — сочетание общего режима генерации и reasoning mode, поддержка многоязычных сценариев, длинного контекста и tool calling. Ограничения включают необходимость корректной настройки параметров sampling в режиме рассуждений, а также потенциальные потери качества, связанные с 4-битным квантованием. Модель распространяется по лицензии EXAONE; в карточке указано обозначение лицензии other и ссылка на файл LICENSE.

QuantFactory/Fireball-3.1-8B-ORPO-GGUF — квантизированная версия EpistemeAI/Fireball-3.1-8B-ORPO, созданная с помощью llama.cpp. В основе лежит Meta Llama 3.1 8B от Meta, дообученная методом ORPO, который объединяет supervised fine-tuning и выравнивание по предпочтениям в едином процессе. Разработчик и автор исходной версии — EpistemeAI; квантизацию также выполнила EpistemeAI. Модель предназначена для генерации текста, диалоговых ассистентов и других задач обработки естественного языка, включая работу с кодом. Это текстовая autoregressive Transformer-модель примерно на 8 млрд параметров с поддержкой Grouped-Query Attention. Заявлены мультиязычные текстовые входы и выходы, включая английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Максимальная длина контекста составляет 128 тысяч токенов, дата отсечения знаний — декабрь 2023 года. Квантизированный формат GGUF ориентирован на запуск через llama.cpp и может снизить требования к памяти и вычислительным ресурсам по сравнению с полноразмерными весами. Ограничения включают статичность знаний, возможные ошибки и ограничения качества после дообучения и квантизации, а также отсутствие поддержки изображений и других немультимодальных входов. В README указана лицензия Llama 3.1 Community License; при этом в разделе сведений о загруженной модели также упомянута Apache-2.0, поэтому условия распространения следует уточнить по актуальным файлам лицензии репозитория.

Карточка модели ArchiveStudio/gemma-4-26B-A4B на Hugging Face совпадает с карточкой vmo247/vmo-gemma-4-26b-a4b-ft, поэтому описание составлено по ней. vmo247/vmo-gemma-4-26b-a4b-ft — мультимодальная модель, дообученная на базе Google Gemma 4 26B A4B. Она построена на архитектуре Gemma 4 для генерации текста по текстовым и графическим запросам и поддерживает диалоговый режим и анализ изображений. Вариант 26B A4B относится к MoE-моделям семейства; для Gemma 4 этого размера заявлено контекстное окно до 256K токенов и поддержка более 140 языков на уровне семейства. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста на изображениях, анализа графиков и интерфейсов, а также для диалогов, рассуждений, написания и исправления кода. В карточке этой производной модели не приведены отдельные результаты оценки качества; возможности видео и аудио, упомянутые для семейства Gemma 4, не подтверждены для данного 26B-варианта. Распространяется по лицензии Apache 2.0.

AMAImedia/GLM-5.3-Flash-FP8-GGUF — GGUF-квантованная версия мультимодальной модели GLM-5.3-Flash, выпущенная AMAImedia в рамках платформы NOESIS. Оригинальная модель разработана организацией Z.ai; в README также указано, что проект связан с Tencent/Hy4-preview. Модель опубликована 19 сентября 2026 года под лицензией Apache 2.0. GLM-5.3-Flash предназначена для задач генерации текста, программирования, работы с длинным контекстом, агентных сценариев и анализа изображений. Это первая нативно мультимодальная модель серии GLM-5: она поддерживает текстовые и визуальные входные данные. Заявлены 320 млрд общих параметров и 18 млрд активных параметров, что указывает на разреженную архитектуру, ориентированную на снижение вычислительных затрат. В архитектуре используются sparse attention, linear attention и Manifold-Constrained Hyper-Connections (mHC). Точная длина контекста в README не указана. Модель поддерживает широкий набор языков, включая английский, русский, китайский, вьетнамский, японский, казахский и многие другие. К сильным сторонам относятся сочетание мультимодальности, агентных и кодовых возможностей с относительно небольшим числом активных параметров, а также возможность локального развёртывания через SGLang, vLLM, TokenSpeed и KTransformers. Ограничения включают отсутствие в README точных данных о длине контекста, производительности, требованиях к памяти и качестве работы на отдельных языках. Формат FP8-GGUF рассчитан на эффективное локальное использование, но совместимость и фактическая скорость зависят от выбранного рантайма и оборудования.

furiosa-ai/gpt-oss-120b — адаптация открытой весовой модели OpenAI gpt-oss-120b, подготовленная для запуска на аппаратных ускорителях FuriosaAI RNGD с использованием Furiosa-LLM. Это авторегрессионная текстовая модель на архитектуре Mixture-of-Experts (MoE), предназначенная для универсальной генерации текста и задач, требующих углублённого рассуждения, включая рабочие производственные сценарии. Модель принимает и генерирует текст, поддерживает английский язык и работает в формате harmony response format, отделяющем рассуждения от итогового ответа. Доступна настройка глубины рассуждения с помощью параметра reasoning_effort со значениями low, medium и high. Также поддерживается вызов инструментов и функций через OpenAI-совместимый API. Экспертные веса MoE квантизованы в MXFP4, а компоненты attention, router и embeddings сохраняются в более высокой точности. Для запуска на RNGD используется tensor parallelism с 32 вычислительными элементами, что соответствует четырём картам RNGD. Ключевое ограничение — описанная в README сборка ориентирована на Furiosa-LLM и оборудование FuriosaAI RNGD, хотя исходная модель также может работать с другими фреймворками. Модель распространяется по лицензии Apache 2.0.

axolotl-ai-co/gpt-oss-120b-dequantized — версия с преобразованной точностью модели gpt-oss-120b, разработанной OpenAI. Это разреженная MoE-модель для генерации текста, диалога, рассуждений и агентных сценариев; README указывает 117 млрд параметров и 5,1 млрд активных параметров, а метаданные этой версии — 2,1 млрд параметров. Модель поддерживает контекст до 131 072 токенов и использует архитектуру GptOssForCausalLM. Репозиторий содержит веса safetensors и рассчитан на библиотеку Transformers. Модель предназначена для ответов на запросы, сложного анализа, работы с инструментами и генерации структурированных ответов. В README также описаны вызов функций и агентные сценарии с браузером и исполнением Python; для корректной работы требуется формат диалога Harmony. Уровень рассуждений можно настраивать, балансируя глубину ответа и скорость. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование и дообучение. README предупреждает, что цепочку рассуждений не следует показывать конечным пользователям; качество вывода зависит от соблюдения формата Harmony. Название репозитория указывает на dequantized-вариант, однако точный исходный формат преобразования и его влияние на качество не описаны.

LongCat-Flash-Lite-Sparse — разговорная языковая модель Meituan семейства LongCat, предназначенная для генерации текста, работы с длинным контекстом и агентных сценариев. В README она описана как невозрастающая по рассуждениям модель типа Mixture-of-Experts с 69 млрд параметров и примерно 3 млрд активируемых на токен; метаданные каталога указывают 2,5 млрд параметров. В архитектуре LongcatCausalLM используется LongCat Sparse Attention, а заявленная длина контекста достигает 1 024 000 токенов. Модель рассчитана на диалог, агентное программирование, поиск и использование инструментов, а также на обработку больших объёмов текста. README сообщает о повышенной эффективности вывода на длинном контексте и улучшении агентных возможностей относительно плотной версии LongCat-Flash-Lite. В метаданных также отмечен интерфейс вызова инструментов. Репозиторий содержит веса Safetensors и лицензирован по MIT. Для развёртывания README описывает адаптации в SGLang. Модель не проходила исчерпывающую оценку для всех прикладных сценариев; заявленные результаты зависят от конфигурации, в частности от включения Hierarchical Indexing.

legraphista/Meta-Llama-3.1-70B-Instruct-IMat-GGUF — вариант модели Meta-Llama-3.1-70B-Instruct, опубликованный пользователем legraphista. Это большая инструкционно настроенная языковая модель семейства Llama 3.1 от Meta, предназначенная для диалоговых сценариев, следования инструкциям и генерации текста. Из доступных данных известно, что модель относится к классу 70B и основана на Meta-Llama-3.1-70B-Instruct. Формат GGUF указан в идентификаторе модели, однако сведения о конкретном типе квантования, размере контекста, поддерживаемых языках и дополнительных изменениях по сравнению с базовой моделью отсутствуют. Модель ориентирована на текстовые задачи; информация о поддержке других модальностей не предоставлена. Использование регулируется Llama 3.1 Community License от Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ на установленных условиях, включая соблюдение Acceptable Use Policy, указание лицензии и атрибуции, а также отображение надписи «Built with Llama» при распространении материалов или продуктов. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей требуется отдельное разрешение Meta.

natong19/Mistral-Nemo-Instruct-2407-abliterated — версия Mistral-Nemo-Instruct-2407, обученной совместно Mistral AI и NVIDIA. Это плотная авторегрессионная языковая модель семейства Mistral с 12,1 млрд параметров, предназначенная для диалогов и генерации текста; интерфейс также поддерживает вызов инструментов. В README заявлено окно контекста 128 тыс. токенов, а метаданные указывают native context в 1 024 000 токенов, поэтому эти значения расходятся. Модель рассчитана на многоязычные задачи и код; среди языков указаны английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский. В этой версии наиболее сильные направления отказа ослаблены ортогонализацией весов, однако модель всё ещё может отказывать, неверно понимать запрос или давать непрошеные советы о безопасности. В приведённых тестах результаты близки к исходной версии Mistral-Nemo-Instruct-2407. Лицензия — Apache 2.0.

MyAwesomeModel — языковая модель, доступная через библиотеку Transformers. Разработчик в README не указан; модель представлена в репозитории tttoola/MyAwesomeModel-TestRepo. В обновлённой версии заявлены улучшения глубины рассуждений, инференса и алгоритмической оптимизации на этапе post-training, а также снижение частоты галлюцинаций и улучшенная поддержка function calling. Модель предназначена для сложных задач рассуждения, включая математику, программирование, логические задачи и работу с естественным языком. Также она может применяться для понимания текста, ответов на вопросы, классификации, анализа тональности, генерации кода и диалогов, написания текстов, суммаризации, перевода, извлечения знаний и следования инструкциям. В README указана поддержка system prompt, загрузки файлов и сценариев с web search при использовании соответствующих шаблонов запросов. В качестве сильных сторон заявлены высокие результаты на представленных бенчмарках, особенно в рассуждениях и генерации, а также рост точности на AIME 2025 с 70% до 87,5% по сравнению с предыдущей версией. Среднее число токенов рассуждения на вопрос увеличилось с 12K до 23K, что может повышать качество решения, но потенциально увеличивает вычислительные затраты и задержку. Архитектура, размер, поддерживаемые языки, модальности и размер контекста в README не указаны. Для использования рекомендуется температура 0,6 и системный prompt с текущей датой. Лицензия — MIT.

MyAwesomeModel — репозиторий модели пользователя zhujiaying-mcpbench на Hugging Face. Метаданные указывают на архитектуру BERT, класс BertModel и задачу feature-extraction; модель принимает текст и предназначена для получения векторных представлений, например для поиска и сравнения текстов. Указаны библиотека Transformers, формат PyTorch и лицензия MIT. Веб-результат сообщает, что репозиторий пуст и не содержит весов, конфигурации или кода, поэтому применимость модели и заявленные в карточке возможности нельзя проверить. Сведения о размере, контексте и поддерживаемых языках надёжно не установлены.

Ocean-1-4B — компактная универсальная языковая модель компании OceanLabs с архитектурой Spark2.5. Она содержит 3,8 млрд параметров и предназначена для эффективного запуска на маломощных устройствах и локально: поддерживает NVIDIA, Apple Silicon и CPU, а также совместима с vLLM, SGLang, llama.cpp, Ollama и LM Studio. Модель принимает текстовые запросы и генерирует текст; предусмотрен интерфейс для чата и вызова инструментов. Модель рассчитана на диалоги, написание и перевод текстов, рассуждения, повседневное программирование и агентные сценарии. Гибридная архитектура сочетает скользящее внимание в большинстве слоёв с разреженными слоями полного внимания, что снижает потребление памяти KV-кэша и вычисления. Заявлена поддержка контекста до 1 048 576 токенов и более 200 языков. В метаданных указана связь с базовой моделью Ocean-1-4B и дообучение; её идентификатор приведён в base_model_guess. Модель распространяется по лицензии Apache-2.0. Оценки качества и заявленные преимущества приведены в карточке модели; независимые результаты тестирования не описаны.

CalamitousFelicitousness/Qwen2.5-3B-Instruct-fp8-dynamic — инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это каузальная Transformer-модель для генерации текста и диалоговых сценариев, включая следование инструкциям, ответы на вопросы, работу со структурированными данными и создание структурированных ответов, в том числе JSON. Указанная версия основана на Qwen/Qwen2.5-3B и использует динамическое 8-битное представление FP8, однако подробности реализации квантования в README не приведены. Модель содержит 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, и имеет 36 слоёв. Архитектура включает RoPE, SwiGLU, RMSNorm, смещения в QKV внимания, связанные эмбеддинги слов и GQA с 16 головами для Q и 2 для KV. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Сильными сторонами являются улучшенные возможности в программировании и математике, следование инструкциям, генерация длинных текстов, обработка структурированных данных и устойчивость к разнообразным системным промптам. Ограничения включают меньший размер по сравнению с крупными моделями семейства и отсутствие в README подробных результатов оценки, требований к аппаратным ресурсам, характеристик производительности и описания модальностей, отличных от текста. Лицензия указана как qwen-research; применимые условия следует уточнять в тексте лицензии Qwen/Qwen2.5-3B.