II.4Отладка, тестирование и качество ПО

Qwen2.5-7B-DeepSeek-R1-1M — объединённая плотная языковая модель на архитектуре Qwen2 с 7,1 млрд параметров. Её создал prithivMLmods методом TIES с помощью MergeKit, объединив DeepSeek-R1-Distill-Qwen-7B и Qwen2.5-7B-Instruct на базе Qwen2.5-7B-Instruct-1M. В репозитории веса представлены в формате safetensors; конфигурация слияния использует точность bfloat16. Модель предназначена для диалогов и генерации текста, включая ответы в стиле рассуждений. Заявленная длина контекста — до 1 010 000 токенов; модель работает через библиотеку Transformers. Она принимает текст и генерирует текст, а метаданные также отмечают интерфейс для вызова инструментов. Сведения о лицензии в предоставленных данных отсутствуют. Качество и поведение после слияния могут отличаться от исходных моделей; заявленная длина контекста не гарантирует одинаковую точность на всём объёме.

Richard Young выпустил эту версию Qwen3-4B-Instruct-2507, обработанную методом abliteration с помощью Heretic v1.4.0. Это плотная причинная языковая модель на 3,7 млрд параметров для генерации текста и диалогов; она рассчитана на режим без пошагового рассуждения и имеет контекстное окно 262 144 токена. Модель предназначена для следования инструкциям, ответов на вопросы, логических и математических задач, программирования, работы с длинными текстами и сценариев с вызовом инструментов. В README автор сообщает, что при его проверке модель отказала в 3 из 100 запросов, тогда как исходная версия отказала во всех 100; это описывает результаты конкретной оценки, а не гарантирует поведение на других запросах. Репозиторий содержит веса Safetensors для Transformers. Указанная лицензия — Apache-2.0. README отмечает поддержку нескольких языков, но не перечисляет их, поэтому основной язык определить нельзя.

AxionML/Qwen3.5-4B-NVFP4 — мультимодальная модель для работы с текстом и изображениями, разработанная AxionML на основе Qwen/Qwen3.5-4B. Модель предназначена для открытого использования, развёртывания и высокопроизводительного inference-сервинга, включая сценарии визуального понимания, рассуждений, программирования и агентских задач. Это causal language model с vision encoder и архитектурой, сочетающей Gated Delta Networks и разреженный Mixture-of-Experts. Модель содержит около 4 млрд параметров, 32 слоя, скрытую размерность 2560 и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Линейные слои используют NVFP4-квантизацию весов и активаций с помощью NVIDIA TensorRT Model Optimizer, что уменьшает размер хранения и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. К сильным сторонам относятся сочетание мультимодальности, длинного контекста и сниженные требования к памяти, что делает модель подходящей для эффективного локального и серверного развёртывания на совместимом оборудовании. К ограничениям относятся потенциальная потеря качества из-за 4-битной квантизации и необходимость аппаратной и программной поддержки NVFP4, в частности соответствующих GPU и средств инференса. Модель распространяется по лицензии Apache 2.0 и разрешена для коммерческого и некоммерческого использования.

Mungert/Qwen3.5-9B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-9B, опубликованная Mungert и основанная на Qwen/Qwen3.5-9B-Base. Модель предназначена для генерации и понимания текста и изображений, включая рассуждения, программирование, работу с агентами и визуальное понимание. Она совместима с llama.cpp и экосистемой инструментов, поддерживающих формат GGUF. Модель содержит около 9 млрд параметров и объединяет языковую модель с vision encoder. Архитектура сочетает Gated Delta Networks, разреженную Mixture-of-Experts и Gated Attention; языковая часть включает 32 слоя, скрытую размерность 4096 и промежуточную размерность feed-forward-блоков 12288. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Особенность этой сборки — модифицированная квантизация GGUF: для отдельных важных слоёв вручную повышается точность сверх стандартной конфигурации IMatrix. Это увеличивает размер файла, но, по заявлению автора, может улучшать точность при низкой разрядности, особенно для моделей с MoE. Конкретные результаты тестирования данной сборки и доступные варианты квантизации в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-KTopt-GGUF — квантизированная GGUF-сборка базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем wiklif. Она предназначена для генерации текста, решения сложных вопросов, следования инструкциям, программирования и задач, требующих рассуждений, включая работу с длинным контекстом. Модель содержит около 27 млрд параметров, использует trellis-квантизацию типов KT и занимает примерно 10,31 ГБ, или около 3,06 бит на вес. Это текстовая модель без vision tower. На видеокарте с 16 ГБ памяти заявлена поддержка контекста от 160 тысяч до полного нативного объёма 262 тысячи токенов, а на 12 ГБ — примерно 64–96 тысяч токенов. В комплект входят опциональный EoRA-адаптер размером 32,4 МБ и drafter для speculative decoding. Сильная сторона модели — близкое к Q8_0 качество при значительно меньшем размере и пригодность для запуска на одной 16-ГБ видеокарте. На указанных тестах средний результат составил 86,7 против 87,5 у Q8_0; при ограничении вывода 64 тысяч токенов модель превзошла сопоставимую UD-IQ3_XXS на 2,8 процентного пункта. Для работы требуется специальная сборка lrozewicz/kt-llama-cpp с поддержкой KT-квантизации, VBR KV-кэша и DFlash2; модель не загружается в основной llama.cpp, LM Studio или Ollama. Лицензия — Apache-2.0.

Qwen3.8-27B-Q4_0_ROCMFP4_STRIX_LEAN — квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная pugant в формате GGUF для llama.cpp. Это плотная гибридная модель с 48 слоями gated-delta-net и 16 слоями полного внимания, нативным контекстом до 262 тысяч токенов и поддержкой MTP для спекулятивного декодирования. В метаданных указаны английский и мультиязычный режимы, а основное назначение — генерация текста, включая программный код, структурированные ответы и задачи RAG. Модель использует квантизацию Q4_0_ROCMFP4_STRIX_LEAN с эффективной точностью около 4,34 BPW и размером примерно 13,82 ГиБ. Она оптимизирована для AMD Strix Halo с графикой RDNA 3.5 и ROCmFPX, поддерживает ROCm и Vulkan-бэкенды, а встроенный MTP-слой может заметно ускорять декодирование на предсказуемом и структурированном контенте. Наиболее высокое ускорение ожидается при генерации кода, детерминированных и структурированных данных; для обычной прозы эффект ограничен. Главное ограничение — модель несовместима со стандартной сборкой llama.cpp и требует форка ROCmFPX с пользовательскими типами тензоров. Она протестирована на Radeon 8060S в составе AMD Ryzen AI Max+ 395, поэтому работоспособность и производительность на другом оборудовании не гарантируются. Лицензия — Apache-2.0.

PassingByPixels/Qwen3.8-27B-NVFP4 — это квантованная версия мультимодальной модели Qwen3.8-27B, разработанной Qwen и преобразованной в формат NVFP4 с помощью NVIDIA TensorRT Model Optimizer 0.45.0. Модель предназначена для генерации и понимания текста, анализа изображений и видео, программирования, профессиональных и исследовательских задач, а также многошаговых агентских сценариев. Квантование не включало обучение или дообучение и представляет собой lossy-преобразование исходных весов bf16. Модель содержит около 27 млрд параметров и использует архитектуру causal language model с vision encoder. Она включает 64 слоя, механизм Gated DeltaNet с линейным вниманием, Gated Attention, MTP и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 000 000 токенов посредством RoPE scaling, например YaRN. Поддерживаемый язык в карточке указан как английский. Ключевая часть параметров представлена в 4-битном формате NVFP4 с блочными масштабами, а vision tower, эмбеддинги, LM head, MTP head и Gated DeltaNet сохранены в более высокой точности bf16. Основное преимущество — существенно меньшее потребление памяти и возможность запуска на одном устройстве DGX Spark с 128 ГБ памяти через vLLM и Blackwell FP4 path. При этом README не содержит оценки качества квантованной версии по сравнению с исходной bf16-моделью, поэтому возможное снижение точности следует учитывать. Лицензия — Apache-2.0.

soyrsoyr/Qwen3.8-27B-W4A16-AWQ-GPTQ — квантизированная версия мультимодальной модели Qwen3.8-27B семейства Qwen3.5, разработанной Qwen. Модель предназначена для обработки текста и изображений, генерации ответов, решения задач рассуждения, работы с кодом и использования в сценариях, где важны сниженные требования к памяти и высокая скорость инференса. Она поддерживает запуск через Transformers и vLLM. Модель использует гибридную архитектуру внимания и является VLM с текстовым декодером и vision tower. Веса линейных слоёв текстового декодера квантизированы в INT4 по схеме W4A16 с группой 128, с применением AWQ и GPTQ. Vision tower, гибридные linear-attention mixers и lm_head сохранены в формате bf16; также сохранён базовый MTP-предиктор для speculative decoding. Полный VLM хранится в формате compressed-tensors. Точные сведения о языках и размере контекстного окна в README не указаны, однако приведён пользовательский результат с окном обслуживания до 256K токенов. К сильным сторонам относятся существенное снижение потребления памяти, совместимость с CUDA GPU, поддержка Marlin или compressed-tensors INT4-ядер и небольшая потеря качества относительно bf16-версии. В указанных тестах среднее восстановление результатов составило 99,3% на OpenLLM v1 и 94,9% на генеративном reasoning-наборе; при этом на AIME-25 снижение заметнее. Для работы требуются совместимые CUDA GPU и программный стек vLLM или Transformers с поддержкой соответствующего формата. Лицензия — Apache-2.0.

Карточка модели Mahesh111000/qwen3-8b-hanabi-rl-base-1to1-24k-step_220 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

RedHatAI/Qwen3-8B-quantized.w4a16 — языковая авторегрессионная модель на архитектуре Qwen3ForCausalLM, разработанная Red Hat совместно с Neural Magic на базе Qwen/Qwen3-8B. Модель работает с текстом на входе и генерирует текст на выходе; заявлены поддержка рассуждений, вызова функций, многоязычного следования инструкциям, перевода и адаптации под предметные области посредством дообучения. Модель использует квантизацию весов до INT4 в формате W4A16. Квантизуются веса линейных операторов внутри трансформерных блоков с применением GPTQ, асимметричной групповой схемы и размером группы 64; параметр lm_head исключён. Такое сжатие уменьшает число бит на параметр с 16 до 4, а заявленный размер на диске и требования к памяти GPU — примерно на 75%. Для развёртывания рекомендуется backend vLLM, включая OpenAI-совместимый режим сервинга. Сильные стороны модели — существенно сниженные требования к хранению и GPU-памяти при сохранении назначения исходной Qwen3-8B, а также пригодность для задач рассуждений, перевода и работы с инструкциями. Ограничения включают потенциальное снижение качества из-за квантизации и отсутствие в представленном README конкретных численных результатов оценки; также не указаны точный перечень поддерживаемых языков и гарантированное максимальное окно контекста. В материалах приведены конфигурации с длиной последовательности до 8192 и отдельные оценки с длиной до 40960 токенов, что не следует автоматически трактовать как универсальное ограничение модели. Модель распространяется по лицензии Apache-2.0. Использование должно соответствовать применимым законам и нормативным требованиям.

unsloth/Qwen3-VL-32B-Instruct-unsloth-bnb-4bit — 4-битная версия модели Qwen3-VL-32B-Instruct, подготовленная Unsloth на базе модели Qwen. Это мультимодальная vision-language модель для понимания и генерации текста по изображениям и видео, а также для работы с чистым текстом. Модель предназначена для описания и анализа изображений, визуального и пространственного рассуждения, распознавания текста, понимания длительных видеоматериалов, STEM- и математических задач, генерации кода и взаимодействия с графическими интерфейсами. Заявлены возможности визуального агента для работы с GUI, поддержка 2D- и 3D-пространственного анализа, а также OCR для 32 языков. Архитектурные компоненты включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Контекст составляет 256K токенов с возможностью расширения до 1M. Это instruct-модель с 32B параметров в исходной конфигурации, представленная в 4-битном формате bitsandbytes для снижения требований к памяти. К сильным сторонам относятся объединённое понимание текста и визуальных данных, расширенное восприятие изображений и видео, длинный контекст и агентские сценарии. Ограничения, включая возможные потери качества из-за квантизации и требования к вычислительным ресурсам, в README подробно не описаны. Указана лицензия Apache-2.0.

Qwen-SEA-LION-v4.5-27B-IT-GGUF — это квантизированная в формате GGUF версия мультимодальной инструкционно настроенной модели Qwen-SEA-LION-v4.5-27B-IT. Модель разработана AI Products Pillar при AI Singapore при финансовой поддержке National Research Foundation Singapore и построена на архитектуре Qwen3.6-27B. Она представляет собой каузальную языковую модель с визуальным энкодером и предназначена для коммерческого использования. Модель ориентирована на сложное рассуждение, многошаговое планирование, генерацию кода, работу с инструментами, структурированными схемами и агентными сценариями. Она поддерживает обработку текста и изображений, контекст длиной до 262 тысяч токенов и оптимизирована для языков и культур Юго-Восточной Азии. Дообучение проводилось на бирманском, индонезийском, филиппинском, малайском, тамильском, тайском и вьетнамском языках; также заявлена конкурентоспособная работа с английским и китайским. Доступны варианты квантизации Q4_K_M размером 16,8 ГБ, Q6_K размером 22,4 ГБ, Q8_0 размером 29 ГБ и F16 размером 54,7 ГБ, что позволяет выбирать компромисс между требованиями к памяти и качеством. К сильным сторонам относятся большой контекст, региональная языковая специализация, мультимодальность и развитые возможности использования инструментов. При этом модель не проходила полноценное выравнивание по безопасности и не тестировалась на устойчивость к adversarial prompting; возможны галлюцинации, нерелевантные ответы и фактические ошибки, поэтому результаты требуют проверки и дополнительной настройки безопасности. Модель распространяется по лицензии MIT. Для запуска GGUF-версий в README приведён пример использования llama.cpp; для визуального ввода требуется отдельный файл mmproj.

Карточка модели TreezzZ/r2s-webshop-qwen3-8b-student на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Solar-Open2-250B-Nota-INT4 — 4-битная квантованная версия языковой модели Solar-Open2-250B от Upstage, подготовленная компанией Nota AI. Модель предназначена для генерации текста, диалоговых приложений, рассуждений, программирования, вызова инструментов и других задач обработки естественного языка. Заявлены языки английский, корейский и японский. Модель основана на архитектуре Mixture-of-Experts (MoE) и использует квантование весов W4A16 с форматом INT4, размером группы 128 и упаковкой AutoRound, совместимой с GPTQ. Весовой объём составляет около 142,9 ГБ против 500,6 ГБ в формате BF16. Модель рассчитана на развёртывание через vLLM; в README приведена конфигурация с tensor parallelism для четырёх GPU. Размер контекста в предоставленных данных не указан. Ключевое преимущество — снижение требований к памяти при сохранении близкого к BF16 качества: средний результат на приведённых бенчмарках составляет 81,17 против 81,57 у BF16. Для квантования применены методы Nota AI, ориентированные на сохранение маршрутизации экспертов, включая DREAM-MoE и SRA-MoE. Ограничениями являются необходимость значительных вычислительных ресурсов для запуска, зависимость от совместимой версии vLLM и возможное небольшое снижение качества на отдельных задачах по сравнению с BF16. Модель распространяется по лицензии Upstage Solar License. Для производных моделей требуется использовать префикс Solar в названии, указывать формулировку Built with Solar в публичных материалах и включать копию лицензии Upstage Solar.

miifanboy/Spark-X2.5-4B-i1-GGUF — набор GGUF-вариантов модели Spark-X2.5-4B, разработанной XHToken и опубликованной Mii Fanboy. Это компактная универсальная языковая модель для диалогов, написания текстов, перевода, рассуждений, программирования, использования инструментов и агентских сценариев. Модель предназначена для локального запуска через Ollama и LM Studio с совместимой реализацией llama.cpp. Spark-X2.5-4B использует гибридную архитектуру внимания, имеет размер 4B параметров, поддерживает нативный контекст до 1 млн токенов и более 200 языков; в метаданных явно указаны английский и китайский. Репозиторий содержит imatrix-квантизованные варианты IQ3, Q3, IQ4, Q4, Q5, Q6 и Q8 с размером файлов примерно от 1,68 до 4,07 ГБ. Квантизация позволяет снизить требования к памяти при сохранении близкого к базовой модели качества; наиболее качественными в приведённых тестах являются Q6_K и Q8_0, а IQ4_XS рекомендован при ограниченном объёме VRAM. Сильные стороны модели — универсальность, поддержка длинного контекста, широкого набора языков и нескольких уровней квантизации для локального развертывания. Ограничения зависят от варианта: низкобитные кванты могут требовать подробных системных подсказок и заметнее уступать базовой модели, а IQ-варианты медленнее работают на CPU; для CPU рекомендуется использовать Q-кванты. Лицензия — Apache-2.0.

airoboros-m-7b-3.1.2 — экспериментальная языковая модель jondurbin для диалогов и выполнения инструкций. Она основана на архитектуре Mistral с плотной причинно-языковой моделью на 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель обучена преимущественно на синтетических данных набора airoboros-3.1 и использует формат чата Llama 2. Модель подходит для ответов на вопросы по заданному контексту, суммаризации, следования многошаговым инструкциям, генерации кода и структурированных ответов. В набор обучения также входили математические задачи с выдачей MathJSON, извлечение сведений из логов и анонимизация текста. Разработчик отмечает, что модель особенно ориентирована на выполнение инструкций, а не на непринуждённый чат или ролевую игру. В README модель названа экспериментальной; для MathJSON рекомендуется низкая температура, а формат чата важно настроить корректно. Репозиторий распространяется по лицензии Apache-2.0.

Arcee-Blitz — плотная языковая модель семейства Mistral с 23,4 млрд параметров, разработанная Arcee AI на базе Mistral-Small-24B-Instruct-2501. Модель дистиллировали на логитах DeepSeek-V3, затем дополнительно дообучили; она предназначена для диалогов и широкого круга задач генерации текста как практичная и эффективная рабочая модель. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. В карточке приведены результаты сравнительных тестов на MixEval, GPQADiamond и BigCodeBench Complete, где Arcee-Blitz превосходит указанную версию Mistral-Small-3; эти результаты не гарантируют качество на других задачах. Репозиторий распространяется по лицензии Apache-2.0.

Atharvs_Model — дообученная мультимодальная модель на базе Google Gemma 4 E4B, опубликованная под лицензией Apache 2.0. Она использует архитектуру Gemma4ForConditionalGeneration и формат safetensors, принимает текст и изображения и формирует текстовые ответы. Семейство Gemma 4 поддерживает контекст до 128 тысяч токенов для малых моделей, включая E4B, и многоязычную работу; карточка этой конкретной модели не уточняет языки дообучения. Модель подходит для диалога, генерации и суммаризации текста, программирования, рассуждений, а также анализа изображений и документов, включая OCR. В README Gemma 4 также заявлены видеопонимание и аудиозадачи для E2B и E4B, однако метаданные конкретного репозитория не подтверждают эти возможности отдельно. Возможности исходной модели не обязательно полностью сохранены или улучшены после дообучения; перед использованием ответы следует проверять.

RedHatAI/gemma-4-26B-A4B-it-FP8-dynamic — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная RedHatAI на основе google/gemma-4-26B-A4B-it. Она принимает текст и изображения и генерирует текст; поддерживает режим рассуждений и вызов инструментов. Модель предназначена для диалоговых приложений, генерации текста, следования инструкциям, решения задач, мультимодального анализа и function calling. Архитектура модели — Gemma4ForConditionalGeneration. Вариант имеет конфигурацию 26B-A4B и оптимизирован для инференса в vLLM. Веса и активации линейных слоёв transformer-блоков квантизированы в FP8: веса используют статическое масштабирование per-channel, активации — динамическое масштабирование per-token. Vision tower, embedding-слои, output head и MoE router сохранены в исходной точности. Квантизация уменьшает объём хранения и требования к памяти GPU примерно на 50%; заявленная максимальная длина контекста при развёртывании составляет 32768 токенов. Поддерживаются изображения и аудио в конфигурации vLLM, однако сведения о языках обучения или поддержки в README не указаны. К сильным сторонам относятся мультимодальность, поддержка рассуждений и вызова инструментов, совместимость с vLLM и близкие к исходной модели результаты на указанных тестах после FP8-квантизации. Ограничениями являются зависимость от корректной настройки vLLM, специальных reasoning- и tool-call parser, а также возможные потери точности из-за квантизации. Модель распространяется по лицензии Apache 2.0; для использования Gemma также следует учитывать условия лицензии Google Gemma, указанной в README.

unsloth/gemma-4-E2B-it-NVFP4 — квантованная версия инструкционно дообученной мультимодальной модели Google Gemma 4 E2B-it, подготовленная Unsloth в формате NVFP4. Gemma 4 разработана Google DeepMind; модель предназначена для запуска и дообучения с использованием современных GPU-инструментов, включая vLLM. Модель принимает текстовые и графические данные, а также аудио, и генерирует текст. Она ориентирована на генерацию текста, рассуждения, программирование, мультимодальное понимание, агентские сценарии и вызов функций. Для Gemma 4 E2B заявлены поддержка более 140 языков, контекстное окно до 128K токенов и конфигурируемый режим рассуждений. Архитектура включает 35 слоёв, гибридное внимание с локальными окнами размером 512 токенов и глобальным вниманием; эффективный объём параметров составляет 2,3 млрд, или 5,1 млрд с учётом embedding-параметров. К сильным сторонам относятся мультимодальность, большой контекст, поддержка системных промптов и нативного function calling, а также компактный размер, подходящий для локального запуска на устройствах и потребительских GPU. NVFP4-квантизация может снизить требования к памяти, однако её влияние на качество и совместимость зависит от используемого программного и аппаратного окружения. README не приводит подробных результатов бенчмарков и не описывает ограничения безопасности или качества модели. Распространение указано по лицензии Apache 2.0.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-NVFP4 — мультимодальная версия GLM-5.3-Flash с архитектурой от Zhipu AI / ZAI, некорректированными в сторону отказов весами от dealignai и упаковкой NVFP4 от Solstice-AI. Модель предназначена для диалогов, рассуждений, программирования, математических задач, анализа изображений и понимания видео. Заявлена поддержка контекста до 1 048 576 токенов. Это foundation-модель общим размером 320 млрд параметров на основе MoE с 288 маршрутизируемыми экспертами и примерно 18 млрд активных параметров на токен. Используется смешанная точность W4A16: веса маршрутизируемых экспертов представлены в 4-битном формате NVFP4, а attention-слои, общие эксперты и активации сохраняются в BF16/FP16. Мультимодальный модуль включает 24-слойный ViT и проектор с размерностью 10 240; заявлена обработка изображений высокого разрешения и временных последовательностей видео. В комплект также входит DFlash 2 для speculative decoding. К сильным сторонам относятся большой контекст, нативные возможности работы с изображениями и видео, сниженные требования к памяти благодаря квантизации и потенциальное ускорение генерации с DFlash 2. Модель позиционируется для NVIDIA Blackwell, Hopper, Ada Lovelace и Ampere, включая B200, H100/H200, RTX 4090/L40S и A100. Ограничениями являются высокая общая размерность модели, зависимость производительности от совместимого ПО и GPU, а также отсутствие встроенного отказного поведения: это может быть полезно для исследовательских и специализированных сценариев, но повышает риски небезопасного применения. Приведённые в карточке результаты бенчмарков следует считать заявленными авторами модели. В карточке указана лицензия MIT; отдельно отмечены атрибуция базовой архитектуры Zhipu AI / ZAI, калибровка dealignai и упаковка Solstice-AI.

QuantFactory/Llama-3-8B-Instruct-262k-GGUF — это квантизированная версия GradientAI модели Llama-3-8B-Instruct-262k в формате GGUF, созданная с использованием llama.cpp. Модель разработана Gradient на основе Meta-Llama-3-8B-Instruct при спонсорской поддержке вычислительных ресурсов Crusoe Energy. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также работы с большими текстовыми документами и контекстами. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention, содержит около 8 миллиардов параметров и работает только с текстом на входе и выходе. Контекстное окно расширено с исходных 8K до более чем 160K токенов; обучение проводилось с последовательностями до 262144 токенов. Для расширения контекста применялись NTK-aware interpolation, оптимизация параметра RoPE theta и прогрессивное обучение. Сильной стороной модели является поддержка очень длинного контекста при относительно небольшом размере, что подходит для анализа крупных документов и продолжительных диалогов. Ограничения включают ориентацию преимущественно на английский язык, текстовую модальность и возможные потери качества, связанные с квантизацией. Модель основана на Llama 3, предназначенной для коммерческого и исследовательского использования, и распространяется по пользовательской коммерческой лицензии Llama 3.

RedHatAI/Meta-Llama-3.1-70B-Instruct-quantized.w8a8 — квантизированная версия Meta-Llama-3.1-70B-Instruct, разработанная Neural Magic. Это авторегрессионная текстовая модель архитектуры LlamaForCausalLM, предназначенная прежде всего для диалоговых ассистентов, генерации текста и коммерческого или исследовательского использования. Поддерживаемые в карточке языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель принимает и возвращает текст; заявленный сценарий развертывания использует контекст до 8192 токенов. Модель применяет INT8-квантизацию весов и активаций с использованием GPTQ и библиотеки llm-compressor. Квантизация уменьшает требования к памяти GPU и размер файлов примерно на 50%, а также заявлено увеличение пропускной способности матричных умножений примерно в 2 раза по сравнению с представлением FP16. Линейные операторы в трансформерных блоках квантизуются по каналам для весов и динамически по токенам для активаций; отдельные компоненты, включая lm_head, не квантизуются. По результатам, приведённым в README, модель сохраняет большую часть качества исходной версии: заявлены показатели восстановления 98,8% для Arena-Hard, 99,9% для OpenLLM v1, 100,0% для OpenLLM v2, 98,7% для HumanEval pass@1 и 98,9% для HumanEval+ pass@1. Основное ограничение — возможная потеря качества из-за квантизации, а также необходимость совместимого программного обеспечения и аппаратных ресурсов; для эффективного развертывания рекомендуется vLLM, в примере используются два GPU. Модель распространяется по лицензии Llama 3.1; использование должно соответствовать применимым законам и ограничениям.

MiMo-V2.5 — нативная омнимодальная модель, разработанная Xiaomi MiMo. Она объединяет обработку текста, изображений, видео и аудио в единой архитектуре и предназначена для мультимодального понимания, рассуждений в длинном контексте, программирования и агентских сценариев, включая взаимодействие с инструментами и выполнение многошаговых задач. Модель построена на разреженной архитектуре Mixture of Experts: всего 310 млрд параметров, из которых активируется 15 млрд. Она использует гибридное внимание с чередованием Sliding Window Attention и Global Attention, 729-миллионный Vision Transformer для изображений и видео и аудиоэнкодер на 261 млн параметров. Поддерживается контекст до 1 млн токенов, а Multi-Token Prediction ускоряет инференс посредством speculative decoding. В заявленных языках указаны английский и китайский. К сильным сторонам относятся широкий набор модальностей, большой контекст, эффективная работа с длинными последовательностями и развитые агентские возможности. Модель крупная и, вероятно, требует значительных вычислительных ресурсов для развёртывания; README не приводит точных требований к оборудованию и количественных результатов benchmark-тестов. Модель распространяется по лицензии MIT.

Mistral-Small-3.2-24B-Instruct-2506 — дообученная версия Mistral-Small-3.1-24B-Instruct-2503, опубликованная Unsloth на базе модели Mistral AI. Это плотная мультимодальная модель семейства Mistral3 с 24 млрд параметров, принимающая текст и изображения и выдающая текст. Она предназначена для диалогов по инструкциям, анализа изображений и вызова инструментов; по сравнению с версией 3.1 улучшены следование точным инструкциям и шаблон вызова функций, а повторяющиеся генерации встречаются реже. В README приведены результаты тестов на рассуждение, STEM, программирование и визуальные задачи. Модель поддерживает множество языков, включая русский, английский, французский, немецкий, испанский, китайский, японский, арабский и хинди. Для запуска рекомендуются vLLM или Transformers; README указывает, что для работы на GPU в форматах bf16 или fp16 требуется около 55 ГБ видеопамяти. Модель распространяется по лицензии Apache-2.0.

ehristoforu/moremerge — объединённая языковая модель, созданная с помощью mergekit методом TIES на основе Qwen/Qwen2.5-7B-Instruct и ещё девяти моделей семейства Qwen2.5. В состав объединения входят инструктивные и разговорные модели, варианты для кода и математики, а также DeepSeek-R1-Distill-Qwen-7B. Модель имеет архитектуру Qwen2ForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов; её компоненты ориентированы также на ответы по инструкциям, код и математические рассуждения. Метаданные отмечают интерфейс вызова инструментов. Доступна в формате safetensors для Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

Next 32B — плотная языковая модель с архитектурой Qwen3 для генерации текста, диалога и выполнения инструкций. В карточке она представлена как разработка Lamapi; модель содержит 29,7 млрд параметров, использует формат safetensors и имеет контекстное окно 40 960 токенов. Модель предназначена для многошаговых рассуждений, анализа сложных запросов и стратегического планирования. Среди заявленных сценариев — генерация кода, работа с длинными документами, исследовательские задачи и агентные системы. README особо выделяет турецкий и английский языки; в метаданных карточки также перечислены немецкий, испанский, французский, русский, китайский, японский и корейский. Модель принимает текст и генерирует текст. README заявляет высокие результаты в рассуждениях и пригодность для корпоративных сценариев, однако не приводит проверяемых результатов бенчмарков; эти заявления следует считать заявлениями разработчика. Для запуска крупной модели потребуется существенная память GPU: в README приведены рекомендации от 24 ГБ для 4-битной квантизации и от 48 ГБ для 8-битной или FP16. Лицензия — MIT.

mkurman/Qwen2.5-14B-DeepSeek-R1-1M — объединённая языковая модель для генерации текста, созданная на основе DeepSeek-R1-Distill-Qwen-14B и Qwen/Qwen2.5-14B-Instruct-1M. Слияние выполнено методом TIES с использованием Qwen2.5-14B-Instruct-1M в качестве базовой модели; заявленная цель — сочетать возможности рассуждения DeepSeek-R1 с поддержкой длинного контекста модели Qwen2.5. Модель предназначена для универсальной генерации текста и диалоговых сценариев, включая программирование, анализ документов и работу с большими объёмами контекста. Она поддерживает использование через Transformers, а также может запускаться в LM Studio и Ollama при наличии файлов GGUF. Пример применения демонстрирует генерацию Python-кода в формате чата. Из известных характеристик: модель относится к классу causal language models, содержит 14 миллиардов параметров и рассчитана на контекст размером до 1 миллиона токенов, унаследованный от Qwen2.5-14B-Instruct-1M. В конфигурации слияния указан тип данных bfloat16. README не сообщает поддерживаемые языки, результаты бенчмарков или точные требования к оборудованию, поэтому качество рассуждений, эффективность на длинных контекстах и практические ограничения следует оценивать отдельно. Модель распространяется по лицензии Apache 2.0.

RedHatAI/Qwen2.5-7B-Instruct-quantized.w8a8 — мультиязычная текстовая генеративная модель для диалоговых и ассистентских сценариев. Модель разработана Neural Magic на основе Qwen2.5-7B-Instruct от Alibaba Cloud и предназначена для коммерческого и исследовательского использования, включая чат на нескольких языках. Она принимает текст и генерирует текст; заявлены поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского и других языков. Модель использует архитектуру Qwen2 и содержит 7 миллиардов параметров в базовой версии. Вариант w8a8 оптимизирован квантованием весов и активаций до INT8. Для линейных операторов трансформерных блоков применяются симметричное статическое поканальное квантование весов и симметричное динамическое потокенное квантование активаций с использованием комбинации SmoothQuant и GPTQ. Это примерно на 50% снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных вычислений. Модель рассчитана на эффективное развертывание с vLLM и валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. В README приведён пример максимальной длины контекста 8192 токена, а для отдельных конфигураций указано значение 32768; точное ограничение зависит от среды развертывания. Ограничения включают возможное снижение точности из-за квантования и запрет на использование с нарушением применимого законодательства и экспортных ограничений. Модель распространяется по лицензии Apache-2.0.

Карточка модели OP12138/qwen3-1.7b-base на Hugging Face совпадает с карточкой Qwen/Qwen3-1.7B, поэтому описание составлено по ней. Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.