II.4Отладка, тестирование и качество ПО

SlimOrca Mixtral 8x7B — дообученная языковая модель, выпущенная OpenAccess AI Collective и OpenOrca на базе mistralai/Mixtral-8x7B-v0.1 с использованием датасета Open-Orca/SlimOrca. Это авторегрессионная модель генерации текста с архитектурой Mixtral sparse Mixture of Experts; она подходит для генерации продолжений и ответов на текстовые запросы. Модель поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Лицензия — Apache 2.0.

Jackrong/MLX-Qwen3.5-9B-DeepSeek-V4-Flash-4bit — языковая генеративная модель, разработанная Jackrong и преобразованная в формат MLX из базовой модели Jackrong/Qwen3.5-9B-DeepSeek-V4-Flash с использованием mlx-lm 0.30.7. Модель предназначена для генерации текста и может применяться в сценариях, требующих рассуждений, дистилляции, работы с длинными цепочками рассуждений, агентных задач и эффективного инференса на совместимом оборудовании Apple MLX. Модель имеет размер 9B параметров, использует 4-битное квантование и поддерживает библиотеку MLX. Заявлена поддержка английского, китайского, корейского, японского, испанского и русского языков. Доступная модальность — текст; модель относится к классу text generation. Максимальная длина контекста и точные архитектурные характеристики в README не указаны. Для запуска требуется mlx-lm, предусмотрена работа через chat template. Модель удобна для локального и эффективного вывода в экосистеме MLX, а 4-битное представление снижает требования к памяти. Ограничения включают отсутствие данных о результатах оценки, качестве на отдельных языках, производительности и максимальном контексте. Модель распространяется по лицензии Apache-2.0; в качестве датасета указано Jackrong/DeepSeek-V4-Distill-8000x.

Это GGUF-квантизированная версия языковой модели NVIDIA Nemotron-3-Super-120B-A12B, разработанной NVIDIA и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Доступны варианты квантования Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и Q3_K с размером файлов примерно от 64,65 до 128,47 ГБ; более высокие уровни квантования обычно обеспечивают лучшее качество, но требуют больше памяти. Для запуска может потребоваться актуальная версия используемого программного обеспечения с поддержкой модели. В основе лежит NVIDIA-Nemotron-3-Super-120B-A12B-BF16; по метаданным модель использует архитектурные подходы Latent MoE и MTP, однако точные параметры архитектуры и размер контекста в README не указаны. Заявлены английский, французский, испанский, итальянский, немецкий, японский и китайский языки. Сильной стороной является возможность локального инференса в различных форматах GGUF и выбора компромисса между качеством и требованиями к памяти; ограничениями остаются очень большой объём файлов, высокие требования к оперативной или видеопамяти и возможное снижение качества на низких уровнях квантования. Лицензия указана как NVIDIA Open Model License; условия следует уточнять по официальной лицензии NVIDIA.

NVLM-D-72B — мультимодальная модель NVIDIA из семейства NVLM 1.0 для задач с изображениями и текстом, а также для текстовых задач. Это decoder-only Transformer с 72-миллиардной языковой основой Qwen2-72B-Instruct и визуальным энкодером InternViT-6B; в репозитории используются веса Safetensors и библиотека Transformers. Модель принимает текст и изображения и формирует текстовые ответы. Контекст — до 128 тысяч токенов. Модель предназначена для визуальных вопросов и ответов, OCR, анализа документов и диаграмм, мультимодальных рассуждений, локализации объектов, а также задач на общие знания, здравый смысл и программирование. В карточке приведены результаты на мультимодальных и текстовых бенчмарках; также заявлено улучшение текстовых возможностей относительно языковой основы после мультимодального обучения. Модель рассчитана на некоммерческое использование и распространяется по лицензии CC BY-NC 4.0. Для инференса в README указаны PyTorch, Linux и оборудование NVIDIA Hopper; загрузка модели и многопроцессный инференс требуют значительных вычислительных ресурсов. Генерация изображений не поддерживается, а результаты могут немного различаться в зависимости от версий Transformers, CUDA и Docker.

MIRALABS/Ornith-1.5-35B-A3B-W4A16-SYM — симметрично переквантизированная версия мультимодальной модели Ornith-1.5-35B-A3B, разработанная командой Milner Team (MIRALABS) на основе модели ornith-ai. Модель относится к семейству Qwen3.6/3.5 A3B MoE и предназначена для локального запуска и обслуживания через vLLM, включая задачи генерации текста, рассуждений и обработки изображений и видео. В README также указана встроенная поддержка reasoning/tool parser для конфигурации первого запуска. Это MoE-модель с заявленным размером 35B и активной конфигурацией A3B. Маршрутизируемые экспертные слои переквантизированы в W4A16 symmetric с 4-битными весами, 16-битными активациями и размером группы 32; vision tower и MTP head сохранены в BF16. Формат хранения — compressed-tensors/pack-quantized, поддерживается vLLM версии 0.19 и новее с Marlin backend. Заявленный максимальный контекст — 32 768 токенов. Поддерживаемые языки в README не указаны. Сильная сторона модели — возможность запуска MoE-варианта на NVIDIA GPU через vLLM с существенно меньшими требованиями к памяти; на двух RTX 3090 заявлена загрузка примерно по 20 ГБ на GPU. К ограничениям относятся потери качества и расхождения с BF16-версией из-за 4-битной квантизации, а также необходимость совместимой конфигурации vLLM и оборудования. Модель распространяется по лицензии MIT.

Ornith-Agents-A1-3.6-35B-A3B-MTP-GGUF — GGUF-сборка от tepirale, основанная на объединённой с помощью dare_ties модели Qwen3.5-35B-A3B с архитектурой Mixture-of-Experts. В модель встроен блок Multi-Token Prediction (MTP), заимствованный из официальной GGUF-версии Qwen3.6-35B-A3B. Доступны варианты квантования Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16 размером примерно от 20,5 до 69,4 GiB. Указан английский язык; репозиторий также содержит multimodal-проектор для сценариев image-text-to-text. Главное назначение модели — генерация текста и мультимодальные задачи с запуском через llama.cpp, включая серверное применение и обработку изображений при наличии соответствующего mmproj-файла. Встроенный MTP-блок позволяет использовать native speculative decoding без отдельной draft-модели. По данным автора, достигается около 45% принятия черновых токенов и до примерно 260 токенов в секунду на H100; фактическая скорость зависит от квантования, настроек и оборудования. В README приведены конфигурации с контекстом до 131 072 и 254 000 токенов, однако это параметры тестовых запусков, а не обязательно гарантированный максимальный контекст. Сильные стороны — несколько вариантов компромисса между качеством и требованиями к памяти, отсутствие двойного квантования и сохранение блока MTP в точности Q8_0 или F16 независимо от основной квантовки. Ограничения включают значительные требования к VRAM, необходимость сборки llama.cpp с поддержкой CUDA для заявленной производительности и зависимость от корректной поддержки MTP. Модель распространяется по лицензии Apache 2.0.

Qwen2.5-0.5B-Instruct-GPTQ-Int4 — компактная инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это GPTQ-квантизированная 4-битная версия базовой модели Qwen2.5-0.5B-Instruct, предназначенная для генерации текста и диалоговых сценариев, включая чат-ассистентов, следование инструкциям, работу со структурированными данными и формирование структурированных ответов, в том числе JSON. Модель также ориентирована на задачи программирования и математики, однако README не содержит подробных результатов оценки. Модель относится к causal language models и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV attention и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, из которых 0,36 млрд не являются эмбеддингами, 24 слоя и GQA с 14 головами для Q и 2 для KV. Поддерживается контекст до 32 768 токенов и генерация до 8192 токенов. Модель текстовая, поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Ключевые преимущества — небольшой размер, 4-битное представление, поддержка длинного контекста, многоязычность и улучшенное следование инструкциям. Ограничения README не раскрывает количественно; как компактная модель с 0,49 млрд параметров, она может уступать более крупным моделям в сложных рассуждениях и качестве генерации. Модель распространяется по лицензии Apache-2.0. Для использования рекомендуется актуальная версия библиотеки transformers; версии ниже 4.37.0 не поддерживают архитектуру Qwen2.

stefancosma/Qwen3-14B-Instruct-Q4_K_M-GGUF — это квантованная версия языковой модели OpenPipe/Qwen3-14B-Instruct, преобразованная в формат GGUF с использованием llama.cpp и проекта GGUF-my-repo. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp в режиме командной строки или серверном режиме. Модель содержит около 14 миллиардов параметров и использует квантование Q4_K_M, что уменьшает требования к памяти по сравнению с полноразмерными весами, но может сопровождаться некоторой потерей точности. Это текстовая модель без заявленной поддержки изображений или других модальностей. В README не указаны поддерживаемые языки, максимальная длина контекста, результаты оценивания или специализированные сценарии применения. Для работы требуется совместимое окружение llama.cpp; поддерживаются запуск через CLI и сервер, а также аппаратные варианты сборки, включая CUDA для GPU Nvidia. Модель распространяется по лицензии Apache 2.0. Подробные характеристики и ограничения исходной модели следует уточнять в карточке OpenPipe/Qwen3-14B-Instruct.

Qwen3-235B-A22B-Instruct-2507-MLX-8bit — это 8-битная квантизированная версия языковой модели Qwen3-235B-A22B-Instruct-2507, подготовленная в формате MLX для эффективной работы на устройствах с Apple Silicon. Исходную модель разработала команда Qwen, а квантизацию выполнила команда LM Studio с использованием инструмента mlx_lm. Модель предназначена для генерации текста и работы с инструкциями в сценариях, поддерживаемых исходной instruct-моделью. В README указаны общий размер исходной модели — 235B параметров — и обозначение A22B, однако дополнительные сведения об архитектуре, длине контекста, поддерживаемых языках и модальностях не приведены. Формат MLX ориентирован на локальный запуск на компьютерах Apple Silicon, а 8-битное представление снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность. Модель распространяется по лицензии Apache-2.0. README не содержит подробностей о результатах тестирования, производительности, ограничениях безопасности или качестве на отдельных языках и задачах, поэтому эти характеристики требуют дополнительной проверки.

mlx-community/Qwen3-30B-A3B-8bit — версия модели Qwen/Qwen3-30B-A3B, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и может использоваться через библиотеку mlx-lm. Из доступных данных известно, что модель относится к семейству Qwen, имеет обозначение 30B-A3B и 8-bit представление. Она поддерживает текстовый pipeline, токенизатор с chat template при его наличии и диалоговый формат сообщений. Конкретные сведения об архитектуре, языках, размере контекста, модальностях, производительности и ограничениях в README не указаны. Модель распространяется по лицензии Apache-2.0. Для использования требуется установить mlx-lm и загружать модель через API MLX.

LibertAIDAI/Qwen3.6-35B-A3B-NVFP4-GGUF — это GGUF-квантизация мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Alibaba Qwen и адаптированной LibertAI для работы с llama.cpp. Модель предназначена для генерации текста, рассуждений и обработки изображений и видео совместно с vision-проектором mmproj. Заявленный язык — английский. Модель использует гибридную архитектуру attention и SSM с механизмом Mixture-of-Experts: 35 млрд параметров всего, около 3 млрд активируются на каждом токене; предусмотрено 40 слоёв и 256 экспертов, из которых активны 8. Маршрутизируемые экспертные FFN-тензоры представлены в формате NVFP4, а attention, shared experts, SSM-блоки linear_attn и embeddings используют обычные варианты GGUF-квантизации. Доступны варианты с Q4_K_M, Q8_0 и BF16 для неэкспертных тензоров; для мультимодального ввода требуется отдельный vision-проектор F16 размером около 861 МБ. Основное преимущество NVFP4-варианта — уменьшенный размер и высокая скорость на NVIDIA Blackwell, особенно для версии Q4_K_M; на RTX 5090 она показала до 223 токенов в секунду при генерации. При этом для этой MoE-модели стандартный GGUF Q4_K_M в некоторых сценариях пакетной обработки быстрее NVFP4-варианта, поэтому выигрыш NVFP4 зависит от оборудования и режима работы. На старых GPU поддержка NVFP4 работает через альтернативные kernels и не даёт заявленного преимущества Blackwell. Контекст модели в README не указан. Распространение выполняется по лицензии Apache 2.0. Для запуска необходимы llama.cpp и соответствующий GGUF-файл; мультимодальный режим дополнительно требует vision-проектор.

KikoCis/Qwen3.8-27B-GGUF — набор квантованных моделей в формате GGUF на основе Qwen/Qwen3.8-27B, разработанной командой Qwen. Репозиторий предназначен для локального запуска текстовой генерации, включая агентские сценарии с многошаговым использованием инструментов, при ограниченных ресурсах. Доступны варианты квантования от 1,94 до 3,40 бит на вес и размером от 6,46 до 16,81 ГБ. Архитектура модели включает 65 блоков: 48 SSM/linear-attention, 16 полноценных attention-блоков и одну MTP-голову. Благодаря этому KV-кэш заявлен как относительно экономичный — около 64 КБ на токен против примерно 256 КБ у полностью attention-модели сопоставимого размера. Нативное контекстное окно заявлено как 262 144 токена, но в README его практическая работоспособность не подтверждена. Модель рассчитана только на текст: исходная базовая модель мультимодальна, однако в этом репозитории отсутствует mmproj, поэтому обработка изображений невозможна. Наиболее удачным вариантом для агентов авторы считают IQ2_M: в измеренном тесте он выполнил 79 из 80 задач, почти соответствуя Q3_K_M с результатом 40 из 40, при меньшем размере. IQ2_XS экономит немного места, но показал более низкий результат, а варианты IQ1 предназначены скорее для связного текста и не рекомендуются для инструментальных агентов. Сильная сторона архитектуры — экономия памяти на длинном контексте, ограничением является медленный prefill, особенно в многошаговых диалогах. Результаты зависят от backend и runtime: приведённые измерения выполнялись через Ollama и не должны напрямую переноситься на другие реализации. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GGUF — набор квантизированных GGUF-версий базовой модели Qwen/Qwen3.8-27B, подготовленный пользователем vcruz305 для запуска через llama.cpp. Модель предназначена для локальной генерации текста и диалоговых сценариев, включая задачи с рассуждениями; для мультимодальных сценариев требуется отдельный файл mmproj. Поддерживаются английский и китайский языки. Указанный pipeline — text-generation. В основе используется 64-слойный языковой trunk архитектуры qwen35 с гибридом Gated DeltaNet; размер базовой модели — 27B параметров. Доступны квантизации от 2 до 8 бит размером примерно от 9,98 до 26,63 GiB. Версии Q2_K и Q3_K_M используют imatrix-квантизацию, остальные являются обычными K-quants. В файлах намеренно отсутствует MTP-голова для speculative decoding, что уменьшает требования к памяти, но исключает соответствующий режим ускорения. В README также заявлена поддержка контекста до 262 144 токенов при соответствующей конфигурации и аппаратных ресурсах. Сильные стороны набора — возможность запуска 27B-модели на видеокартах с 12, 16, 24 и 32+ GiB памяти, несколько вариантов компромисса между качеством и размером, а также исправленный chat template для корректной работы многошаговых агентов. Ограничения включают зависимость от достаточно новой версии llama.cpp с поддержкой qwen35, отсутствие встроенной vision-компоненты и MTP-головы, а также высокие требования к памяти для старших квантизаций и длинного контекста. Распространение заявлено по лицензии Apache-2.0, унаследованной от официальной модели Qwen.

Qwen3.8-27B-NInfer — мультимодальная модель для генерации текста и работы с изображениями, основанная на Qwen3.8-27B от команды Qwen. Версия подготовлена разработчиком Neroued и преобразована в нативный формат артефактов NInfer с расширениями для Vision, MTP и спекулятивного декодирования DFlash2. Модель предназначена для диалогов, текстовой генерации, рассуждений, решения математических и научных задач, а также анализа изображений и визуальных вопросов. В карточке заявлены высокие результаты на IFBench, AIME 2025 и 2026, GPQA-Diamond, ERQA и RealWorldQA. Артефакт содержит квантизированные Q4/Q5-проекции, а эмбеддинги токенов и выходная голова используют q8_g32_fp16; размер файла составляет около 19,03 ГиБ. Поддерживаются текстовые и визуальные входы, а также видео согласно руководству NInfer. В примерах запуска указан контекст до 240 000 токенов, однако конкретные возможности зависят от конфигурации среды. Модель рассчитана на локальный запуск через NInfer и требует 64-разрядный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a, CUDA Toolkit 13.1 или новее и сборку NInfer не ниже указанной в карточке. Файл не является совместимым с Transformers, Safetensors или GGUF. Использование ограничено форматом NInfer и специализированным оборудованием, поэтому переносимость ниже, чем у универсальных моделей. Лицензия — Apache-2.0.

Qwen3.8-27B-ULTIMATE-UNCENSORED-MTP-IQ4-GGUF-16GB — квантизированная GGUF-версия модели Qwen3.8-27B, подготовленная lemonyins на основе аблитерированной и «uncensored» сборки AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16. Модель предназначена для локального запуска и исследовательских или разработческих сценариев, где требуется модель класса 27B с уменьшенным потреблением памяти и без исходных контентных ограничений базовой сборки. Используется гибридная квантизация: основные attention-слои имеют формат IQ4_XS, а слои FFN — IQ3_S; применяется GGUF и поддержка TurboQuant для компактного KV-кэша. Вариант ориентирован на видеокарты с 16 ГБ VRAM. По данным README, на NVIDIA RTX 4060 Ti 16GB заявлена скорость около 20 токенов в секунду без MTP и около 30 токенов в секунду с multi-token prediction; с TurboQuant доступен контекст порядка 100–110 тысяч токенов без MTP и около 80 тысяч с MTP. Поддержка изображений возможна при подключении отдельного vision-проектора mmproj-BF16.gguf, при этом доступный контекст уменьшается примерно на 20 тысяч токенов. Сильные стороны модели — низкое потребление памяти, высокая скорость локального вывода, большой контекст и возможность speculative decoding через MTP. Ограничения связаны с потерями качества из-за квантизации FFN до IQ3_S, которые могут проявляться, например, в задачах на фактическое запоминание, а также с обязательной зависимостью заявленных показателей памяти от TurboQuant-enabled сборки llama.cpp. Приведённые показатели perplexity, VRAM и скорости требуют отдельной проверки именно для Qwen3.8. В README указана лицензия Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — квантизированная версия базовой модели Qwen/Qwen3.8-27B, опубликованная в формате GGUF для использования с llama.cpp. Модель предназначена для генерации текста, локального запуска и сценариев, где важны различные уровни квантизации, включая работу со speculative decoding благодаря сохранённой голове multi-token prediction (MTP). Доступен вариант с поддержкой изображений, если это предусмотрено базовой моделью. Модель имеет архитектуру Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248 320 токенов, один MTP-слой и контекст до 262 144 токенов. Заявлены английский и китайский языки. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также варианты с объединённой MTP-головой и отдельными целевой и draft-моделями. По сравнению с исходной моделью существенно снижено поведение отказа от ответа, но оно не устранено полностью; при этом возможности, обучающие данные и архитектура базовой модели не изменялись. Сильными сторонами являются большой контекст, поддержка MTP для ускорения инференса, несколько вариантов размера файлов и сохранение качества при большинстве квантизаций. Ограничения включают возможное небольшое снижение доли принятых токенов при speculative decoding, зависимость от совместимости используемого runtime и отсутствие в README подробных сведений о фактических показателях рассуждения, программирования и мультиязычных возможностей. Распространение указано по лицензии Apache-2.0.

Qwen3-Next-80B-A3B-Thinking-8bit — языковая модель для генерации текста, представленная сообществом mlx-community. Она преобразована из базовой модели Qwen/Qwen3-Next-80B-A3B-Thinking в формат MLX с использованием mlx-lm 0.27.1; исходная модель разработана командой Qwen. Модель предназначена для текстовых сценариев, включая диалоговое взаимодействие и генерацию ответов с применением режима Thinking. В названии указаны масштаб 80B, конфигурация A3B и 8-битное представление весов. Модель поддерживает работу через библиотеку mlx-lm и рассчитана на запуск в экосистеме MLX. В README не указаны языки, размер контекста, точная архитектура, перечень модальностей и результаты бенчмарков. Сильной стороной модели является адаптация для MLX и 8-битное представление, потенциально снижающее требования к памяти по сравнению с полноточными вариантами. Ограничения и фактические требования к оборудованию в README не описаны. Модель распространяется по лицензии Apache-2.0.

Fulcrum-AI опубликовала модель Ryze-Nemo-passthrough — объединение языковых моделей, созданное с помощью mergekit методом passthrough. В конфигурации дважды используются слои модели mistralai/Mistral-Nemo-Instruct-2407: диапазоны 0–24 и 8–32; веса представлены в формате safetensors, а конфигурация слияния указывает bfloat16. Архитектура — плотная MistralForCausalLM примерно на 14,4 млрд параметров. Модель предназначена для генерации текста и диалогов; в метаданных также заявлен интерфейс вызова инструментов. Указанная для неё длина контекста — 1 024 000 токенов. Базовая модель описана как многоязычная инструктивная модель для диалога, следования инструкциям и вызова инструментов. Лицензия в предоставленных данных не указана.

SauerkrautLM Mixtral 8X7B Instruct — это инструкционная языковая модель на архитектуре Mixtral, разработанная VAGO solutions и представленная в квантованном формате GGUF командой TheBloke. Она предназначена для генерации текста и диалогового взаимодействия, включая выполнение пользовательских инструкций, ответы на вопросы и локальный запуск через llama.cpp и совместимые интерфейсы и библиотеки. Модель основана на SauerkrautLM-Mixtral-8x7B-Instruct и использует архитектуру Mixtral 8x7B. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит для инференса на CPU и GPU. Заявлена поддержка английского, немецкого, французского, итальянского и испанского языков. Для форматирования запросов используется шаблон Mistral [INST] {prompt} [/INST]. При обучении или доработке применялся датасет argilla/distilabel-math-preference-dpo. К сильным сторонам относятся инструкционная настройка, многоязычность и широкий выбор уровней квантования, позволяющий адаптировать требования к памяти и производительности. Ограничения включают возможные потери качества из-за квантования, зависимость производительности от выбранного варианта и оборудования, а также отсутствие в предоставленных данных сведений о размере контекста и детальных результатах оценки. Указана лицензия Apache-2.0.

JetLM/SDAR-8B-Chat-b32 — чат-модель семейства SDAR, разработанная авторами SDAR. Она объединяет авторегрессионное обучение с дискретным диффузионным моделированием: авторегрессионная составляющая обеспечивает эффективное обучение, а диффузионный подход позволяет генерировать токены параллельно. В репозитории указана плотная архитектура SDARForCausalLM с 7,6 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалогов и генерации текста; в карточке также заявлен интерфейс вызова инструментов. Авторы сообщают о сопоставимой с сильными авторегрессионными моделями общей производительности и преимуществах в некоторых научных задачах рассуждения для моделей SDAR того же масштаба. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Языки и отдельные результаты именно этой версии в карточке не приведены.

Карточка модели JetLM/SDAR-8B-Chat-b64 на Hugging Face совпадает с карточкой JetLM/SDAR-8B-Chat-b32, поэтому описание составлено по ней. JetLM/SDAR-8B-Chat-b32 — чат-модель семейства SDAR, разработанная авторами SDAR. Она объединяет авторегрессионное обучение с дискретным диффузионным моделированием: авторегрессионная составляющая обеспечивает эффективное обучение, а диффузионный подход позволяет генерировать токены параллельно. В репозитории указана плотная архитектура SDARForCausalLM с 7,6 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалогов и генерации текста; в карточке также заявлен интерфейс вызова инструментов. Авторы сообщают о сопоставимой с сильными авторегрессионными моделями общей производительности и преимуществах в некоторых научных задачах рассуждения для моделей SDAR того же масштаба. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Языки и отдельные результаты именно этой версии в карточке не приведены.

StrangeMerges_49-7B-dare_ties — языковая модель Gille, полученная слиянием трёх моделей с помощью LazyMergekit и метода DARE-TIES. Это плотная архитектура Mistral с 7,1 млрд параметров; модель предназначена для генерации текста и диалогового использования. Указанное окно контекста составляет 32 768 токенов. Модель объединяет Gille/StrangeMerges_32-7B-slerp, AurelPx/Percival_01-7b-slerp и louisbrulenaudet/Pearl-7B-slerp. В карточке приведены результаты Open LLM Leaderboard, включая среднее значение 75,50, ARC 72,35 и HellaSwag 88,30. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

Это квантованная версия модели supergemma4-e4b-abliterated, основанной на Jiunsong/supergemma4-e4b-abliterated. Квантование выполнил mradermacher; набор файлов опубликован в формате GGUF. Модель предназначена для генерации текста по инструкциям, включая сценарии с tool-calling и structured output, а также поддерживает обработку изображений как vision-модель. В README указано, что модель ориентирована на английский язык и использует экосистему Transformers. Доступны варианты квантования i1 с разными типами и размерами примерно от 4,5 до 6,3 ГБ; среди рекомендуемых отмечены i1-Q4_K_M как быстрый вариант и i1-Q4_K_S как компромисс между размером, скоростью и качеством. Конкретные архитектурные параметры, число параметров и размер контекста не указаны. Для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Основные преимущества — широкий выбор GGUF-квантов, возможность локального запуска при ограниченных ресурсах и поддержка текстовых, визуальных, инструментальных и структурированных сценариев. Качество зависит от выбранного типа квантования: варианты с более низким размером могут уступать по качеству, а IQ-кванты в README часто рекомендуются вместо сопоставимых обычных вариантов. Модель распространяется по лицензии Gemma.

SuperQwen3.8-abliterated-Venice-i1-GGUF — набор GGUF-квантизаций модели SuperQwen3.8-abliterated-100-fp8, разработанной Jiunsong и квантованной mradermacher. Модель предназначена для локального запуска задач генерации текста, рассуждений, работы с изображениями и текстом, вызова инструментов и сценариев с длинным контекстом. В карточке также указана поддержка английского и корейского языков. Это мультимодальная vision-модель с архитектурой и размером исходной модели, а также максимальной длиной контекста, не указанными в README. Доступны варианты i1-квантизации от i1-Q2_K размером около 11 ГБ до i1-Q6_K размером около 22,5 ГБ, включая IQ-квантизации. Разные варианты позволяют выбирать компромисс между размером, скоростью и качеством; для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. К сильным сторонам относятся мультимодальность, поддержка рассуждений, tool-calling, длинного контекста и широкий выбор квантизаций, включая варианты, оптимизированные по матрице важности. Ограничения — отсутствие в README точных сведений о характеристиках архитектуры, контекстном окне, производительности и качестве на тестах; качество также зависит от выбранного уровня квантизации. Модель распространяется по лицензии Apache-2.0.

Yi-1.5-9B-Chat-16K-GGUF — это набор квантованных GGUF-версий диалоговой языковой модели Yi-1.5-9B-Chat-16K, разработанной 01.ai и квантованной компанией Second State Inc. Модель предназначена для генерации текста и ведения диалогов в локальных приложениях, включая сценарии, совместимые с LlamaEdge. Для работы используется шаблон prompt типа chatml, а заявленный размер контекста составляет 16 384 токена. Доступны варианты квантования от Q2_K до Q8_0, а также версия f16; размеры файлов варьируются примерно от 3,35 до 17,7 ГБ. В README не указаны поддерживаемые языки, модальности и подробности архитектуры базовой модели. Основное преимущество набора — выбор между меньшим размером и сохранением качества: Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с очень низкой потерей качества. Низкобитные версии занимают меньше места, но могут заметно терять в качестве. Модель распространяется по лицензии Apache-2.0. Для запуска требуется совместимое программное окружение, например llama.cpp или LlamaEdge; в README указано, что поддержка LlamaEdge на момент публикации ожидается.

Карточка модели LCM-Lab/1.2steps300_full_streaming_64k_qwen3-8b_wfrozen на Hugging Face совпадает с карточкой LCM-Lab/full_streaming_64k_qwen3-4b_MLP8.0_wfrozen, поэтому описание составлено по ней. LCM-Lab/full_streaming_64k_qwen3-4b_MLP8.0_wfrozen — дообученная плотная языковая модель семейства Qwen3 на базе Qwen/Qwen3-4B, опубликованная LCM-Lab. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс вызова инструментов. В репозитории используются веса Safetensors, модель содержит около 3,7 млрд параметров и поддерживает контекст до 262 144 токенов. README озаглавлен «Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers», что указывает на связь модели с исследованием адаптивной разреженности внимания при работе трансформеров. Лицензия — Apache-2.0. Карточка не раскрывает конкретные результаты тестирования или подробные ограничения качества.

CausalLM 14B — разработанная авторами репозитория разговорная языковая модель на архитектуре LLaMA с 13,4 млрд параметров. Авторы сообщают, что при обучении использовали веса Qwen, а LLaMA 2 — для расчёта начальных весов; модель загружается через Transformers как LLaMA-совместимый причинный языковой моделировщик. Контекст составляет 8192 токена, основной формат весов — PyTorch. Модель предназначена для генерации текста в диалогах, ответов на вопросы, рассуждений и решения задач, включая математику. Для обучения применялась выборка синтетических инструкционных данных объёмом 1,3 млрд токенов, собранных и подготовленных авторами на основе открытых наборов. В карточке приведены результаты тестов на английском, китайском и японском языках; метаданные также указывают английский и китайский. Авторы заявляют о высоких результатах в сравнительных тестах, однако модель может галлюцинировать и выдавать ненадёжные ответы. В карточке отмечено, что данные не были отфильтрованы от нежелательного содержимого, а RLHF и специальное обучение отказам не проводились; поэтому ответы требуют проверки и фильтрации. Указана лицензия WTFPL, но авторы также предупреждают, что в зависимости от применения могут действовать ограничения коммерческого использования базовых Qwen и LLaMA 2.

BigQwen2.5-Echo-47B-Instruct-GGUF — набор GGUF-квантизаций модели BigQwen2.5-Echo-47B-Instruct, опубликованный пользователем bartowski и основанный на модели mlabonne. Квантизации подготовлены с помощью llama.cpp и imatrix; модель предназначена для генерации текста и работы в локальных средах инференса, включая LM Studio. Указанный язык — английский, формат взаимодействия использует шаблон Qwen с ролями system, user и assistant. Модель имеет размер 47B параметров, однако сведения о точной архитектуре, длине контекста и мультимодальных возможностях в README не указаны. Доступны варианты от F16 размером около 94,79 ГБ до низкобитных Q3 и Q4, а также Q5, Q6 и Q8; наиболее качественными и рекомендуемыми названы некоторые варианты Q6_K, Q5 и Q4. Квантизации позволяют выбирать баланс между качеством, размером файла и требованиями к памяти; отдельные варианты оптимизированы для ARM-процессоров. Ограничениями являются значительные требования к памяти для старших вариантов и возможное снижение качества у низкобитных квантизаций. Для запуска требуется совместимое программное обеспечение, например llama.cpp или LM Studio. Лицензия указана как other с названием tongyi-qianwen; в качестве текста лицензии приведена ссылка на лицензию Qwen2-72B-Instruct.

blossom-v4-mistral-7b-Mistral-7B-Instruct-v0.1 — чат-модель на архитектуре Mistral, полученная слиянием Mistral-7B-Instruct-v0.1 и Azure99/blossom-v4-mistral-7b методом SLERP. Модель содержит 7,1 млрд параметров, распространяется в формате safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Её можно применять для чат-ботов, ответов на вопросы, написания текстов и помощи с математическими задачами. В карточке указаны английский и китайский языки; данные также связывают её с наборами для чатов, математики и инструкционного диалога. Модель распространяется по лицензии Apache-2.0. Сведений о специальных ограничениях качества или безопасности в предоставленной карточке нет.

calme-2.2-qwen2-72b-GGUF — это квантизированная версия текстовой языковой модели calme-2.2-qwen2-72b, разработанной MaziyarPanahi на базе Qwen2-72B. GGUF-квантизации подготовлены пользователем bartowski с использованием llama.cpp и imatrix; модель предназначена для локального запуска, в частности через LM Studio, и поддерживает формат диалога ChatML. В README указано, что модель ориентирована на английский язык и задачи генерации текста, включая чат, следование инструкциям, рассуждения и решение математических и академических задач. Размер исходной модели составляет 72 млрд параметров. Доступны варианты квантизации от Q8_0 до более компактных Q3 и IQ4, с размером файлов примерно от 39,71 до 77,26 ГБ; некоторые варианты разделены на несколько файлов. Более высокие разрядности обычно сохраняют лучшее качество, тогда как компактные варианты снижают требования к памяти. Для ARM-платформ предусмотрена отдельная Q4_0_4_4. Размер контекста и мультимодальные возможности в README не указаны; по описанию это текстовая, а не мультимодальная модель. Сильными сторонами являются большой размер базовой модели, варианты квантизации для разного объёма доступной памяти и результаты на стандартных тестах, включая 80,08% строгой точности на IFEval, 56,8% на BBH и 41,16% exact match на MATH уровня 5. К ограничениям относятся высокие требования к оперативной или видеопамяти даже у компактных вариантов, возможное снижение качества из-за квантизации и относительно слабые результаты на отдельных сложных тестах, например GPQA и MuSR. Лицензия обозначена как other с названием tongyi-qianwen; условия следует уточнять по лицензии Qwen/Qwen2-72B.