I.11Классификация, ранжирование и сопоставление

MaziyarPanahi/Mistral-T5-7B-v1-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.2 и ignos/Mistral-T5-7B-v1. Архитектура MistralForCausalLM, плотная модель на 7,1 млрд параметров; принимает текст и генерирует текст, поддерживает диалоговый режим и контекст до 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции в диалоговых сценариях. Базовая Mistral-7B-Instruct-v0.2 и конфигурация слияния указаны в карточке модели; метаданные указывают формат safetensors. Доступна по лицензии Apache-2.0. Языковые характеристики отдельно не описаны.

Mixtral SlimOrca 8X7B — языковая модель для генерации текста, разработанная OpenOrca и представленная TheBloke в формате GGUF с квантованием. Модель основана на Mixtral-SlimOrca-8x7B и обучена с использованием набора данных Open-Orca/SlimOrca. Она предназначена для диалоговых сценариев и других задач генерации текста, включая локальный запуск через совместимые инструменты. Модель относится к архитектуре Mixtral и имеет конфигурацию 8x7B; точный размер активируемой части, поддерживаемые языки и максимальная длина контекста в README не указаны. Для взаимодействия используется шаблон ChatML с системными и пользовательскими сообщениями. GGUF-файлы доступны в вариантах квантования от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти и качеством; рекомендован вариант Q4_K_M как сбалансированный. К сильным сторонам относятся возможность запуска на CPU и совместимых GPU, несколько уровней квантования и поддержка llama.cpp, KoboldCpp, LM Studio и llama-cpp-python при указанных в README версиях. Ограничения включают заметную потерю качества у наиболее агрессивных вариантов квантования, высокие требования к оперативной памяти у старших вариантов и ограниченную совместимость с другими клиентами. Лицензия модели — Apache 2.0.

NeuralContext-7b-v1 — объединённая языковая модель, созданная Kukedlc с помощью LazyMergekit на основе пяти моделей семейства Mistral. Она предназначена для генерации текста и диалоговых ответов на инструкции. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и имеет контекстное окно до 32 768 токенов. Модель принимает текст и генерирует текст; среди её базовых компонентов — Mistral-7B-Instruct-v0.2, Hermes-2-Pro-Mistral-7B и Yarn-Mistral-7b-128k. Репозиторий предоставляет веса в формате safetensors. Лицензия — Apache-2.0. README не приводит оценок качества или результатов тестирования, поэтому пригодность для конкретных задач стоит проверять самостоятельно.

OpenLumen 2 Pulsar — текстовая модель с открытыми весами, выпущенная Aeonthic как вариант семейства Lumen 2 Pulsar. Она дообучена на архитектуре Gemma 4 26B-A4B от Google DeepMind и распространяется в формате FP16 для инференса, исследований, экспериментов и дальнейшей настройки. В репозитории указаны архитектура MoE, около 2 млрд параметров и контекст до 262 144 токенов; поддерживается диалоговое использование. Модель принимает и выдаёт текст, функции обработки изображений в этой версии нет. Обычный формат Transformers рассчитан на совместимый запуск без стека QAT Lumen. Чекпойнт занимает около 48 ГБ, поэтому для инференса могут потребоваться несколько GPU или выгрузка части вычислений на CPU. Разработчик предупреждает, что низкобитное квантование после обучения может заметно ухудшить работу: в частности, Q4_0 способен серьёзно нарушить поведение модели; для сохранения ожидаемого качества рекомендуется FP16. Данные обучения публично не выпущены. Лицензия репозитория — Apache-2.0; разработчик также указывает, что пользователи сами отвечают за оценку результатов и соблюдение условий лицензии и законодательства.

Guile/orcarouter_Qwen3.8-27B-Uncensored-GGUF — это квантованная версия модели orcarouter/Qwen3.8-27B-Uncensored, подготовленная bartowski в формате GGUF для запуска через llama.cpp. Модель содержит около 28 млрд параметров и предназначена для генерации текста, рассуждений, function calling, задач red teaming и работы с изображениями при использовании дополнительного файла mmproj. Заявлена поддержка английского и китайского языков. Модель поддерживает мультимодальный ввод текста и изображений, speculative decoding с использованием MTP и imatrix-квантизацию. Доступны варианты от BF16 размером 54,66 ГБ до более компактных конфигураций Q3–Q8; вариант Q4_K_M размером 17,77 ГБ указан как сбалансированный по качеству и требованиям к памяти. README не содержит сведений об архитектуре слоёв, размере контекстного окна, точных мультимодальных ограничениях и результатах бенчмарков, поэтому эти характеристики оценить нельзя. Для работы требуются совместимые версии llama.cpp и, при обработке изображений, файл mmproj. Преимуществами являются большой размер модели, поддержка текста и изображений, рассуждений, function calling и speculative decoding, а также широкий выбор уровней квантизации для различного объёма доступной памяти. Ограничения включают высокие требования к памяти даже у компактных вариантов, возможное снижение качества при сильной квантизации и отсутствие в README подробных данных о безопасности и фактической производительности. Указанная лицензия — Apache-2.0.

Ornith-Agents-A1-3.6-35B-A3B-MTP-GGUF — GGUF-сборка от tepirale, основанная на объединённой с помощью dare_ties модели Qwen3.5-35B-A3B с архитектурой Mixture-of-Experts. В модель встроен блок Multi-Token Prediction (MTP), заимствованный из официальной GGUF-версии Qwen3.6-35B-A3B. Доступны варианты квантования Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16 размером примерно от 20,5 до 69,4 GiB. Указан английский язык; репозиторий также содержит multimodal-проектор для сценариев image-text-to-text. Главное назначение модели — генерация текста и мультимодальные задачи с запуском через llama.cpp, включая серверное применение и обработку изображений при наличии соответствующего mmproj-файла. Встроенный MTP-блок позволяет использовать native speculative decoding без отдельной draft-модели. По данным автора, достигается около 45% принятия черновых токенов и до примерно 260 токенов в секунду на H100; фактическая скорость зависит от квантования, настроек и оборудования. В README приведены конфигурации с контекстом до 131 072 и 254 000 токенов, однако это параметры тестовых запусков, а не обязательно гарантированный максимальный контекст. Сильные стороны — несколько вариантов компромисса между качеством и требованиями к памяти, отсутствие двойного квантования и сохранение блока MTP в точности Q8_0 или F16 независимо от основной квантовки. Ограничения включают значительные требования к VRAM, необходимость сборки llama.cpp с поддержкой CUDA для заявленной производительности и зависимость от корректной поддержки MTP. Модель распространяется по лицензии Apache 2.0.

jaromer/outsourc-e-Qwen3.8-27B-Unleashed-GGUF — это квантованная GGUF-версия uncensored-модели Qwen3.8-27B. В основе лежит JonathanColetti/Qwen3.8-27B-Uncensored; файлы подготовлены с использованием подхода Unsloth Dynamic 3.0, а карта динамического распределения битов применена к этим весам с соответствующей importance matrix. Модель предназначена для генерации текста и может использоваться локально через совместимые инструменты, включая llama.cpp. Модель содержит около 27 млрд параметров, поддерживает текстовую модальность, английский и китайский языки и контекст до 262 144 токенов. Доступно девять уровней квантования, включая UD-IQ1_M, UD-IQ2_S, UD-IQ3_XXS, UD-Q3_K_XL и UD-IQ4_XS. Динамическое распределение битов сохраняет более высокую точность в чувствительных тензорах и сильнее сжимает менее критичные, что, по заявленным измерениям, позволяет варианту UD-Q3_K_XL превзойти протестированные варианты Q4 по perplexity при меньшем размере. Для него также заявлена проверенная работа с длинным контекстом и извлечение данных на 250 806 токенах. Сильными сторонами являются uncensored-характер модели, широкий выбор квантов, эффективное соотношение качества и размера, а также поддержка очень длинного контекста. Ограничения включают зависимость скорости и качества от конкретного уровня квантования, оборудования и настроек запуска; приведённые показатели измерены на RTX 4090 с llama.cpp и не гарантируют аналогичные результаты в других конфигурациях. Для некоторых квантов полный набор тестов скорости и извлечения ещё не завершён. Модель распространяется по лицензии Apache 2.0.

PandafishHeatherReReloaded — объединённая модель для генерации текста, созданная MysticFoxMagic методом slerp с помощью LazyMergekit на основе MysticFoxMagic/HeatherSpell-7b и ichigoberry/pandafish-2-7b-32k. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и принимает текстовый контекст длиной до 32 768 токенов. Модель предназначена для генерации текста и ответов на запросы. Веса опубликованы в формате Safetensors; при объединении использована точность bfloat16. В метаданных указана лицензия, но её условия здесь не раскрыты.

Phi-4-QwQ — дообученная на базе Microsoft Phi-4 языковая модель для диалогов и генерации текста с акцентом на пошаговое рассуждение и ответственное решение задач. Модель содержит 14,1 млрд параметров, использует плотную архитектуру и доступна в формате safetensors для библиотеки Transformers; заявленный контекст — 16 384 токена. Модель предназначена для разложения сложных задач на этапы, логических и математических рассуждений, объяснений, учебного сопровождения, написания текстов и диалоговых помощников. В README описано дообучение методами SFT и DPO на синтетических и отфильтрованных данных. Карточка заявляет многоязычные возможности, однако метаданные указывают только английский язык. Модель может ошибаться при неоднозначных запросах, воспроизводить смещения и выдавать вредные или устаревшие ответы; для критически важных сценариев нужна проверка человеком. Для узкоспециализированных областей может потребоваться дополнительная настройка. Лицензия — MIT.

Azizbek8189/Qwen3.5-0.8B-GGUF — модель семейства Qwen3.5 на базе Qwen/Qwen3.5-0.8B, представленная в формате, подготовленном с использованием инструментов Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для прототипирования, исследовательских и разработческих задач, а также специализированного дообучения. Модель поддерживает текстовые и визуальные входы и может применяться для рассуждений, программирования, визуального понимания и агентских сценариев. Модель содержит 0,8 млрд параметров, 24 слоя и скрытое измерение 1024. В архитектуре сочетаются Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; заявлена длина контекста 262 144 токена. Указана поддержка 201 языка и диалекта. Артефакты совместимы с Hugging Face Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся компактный размер, мультимодальность, большой контекст и эффективность гибридной архитектуры, что делает модель подходящей для локального запуска и экспериментов с ограниченными ресурсами. Ограничениями являются небольшой по современным меркам объём параметров и заявленная ориентация на прототипирование и исследования, поэтому качество на сложных задачах может уступать более крупным моделям. Лицензия — Apache-2.0.

Qwen3.5-122B-A10B-abliterated-NVFP4 — производная версия модели wangzhang/Qwen3.5-122B-A10B-abliterated, основанной на Qwen/Qwen3.5-122B-A10B. Репозиторий поддерживается автором bjk110 и предназначен для локального запуска и сервинга текстовой генерации. Модель использует архитектуру Qwen3.5 MoE с 256 маршрутизируемыми экспертами, из которых активно 10 млрд параметров. Она поддерживает английский, корейский, китайский и японский языки. Контекстное окно может достигать 131 072 токенов при использовании указанной конфигурации vLLM. Это текстовая версия мультимодальной архитектуры: в данном чекпойнте присутствуют только текстовые веса, поэтому мультимодальные сценарии не поддерживаются. Основное изменение — квантизация NVFP4 с использованием compressed-tensors. Квантизированы маршрутизируемые и общие эксперты, а также self-attention; linear attention, эмбеддинги, нормализации и гейты сохранены в BF16. Размер уменьшен с 228 ГБ в BF16 до 71,2 ГБ, формат хранения — safetensors в двух шардах. Сильными сторонами являются существенное снижение требований к памяти и совместимость с NVFP4 MoE-ядром vLLM. Ограничения включают необходимость специального патча vLLM, зависимость от совместимого оборудования NVIDIA и отсутствие мультимодальных возможностей; заявленные показатели производительности проверены на NVIDIA DGX Spark и не гарантируются для других конфигураций. Модель распространяется по лицензии Apache-2.0.

Мультимодальная диалоговая модель Qwen3.5, дообученная stavh2001 на базе stavh2001/qwen3.6-27b-merged_28_05. Она предназначена для диалогов с текстовыми и визуальными входными данными; поддерживает вызов инструментов. В метаданных указаны архитектура Qwen3_5ForConditionalGeneration и формат safetensors. Для обучения использовались Unsloth и библиотека Hugging Face TRL. Модель распространяется по лицензии Apache-2.0.

DmitryDB/Qwen3.6-35B-A3B-Heretic-MOE-v3 — производная мультимодальная MoE-модель на базе Qwen/Qwen3.6-35B-A3B. Релиз подготовлен с использованием инструментов Heretic-MOE, разработанных dborzoff. Модель предназначена для обработки текста и изображений с генерацией текстовых ответов; точные поддерживаемые языки и размер контекстного окна в README не указаны. Доступны варианты Balanced и Max, отличающиеся степенью удаления отказов при сохранении качества исходной модели. Для обоих вариантов опубликованы веса BF16, INT8 Lean ConvRot, NVFP4_W4A16 и NVFP4_W4A4, а также форматы GGUF с различными уровнями квантования. Мультимодальный проектор поставляется отдельно и остается неизменным относительно исходной модели. Варианты NVFP4 ориентированы на снижение потребления памяти, причем W4A4 дополнительно рассчитан на более быстрое выполнение на системах Blackwell. Сильными сторонами являются широкий набор форматов, наличие мультимодального проектора, опубликованные манифесты воспроизводимости и контроль дрейфа perplexity в пределах установленного порога 0,5%. Ограничения включают необходимость совместимого загрузчика для специализированных INT8 и NVFP4 форматов, отдельную установку проектора для GGUF и проверенную совместимость GGUF только с конкретной зафиксированной версией llama.cpp. Лицензия — Apache-2.0; перед использованием рекомендуется ознакомиться с лицензией исходной модели Qwen3.6.

Это языковая модель семейства Qwen3.6, подготовленная пользователем Youssofal и упакованная для библиотеки MTPLX. Она предназначена для локальной генерации текста на компьютерах Apple Silicon, прежде всего для ускоренного инференса со speculative decoding и Multi-Token Prediction на моделях Mac с чипами M1–M5. Доступен OpenAI-совместимый локальный сервер через MTPLX. Модель имеет архитектуру Mixture-of-Experts и заявленный размер 35B с активной частью около 3B параметров (35B-A3B). Основное тело использует 4-битное квантование MLX affine, а плавающие тензоры BF16 преобразованы в FP16; упакованные квантованные тензоры сохранены без повторного квантования. Для ускорения применяются MTP-предсказания с рекомендуемой глубиной D1 и профилем sustained. README не указывает поддерживаемые языки, размер контекста и перечень модальностей, поэтому модель следует считать текстовой. Ключевая особенность варианта — совместимость с FP16-friendly путём на старых Apple Silicon, особенно M1 и M2, при сохранении целевого уровня скорости и качества исходного артефакта. Для M3, M4 и M5 MTPLX обычно выбирает обычную оптимизированную версию. По приведённому baseline скорость составляет 94,46 токена/с для авторегрессионного режима и 138,38 токена/с для режима D1, однако эти показатели являются данными исходного артефакта, а FP16-вариант должен быть к ним близок. Ограничения включают зависимость от MTPLX и Apple Silicon, а также отсутствие полноточного checkpoint: модель рассчитана на быстрое локальное использование, а не на работу в полном формате. Лицензия — Apache-2.0.

Minachist/Qwen3.8-27B-INT6-Mixed-AutoRound — это квантизированный мультимодальный чекпойнт на базе Qwen/Qwen3.8-27B, разработанный пользователем Minachist. Модель предназначена для запуска через vLLM на системах примерно с 48 ГБ суммарной видеопамяти, включая сценарии с обработкой изображений, полным контекстом и включённым MTP. Модель содержит 64 языковых слоя: 48 слоёв с gated-delta linear attention и 16 слоёв с полноценным attention. Используется смешанная квантизация AutoRound в формате compressed-tensors pack-quantized с эффективной плотностью 7,30 бит на вес: отдельные компоненты работают в INT5, INT6, INT7 или INT8, а часть параметров, включая vision tower, нормы и некоторые проекции, сохранена в BF16. Заявленный максимальный контекст составляет 262 144 токена. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. По измерениям автора, на тесте WikiText-2 средняя KL-дивергенция относительно BF16-версии составила 0,001980, согласие top-1 предсказаний — 97,905%, а perplexity — 7,9183 против 7,9112 у базовой модели. Это указывает на небольшую потерю качества при существенном сокращении требований к памяти. Ограничение модели — она не загружается в стандартный vLLM: требуются версия с поддержкой 5–8-битных схем, пакет humming-kernels и патч для qwen3_5.py и qwen3_5_mtp.py. В README рекомендована лицензия Apache-2.0.

sakamakismile/Qwen3.8-27B-MTP-NVFP4 — квантованная версия модели Qwen3.8-27B, разработанной командой Qwen. Это плотная гибридная модель с архитектурой DeltaNet и полноразмерным attention, компонентами компьютерного зрения Qwen3-VL и встроенной MTP-головой для speculative decoding. Модель предназначена прежде всего для генерации текста, рассуждений и использования в серверных сценариях через vLLM; поддержка мультимодального режима заявлена благодаря vision tower, но в README её производительность не оценивалась. Основная часть весов сжата в формат NVFP4 W4A4 с размером группы 16, тогда как vision tower, lm_head, conv1d DeltaNet и MTP-голова сохранены в bf16. Размер базовой модели составляет 27,8 млрд параметров; объём уменьшен с 55,6 до 20,6 ГБ. Заявлен контекст до 131 072 токенов, поддерживается KV-кэш fp8 и работа на GPU Blackwell через vLLM 0.22.0. MTP-голова позволяет ускорять декодирование, однако требует корректного сохранения специальных модулей и конфигурации speculative decoding. Сильными сторонами модели являются существенное сокращение объёма весов, высокая скорость генерации на совместимом оборудовании и поддержка длинного контекста. Ограничения связаны с требованиями к GPU Blackwell и конфигурации vLLM: формат W4A4 необходим для указанной архитектуры, а мультимодальная производительность не проверялась. Модель ориентирована на задачи рассуждений; при высоком уровне reasoning effort значительная часть лимита токенов может расходоваться на внутреннее рассуждение без итогового ответа, поэтому для длинных запросов рекомендуется режим medium и max_tokens не менее 4096. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-MXFP4-MagicQuant-GGUF — адаптированная GGUF-сборка модели Qwen3.8-27B, основанная на официально постобученном и квантованном чекпойнте AMD Qwen3.8-27B-Quark-AWQ-MXFP4. Репозиторий подготовлен magiccodingman и содержит исходную нативную MXFP4-версию, а также варианты дополнительного квантования по рецептам MagicQuant и Unsloth. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая обработку изображений благодаря поддержке vision projectors. Также заявлена поддержка MTP. Размер базовой модели составляет 27B параметров, формат распространения — GGUF, а нативная версия занимает около 18,89 ГБ. Доступны варианты с различными уровнями квантования; среди рекомендуемых по соотношению качества и размера указаны MQ-IQ4_XS_1, UD-Q4_K_S, UD-IQ4_XS и UD-Q3_K_XL. Для них заявлено близкое соответствие логитам нативной MXFP4-версии при уменьшении размера примерно на 20,7–31,05%. Сильной стороной сборки является наличие нескольких проверенных вариантов квантования, опубликованных tensor maps, результатов KLD-тестов и сведений об imatrix, что упрощает выбор между качеством и требованиями к памяти. Ограничения связаны с потерями качества при агрессивном квантовании: один вариант UD-IQ2_XXS был удалён после провала установленного порога качества, а остальные низкобитные варианты также могут заметно отличаться от нативной версии. Это адаптированный downward clone, а не новый полный поиск рецептов MagicQuant; языки и размер контекстного окна в README не указаны. Лицензия — Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-3bit-MTP — это 3-битная MLX-конверсия мультимодальной модели Qwen/Qwen3.8-Flash-Next, созданная на основе официального BF16-чекпойнта. Модель предназначена для запуска на устройствах Apple Silicon через совместимые MLX-VLM и oMLX. Она поддерживает работу с текстом и изображениями, а также использует архитектуру qwen4_exp с vision-language стеком и разреженной mixture-of-experts моделью. Общий объём языковой части составляет 125B параметров, из которых активны около 6B; дополнительно указаны 51B параметров в hashed bigram/trigram embedding и 4B параметров в блоке native MTP. Контекст рассчитан на 262 144 токена. Ключевые компоненты включают Gated DeltaNet, Qwen Sparse Attention, sparse MoE-слои, gated residual streams, vision encoder и один draft-блок native MTP для speculative decoding. Квантизация выполнена методом uniform affine quantisation с группой 32; мультимодальные модули и роутеры MoE сохранены в BF16. Размер весов — около 90,774 GB. Сильные стороны модели — существенное снижение размера по сравнению с полноформатным чекпойнтом, поддержка мультимодальных сценариев и возможность ускорения генерации с помощью native MTP. В приведённом тесте на Apple M3 Studio скорость выросла с 28,0408 до 30,5895 токена в секунду, то есть примерно на 9,09%, при принятии 65,4% предложенных токенов. Ограничения включают необходимость runtime с явной поддержкой qwen4_exp и native MTP; старые версии MLX-VLM или oMLX могут быть несовместимы, а поддержка изображений зависит от используемых версий компонентов. Модель распространяется по лицензии Qwen Community License 1.0.

Vontra/Qwen3.8-Flash-Next-MLX-oQ4-MTP — общественная MLX-конверсия мультимодальной модели Qwen3.8-Flash-Next, созданная Vontra на основе официальных весов Qwen в формате BF16. Модель предназначена для запуска на Apple Silicon через совместимые среды oMLX или MLX-VLM и поддерживает обработку текста и изображений. Это не официальный релиз Qwen. Модель использует разреженную архитектуру mixture-of-experts qwen4_exp с 125 млрд параметров, из которых около 6 млрд активны при обработке токена, 48 слоями, 512 маршрутизируемыми экспертами, 10 активными экспертами и одним общим экспертом. В состав входят Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual-потоки, hashed bigram и trigram embeddings, а также один встроенный MTP-блок для speculative decoding. Контекст составляет до 262 144 токенов. Конверсия выполнена в смешанной 4-битной точности oQ4 с отдельными модулями в 5- и 8-битном формате; размер весов — около 113,33 ГБ. Сильными сторонами являются экономичное по сравнению с полной точностью хранение, поддержка визуально-текстовых сценариев и встроенный MTP для ускорения генерации. Ограничения связаны с большими требованиями к памяти, зависимостью от Apple Silicon и необходимостью runtime с явной поддержкой qwen4_exp и native MTP; стандартные среды без такой поддержки могут не загрузить модель. Указанная лицензия — Qwen Community License 1.0.

Qwen3.8-Flash-Next-Uncensored — это MLX-квантованная версия модели orcarouter/Qwen3.8-Flash-Next-Uncensored, опубликованная пользователем ddark-il. Модель предназначена для локального запуска на компьютерах Apple Silicon, прежде всего на M5 Max с 128 ГБ памяти, и поддерживает сценарии генерации текста и обработки изображений с текстом. Модель использует архитектуру qwen4_exp с mixture-of-experts (MoE), vision-language возможностями и механизмом multi-token prediction (MTP). Исходный размер составляет около 180 млрд параметров; в данном варианте применяется смешанная affine-квантизация MLX со средней точностью 4,857 бит на параметр. Размер файлов — 109,29 ГБ, заявлена поддержка контекста до 262 тысяч токенов. Основная часть весов квантизирована в 4, 6 и 8 битах с различными размерами групп, причём для o_proj используется 8-битная квантизация. По измерениям авторов, версия обеспечивает меньшую ошибку относительно исходных bf16-весов, чем предыдущая ревизия, и достигает 90,7% совпадения top-1 предсказаний с bf16-версией. Сильными сторонами являются существенно меньшие требования к памяти по сравнению с bf16, высокая точность для квантизированной модели, поддержка длинного контекста и мультимодальных входов. Ограничения включают очень большой размер, зависимость от MLX и Apple Silicon, возможное влияние квантизации на качество, а также требования к пропускной способности SSD и кэшированию при работе с крупными таблицами и экспертами. Модель распространяется по лицензии Apache-2.0.

Saba1-7B — слитая модель для генерации текста и диалогов, созданная Sakalti методом TIES с помощью mergekit. В слиянии использованы AIDC-AI/Marco-o1 и базовая Sakalti/model-3; архитектура Qwen2, около 7,1 млрд параметров, веса в формате safetensors и точности bfloat16. Модель работает через библиотеку Transformers и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации ответов в диалоге и других задач генерации текста; метаданные также отмечают интерфейс вызова инструментов. Лицензия в доступных сведениях не указана.

JetLM/SDAR-4B-Chat-b32 — диалоговая языковая модель семейства SDAR, разработанная на основе сочетания авторегрессионного моделирования и дискретной диффузии. В репозитории указаны 3,7 млрд параметров, архитектура SDARForCausalLM и контекст до 32 768 токенов; веса представлены в формате safetensors. Модель предназначена для генерации ответов в диалоге и других задач генерации текста. В карточке также заявлен интерфейс для вызова инструментов. SDAR сочетает обучение по авторегрессионной схеме с параллельным выводом на основе диффузии. Авторы сообщают о сопоставимых с сильными авторегрессионными моделями результатах на общих задачах и преимуществах на отдельных научных задачах рассуждения; эти выводы относятся к представленным в README экспериментам и не гарантируют таких результатов именно для этой версии 4B. Модель опубликована под лицензией Apache-2.0.

CultriX/SeQwence-14Bv6 — объединённая языковая модель, созданная с помощью mergekit методом Model Stock на основе Qwen/Qwen2.5-14B-Instruct. В объединение вошли SeQwence-14Bv2, Qwestion-14B, Qwen2.5-Lumen-14B, Qwen2.5-14B-Wernicke, Virtuoso-Small, SeQwence-14Bv1 и SeQwence-14B-EvolMerge. Модель предназначена для генерации текста и диалоговых сценариев. Она использует плотную архитектуру Qwen2 с 14 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. Метаданные отмечают интерфейс для вызова инструментов, однако README не описывает его поведение и ограничения. Модель опубликована в формате safetensors для Transformers. Условия лицензии в предоставленных данных не указаны.

WhiskyAKM опубликовал GGUF-сборку Spark-X2.5-4B — трансформерную языковую модель с 4 млрд параметров для генерации текста и решения задач рассуждения. Модель поддерживает диалоговый формат, режим рассуждения с отдельными блоками и структурированный вызов инструментов. Для запуска предназначена библиотека llama.cpp; в репозитории представлен файл NVFP4, созданный квантизацией исходной модели с помощью llama-quantize. Модель рассчитана на английский и китайский языки. Квантизация NVFP4 уменьшает требования к ресурсам при развертывании, сохраняя формат GGUF для локального запуска. Контекстная длина в предоставленных данных не указана. Репозиторий распространяется по лицензии Apache-2.0.

Synthia-v3.0-11B — языковая модель общего назначения от Migtissera, созданная на архитектуре Llama и дообученная для следования инструкциям и ведения развёрнутых диалогов. В README указано, что обучение проводилось на наборе Synthia-v3.0, включающем около 10 тысяч высококачественных примеров, сгенерированных GPT-4-Turbo, и опиралось на принципы LIMA. Модель предназначена для генерации текста, ответов на вопросы и продолжительных бесед. Её можно применять в диалоговых интерфейсах, для написания и объяснения материалов, а также для рассуждений в формате Tree of Thoughts и Chain of Thought. Размер модели — 10,6 млрд параметров, родной контекст — 4096 токенов; заявлена поддержка текстового ввода и вывода. Модель может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или неподходящий контент. В README она названа uncensored, поэтому результаты требуют проверки и модерации. Лицензия — Apache-2.0.

Ternary-Bonsai-8B-gguf — языковая модель для генерации текста, разработанная Prism ML на базе Qwen3-8B. Она предназначена для локального и встраиваемого запуска, включая сценарии on-device, через llama.cpp и совместимые инструменты. Модель распространяется в формате GGUF Q2_0 и ориентирована на задачи диалога, ответов на вопросы, рассуждений и программной интеграции. Модель содержит 8,19 млрд параметров, включая около 6,95 млрд параметров без учёта эмбеддингов, и использует 36 декодерных Transformer-блоков с GQA, архитектурой SwiGLU, RoPE и RMSNorm. Длина контекста составляет 65 536 токенов, размер словаря — 151 936 токенов. Веса квантизованы до троичного представления {-1, 0, +1} с групповым масштабированием FP16; размер рекомендуемого файла Q2_0 составляет около 2,03 GiB, или 2,18 GB. Главное преимущество модели — существенное снижение требований к памяти: примерно в 7,5 раза по сравнению с FP16 при заявленном сохранении информации для троичных весов. По приведённым бенчмаркам она показывает высокое качество среди моделей сопоставимого размера, но уступает исходной Qwen3-8B по среднему результату. Для работы с форматом Q2_0 требуется специальная ветка Prism ML для llama.cpp, поскольку поддержка этого формата ещё не включена в основную ветку проекта. Языки, на которых модель оптимизирована, в README не указаны. Лицензия — Apache 2.0.

UltraHermes-Merge — объединённая диалоговая языковая модель, созданная Cas-Warehouse с помощью mergekit. В основе слияния — mlabonne/NeuralHermes-2.5-Mistral-7B; также объединены argilla/CapybaraHermes-2.5-Mistral-7B, joey00072/ToxicHermes-2.5-Mistral-7B и openaccess-ai-collective/DPOpenHermes-7B-v2. Использован метод TIES. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и имеет контекстное окно до 32 768 токенов. Она предназначена для диалога, ответов на инструкции и генерации текста. Доступна в формате safetensors и использует библиотеку Transformers. В карточке не приведены сведения о лицензии и конкретном перечне поддерживаемых языков. Как и другие генеративные языковые модели, она может выдавать неточные или нежелательные ответы; пригодность результатов следует проверять для целевого применения.

GLM-4-32B-Base-32K-GGUF — это квантизированная версия базовой языковой модели GLM-4-32B-Base-32K, разработанной arcee-ai. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с форматом GGUF, включая llama.cpp и LM Studio. Модель имеет размер 32 млрд параметров и поддерживает контекст до 32 000 токенов. В карточке указаны китайский и английский языки. Доступны варианты от BF16 и Q8_0 до более компактных Q2–Q6 и IQ-квантизаций, что позволяет выбирать компромисс между качеством, потреблением памяти и скоростью работы. Более компактные варианты подходят для систем с ограниченной оперативной памятью, но могут заметно уступать по качеству версиям с высокой точностью. Модель является базовой, поэтому её поведение в диалогах и форматирование ответов могут требовать самостоятельной настройки промптов; готовый формат промпта в README не указан. Для запуска необходима совместимая среда и объём памяти, соответствующий выбранному файлу: размер вариантов варьируется примерно от 13,66 до 65,14 ГБ. Лицензия модели — MIT.

Lambent/arsenic-v1.5-dpo-qwen2.5-14B — диалоговая модель на архитектуре Qwen2.5 с 14 млрд параметров, дообученная командой Lambent на основе Lambent/arsenic-v1-qwen2.5-14B. Карточка описывает её стиль ответов как более точный по сравнению с предыдущей версией при сохранении большей части её возможностей; обучение проводилось с использованием Axolotl 0.4.1. Модель принимает текст и генерирует текст, поддерживает чат и интерфейс вызова инструментов. Контекстное окно составляет до 32 768 токенов. Модель подходит для диалоговых приложений и генерации текстовых ответов, в том числе структурированных. Карточка отмечает, что модель всё ещё достаточно ограничена в генерируемом содержимом; тег «not-for-all-audiences» относится к набору данных. Данные о конкретном наборе обучения и результаты оценки не приведены. Условия лицензии в предоставленных материалах не указаны.

Bernstein-120b — объединённая языковая модель, созданная с помощью mergekit линейным слиянием моделей ShinojiResearch/Senku-70B-Full и Sao10K/Euryale-1.3-L2-70B. Модель разработана авторами карточки bcse/Bernstein-120b; архитектура — плотная LlamaForCausalLM, размер — 120,1 млрд параметров, формат весов — Safetensors. Она предназначена для генерации текста и диалогового взаимодействия, поддерживает контекст до 32 764 токенов. Модель принимает текст и генерирует текст; заявленный pipeline — text-generation. Карточка также указывает доступность квантованных вариантов Bernstein-120b в репозиториях mradermacher. Данные не описывают конкретную специализацию по предметной области или языкам. Лицензия в предоставленных сведениях не указана; условия использования следует сверить с карточкой модели и лицензиями исходных моделей.