I.3Извлечение и структурирование данных

OmniBeagleSquaredMBX-v3-7B-v2 — языковая модель для генерации текста, созданная PaulML путём слияния моделей paulml/OmniBeagleMBX-v3-7B и flemmingmiguel/MBX-7B-v3 с помощью LazyMergekit. Для объединения использован метод SLERP с отдельными параметрами смешивания для слоёв self-attention и MLP. Модель построена на плотной архитектуре Mistral и содержит 7,1 млрд параметров. Она принимает текст и генерирует текст, поддерживая контекст до 32 768 токенов. Карточка не приводит сведений о специализации по языкам или предметным областям. Модель распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не описывает отдельные оценки качества или известные технические ограничения.

mychen76/openmixtral-6x7b-v2 — текстовая генеративная модель семейства Mixtral с архитектурой MoE, представленная в формате safetensors. Согласно карточке, это квантизированная версия openmixtral-6x7b-merged_v2, созданной слиянием шести моделей размером 7B. Метаданные указывают 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста и может применяться для ответов на вопросы, рассуждений и продолжения текстовых запросов. В карточке приведены результаты Open LLM Leaderboard, включая оценки AI2 Reasoning Challenge и HellaSwag. Язык модели отдельно не указан. Репозиторий распространяется по лицензии Apache-2.0.

Ornith-1.5-35B-A3B-MagicQuant-GGUF — набор GGUF-квантизаций модели Ornith-1.5-35B-A3B, подготовленный проектом MagicQuant на базе модели ornith-ai. Это мультимодальная модель для задач image-text-to-text, способная обрабатывать изображения и текст; для работы с изображениями требуется отдельный vision projector mmproj в формате GGUF. Лицензия — MIT. Модель использует архитектуру qwen3_5_moe с примерно 35 млрд параметров, из которых около 3 млрд активируются на одном токене. В ней предусмотрено 256 экспертов, из которых маршрутизируются 8, а также поддержка vision. Доступны варианты Q4_K_M-v2 размером 19,58 GiB, Q5_K_M размером 22,88 GiB и Q6_K-v2 размером 28,81 GiB; отдельный vision projector занимает 0,86 GiB. Данные о поддерживаемых языках и максимальной длине контекста в README не указаны. Q4_K_M-v2 рекомендован как наиболее сбалансированный вариант по размеру и скорости, тогда как Q5_K_M заявлен как самый быстрый декодер из трёх при наличии дополнительной памяти, а Q6_K-v2 обеспечивает наименьшее измеренное отклонение от BF16 среди проверенных вариантов. Гибридное распределение точности снижает объём передаваемых весов на шаг декодирования и улучшает скорость по сравнению со старыми версиями тех же уровней. Ограничения связаны с потерями качества, присущими квантизации, заметными требованиями к памяти и тем, что приведённые показатели измерялись на конкретной конфигурации AMD Strix Halo с Vulkan; они не гарантируют аналогичную производительность на другом оборудовании.

Ornith-1.5-9B-Omni-GGUF — мультимодальный набор моделей, опубликованный cudabenchmarktest в формате GGUF и предназначенный для запуска через Ollama вместе с адаптером Robit. В состав входят текстовая модель Ornith 1.5 9B с пониманием изображений, инструментами и опциональным режимом рассуждений, граф Qwen3-Omni для анализа аудио, изображений и видео, а также Qwen3-TTS для синтеза речи. Компоненты работают как отдельные графы, связанные семантическим адаптером. Набор поддерживает генерацию текста и речи, распознавание речи, интерпретацию окружающих звуков, понимание изображений и анализ выбранных кадров видео. Основной GGUF-файл является контейнером sidecar с шестью представлениями моделей и проекторов, а не самостоятельной стандартной моделью Ollama. Текстовые функции и понимание изображений запускаются через стандартный Ollama; для аудио, видео и синтеза речи требуется адаптер Robit с закреплённой версией llama.cpp. Генерация видео не поддерживается. В метаданных указан формат GGUF и лицензия «other»; конкретные условия лицензии следует сверить с опубликованными уведомлениями и источниками компонентов. README предупреждает, что мультимедийные данные, транскрипты, OCR, подписи и результаты инструментов следует считать недоверенным вводом.

Карточка модели facebook/PE-Spatial-L14-448 на Hugging Face совпадает с карточкой facebook/PE-Core-L14-336, поэтому описание составлено по ней. Perception Encoder PE-Core-L14-336 — модель Meta для визуального понимания, обученная с помощью контрастивного обучения изображений и текста и дообученная на синтетически согласованных видео. Это вариант размера L: визуальный энкодер с архитектурой ViT-L/14 содержит 0,32 млрд параметров и обрабатывает изображения с разрешением 336 пикселей. Для извлечения глобальных признаков используются attention pooling и class token. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения, поиска изображений и видео по тексту, а также извлечения визуальных признаков для последующих задач. В README указаны результаты на наборах ImageNet, ObjectNet и Kinetics-400; версия L/14 показывает сильные результаты, в том числе на сложных наборах ObjectNet и ImageNet-A. Репозиторий содержит веса PyTorch и код загрузки через библиотеку perception-encoder. Лицензия — Apache-2.0. README описывает семейство PE Core как включающее визуальную и текстовую башни, но таблица именно для L/14 приводит характеристики только визуальной башни; отдельные размер и длина контекста текстовой части этого чекпойнта не установлены приведёнными данными. Для работы с видео требуется декодирование в тензоры PyTorch.

piano-medley-7b-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и chargoddard/piano-medley-7b методом SLERP. Она предназначена для генерации текста и ответов на инструкции в чат-сценариях. Модель построена на архитектуре Mistral с 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. README не описывает специальные предметные области или отдельные ограничения качества.

aleada/Pixtral-12B-W4A16 — это 4-битно квантованный вариант базовой модели mgoin/pixtral-12b, подготовленный пользователем aleada для запуска через vLLM. Пакет создан с помощью llm-compressor 0.12.0 по рецепту GPTQModifier в формате compressed-tensors; поддерживается автоматическое обнаружение конфигурации квантования при загрузке. Проект поддерживается atlas — агентным проектом Алекса Адамопулоса, связанным с assert.gr. Модель предназначена для мультимодальных сценариев работы с текстом и изображениями, включая генерацию ответов, анализ визуального содержимого и стандартные задачи языкового моделирования. Квантованию подвергались линейные слои с конфигурацией W4A16 и group size 128, а vision tower и multi_modal_projector сохранены в исходном формате, поэтому приведённые в README результаты текстовых тестов не оценивают работу с изображениями. Размер квантованного артефакта составляет около 8,56 GiB; заявлена поддержка видеокарт архитектуры Ampere и запуск через vLLM. Квантирование уменьшает требования к памяти, но может снижать точность, особенно в генеративных задачах с многошаговыми вычислениями: на тесте GSM8K восстановление относительно исходной модели составило 91,0–91,6%, тогда как на задачах с выбором ответа — 95,9–99,3%. Поэтому модель подходит для экономичного инференса, но для чувствительных к точности вычислений и сложных цепочек рассуждений следует оценить влияние квантования на собственных данных. Контекстное окно, точные размеры архитектуры, список языков и полные характеристики базовой Pixtral-12B в README не указаны. Модель наследует лицензию исходной модели mgoin/pixtral-12b; дополнительных ограничений от автора квантованного пакета не заявлено.

navteca/quora-roberta-base — модель-кросс-энкодер на базе RoBERTa, обученная с помощью класса CrossEncoder из SentenceTransformers. Она принимает пару вопросов на английском языке и оценивает числом от 0 до 1 вероятность того, что вопросы являются дубликатами. Модель обучена на наборе Quora Duplicate Questions и предназначена для поиска повторяющихся вопросов, например при дедупликации пользовательских обращений или сортировке результатов по совпадению формулировок. Модель содержит 151,8 млн параметров, использует архитектуру RobertaForSequenceClassification и поддерживает контекст до 514 токенов. Доступны веса PyTorch и Flax. Лицензия — MIT. Оценка относится именно к дублированию, а не к семантическому сходству: вопросы об изучении Java и Python могут получить низкий балл, несмотря на похожую структуру. Для сравнения длинных текстов или поиска общей тематической близости модель не предназначена.

Mungert/Qwen2.5-7B-Instruct-1M-GGUF — это GGUF-версия инструкционной языковой модели Qwen2.5-7B, разработанная Mungert на базе Qwen/Qwen2.5-7B. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск на устройствах с ограниченными ресурсами, локальный инференс на CPU и системах с небольшим объёмом GPU-памяти. В названии заявлена поддержка контекста до 1 миллиона токенов, однако подробные характеристики реализации этого контекста в README не приведены. Модель относится к классу текстовых генеративных моделей, имеет около 7 миллиардов параметров и распространяется в формате GGUF. README также описывает ультранизкобитные варианты квантования с динамическим распределением точности IQ-DynamicGate, ориентированные на снижение потребления памяти; приведённые бенчмарки относятся к Llama-3-8B и не подтверждают показатели именно этой модели. В метаданных указан английский язык. Сильная сторона модели — возможность эффективного локального запуска благодаря квантованию и потенциально большому контекстному окну. Ограничения включают возможное снижение точности при низкобитном квантовании, отсутствие подробных данных об архитектуре, фактическом размере контекста и результатах тестирования именно для Qwen2.5-7B-Instruct-1M-GGUF. Лицензия — Apache-2.0.

Qwen2.5-7B-Instruct-IMat-GGUF — это квантизированная GGUF-версия языковой модели Qwen2.5-7B-Instruct, разработанной командой Qwen. Дистрибутив подготовлен пользователем legraphista с помощью llama.cpp версии b3785 и предназначен для локального запуска и генерации текста, включая чатовые сценарии. В README указана поддержка английского языка и текстовая модальность. Модель содержит около 7 млрд параметров и основана на исходных весах в формате BF16. Доступны варианты от BF16 и F16 до различных уровней квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серий, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Для ряда вариантов квантизации применена IMatrix-калибровка, призванная улучшить сохранение качества при уменьшении точности. Размер файлов варьируется примерно от 3,02 до 15,24 ГБ. Сильная сторона модели — возможность локального использования в широком диапазоне аппаратных конфигураций благодаря множеству вариантов квантизации и формату GGUF, совместимому с экосистемой llama.cpp. Ограничения включают возможное снижение качества у наиболее агрессивно квантизированных вариантов; сведения о размере контекста, архитектурных деталях, результатах тестирования и поддержке других языков в README не приведены. Модель и её варианты распространяются по лицензии Apache-2.0.

DhruvalLabs/Qwen2.5-VL-7B-Instruct-GGUF — квантованные версии мультимодальной Vision-Language Model Qwen2.5-VL-7B-Instruct, разработанной командой Qwen и подготовленные Dhptl с использованием quant-kit. Модель обрабатывает текст и изображения и предназначена для диалоговых сценариев, визуального анализа, описания изображений и генерации текста. Доступна для запуска через llama.cpp, LM Studio, Jan и Ollama. Модель построена из текстовой основы объёмом 7B параметров и отдельного vision encoder в формате mmproj. Для работы требуются два файла: один GGUF-файл текстовой основы и mmproj-файл vision encoder в формате F16. Доступны варианты квантования от Q2_K до Q8_0; Q4_K_M рекомендован как компромисс между размером и качеством, а Q8_0 обеспечивает качество, наиболее близкое к исходной модели. В README указан английский язык, однако сведения о полном наборе поддерживаемых языков, размере контекста и результатах benchmark отсутствуют. Основные преимущества — поддержка изображений, возможность локального запуска и широкий выбор уровней квантования с требованиями к RAM примерно от 4,3 до 9 ГБ для текстовой основы. Ограничения включают заметную потерю качества у наиболее компактных вариантов и необходимость отдельно загружать vision encoder; его размер составляет около 1,26 ГБ. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-397B-A17B-VQ-2.2bpw — векторно-квантизированная версия модели Qwen3.5-397B-A17B, разработанная TheDrainFlorist на базе модели Qwen. Репозиторий предназначен для запуска большой MoE-модели локально на компьютерах Apple Silicon с 128 ГБ объединённой памяти, без кластера и специальных патчей, используя MLX и совместимые инструменты mlx-lm или mlx-vlm. Модель поддерживает генерацию текста, а после обновления runtime также обработку изображений через mlx-vlm. Модель имеет 397 млрд параметров и обозначение A17B, что указывает на разреженную архитектуру Mixture-of-Experts с примерно 17 млрд активных параметров на токен. Применяется vector quantization с точностью 2,2 bits per weight; размер артефакта составляет около 101,0 GiB. Заявлена поддержка английского языка, а тесты включают прозу и смешанный по языкам код. Максимальная длина контекста в README не указана. Для текста требуется mlx-lm с поддержкой ключа model_file версии 0.31.9 или совместимой, для изображений — mlx-vlm не ниже 0.6.16. Главное преимущество сборки — уменьшенный объём, позволяющий сохранить около 17 ГиБ свободной памяти на системе с 128 ГБ и использовать модель с меньшими требованиями к резидентной памяти. По опубликованным измерениям версия v2 улучшает perplexity относительно v1 и превосходит близкую 2,6-битную квантизацию на прозе, однако уступает сборке VQ-2.4bpw по качеству. Уменьшение размера не гарантирует более высокую скорость декодирования, поскольку активные эксперты на токен остаются сопоставимыми. Лицензия — Apache-2.0.

Карточка модели eadx/Qwen3.5-9B-Claude-4.6-HighIQ-THINKING-HERETIC-UNCENSORED на Hugging Face совпадает с карточкой DavidAU/Qwen3.5-9B-Claude-4.6-HighIQ-THINKING-HERETIC-UNCENSORED, поэтому описание составлено по ней. DavidAU собрал эту мультимодальную модель на базе Qwen3.5-9B-heretic-v2: автор сообщает о дообучении через Unsloth на дистиллированном наборе рассуждений Claude 4.6. Модель принимает текст и изображения и генерирует текст; карточка заявляет поддержку vision и диалогового режима. В README указаны 9 млрд параметров, архитектура Qwen3.5 с языковой моделью и vision encoder, а также контекст 262 144 токена с возможностью расширения. Заявленная основная область применения — рассуждения, диалог и анализ изображений; автор также приводит результаты на нескольких тестах и сообщает о снижении отказов. README рекомендует квантизацию не ниже Q4_K_S или IQ3_S с imatrix. Видео не тестировалось. Указанные языки карточки — английский и китайский; более широкая языковая поддержка описана для исходной модели Qwen3.5, но отдельно для этого дообучения не подтверждена. Модель распространяется по лицензии Apache-2.0.

andrzejmontano/Qwen3.5-9B-MTP-Mixed-8bit — мультимодальная модель семейства Qwen3.5 на 9 млрд параметров, подготовленная автором репозитория как смешанно-квантованная версия Qwen/Qwen3.5-9B. Она предназначена для диалога и задач «изображение—текст», включая анализ изображений и видео. Архитектура включает 32 слоя с чередованием линейного SSM-подобного внимания и полного внимания, 27-блочный визуальный трансформер и голову предсказания нескольких токенов. Модель принимает текст, изображения и видео, а выдаёт текст; в метаданных заявлены английский язык, чат и интерфейс вызова инструментов. Для экономии памяти до 8 бит квантованы только проекции MLP языковой части с размером группы 64; визуальный блок, механизмы внимания, эмбеддинги и голова MTP сохранены в BF16. Репозиторий использует формат MLX и safetensors, модель рассчитана на эффективный локальный инференс на совместимой платформе. Автор предупреждает о возможном небольшом ухудшении качества на отдельных случаях относительно BF16. Для сохранения MTP-ключей при загрузке через стандартный mlx-vlm требуются патчи из скрипта; README рекомендует oMLX. Лицензия — Apache-2.0.

bernquant/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — это 27-миллиардная модель семейства Qwen3.6 в формате GGUF, созданная на базе DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. Модель разработана в рамках совместной работы автора, Nightmedia, TeichAI, armand0e и trohrbaugh с использованием Unsloth, многоэтапного fine-tuning и merge нескольких обученных версий. Указаны языки English и Chinese; заявлена поддержка vision, однако подробности о мультимодальной архитектуре и формате входных данных не приведены. Модель предназначена для широкого круга задач: следования инструкциям, решения проблем, reasoning, программирования, творческого письма, fiction и roleplaying. Авторы заявляют об улучшении общего интеллекта, instruction following и reasoning по сравнению с базовой моделью, а также о высоких результатах на ряде бенчмарков. Доступны обычные и MTP-варианты GGUF, включая NEO IMATRIX-квантизации; часть выходного тензора хранится в 16-битной точности. Для MTP-вариантов рекомендуется температура не выше 1 и отключённый repetition penalty; при низком уровне token acceptance рекомендуется использовать обычную квантизацию. К ограничениям относятся отсутствие подробных спецификаций контекстного окна, точного перечня поддерживаемых модальностей, требований к памяти и результатов независимой оценки. Модель позиционируется как uncensored и heretic, поэтому её поведение и фильтрация могут отличаться от стандартных версий Qwen. Заявления о превосходстве над другими моделями основаны на описании авторов и не подтверждены приведёнными в README полными методиками тестирования. Лицензия — Apache-2.0.

dealignai подготовила модель Qwen3.6-27B-JANG_4M-CRACK на базе Qwen/Qwen3.6-27B. Это плотная мультимодальная модель на 27 млрд параметров с гибридной архитектурой линейного и полного внимания, предназначенная для диалога, рассуждений, работы с инструментами, изображениями и видео. Модель поддерживает английский и китайский языки, а режим рассуждений можно включать или отключать через шаблон чата. Веса обработаны методом CRACK, который, согласно карточке, удаляет усвоенные шаблоны отказа, и квантованы в формате JANG v2 с профилем 4M: слои внимания используют 8-битную точность, а MLP- и SSM-слои — 4-битную; средняя точность указана как 4,45 бита. Размер весов составляет около 16 ГБ. Для запуска нужны Apple Silicon и не менее 24 ГБ объединённой памяти; в карточке рекомендованы vMLX или jang-tools. Лицензия — Apache-2.0. Модель рассчитана на сценарии общего ассистента, включая ответы на вопросы, анализ изображений и видео, рассуждения и вызов инструментов. Карточка приводит результаты MMLU-200 и HarmBench-320, однако это самоотчёт разработчика. Удаление отказов означает, что модель может выдавать опасный или иной чувствительный контент; квантование также может влиять на точность относительно базовой модели.

Qwen3.6-27B-MLX-6bit — это 6-битная квантованная версия модели Qwen3.6-27B, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx-vlm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для локального применения в сценариях генерации текста и обработки изображений с текстом, что следует из указанного типа конвейера image-text-to-text. Она сохраняет основу оригинальной Qwen3.6-27B, однако README не содержит сведений о точной архитектуре, числе параметров исходной модели, поддерживаемых языках и размере контекстного окна. Ключевые преимущества — сниженное потребление памяти по сравнению с полноразмерной версией и оптимизация под экосистему Apple Silicon, что делает модель подходящей для локального использования через совместимое программное обеспечение. Ограничениями являются потери качества, возможные при 6-битном квантовании, зависимость производительности от устройств Apple Silicon и отсутствие в предоставленных данных подробных характеристик качества и языковой поддержки. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-i1-GGUF — квантизированная GGUF-версия модели, разработанной на базе lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled и подготовленной mradermacher. Модель основана на архитектуре Mixture-of-Experts, имеет 35 млрд параметров с архитектурой, в которой активируется около 3 млрд параметров, и предназначена для генерации текста и задач, требующих рассуждений. Обучение выполнено методом distillation на наборе reasoning-distill-opus-4-7-max-sft; среди заявленных технологий также указаны LoRA и Unsloth. Модель ориентирована на англоязычные сценарии, включая диалоговую генерацию, решение задач с рассуждениями и другие приложения text-generation. README также обозначает её как vision model, однако подробности о поддерживаемых визуальных входах, мультимодальных возможностях, размере контекста и языках, кроме английского, не приведены. Для запуска доступны варианты GGUF-квантизации i1 с разными уровнями сжатия и размерами файлов; более компактные варианты требуют меньших ресурсов, но могут заметно уступать по качеству, тогда как IQ-квантизации в README часто рекомендуются по сравнению с аналогичными стандартными вариантами. Основные ограничения — неполные сведения о точных характеристиках, контекстном окне, требованиях к оборудованию и результатах оценки качества, а также потенциальная потеря качества при низких уровнях квантизации. Указана лицензия Apache-2.0.

JANGQ-AI/Qwen3.6-35B-A3B-JANGTQ — мультимодальная модель семейства Qwen, подготовленная JANGQ-AI на основе Qwen/Qwen3.6-35B-A3B и адаптированная для запуска в vMLX на компьютерах Apple Silicon. Это модель типа MoE с 35 млрд параметров, из которых около 3 млрд активны на токен; архитектура сочетает линейное внимание Gated DeltaNet и полное внимание, а также маршрутизируемые экспертные блоки. Весовые матрицы маршрутизируемых экспертов квантованы до 2 бит методом JANGTQ на основе кодовых книг TurboQuant и вращения Hadamard; ряд других компонентов хранится в 8-битном представлении, а зрительная башня сохранена. Модель предназначена для диалогов, задач с изображениями и агентных сценариев. README сообщает о поддержке изображений и отмечает, что для видео в MLX требуется собственный процессор, тогда как основная ветка mlx-vlm для этой архитектуры подходит для изображений. Для загрузки квантованных весов нужен специальный загрузчик jang-tools: стандартный mlx_lm.load() их не читает. Модель использует шаблон диалога и интерфейс вызова инструментов базовой модели; заявлена библиотека MLX и лицензия Apache-2.0. README приводит ориентиры по памяти для Mac с unified RAM и контексту, но эти оценки зависят от профиля запуска и KV-кэша. Независимые результаты оценки именно этой квантованной версии в карточке не приведены.

YTan2000/Qwen3.6-35B-A3B-TQ3_4S — квантованная GGUF-версия мультимодальной модели Qwen3.6-35B-A3B, опубликованная YTan2000. Она предназначена для диалогов, ответов на вопросы, агентных сценариев и анализа изображений. Модель основана на архитектуре Mixture of Experts: в README описана смешанная квантовка TQ3_4S с 2-битными экспертами и 4-битным вниманием; основной файл занимает 12,4 GiB, а мультимодальный проектор поставляется отдельно в BF16. Для запуска указан TurboQuant runtime fork; рекомендуемые настройки рассчитаны на GPU с 16 ГБ видеопамяти. Карточка сообщает о проверке базовых вызовов инструментов и ответов на простые вопросы, но эти результаты не дают широкой оценки качества. Репозиторий распространяется по лицензии Apache-2.0. Метаданные указывают английский язык карточки; другие поддерживаемые языки и длина контекста не подтверждены.

esatapedico публикует набор из девяти вариантов Qwen3.8-27B в формате GGUF, сконвертированных из unsloth/Qwen3.8-27B-NVFP4. Это плотная мультимодальная модель с обработкой изображений и видео, гибридной архитектурой Gated DeltaNet и Gated Attention, 27 млрд параметров и нативным контекстом до 262 144 токенов. В каждый файл встроена голова MTP для спекулятивного декодирования, поэтому отдельная модель-черновик не нужна. Варианты образуют лестницу по размеру и точности дополнительных весов: от компактных уровней с NVFP4-квантизацией до вариантов с головами в Q8_0 или BF16. Для обработки изображений и видео README рекомендует подключать проектор mmproj-BF16.gguf из репозитория. Модель предназначена для генерации текста и мультимодального диалога; автор приводит лишь предварительные наблюдения на одном запуске, а не результаты полноценного бенчмарка. Репозиторий рассчитан на использование с llama.cpp и аппаратурой NVIDIA Blackwell; доступность и скорость зависят от выбранного файла, видеопамяти и длины KV-кэша. Указана лицензия Apache-2.0.

Qwen3.8-27B-nvfp4qat-NInfer — квантизированная версия модели Qwen3.8-27B, подготовленная cometkim для выполнения в runtime NInfer v3. В состав артефакта также встроен модуль-черновик DFlash2 от z-lab для speculative decoding. Модель предназначена для генерации текста, диалоговых сценариев и мультимодальных задач с обработкой текста и изображений через компоненты Text и Vision. Модель содержит около 27 млрд параметров в основном Text-компоненте и использует профиль весов NVFP4 W4A4, полученный с применением quantization-aware training из QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4. В артефакте также присутствуют MTP, Vision, оптимизированная draft head и NVFP4-версия DFlash2 размером около 2 млрд параметров. Для DFlash2 заявлены пять слоёв, скользящее окно 2048, selector rank 256 и top-16. Размер файла составляет около 17,35 GiB. Языки и максимальная длина контекста в карточке не указаны. Сильными сторонами являются существенное уменьшение размера весов за счёт NVFP4, отсутствие необходимости в отдельном файле для DFlash2 и поддержка ускоренного декодирования в NInfer. В приведённых оценках модель получила accuracy 89,22 на GPQA-Diamond, 91,11 на AIME 2026 и 66,30 на LongBench v2, однако эффективность встроенного DFlash2 ниже, чем у профиля nvfp4full: 2,50 токена за раунд и 21,4% принятия против 5,50 и 64,3% соответственно на указанном тесте. Модель не является checkpoint для Transformers, Safetensors или GGUF и требует NInfer v3; карточка также не указывает совместимость с другими средами. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-Aggressive-GGUF — набор GGUF-квантов модели Qwen3.8-27B-Uncensored-Aggressive, опубликованный пользователем philbert440. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая сценарии генерации текста, рассуждений и работы с изображениями. В комплект входят основные веса в форматах BF16, Q8_0, Q6_K, Q5_K_M и Q4_K_M, где Q4_K_M является самым компактным вариантом. Модель имеет заявленный размер 27B параметров. Для обработки изображений предусмотрен отдельный vision projector mmproj, а для ускорения генерации с помощью speculative decoding — опциональная MTP head. Языки и размер контекстного окна в README не указаны. Версия основана на обновлённом рецепте α=1.15 с ортогонализацией вектора отказа на 28-м слое; заявленная цель — снизить склонность к отказам и сохранить качество рассуждений. По приведённой оценке в thinking mode, модель получила показатель openness 0,88, confab 0,725, factual 1,00 и gsm8k 0,85, однако методика основана на оценке Claude и результаты следует считать ориентировочными. Основное ограничение — модель является uncensored/de-refused и может выполнять запросы, которые исходная версия отклоняла, поэтому её следует использовать ответственно и с учётом законодательства. Лицензия — Apache 2.0.

Карточка модели Jinstudio/Qwen3-ASR-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-ASR-1.7B, поэтому описание составлено по ней. Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

OpenASR/qwen3-asr-1.7b — мультиязычная модель автоматического распознавания речи из семейства Qwen3-ASR, разработанного командой Qwen компании Alibaba. Репозиторий OpenASR предоставляет переупакованные веса исходной модели Qwen/Qwen3-ASR-1.7B в формате .oasr для запуска в среде OpenASR без Python во время инференса. Модель преобразует аудиозаписи в текст, определяет язык речи и предназначена для офлайн- и потоковой транскрипции. Она поддерживает 30 языков, 22 китайских диалекта и ряд региональных вариантов английского. По данным README, модель устойчива к сложным аудиосценариям, включая пение и песни на фоне музыки, а её качество заявлено как конкурентоспособное по отношению к коммерческим API. Размер модели составляет около 2 млрд параметров, из которых примерно 1,7 млрд активны; исходный формат — BF16. Доступны варианты fp16, q8_0 и q4_k. q8_0 рекомендован как компромисс между качеством и требованиями к памяти, q4_k подходит для устройств с ограниченными ресурсами, а fp16 предназначен для максимальной точности. Пакеты оптимизированы для CPU и GPU, используют GGUF-backed контейнер, mmap-привязку весов без копирования и повторное использование буферов графа. По README, временные метки на уровне слов требуют дополнительной модели Qwen3-ForcedAligner-0.6B; абсолютная точность распознавания и заявленные показатели производительности зависят от аудио и оборудования. Распространение выполняется по лицензии Apache-2.0, унаследованной от исходной модели. OpenASR указывает, что внесённые изменения ограничиваются конвертацией формата и квантованием.

Qwen3-ForcedAligner-0.6B — модель выравнивания речи и текста из семейства Qwen3-ASR, разработанного командой Qwen. Она принимает аудио и соответствующий текст и предсказывает временные метки для слов или отдельных символов, что подходит для подготовки субтитров, синхронизации транскриптов и анализа речи. По README, модель поддерживает китайский, английский, кантонский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский языки; длина аудио — до пяти минут. В метаданных указаны архитектура Qwen3ASRForConditionalGeneration, 0,6 млрд параметров в названии модели, формат safetensors и задача automatic-speech-recognition. Лицензия — Apache 2.0. README не уточняет ограничения точности, кроме предельной длины аудио.

Qwen3-Reranker-8B-GGUF-llama_cpp — это GGUF-версия модели Qwen3-Reranker-8B, разработанной командой Qwen и конвертированной пользователем Voodisss для запуска через llama.cpp. Модель предназначена для переранжирования текстов: она оценивает релевантность документов поисковому запросу и помогает сортировать результаты в системах поиска, Retrieval-Augmented Generation и других сценариях работы с текстовыми коллекциями. Модель относится к классу text-ranking и использует специализированный классификатор с метками yes/no для вычисления оценки релевантности. Доступны варианты F16 размером около 14,10 ГБ и Q8_0 размером около 7,49 ГБ; квантованный вариант требует меньше памяти, но может иметь небольшие потери качества. В README языки и точный встроенный размер контекста не указаны; в примере конфигурации llama-server используется ctx-size 32768. Сильная сторона этой сборки — корректная поддержка специфичных для reranker тензоров, метаданных pooling типа RANK и шаблона rerank-чата, благодаря чему она работает с llama.cpp и возвращает содержательные оценки релевантности. Модель следует использовать через endpoint /v1/rerank, а не /v1/embeddings: endpoint эмбеддингов для reranker-моделей возвращает нулевые значения. Для запуска требуется llama.cpp с настройками reranking, pooling rank и embedding. Модель распространяется по лицензии Apache 2.0.

Alcoft/Qwen_Qwen3-4B-Thinking-2507-GGUF — это GGUF-квантизированный вариант языковой модели Qwen3-4B-Thinking-2507, разработанной командой Qwen. Модель предназначена для генерации текста и сценариев, требующих рассуждений, включая работу с локальными приложениями и системами, поддерживающими формат GGUF. В репозитории представлены варианты квантизации от Q2_K до Q8_K с размером файлов примерно от 1,38 до 3,99 ГБ. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5_K_M, Q6_K и близкие к ним конфигурации: они обеспечивают приемлемое или высокое качество при меньших требованиях к памяти. Самые лёгкие варианты Q2 и Q3 характеризуются низким качеством и в README не рекомендуются. Некоторые варианты используют повышенную точность Q8_0 или F16 для выходных и embedding-слоёв. Модель относится к text-generation и предоставляет только текстовую модальность. Данные о точной архитектуре, размере контекста и поддерживаемых языках в представленном README не указаны. Основные ограничения связаны с потерей качества при сильной квантизации и зависимостью результата от выбранного варианта. Указана лицензия Apache-2.0.

MMLW-retrieval-roberta-large-v2 — польский текстовый энкодер семейства RoBERTa, предназначенный прежде всего для информационного поиска. Модель разработана для преобразования запросов и фрагментов текста в векторы размерностью 1024; также поддерживает семантическое сходство текстов. В README описано двухэтапное обучение: дистилляция знаний от stella_en_1.5B_v5 на польско-английских парах и последующая настройка с контрастивной функцией потерь на запросах с подобранными позитивными и негативными фрагментами. Модель содержит 533,7 млн параметров, использует архитектуру RoBERTa и имеет контекст длиной 514 токенов. Для поиска запросы следует помечать префиксом «[query]: », а для симметричного сравнения текстов — «[sts]: ». В README указан результат NDCG@10 60,71 на польском бенчмарке PIRB. Метаданные указывают лицензию Gemma; перед использованием следует проверить применимые условия этой лицензии.

Карточка модели michaelfeil/rune-26b-a4b на Hugging Face совпадает с карточкой surogate/rune-26b-a4b-GGUF, поэтому описание составлено по ней. Rune 26B-A4B v3 — разработанная Surogate модель принятия решений на основе Gemma 4 26B-A4B-it. Она принимает текст, структурированные данные или изображение вместе с вопросом и вариантами ответа и за один проход выбирает вариант, оценивая вероятности всех вариантов. Поддерживает задачи выбора одного из N вариантов, оценки истинности утверждения и выставления балла по порядковой шкале. Для обработки изображений сервер нужно запускать с поддержкой vision. Модель предназначена для классификации и ранжирования вариантов в тестах, извлечения решений из документов и скриншотов, автоматизации выбора и выставления оценок. По README, контекст составляет 262 тысячи токенов. Режим рассуждения включается отдельно, доступен только для текстовых запросов и может добавлять до 512 токенов рассуждения; по данным README, он повышает результаты на части тестов, но снижает качество вероятностных прогнозов в ForecastBench. Вероятности текстовых ответов при стандартной температуре описаны как избыточно уверенные; температура решения 2 улучшает их калибровку, не меняя выбранный вариант. Для изображений доступно сокращение числа визуальных токенов ценой точности. Это дообученная мультимодальная модель с архитектурой Gemma 4, публикуемая в формате safetensors и использующая библиотеку Transformers. Лицензия — Apache 2.0. Заявленные результаты бенчмарков являются результатами авторского запуска; часть тестовых данных и оценок основана на собственных выборках и не является закрытой оценкой лидерборда.