I.3Извлечение и структурирование данных

Карточка модели dititce/mxbai-rerank-large-v2-seq на Hugging Face совпадает с карточкой michaelfeil/mxbai-rerank-large-v2-seq, поэтому описание составлено по ней. michaelfeil/mxbai-rerank-large-v2-seq — вариант семейства Mixedbread mxbai-rerank-large-v2, представленный как классификатор последовательностей на архитектуре Qwen2. Модель предназначена для ранжирования пар «запрос—документ»: она оценивает релевантность кандидатов и помогает выбирать подходящие фрагменты для поисковой выдачи и RAG. В карточке указаны поддержка кода и длинного контекста; метаданные указывают 1,5 млрд параметров и контекст до 32 768 токенов. Модель рассчитана на многоязычный поиск; разработчики заявляют поддержку более 100 языков и особенно сильные результаты на английском и китайском. В README приведены результаты тестов BEIR, мультиязычного и китайского поиска, поиска по коду, а также задержка на A100, но эти показатели зависят от условий измерения. Для использования через классификационный интерфейс требуется специальный шаблон промпта. Лицензия репозитория — Apache-2.0.

Это квантованная сборка NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16, подготовленная FreedomAISVR в формате GGUF для запуска через llama.cpp. Модель имеет гибридную архитектуру Mamba2 и Transformer с MoE: 30 млрд параметров, около 3 млрд активных, 52 слоя, включая 23 слоя Mamba2, 23 MoE-блока и 6 слоёв внимания; в MoE используются 128 экспертов и маршрутизация к шести из них. Для Mamba2-тензоров применяется F16, остальные веса хранятся в NVFP4; для обработки изображений README также описывает отдельный файл SigLIP-проектора. Модель предназначена для генерации текста и диалоговых сценариев с рассуждением. Заявленный контекст — 262 тыс. токенов. Поддержка изображений упоминается в комплекте файлов, однако метаданные классифицируют репозиторий только как text-generation. README сообщает, что CUDA-ядра Mamba2 требуют F32 и при работе с квантованными тензорами могут переводить соответствующие слои на CPU, что снижает производительность. Лицензия указана как other, без дополнительных условий в предоставленных данных.

Это GGUF-сборка языковой модели Qwen3.8-27B, разработанной командой Qwen, с постобучением SimPO и базой из семейства EfficientThink от nerkyor. Модель предназначена для генерации текста, диалогов, рассуждений и программирования. Она относится к dense-моделям с hybrid attention и поддерживает эффективное мышление; заявлены китайский и английский языки. Версия ориентирована на запуск через llama.cpp и совместимые приложения, включая LM Studio. Модель содержит 27 млрд параметров, 65 блоков, включая встроенную MTP-голову для speculative decoding. Используется смешанная квантизация: K/Q/V-блоки ключевых attention-слоёв сохранены в Q4_K, значительная часть FFN-контуров квантизирована в IQ3_XXS, другие компоненты — в IQ3_S, а нормы — в F32. Размер файла составляет 10,12 GiB при 3,18 BPW. При использовании Q4 KV-кэша заявлена поддержка контекста свыше 130 тысяч токенов на видеокарте с 16 ГБ памяти. Для vision-сценариев требуется отдельный vision projector из базового семейства Qwen3.8. К сильным сторонам относятся существенно уменьшенный размер, сохранение повышенной точности в важных attention-компонентах, встроенная MTP-голова и возможность ускорения генерации примерно в 2–3 раза на диалоговых ответах при корректной настройке. Ограничениями являются зависимость качества от агрессивной IQ3-квантизации, необходимость совместимого ПО и настройки параметров запуска, а также непредсказуемость выходов, поскольку сборка обозначена как uncensored. Модель предоставляется по лицензии Apache 2.0, но автор рекомендует её прежде всего для личных исследований и оценки, а не для публичного или производственного использования.

MaziyarPanahi/neural-chat-7b-v3-1-dare-0.85-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая модель на базе Mistral-7B-Instruct-v0.2 и uukuguy/neural-chat-7b-v3-1-dare-0.85. Веса объединены методом SLERP с настройками для слоёв self-attention и MLP; модель имеет плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Контекст составляет до 32 768 токенов; репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. В README не приведены результаты оценки качества или отдельные гарантии работы для конкретных языков и предметных областей.

Neutrino-Instruct — авторегрессионная языковая модель с архитектурой декодера Transformer и 7,1 млрд параметров, разработанная Fardeen NB. Это дообученная для диалога и следования инструкциям версия Neutrino. Модель распространяется в форматах GGUF и safetensors; GGUF рассчитан на локальный запуск через llama.cpp и Ollama. Контекст — до 32 768 токенов, архитектура использует grouped-query attention и RoPE. Модель предназначена для чат-ботов, диалоговых помощников, ответов на вопросы, суммаризации и выполнения инструкций, в том числе в локальных сценариях без отправки данных на внешние сервисы. В карточке заявлена поддержка английского языка; качество работы на других языках не оценивалось. Модель общего назначения, не имеет доступа к интернету или внешним источникам знаний. Модель может выдавать правдоподобные, но неверные ответы, а также отражать предвзятость обучающих данных. Специальное обучение безопасности и независимая оценка не проводились; для медицинских, юридических, финансовых и других ответственных решений модель не предназначена. Лицензия — Apache-2.0.

next-14b-i1-GGUF — набор GGUF-квантизаций модели next-14b, разработанной thelamapi и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста, диалоговых сценариев, выполнения инструкций, рассуждений, аналитических и писательских задач, а также многоязычного использования. Модель относится к классу больших языковых моделей примерно на 14 млрд параметров и доступна в формате GGUF с различными вариантами квантизации, включая IQ- и Q-типы. В README заявлена поддержка турецкого, английского, немецкого, испанского, французского, русского, китайского, японского и корейского языков. Обучение или дообучение связано с наборами данных для instruction tuning, reasoning, диалогов и генерации текста. Сведения о точной архитектуре и размере контекста не указаны. Главное преимущество — широкий выбор уровней квантизации, позволяющий выбирать компромисс между размером файла, скоростью и качеством; рекомендуемыми названы i1-Q4_K_M и i1-Q4_K_S. Более компактные варианты могут заметно уступать по качеству, а некоторые из них в README прямо характеризуются как низкокачественные. Модель ориентирована на локальный запуск в совместимом ПО, однако конкретные требования к оборудованию не приведены. Лицензия — MIT.

omniASR-CTC-300M — конверсия чекпойнта OmniLingual omniASR_CTC_300M в формат Hugging Face, опубликованная aadel4. Это модель распознавания речи на архитектуре Wav2Vec2 с CTC-декодированием: она принимает аудио и выдаёт логиты по SentencePiece-словарю для транскрибирования речи на нескольких языках. В метаданных указано 412,7 млн параметров; модель использует класс Wav2Vec2ForCTC и библиотеку Transformers. В карточке описаны 24 слоя энкодера и размер скрытого состояния 1024. Автор сообщает, что результаты модели совпадают с исходным чекпойнтом fairseq2 с точностью до atol=1e-4 на контрольном аудиофрагменте, и приводит совпадающую транскрипцию. Модель предназначена для многоязычного ASR; конкретные поддерживаемые языки в карточке не перечислены. Условия лицензирования в предоставленных данных не описаны.

Open-Instruct Unnatural Instructions 7B — языковая модель семейства LLaMA, дообученная Allen Institute for AI на наборе Unnatural Instructions для следования инструкциям и генерации текста. Это модельный diff: для её использования требуется исходная модель LLaMA в формате Hugging Face, а инструкция по применению предполагает заданный формат входных данных. Модель имеет плотную архитектуру LlamaForCausalLM и около 6,6 млрд параметров. Она принимает текст и генерирует текст, поддерживает английский язык и рассчитана на контекст до 2048 токенов. В карточке приведены результаты тестирования на задачах вопросов и ответов, математики, рассуждений, программирования и следования инструкциям. Модель распространяется по лицензии AI Model License вместе с исходной лицензией LLaMA. Результаты в карточке показывают ограничения на ряде тестов, в частности на математических задачах и ответах на вопросы без контекста; качество зависит от соблюдения обучающего формата ввода.

bartowski/open-thoughts_OpenThinker2-7B-GGUF — это квантизированная GGUF-версия языковой модели OpenThinker2-7B, разработанной open-thoughts. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Для работы используется формат запросов с ролями system, user и assistant на основе специальных токенов ChatML. Модель содержит 7 миллиардов параметров и распространяется в вариантах от BF16 до низкобитных квантований Q2–Q8, включая семейства Q_K, IQ и legacy-форматы. Размер файлов составляет примерно от 3,5 до 15,2 ГБ; варианты с более высокой точностью обеспечивают лучшее качество, а низкобитные версии требуют меньше оперативной памяти. В README не указаны языки, размер контекстного окна, конкретные мультимодальные возможности или архитектурные детали базовой модели. Сильной стороной является широкий выбор квантований для разных аппаратных ограничений и оптимизация с использованием imatrix. Ограничения зависят от выбранного варианта: более компактные версии могут заметно уступать по качеству, а полная BF16-версия требует значительных ресурсов. Модель и квантованные файлы распространяются по лицензии Apache-2.0; квантизация выполнена bartowski с использованием llama.cpp.

dealignai выпустила Ornith-1.5-35B-A3B-UNCENSORED-MXFP8 — версию Ornith-1.5-35B-A3B с удалённым на уровне весов поведением отказа и квантованием MXFP8 в формате MLX для Apple Silicon. Основа — мультимодальная MoE-модель семейства Qwen 3.5 с 35,9 млрд параметров; README указывает 40 слоёв, 256 маршрутизируемых экспертов, гибридный блок gated-delta и full attention, а также 27-слойную визуальную башню. Метаданные Hugging Face относят модель к задаче image-text-to-text и указывают поддержку чата, зрения и интерфейса вызова инструментов. Модель принимает текст и изображения; README также заявляет обработку видео. Она рассчитана на диалог, рассуждения, программирование с инструментами и анализ визуального содержимого. Карточка приводит результаты MMLU 78,9%, HarmBench 100% и KL-дивергенцию 0,0289 относительно некрякнутой MXFP8-версии; это результаты авторского тестирования на данном бандле. Для запуска предназначены vMLX или совместимая с архитектурой qwen3_5_moe среда MLX-VLM на Apple Silicon. Удаление отказов означает, что модель может выполнять запросы без защитного отказа; авторы ориентируют публикацию на исследования безопасности ИИ и разрешённое тестирование. Лицензия — Apache-2.0.

sayhan/Qwen1.5-72B-Chat-LLaMAfied — версия Qwen1.5-72B-Chat от Alibaba Cloud, преобразованная в формат архитектуры LLaMA с помощью скрипта Minami-su. Это плотная языковая модель примерно на 71 млрд параметров для генерации текста в диалогах и других сценариях работы с текстом. Она принимает текст и генерирует текст; заявленная длина контекста составляет 32 768 токенов. В карточке указаны английский и китайский языки, а формат файлов — PyTorch. Модель размещена под лицензией other; конкретные условия следует сверить с исходной лицензией Qwen1.5 и карточкой репозитория.

unsloth/Qwen2.5-3B — версия базовой языковой модели Qwen2.5, опубликованная Unsloth и предназначенная для генерации текста и дальнейшей адаптации. Это плотная авторегрессионная модель архитектуры Qwen2 с 3,1 млрд параметров; репозиторий содержит веса Safetensors для Transformers. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и многоязычную работу, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Базовая Qwen2.5 рассчитана на продолжение текста и может служить основой для дообучения под код, математику, структурированные данные и другие задачи. В README отдельно отмечено, что базовую модель не рекомендуют использовать для диалогов без последующего обучения, например SFT или RLHF. Лицензия указана как other, поэтому условия использования следует сверить с карточкой модели и лицензией базовой модели.

MLX-версия модели Qwen3-14B, разработанной командой Qwen и преобразованной сообществом mlx-community из исходной модели Qwen/Qwen3-14B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и может применяться в сценариях диалогового взаимодействия и других задачах, требующих текстовой генерации, включая локальный запуск через библиотеку MLX. Модель имеет размер 14 миллиардов параметров и представлена в 8-битном формате квантования. Она работает с текстовой модальностью; поддержка конкретных языков и размер контекстного окна в предоставленных данных не указаны. Для использования предусмотрена библиотека mlx-lm и чат-шаблон токенизатора, если он доступен. К сильным сторонам относятся адаптация к экосистеме MLX и уменьшенный объём хранения и требования к памяти благодаря 8-битному представлению. Ограничения включают зависимость от MLX и отсутствие в README подробных данных о результатах оценки, языковых возможностях и контексте. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen3-30B-A3B-MLX-8bit — это конвертированная в формат MLX 8-битная версия языковой модели Qwen3-30B-A3B, разработанной Qwen и опубликованной сообществом lmstudio-community. Конвертация выполнена с использованием mlx-lm версии 0.24.0. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через chat template при его наличии. Она ориентирована на запуск с библиотекой mlx-lm, преимущественно в экосистеме Apple MLX. В README не указаны поддерживаемые языки, размер контекста, точная архитектура исходной модели, модальности помимо текста и результаты оценки качества. Ключевая характеристика этой версии — 8-битное представление в формате MLX, потенциально подходящее для более эффективного локального запуска по сравнению с полноформатной моделью, однако конкретные требования к памяти и производительности не приведены. Ограничения и области применения следует оценивать по исходной модели Qwen3-30B-A3B; дополнительные сведения о них в README отсутствуют. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Thinking-2507-GGUF — квантованная в формате GGUF версия языковой модели Qwen3-4B-Thinking-2507, разработанной командой Qwen. Модель предназначена для генерации текста и решения задач, требующих рассуждений, включая диалоговые сценарии, ответы на вопросы и другие применения, поддерживаемые исходной моделью. Модель содержит около 4 миллиардов параметров и относится к текстовым моделям. В README не указаны поддерживаемые языки, максимальная длина контекста, конкретная архитектура, доступные модальности и варианты квантования. Квантование выполнено bartowski на основе релиза llama.cpp b6096, что позволяет использовать модель в совместимом локальном программном обеспечении, включая LM Studio. К сильным сторонам относятся относительно компактный размер и возможность локального запуска благодаря формату GGUF, а также ориентация исходной модели на задачи рассуждений. Ограничения, точные требования к аппаратным ресурсам, качество на конкретных тестах и особенности поведения не описаны. Лицензия в предоставленном README не указана; условия использования следует уточнять на странице исходной модели Qwen3-4B-Thinking-2507.

Qwen3.5-4B-Comprehension-new-judge-policy-v70-merged — текстовая генеративная модель, опубликованная пользователем leonardovazsp на Hugging Face. По метаданным модель предназначена для генерации текста и поддерживает conversational-сценарии; разработчик, базовая модель и лицензия в доступных материалах не указаны. Модель содержит около 3,4 млрд параметров, использует экосистему Transformers и имеет нативное контекстное окно до 262 144 токенов. По названию модель относится к семейству Qwen3.5 и, вероятно, ориентирована на задачи comprehension и judging, однако README не содержит подтверждённых сведений о методах обучения, оценивании или конкретных форматах таких задач. Модель может применяться для диалоговой генерации, продолжения текста, анализа предоставленного контекста и интеграции в приложения на базе Transformers. Ограничения включают отсутствие в карточке подробностей о языках, качестве, безопасности, смещениях, тестовых результатах и условиях лицензирования; результаты следует проверять на целевых данных перед использованием.

Qwen3.5-9B-Claude-4.6-OS-Auto-Variable-HERETIC-UNCENSORED-THINKING-MAX-NEOCODE-Imatrix-GGUF — GGUF-квантизированная доработанная версия плотной модели Qwen3.5-9B, разработанная DavidAU. Модель дообучена с использованием Unsloth на наборах данных Claude-4.6-OS и дополнена матрицами DI-MATRIX на основе наборов NEO и NEO-CODE, улучшениями тензоров Unsloth и пользовательским шаблоном Jinja для стабилизации работы и снижения избыточного «обдумывания». Лицензия — Apache-2.0. Модель предназначена для широкого спектра текстовых задач, включая рассуждения, генерацию и продолжение художественных текстов, создание сюжетов и подсюжетов, ролевые сценарии, диалоги и работу с различными жанрами. Заявлена поддержка английского и китайского языков. Модель позиционируется как uncensored и heretic-вариант с существенно сниженным числом отказов; при этом для получения особенно грубого или откровенного стиля иногда требуются дополнительные указания в запросе. Контекст по умолчанию заявлен до 256K токенов. Поддержка изображений протестирована и заявлена как рабочая, но для неё требуется отдельный файл mmproj, размещённый вместе с GGUF; видеовозможности не тестировались. В README приведены результаты тестов на ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, где версия показывает более высокие значения, чем указанная базовая версия Qwen3.5-9B в режиме thinking, однако результаты зависят от квантизации и настроек запуска. Для работы рекомендуется использовать совместимый рантайм GGUF; автор также указывает специальные параметры сглаживания и рекомендуемые варианты квантизации, поэтому итоговое качество и поведение зависят от программного окружения.

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-i1-GGUF — квантизированная GGUF-версия модели hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled, подготовленная mradermacher. Модель основана на архитектуре Qwen3.6 с разреженной MoE-структурой и заявленным размером 35B параметров; активная конфигурация обозначена как A3B. Обучение или дистилляция связаны с наборами данных, содержащими примеры рассуждений и ответов Claude Opus, а также Qwen reasoning-данные. Модель предназначена для генерации текста, диалоговых сценариев и задач, требующих рассуждений. В README она также обозначена как vision model и image-text-to-text модель, поэтому может поддерживать обработку изображений вместе с текстом при наличии соответствующего mmproj-файла. Заявлен английский язык; сведения о длине контекста, точной поддержке других языков, результатах тестирования и рекомендуемых параметрах запуска отсутствуют. Главное преимущество — сочетание reasoning-направленности, MoE-архитектуры и большого набора вариантов квантизации, позволяющих выбирать компромисс между размером, скоростью и качеством. При этом низкобитные варианты могут заметно терять в качестве: для некоторых файлов README прямо указывает на очень низкое или сниженное качество. Модель распространяется под лицензией Apache-2.0; конкретные условия использования базовой модели и датасетов отдельно не раскрыты.

Qwen3.6-35B-A3B-REAM-192-heretic-APEX-GGUF — предварительная серия смешанных по точности GGUF-квантизаций модели keithnull/Qwen3.6-35B-A3B-REAM-192-heretic, основанной на архитектуре Qwen3.6 и разработанной сообществом вокруг Qwen. Модель распространяется в формате, совместимом с llama.cpp, и использует APEX (Adaptive Precision for EXpert Models) для MoE-aware квантизации экспертных слоёв. Доступны варианты размером примерно 12–19 ГБ с эффективной точностью около 3,80–5,91 BPW. Названия файлов с суффиксами Q3_K или Q5_K являются только подсказкой для каталогов и не отражают единственный тип квантизации: внутри используются комбинации K- и IQ-форматов, включая Q3_K, Q4_K, Q5_K, Q6_K, IQ2_S, IQ4_XS и Q8_0. Модель предназначена для локального текстового диалога и генерации текста, а также может использовать изображения при подключении совместимого vision-проектора mmproj-REAP-26B-F16.gguf через llama-server и OpenAI-совместимый chat-completions API. Архитектура сохраняет vision tower Qwen3.6-VL, совместимые скрытое пространство и токенизатор, однако опубликованные GGUF-файлы содержат только текстовые веса. Вариант Mini рассчитан на видеокарты с 16 ГБ VRAM, а I-Compact позиционируется как вариант для повседневного использования в классе размера стандартной Q4_K_M. Сильные стороны серии — MoE-ориентированная смешанная точность, наличие вариантов с imatrix-калибровкой и разные компромиссы между качеством, размером и скоростью декодирования. При этом релиз является preview: для этой APEX-рецептуры ещё не опубликованы измерения perplexity, KL-divergence и академических бенчмарков; проверка ограничивалась оценкой Heretic, качественной проверкой пяти промптов на BF16-весах и базовыми тестами связности генерации. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B Bonsai-MLX 2-bit — это 27-миллиардная плотная языковая модель, подготовленная HermitDave на основе Ternary-Bonsai-2 от Prism ML. Веса представлены в виде 2-битной аффинной квантизации с преобразованием Hadamard, заранее свёрнутым в веса; благодаря этому модель совместима со стандартными mlx-lm и oMLX и не требует пользовательских ядер или специальной версии среды выполнения. Модель предназначена для локальной генерации текста, диалогов и сценариев с вызовом инструментов. В README указана оценка качества около 90–93% от FP16-версии, однако она не подтверждена стандартными тестами; качественная проверка описана как предварительная. Файл модели занимает около 9,4 ГБ. Унаследованные ограничения базовой модели также сохраняются. Лицензия — Apache-2.0.

TeichAI/Qwen3.8-27B-Fable-Distill-GGUF — это набор квантованных версий мультимодальной модели Qwen3.8-27B-Fable-Distill, разработанной TeichAI на базе Qwen3.8-27B. Модель дообучалась с использованием Unsloth и библиотеки Hugging Face TRL на открытых чатах и агентских трассах Fable 5, а также на существенно большем закрытом наборе персональных данных Fable 5. GGUF-конверсии выполнены с помощью llama.cpp. Модель предназначена для генерации текста, диалогов, агентских сценариев и анализа изображений с выдачей текстового ответа. Поддерживается английский язык. Архитектура включает 65 блоков: 64 трансформерных слоя и один слой multi-token prediction (MTP); MTP-head во всех вариантах сохраняется в формате BF16. Для работы с изображениями требуется отдельный vision projector mmproj в форматах F32, BF16 или F16; без него модель работает только с текстом. Доступны варианты квантования от 2 до 16 бит, размер файлов составляет примерно от 11 до 55 ГБ. Для большинства пользователей рекомендуется Q4_K_M размером около 17 ГБ. К сильным сторонам относятся мультимодальность, поддержка режима рассуждений с параметрами reasoning_effort и несколько вариантов квантования для разного баланса качества и требований к памяти. В README приведены улучшенные результаты относительно базовой Qwen3.8-27B на ARC Challenge, ARC Challenge (Easy) и BoolQ. Ограничения включают высокие требования к ресурсам, зависимость визуального режима от отдельного projector-файла и заметную потерю качества у низкобитных вариантов, особенно Q2_K. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GSQ-RCO-MLX — производная модель от Qwen3.8-27B, разработанная для инференса на Apple Silicon с использованием MLX и специализированных Metal-ядер. Она создана на основе ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF; упаковку в формат MLX выполнил автор репозитория uqer1244. Модель предназначена для генерации текста и локального запуска на совместимых Mac с Apple Silicon. Это 27-миллиардная текстовая модель архитектуры Qwen3.5/Qwen3.8 hybrid с поддержкой 11 типов смешанного квантования GSQ-RCO/IQ, включая IQ1_M, IQ1_S, IQ2_XXS, IQ2_XS, IQ2_S, IQ3_XXS, IQ3_S, IQ4_XS, Q2_K, Q4_K и Q6_K. Квантованные веса сохранены без повторного квантования в packed Safetensors; также поддерживаются тензоры F32 и BF16. Объём контекста, список языков и мультимодальные возможности в README не указаны. К сильным сторонам относятся снижение требований к памяти по сравнению с полноразмерной моделью, сохранение исходных GGUF payloads и оптимизация выполнения на Apple Silicon. Для минимального запуска требуется около 10,4 ГБ unified memory, рекомендуется дополнительный запас. Модель нельзя загружать напрямую через mlx_lm.load(): необходим отдельный runtime mlx_gsq-rco и MLX с поддержкой Metal. Предзаполнение пока использует функциональный multi-row QMV path, поэтому обработка длинных промптов может быть менее производительной; runtime ориентирован на данную архитектуру и схему имён тензоров. В карточке указана лицензия Apache-2.0 с необходимостью сохранять upstream-уведомления и условия использования.

gjtgjt создал abliteration-версию Qwen/Qwen3.8-27B с помощью Heretic v1.4.0. Это доработка готовых весов, а не новое предобучение или SFT: изменена часть проекций языковых слоёв, тогда как токенизатор, шаблон чата, визуальный энкодер и блок MTP сохранены. Модель использует плотную гибридную архитектуру Qwen3.5 с 64 языковыми слоями: 48 Gated DeltaNet и 16 Gated Attention. Она принимает текст и изображения и предназначена для диалогов, анализа изображений и многошаговых запросов; описание базовой модели также указывает на поддержку видео и программирования. Языковые теги карточки — английский и китайский. Изменение направлено на снижение шаблонных отказов на английских запросах. В приведённой оценке число маркеров отказа на 100 вредоносных запросов снизилось с 98 у базовой модели до 27; KL-дивергенция на 100 безвредных запросах составила 0,0446. Это не гарантия безопасности и не подтверждение качества на других языках или модальностях. Для режима без рассуждений README рекомендует передавать enable_thinking=False. Модель распространяется по лицензии Apache-2.0.

mradermacher/Qwen3.8-27B-thinkingcap-abliterated-i1-GGUF — набор квантизованных GGUF-версий модели hotdogs/Qwen3.8-27B-thinkingcap-abliterated. Квантизацию выполнил mradermacher; исходная модель связана с датасетом hotdogs/thinkingcap-sft-qwen38-27b. Модель предназначена для генерации текста, рассуждений и задач, где важны эффективное мышление и экономное использование токенов. В метаданных также указана поддержка изображений, однако для работы с визуальными входами могут потребоваться отдельные файлы mmproj из статического репозитория. Модель относится к семейству Qwen и содержит около 27 миллиардов параметров, но точная архитектура и размер контекстного окна в README не указаны. Заявлен английский язык. Репозиторий предоставляет варианты квантизации i1 с различными форматами и размерами примерно от 11 до 22,5 ГБ, включая Q2_K, Q3, IQ3, IQ4, Q4, Q5 и Q6. Более качественные варианты требуют больше памяти, тогда как компактные версии позволяют снизить требования к оборудованию, но могут заметнее терять качество; конкретные характеристики скорости и точности не приведены. Модель распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков, подробного описания базовой архитектуры, контекстного окна или рекомендаций по аппаратным требованиям, поэтому пригодность для конкретных задач следует проверять экспериментально.

Ar4ikov/Qwen3.8-27B-Uncensored-AWQ-W4A16-ASYM — 4-битная AWQ-квантованная версия мультимодальной модели orcarouter/Qwen3.8-27B-Uncensored. Модель предназначена для генерации и анализа текста и изображений, включая сценарии с поддержкой reasoning и спекулятивного декодинга. Разработчик квантованного варианта — Ar4ikov; исходная модель разработана orcarouter. Модель содержит 27B параметров и использует гибридную архитектуру Qwen3.8-27B: 64 слоя с комбинацией Gated DeltaNet и Gated Attention, vision-башню и MTP-голову. Применяется схема W4A16_ASYM с 4-битными весами, group size 128 и BF16-активациями; размер модели сокращён примерно с 52 до 19 ГБ. Поддерживаются мультимодальные входы, контекст до 262 144 токенов и режимы reasoning_effort low, medium и xhigh. Vision-башня, эмбеддинги, lm_head, чувствительные SSM-гейты и MTP-голова сохранены в BF16. Основное преимущество — существенное снижение размера при сохранении визуальной части и совместимость с нативной загрузкой в vLLM, а также потенциально в SGLang. Реальная экономия памяти доступна в рантаймах с INT4-ядрами; transformers распаковывает веса обратно в BF16. Качество на изображениях должно быть близко к исходной модели, но в текстовой части возможна деградация из-за квантования. Бенчмарк-валидация не проводилась, проверена только связность генерации, поэтому модель требует собственных оценок перед production-использованием. Распространяется по лицензии Apache-2.0.

Qwen-3.8-27B-Uncensored-mlx-mixed_3_6 — мультимодальная модель для работы с текстом и изображениями, созданная на основе junafinity/Qwen-3.8-27B-Uncensored и преобразованная пользователем tejones36 в формат MLX с помощью mlx-vlm. Модель предназначена для локального запуска на компьютерах Apple Silicon, генерации текста, анализа изображений, технических объяснений и интеграции через CLI, Python API или локальный OpenAI-совместимый сервер. Модель содержит 27 миллиардов параметров и использует смешанное 3/6-битное квантование с размером группы 64: критические слои внимания и проекций хранятся в 6-битном формате, а MLP-слои — в 3-битном. Средняя точность составляет около 3,6 бита на вес, что снижает требования к памяти и пропускной способности; заявлена возможность запуска на Apple Silicon с 18–24 ГБ и более unified memory. Формат хранения — MLX Safetensors. Поддерживаются текстовая и визуальная модальности, однако сведения о языках и размере контекстного окна в README не указаны. К сильным сторонам относятся локальная работа на совместимом оборудовании, заметное сокращение потребления памяти по сравнению с полноразмерными весами и сохранение повышенной точности в наиболее важных слоях. Ограничениями являются зависимость от экосистемы MLX и Apple Silicon, возможное снижение качества из-за агрессивного квантования, а также отсутствие подробных данных о результатах тестирования, языковой поддержке и контекстном окне. Модель обозначена как uncensored, поэтому встроенные ограничения безопасности могут быть ослаблены. Указана лицензия Apache-2.0.

DavidrPatton/Qwen3.8-27B-Uncensored-UD3-GGUF — это квантизированная GGUF-версия 27-миллиардной языковой модели Qwen3.8-27B-Uncensored, основанной на Qwen3.8-27B и адаптированной JonathanColetti. Сборка использует метод Unsloth Dynamic 3.0 (UD3) с динамическим распределением точности по слоям и предназначена для запуска через llama.cpp. Модель поддерживает текстовую генерацию и диалоговые сценарии, а заявленные языки — английский и китайский. Основное назначение модели — локальные задачи генерации текста, общения и рассуждений, включая работу с контекстом размером до 128K токенов. Сборка оптимизирована для потребительских GPU с 16 ГБ VRAM, Apple Silicon Mac и Linux-систем. Размер файла составляет около 12,1 ГБ; заявленное потребление памяти с 128K контекстом — примерно 14,2 ГБ. Для ускорения генерации предусмотрена Multi-Token Prediction (MTP) draft head в формате Q8_0, проверенная для слоя 64. Ключевая особенность — смешанная точность: критические эмбеддинги, выходные логиты и MTP-компоненты используют Q8_0 или F32, важные проекции внимания — Q4_K, отдельные матрицы внимания — Q3_K, а основные FFN/MLP-блоки — IQ2_M. Такой подход обеспечивает более высокое качество рассуждений по сравнению с обычной равномерной двухбитной квантизацией при меньшем размере, хотя качество и точность всё равно зависят от потерь квантизации. Модель позиционируется как uncensored, однако README не приводит подробного описания ограничений безопасности или результатов независимого тестирования. Лицензия — Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-8bit-MTP — конверсия модели Qwen/Qwen3.8-Flash-Next, подготовленная Vontra для Apple Silicon в формате MLX safetensors. Модель предназначена для мультимодальных сценариев с обработкой текста и изображений, включая чат и использование через OpenAI-совместимый API при наличии совместимого runtime. Архитектура представляет собой vision-language модель с разреженной mixture-of-experts архитектурой Qwen4Exp и причинным языковым моделированием. Всего языковая часть содержит около 125 млрд параметров, из которых активно используется около 6 млрд; дополнительно заявлены 51 млрд параметров в hashed bigram/trigram embedding и 4 млрд параметров в блоке native MTP. Модель поддерживает контекст до 262 144 токенов. Применяется равномерная 8-битная affine-квантизация с group size 32, тогда как мультимодальные модули и маршрутизаторы MoE сохранены в BF16. Native MTP включает один draft-блок Qwen4Exp для speculative decoding. Сильными сторонами являются уменьшенный по сравнению с BF16-вариантом объём весов, поддержка длинного контекста и потенциальное ускорение генерации с MTP: в приведённом тесте на Apple M3 Studio скорость выросла с 20,07 до 24,90 токена в секунду. Ограничения включают размер весов около 202,951 ГБ, необходимость runtime с явной поддержкой qwen4_exp и native MTP, а также зависимость поддержки изображений от версий MLX-VLM и oMLX. Приведённые показатели относятся только к генерации текста и могут меняться в зависимости от оборудования и условий запуска. Модель распространяется по Qwen Community License 1.0. Языки, точный перечень разрешённых сценариев и дополнительные ограничения лицензии в README не описаны.

Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

ENOSYS/Qwen3-Embedding-0.6B-250-v1-GGUF — экспериментальный вариант квантования модели Qwen3-Embedding-0.6B, опубликованный ENOSYS. Репозиторий содержит GGUF-файлы; для квантования использовалась нестандартная ветка LLaMA.cpp с небольшими патчами и калибровочными данными eaddario/imatrix-calibration на английском и русском языках. Тензоры представлены в F16, что рассчитано в том числе на совместимость с видеокартами NVIDIA Pascal. Модель предназначена для создания текстовых эмбеддингов и вычисления семантического сходства, например для семантического поиска и подбора релевантных предложений. README приводит оценки перплексии и расхождения распределений для вариантов квантования с разным числом бит на вес, но не описывает их как прямую оценку качества эмбеддингов. Доступна по лицензии Apache-2.0.