I.3Извлечение и структурирование данных

Это конвертированная в GGUF версия NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4, подготовленная автором репозитория для запуска через llama.cpp. Из конвертации исключены MTP-слои; веса сохранены в автоматически выбранном формате исходной модели. Модель предназначена для генерации текста и диалогового использования. Автор сообщает, что она запускалась на двух видеокартах RTX 5060 Ti по 16 ГБ, с контекстом до 1 048 576 токенов и квантизацией KV-кэша q8_0; по его оценке, для этого не требуется выгружать экспертные слои в оперативную память. Поддерживаемые языки по карточке: английский, испанский, французский, немецкий, итальянский и японский. Это конверсия исходной модели NVIDIA в GGUF для llama.cpp, а не самостоятельное дообучение; базовая модель — nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4. Репозиторий указывает лицензию «other», поэтому перед использованием следует проверить условия исходной модели и репозитория.

NVIDIA-Nemotron-Nano-12B-v2-GGUF — это набор GGUF-квантизаций языковой модели NVIDIA-Nemotron-Nano-12B-v2, разработанной NVIDIA и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В набор входят версии с точностью от BF16 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Полная BF16-версия занимает около 24,63 ГБ, а доступные квантизированные варианты — примерно от 5,69 ГБ. Квантизация выполнена с использованием imatrix на базе llama.cpp b6317. Архитектура исходной модели, число параметров, поддерживаемые языки, модальности и размер контекста в README не указаны; по представленным данным модель описывается как текстовая. Сильной стороной набора является широкий выбор уровней квантизации: Q6 и Q5 ориентированы на высокое качество, Q4 предлагают сбалансированный размер и качество, а Q3 и IQ3/IQ4 подходят для систем с ограниченной памятью. При этом более сильное сжатие может снижать качество генерации, а совместимость и производительность зависят от используемого приложения и оборудования. Лицензия в README не указана; условия следует уточнять на странице исходной модели NVIDIA-Nemotron-Nano-12B-v2.

nyun-c2-llama3-61B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Nyun AI. Она содержит 76,2 млрд параметров и рассчитана на генерацию текста с контекстом до 8 192 токенов. Модель предназначена для генерации и продолжения текста, диалоговых сценариев и задач на понимание языка. В README авторы сообщают, что модель получена оптимизацией без дополнительного дообучения и показывает результаты выше Llama 3 70B в нескольких приведённых бенчмарках, хотя уступает ей в MMLU. Файлы опубликованы в формате safetensors. Для использования действует лицензия Llama 3. Русский язык и специализированные предметные области в предоставленных источниках не заявлены.

Nyxene-v2-11B — текстовая генеративная модель на архитектуре Mistral, опубликованная beberik. Репозиторий содержит веса в формате BF16; в метаданных указано 10,6 млрд параметров и контекст до 32 768 токенов. Модель собрана с помощью mergekit из нескольких моделей, включая Starling-LM-7B-alpha, DPOpenHermes-7B, una-cybertron-7b-v2 и loyal-piano-m7-cdpo. Модель предназначена для генерации ответов на инструкции и запросы в формате, приведённом в карточке, а также для других задач генерации текста. В README приведены результаты Open LLM Leaderboard, включая среднюю оценку 67,84, ARC и HellaSwag; подробности оценки в доступном фрагменте отсутствуют. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Octen-Embedding-0.6B DirectML ONNX — конвертированное представление модели Octen/Octen-Embedding-0.6B, подготовленное для запуска через ONNX Runtime с DirectML на GPU в Windows. Граф ONNX исправлен для обработки форм тензоров внимания GQA с фиксированными размерами голов: 16 для Q и 8 для K и V. Репозиторий содержит веса FP16, токенизатор Qwen2 и конфигурацию с контекстом до 32 768 токенов. Модель предназначена для получения эмбеддингов и задач поиска по сходству предложений. В README приведены результаты на наборах esp32 и autosar; автор сообщает, что исправление графа сохраняет качество исходного CPU FP16 варианта. Распространяется по лицензии Apache-2.0.

OLMo 2 1B SFT April 2025 — англоязычная плотная авторегрессионная языковая модель Allen Institute for AI (Ai2), дообученная методом supervised fine-tuning на варианте набора Tülu 3 для OLMo. Она содержит 1,3 млрд параметров, принимает текст и генерирует текст; длина контекста — 4096 токенов. Модель предназначена для диалогов и широкого круга текстовых задач, включая математические вопросы и следование инструкциям. Модель загружается через Transformers и использует встроенный шаблон чата. Лицензия Apache 2.0. Карточка отмечает, что обучение безопасности ограничено: без дополнительной фильтрации модель может выдавать проблемные ответы, особенно при соответствующих запросах. README также описывает промежуточные контрольные точки для исследований дообучения с подкреплением.

bezzam/omniasr-llm-300m-v2 — версия модели семейства OmniASR LLM-ASR v2, размещённая пользователем bezzam и основанная на разработанной командой Omnilingual ASR модели Meta. Предназначена для автоматического распознавания речи: на вход подаётся аудио, на выходе получается текстовая транскрипция; доступна опциональная языковая подсказка. Семейство OmniASR создано для многоязычного распознавания, включая языки с ограниченными обучающими данными. Архитектура — энкодер-декодер: речевой энкодер на основе wav2vec 2.0 соединён с декодером, вдохновлённым LLM. Вариант 300M v2 содержит около 1,63 млрд параметров и относится к моделям с ограниченной длиной аудио; для более длинных записей в семействе есть отдельная версия Unlimited. Репозиторий автора содержит веса safetensors, а официальный проект сообщает о поддержке более 1600 языков в семействе OmniASR. Версия v2 относится к выпуску контрольных точек с улучшенной точностью распознавания по сравнению с ранними LLM-ASR моделями семейства. Omnilingual ASR и его модели выпущены под лицензией Apache 2.0. Конкретные оценки качества и ограничения этой HF-перепубликации отдельно в карточке не описаны; общие результаты семейства нельзя считать гарантией для каждого языка или аудиозаписи.

bartowski/open-thoughts_OpenThinker-32B-GGUF — набор GGUF-квантизаций модели OpenThinker-32B, разработанной проектом open-thoughts. Репозиторий подготовлен bartowski с использованием llama.cpp и метода imatrix; исходная модель обучена на датасете open-thoughts/open-thoughts-114k. Модель относится к генеративным текстовым моделям и предназначена для запуска локально через llama.cpp, LM Studio и совместимые проекты. Варианты доступны в форматах от F16 до Q3 и IQ3/IQ4 с размерами примерно от 13,71 до 65,54 ГБ. Более крупные варианты обеспечивают более высокое качество, тогда как варианты с меньшей разрядностью требуют меньше оперативной памяти, но могут заметно уступать по качеству. В README не указаны архитектура исходной модели, поддерживаемые языки, размер контекста и мультимодальные возможности. Для работы следует использовать шаблон сообщений с маркерами <|im_start|> и <|im_end|>. Модель распространяется по лицензии Apache-2.0. Ограничения включают высокие требования к памяти для полноразмерных и качественных квантованных вариантов, а также возможное снижение качества при использовании низкоразрядных форматов.

el4/Ornith-1.5-35B-A3B-ONYX-GGUF — это квантизированная GGUF-версия модели Ornith-1.5-35B-A3B от ornith-ai, подготовленная в рамках проекта ONYX. Модель предназначена для генерации текста и, судя по заявленным меткам, ориентирована на задачи рассуждений и локальный запуск через llama.cpp или Ollama. Архитектура исходной модели относится к классу Mixture-of-Experts (MoE), однако точные сведения о числе экспертов, активных параметрах, поддерживаемых языках, контекстном окне и мультимодальности в README не указаны. Ключевая особенность сборки — адаптивная квантизация ONYX, учитывающая чувствительность отдельных слоёв, вероятности маршрутизации MoE и масштабы активаций. Это позволяет сильнее сжимать менее востребованные эксперты и лучше сохранять параметры критически важных компонентов. Доступны варианты quality, balanced, compact и mini с ориентировочными размерами от 12 до 24 ГБ и различными типами квантизации, что даёт выбор между качеством, размером и требованиями к памяти. README не содержит сведений о лицензии, результатах бенчмарков или подтверждённых ограничениях качества.

Parakeet RNNT 1.1B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Это крупная версия FastConformer Transducer с примерно 1,1 млрд параметров и декодером RNNT; она принимает монофоническое аудио WAV с частотой 16 кГц и возвращает текстовую расшифровку строчными буквами английского алфавита. Модель предназначена для транскрибирования английской речи в аудиозаписях, в том числе разговоров, совещаний, лекций и подкастов. Она обучена на 64 тысячах часов английской речи из частных и открытых наборов данных; в README приведены результаты оценки WER для нескольких речевых корпусов. Модель доступна через NeMo и Transformers, а также может использоваться как исходный чекпойнт для дообучения. Лицензия — CC-BY-4.0. Модель специализируется на английском языке и формате входа 16 кГц, моно; показатели качества зависят от акцента, условий записи и предметной области.

Parakon 30B — сжатая версия Qwen3-30B-A3B-Instruct-2507, подготовленная Parakon. Модель предназначена для диалогов и генерации текста; карточка сообщает о сохранении качества на тестах рассуждений, математики, знаний и использования инструментов. На коде и строгом следовании формату инструкций качество снижается сильнее. Модель использует формат хранения Parakon и запускается через Parakon runtime. Опубликован runtime для CUDA; README приводит измерения скорости также для Metal и CPU на внутренних сборках, которые пока не опубликованы. В тестах указаны сжатие с 61 ГБ до 5,94 ГБ, медианное сохранение качества 88% и контекст до 262 144 токенов. Лицензия в метаданных обозначена как other.

Phi-3-mini-128k-instruct-IMat-GGUF — это GGUF-квантизированная версия инструкционной языковой модели microsoft/Phi-3-mini-128k-instruct, подготовленная пользователем legraphista с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты, в частности llama.cpp. В репозитории представлены варианты от исходных BF16 и F16 до различных уровней квантизации Q- и IQ-семейств, что позволяет выбирать между качеством, размером файла и требованиями к ресурсам. Для ряда вариантов применена IMatrix-квантизация на основе доступного калибровочного набора данных. Модель работает с текстом, заявлена для английского языка и имеет контекстное окно 128 тысяч токенов, унаследованное от базовой Phi-3-mini-128k-instruct. В README не указаны точное число параметров и подробности архитектуры базовой модели. Ключевые преимущества этой версии — широкий выбор форматов GGUF, возможность локального инференса и уменьшение размера модели за счёт квантизации; при этом более низкие уровни квантизации могут снижать качество по сравнению с BF16 или F16. Репозиторий распространяется по лицензии MIT, указанной для базовой модели.

Marsouuu/Qwen1_78-ECE-PRYMMAL-Martial — языковая модель для генерации текста, созданная сообществом путём слияния моделей Qwen2.5-1.5B и Qwen2.5-1.5B-Instruct методом SLERP с помощью mergekit. Она предназначена для диалогов и генерации ответов по текстовым запросам. Модель имеет плотную архитектуру Qwen2, содержит 1,5 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Модель распространяется в формате safetensors под лицензией Apache-2.0. Карточка приводит результаты отдельных тестов, включая IFEval и BBH; эти оценки не гарантируют качество на других запросах.

Qwen2.5-7B-Instruct-Q4_K_M-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, преобразованная пользователем paultimothymooney в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp в командной строке или в режиме сервера. Модель имеет размер 7B параметров и использует квантизацию Q4_K_M, что рассчитано на более экономичное использование памяти по сравнению с полноразмерной версией. Указана поддержка английского языка и текстовая модальность. В примере запуска серверу передаётся контекст размером 2048 токенов, однако максимальный размер контекста в карточке отдельно не указан. К сильным сторонам относятся совместимость с экосистемой llama.cpp, возможность локального развёртывания и сниженные требования к ресурсам благодаря квантизации. Ограничения связаны с тем, что карточка не содержит подробных сведений о качестве, бенчмарках, аппаратных требованиях и полном наборе поддерживаемых языков. Модель распространяется по лицензии Apache-2.0.

Aldaris/Qwen3-14B-Q4_K_M-GGUF — это квантизированная версия базовой модели Qwen/Qwen3-14B, преобразованная в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и запуска локально через llama.cpp, включая режим командной строки и серверный режим. Модель содержит 14 миллиардов параметров и использует квантизацию Q4_K_M, что уменьшает требования к памяти по сравнению с полной версией модели, но может снижать точность и качество генерации. В README указана текстовая модальность и поддержка запуска на Mac, Linux и оборудовании с аппаратным ускорением, включая Nvidia GPU; сведения о языках, архитектурных особенностях и максимальной длине контекста не приведены. В качестве примера запуска указан контекст размером 2048 токенов, однако это не обязательно максимальное значение модели. Модель подходит для локальных чат-сценариев, генерации текста и интеграции в приложения через llama.cpp. Лицензия указана как Apache 2.0; подробные характеристики и ограничения следует уточнять в карточке исходной модели Qwen/Qwen3-14B.

Это пакет GGUF-весов Qwen3.5-27B-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого запуска модели на локальном кластере. Пакет основан на unsloth/Qwen3.5-27B-MTP-GGUF и разбивает исходный GGUF на артефакты по слоям; библиотека запуска — Mesh LLM. Указанный вариант квантования — Q4_K_XL. Модель предназначена для локального чат-инференса, в том числе на нескольких машинах, когда целиком разместить GGUF на одном узле затруднительно. Mesh LLM позволяет подключить её через локальный API, совместимый с OpenAI Chat Completions. Карточка отсылает к исходной модели за сведениями об архитектуре, шаблоне чата, параметрах генерации и лицензии; здесь эти условия не приведены.

OpenVINO/Qwen3.5-4B-int4-ov — квантованная версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen и преобразованная в формат OpenVINO IR. Модель предназначена для диалоговых сценариев и задач «изображение–текст», включая анализ и описание изображений, а также генерацию ответов на текстовые запросы с визуальным контекстом. Модель имеет размер 4B параметров; точные сведения об архитектуре, поддерживаемых языках и максимальной длине контекста в карточке не указаны. Веса сжаты до INT4 в асимметричном режиме с размером группы 128, что уменьшает требования к памяти, но может сопровождаться потерей качества по сравнению с исходной моделью. Для запуска используются OpenVINO и Optimum Intel; заявлена совместимость с OpenVINO 2026.2.0 и новее и Optimum Intel 1.27.0 и новее. Ограничения следует уточнять в карточке исходной Qwen3.5-4B. Модель распространяется по лицензии Apache License 2.0.

Felldude/Qwen3.5-4B-Uncensored-FP8 — дообученная автором Felldude мультимодальная модель семейства Qwen3.5 с плотной архитектурой Qwen3_5ForConditionalGeneration. Она предназначена для диалогов и генерации текста по текстовым и визуальным входам, включая описание изображений и задачи рассуждения. В README заявлены обучение на зрительных данных, цепочках рассуждений и задачах reasoning, а также варианты работы с включённым и выключенным режимом THINK. Базовая модель содержит 4 млрд параметров. Репозиторий содержит веса Safetensors и помечен как FP32; README рекомендует эту версию для последующей квантизации или конвертации в BF16/FP16. Указаны возможности vision, chat и интерфейс вызова инструментов. Карточка заявляет поддержку 201 языка и диалекта, но не уточняет языки отдельно. Лицензия — Apache-2.0. Утверждения README о неконтентной фильтрации и результатах тестирования приведены автором модели и не являются независимой оценкой качества.

Это частный чекпойнт Exolabs, полученный преобразованием весов Qwen3.5-9B Q4_K_M из GGUF в формат Hugging Face/vLLM BF16. Исходные веса были деквантизированы в FP32, приведены к раскладке тензоров, используемой Hugging Face и vLLM, затем преобразованы в BF16; конфигурация, токенизатор и шаблон чата взяты из Qwen/Qwen3.5-9B. Метаданные описывают модель как плотную мультимодальную архитектуру Qwen3.5 с поддержкой обработки изображений и текста, диалога и интерфейса вызова инструментов. Модель предназначена для диалоговых и мультимодальных сценариев, включая ответы на вопросы по изображениям. В README приведена проверка запуска на vLLM 0.23.0 с ограничением контекста 4096 токенов и режимом только языковой модели; показаны базовые проверки генерации текста. Исходная модель содержит 9 млрд параметров. Указанная лицензия — Apache-2.0. Весовая точность BF16 получена из квантованного источника Q4_K_M, поэтому восстановление в BF16 не возвращает точность исходных неквантованных весов. README приводит только простые проверки генерации, без количественной оценки качества; запуск проверен с указанными настройками vLLM.

RobinsonLabs Qwen3.5-REAP-212B-A17B-abliterated-GGUF — набор GGUF-квантизаций текстовой MoE-модели, производной от OpenMOSE/Qwen3.5-REAP-212B-A17B. Базовая модель получена сокращением числа экспертов Qwen3.5-397B-A17B-A17B на 48% методом REAP и содержит 212 млрд параметров всего, из которых около 17 млрд активны. Публикацию подготовила RobinsonLabs. Модель предназначена для генерации текста и локального запуска через совместимое ПО, включая llama.cpp. Архитектура qwen35moe включает 60 декодерных слоёв: 45 слоёв с линейным вниманием DeltaNet и 15 слоёв с полным вниманием, 267 экспертов MoE и размер скрытого состояния 4096. Представлен только текстовый путь, без vision mmproj; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Модель подвергнута abliteration — ортогонализации весов для снижения жёстких отказов на запросы, связанные со взрослым и творческим контентом. При этом заявлено сохранение защитных механизмов против самоповреждения и содействия реальным противоправным действиям. Доступны imatrix-взвешенные варианты от Q5_K_M размером около 150 ГБ до IQ2_XXS размером около 56 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Ограничения включают очень большой объём файлов, зависимость качества от выбранной квантизации и маркировку not-for-all-audiences. Лицензия Apache-2.0 унаследована от базовой модели.

llmfan46/Qwen3.6-27B-uncensored-heretic-v2-GGUF — набор GGUF-квантизаций 27-миллиардной модели Qwen3.6-27B, подготовленный независимым разработчиком llmfan46. Это декензурированная версия исходной модели, созданная с помощью Heretic 1.2.0 и варианта метода Magnitude-Preserving Orthogonal Ablation (MPOA), который применялся к компонентам attn.o_proj, attn.out_proj и mlp.down_proj. Модель предназначена для локального запуска в формате GGUF и универсальных задач генерации текста, рассуждений и ответов на вопросы с меньшим числом отказов и ограничений. По данным README, в тесте на 100 запросах она отказала в 6 случаях против 92 у оригинальной модели, а KL-дивергенция относительно исходной версии составила 0,0021, что указывает на близость поведения к базовой модели. Для оригинальной Qwen3.6-27B также приведён результат MMLU: 86,65% точности на 7021 вопросе, однако отдельный результат декензурированной версии не указан. К сильным сторонам относятся сохранение близости к исходной модели и существенно меньшее количество отказов. Ограничения — возможное снижение защитных ограничений, потенциальные риски генерации нежелательного или небезопасного контента, а также отсутствие в представленном README сведений о конкретных квантизациях, размере контекста, поддерживаемых языках и фактических мультимодальных возможностях, несмотря на тег image-text-to-text. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-29B-REAP-Opus-Reasoning-Distill-MTP-GGUF — набор GGUF-квантизаций модели, разработанной barozp. В основе лежит MoE-модель Qwen3.6-35B-A3B, сокращённая методом REAP до 205 из 256 экспертов, объединённая с LoRA-адаптером, дистиллированным из Opus reasoning, и дополненная головкой Multi-Token Prediction (MTP), восстановленной из исходного неприженного чекпойнта. Модель предназначена для генерации текста и задач рассуждения; поддерживаемые языки и размер контекстного окна в README не указаны. Главная особенность версии — поддержка самоспекулятивного декодирования: MTP-головка предварительно предлагает токены, а базовая модель проверяет их. В тестах с llama.cpp это обеспечило ускорение генерации на 39–67% при включённом speculative decoding, без измеримого ухудшения качества по сравнению с версией без MTP. Доступны варианты от BF16 до экстремальных IQ1_M; квантизации Q и IQ различаются требованиями к памяти, совместимостью, скоростью и потерями качества. Для квантизаций до Q4_K_M использовалась importance matrix. Для использования MTP требуется современная сборка llama.cpp или совместимый интерфейс с явным включением режима draft-mtp; без этого модель работает как обычная GGUF-модель, а в некоторых конфигурациях спекулятивное декодирование может почти не ускорять генерацию или даже замедлять её. Требования к ресурсам зависят от квантизации: размер файлов составляет примерно от 7,2 до 57,9 ГБ. Лицензия — Apache-2.0.

Это частная сборка Exolabs на основе Qwen3.6-35B-A3B, подготовленная для запуска в vLLM. Веса получены из файла Q4_K_M GGUF модели bartowski/Qwen_Qwen3.6-35B-A3B: их деквантизировали в FP32, преобразовали в раскладку HF/vLLM и сохранили в BF16. Конфигурация, токенизатор, шаблон чата и параметры генерации взяты из Qwen/Qwen3.6-35B-A3B. Модель предназначена для диалогов и обработки изображений; метаданные также отмечают интерфейс вызова инструментов. В README приведена проверка запуска на vLLM 0.23.0 с ограничением контекста 4096 токенов и режимом language-model-only. Указанная в метаданных архитектура — Qwen3.5 MoE, класс Qwen3_5MoeForConditionalGeneration; базовая модель содержит 35 млрд параметров. Репозиторий помечен лицензией «other», поэтому конкретные условия следует проверять в файлах лицензии модели. README описывает деквантизацию и преобразование представления весов, но BF16-выход из исходного Q4_K_M не возвращает потерянную при исходной квантизации точность; также приведённый запуск ограничивает длину контекста 4096 токенами.

Это GGUF-сборка модели Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved, подготовленная cvgro с применением смешанной квантизации APEX. В модели сохранены 20 слоёв MTP для спекулятивного декодирования; README заявляет о возможном ускорении генерации на 20–50% при соответствующих настройках llama.cpp. Модель основана на мультимодальной MoE-модели Qwen3.6-35B-A3B и принимает текстовые и визуальные запросы, выдавая текст. Сборка предназначена для диалога, генерации текста и работы с изображениями. Базовая модель была модифицирована Heretic и MPOA для снижения числа отказов, а эта версия дополнительно упакована в GGUF с вариантами APEX, включая F16. README утверждает, что APEX сохраняет качество при меньшем размере файлов, но приведённые таблицы сравнений в карточке опущены. Репозиторий распространяется по лицензии Apache-2.0. Для запуска README приводит примеры с llama.cpp и Ollama; указанный в примере контекст — 131072 токена. Это рекомендация для запуска, а не подтверждённый метаданными предел контекста модели.

Qwen3.8-20B-Minitron — экспериментальная производная модель exnivo на базе Qwen/Qwen3.8-27B. Это плотная мультимодальная модель с архитектурой Qwen3.5 и классом Qwen3_5ForConditionalGeneration, принимающая текст и изображения и предназначенная для диалогов и генерации ответов по визуальному содержимому. Модель уменьшена структурным удалением слоёв: число языковых слоёв сокращено с 64 до 44, а размер — с 27,357 до 19,746 млрд параметров; это не квантизация. После удаления слоёв модель восстанавливали дистилляцией по логитам исходной модели, обучением на текстовых, учебных, математических и кодовых данных, а также корректировкой с помощью LoRA с последующим слиянием адаптера в веса. Разработчик приводит результаты собственных проверок, но они не являются стандартизованными бенчмарками. Модель распространяется в формате safetensors под лицензией Apache-2.0. Качество и устойчивость могут уступать исходной модели; особенно отмечена слабость в рассуждениях о последовательностях и шаблонах, а также ошибки при необычных формулировках. Восстановление и оценка были сосредоточены главным образом на тексте, поэтому возможности сохранённой визуальной части проверены ограниченно.

Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS-MLX-mixed-6bit — это квантизированная версия модели KridgeDookie/Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS, преобразованная в формат MLX с использованием mlx-vlm 0.6.13. Модель предназначена для запуска в экосистеме MLX и заявлена как решение для задач image-text-to-text, то есть обработки текстовых и визуально-текстовых запросов. README не указывает точную архитектуру, размер контекстного окна и дополнительные сведения о мультимодальных компонентах. Модель использует смешанную аффинную квантизацию: большинство тензоров представлены в 4-, 6- или 8-битном формате с размером группы 32; итоговая точность составляет 6,096 бит на вес. По заявлению README, конфигурация reasoning_effort по умолчанию установлена в low, чтобы снизить избыточное рассуждение. Поддерживаются английский, китайский, русский, испанский, французский, итальянский, японский, корейский и ряд других языков, перечисленных в карточке модели. К сильным сторонам относятся уменьшенный объём хранения и потенциально более низкие требования к памяти по сравнению с полноразмерной моделью, а также многоязычность и поддержка режимов reasoning и instruct. К ограничениям относятся возможные потери качества из-за квантизации, отсутствие в README подробных бенчмарков и точных требований к оборудованию, а также предупреждение, что увеличение presence_penalty может привести к смешению языков и небольшому снижению производительности. Для thinking mode рекомендованы temperature 1.0, top_p 0.95 и top_k 20, а для instruct-режима — temperature 0.7, top_p 0.80, top_k 20 и presence_penalty 1.5. Модель распространяется по лицензии Apache-2.0. Указанная лицензия относится к исходной модели Qwen3.8-27B; для практического использования следует также учитывать условия базовой модели и происхождение производной версии.

Qwen3.8-27B-ROCmFPX-GGUF — производная от базовой модели Qwen3.8-27B, разработанной командой Qwen. Репозиторий lmcoleman содержит квантизированную версию, подготовленную с использованием MagicQuant и AMD-ориентированных форматов ROCmFPX; сборка оптимизирована для AMD Strix Halo с графикой gfx1151. Модель предназначена для генерации текста и диалоговых сценариев, а при подключении файла mmproj поддерживает обработку изображений. Модель имеет размер 27 млрд параметров и распространяется в формате GGUF. Доступны гибридные варианты Q4 размером около 15,7 ГБ и Q6 размером около 22,2 ГБ; конфигурации используют разные схемы квантизации для отдельных групп тензоров, а чувствительные слои могут сохраняться в F16, BF16 или F32. В README заявлен английский язык. Для запуска приведены примеры с контекстом 8192 токена, однако максимальный размер контекста не указан. Сильной стороной является сочетание значительного уменьшения размера с небольшими измеренными потерями качества: для теста на wikitext-2 заявлены значения perplexity 6,7611 для Q4 и 6,7579 для Q6 при базовом значении BF16 6,7443. Q4 рекомендован как наиболее рациональный вариант по соотношению размера и качества. Главные ограничения — экспериментальный характер ROCmFPX и совместимость только со специальной форкой llama.cpp, собранной из исходников; стандартные llama.cpp, LM Studio и Ollama эти файлы не загружают. Лицензия — Apache 2.0, применяемая к производной модели согласно лицензии базовой модели.

Qwen3.8 27B Uncensored — GGUF — это набор общественно подготовленных квантованных версий языковой модели Qwen3.8 с примерно 27 млрд параметров. Репозиторий предназначен для запуска через llama.cpp и другие совместимые с GGUF движки; конкретный разработчик исходной модели в README не указан, указано лишь семейство Qwen и формат community GGUF quantizations. Модель предназначена для локальной генерации текста, диалоговых сценариев, экспериментов с инференсом и сравнения компромиссов между качеством, скоростью и потреблением памяти. Доступны варианты от исходной точности F16 размером около 52 ГБ до Q2_K размером около 11 ГБ. Рекомендуемым универсальным вариантом назван Q4_K_M размером примерно 16 ГиБ; более высокие уровни квантования обычно требуют больше памяти, а варианты Q3 и Q2 рассчитаны на ограниченные ресурсы. Ключевое преимущество набора — широкий выбор форматов квантования, полученных непосредственно из исходной F16-версии, что позволяет подбирать конфигурацию под оборудование и рабочую нагрузку. Ограничения включают потери качества, неизбежные при квантовании, причём они становятся заметнее на низких разрядностях. Результаты также зависят от контекста, промптов, параметров сэмплирования, оборудования и движка инференса; авторитетные сравнительные бенчмарки на момент описания отсутствуют. В README указана лицензия Apache-2.0, при этом условия исходной модели, включая требования к использованию и атрибуции, сохраняются.

Qwen3.8-27B-Uncensored-NInfer — это конверсия модели orcarouter/Qwen3.8-27B, основанной на Qwen/Qwen3.8-27B, в самодостаточный формат .ninfer. Артефакт подготовлен для runtime NInfer-4090 и видеокарты RTX 4090 с архитектурой sm_89; конверсия является только изменением формата развертывания и не включает дополнительное обучение или изменение поведения исходной модели. Разработчик и автор конверсии указаны как pyros-vault. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений и видео через режим Vision. В комплект встроены веса, токенизатор, chat template, конфигурации генерации и ресурсы обработки изображений и видео. Размер модели — 27B параметров; используется смешанная точность и групповая квантизация, включая варианты Q4G64, Q5G64, Q6G64 и W8G32. Поддерживается speculative decoding с MTP на один–пять черновых токенов. В проверенных конфигурациях использовалась емкость контекста 4096 токенов, но фактическое потребление памяти также зависит от KV-состояния, рабочих областей и уровня параллелизма. Сильной стороной является оптимизация под RTX 4090 и возможность существенно ускорить декодирование с MTP: в одном интеграционном тесте был зафиксирован результат 155,42 токена в секунду против 46,68 токена в секунду в базовом режиме. Эти измерения относятся к одному сценарию и не являются универсальным бенчмарком. Артефакт требует совместимого native-сборки NInfer-4090 с целевым Qwen3.8; он не предназначен для Transformers, llama.cpp или сторонних форков NInfer. Заявления об «uncensored» и «abliterated» не подтверждены независимо в рамках этой конверсии. Лицензия — Apache-2.0.

mlx-community/Qwen3-8B-Base-bf16 — текстовая авторегрессионная модель семейства Qwen3 с плотной архитектурой Qwen3ForCausalLM и 7,6 млрд параметров. Репозиторий mlx-community содержит версию для MLX, преобразованную из Qwen/Qwen3-8B-Base с помощью mlx-lm 0.24.0. Модель предназначена для генерации текста и дальнейшей адаптации под прикладные задачи. Она принимает текст и выдаёт текст; нативная длина контекста составляет 32 768 токенов. В метаданных указана лицензия Apache-2.0. README не приводит сведений о конкретной языковой специализации или оценках качества.