II.3Рефакторинг, миграция и модернизация

L3.3-MS-Evayale-70B-GGUF — GGUF-квантизированная версия модели L3.3-MS-Evayale-70B, разработанной Steelskull и подготовленной bartowski. Это текстовая генеративная модель для запуска локально через llama.cpp и совместимые приложения, включая LM Studio. Модель создана на основе merge-модели, однако подробности об исходных компонентах в README не приведены. Модель имеет около 70 млрд параметров и поддерживает несколько вариантов квантизации: от Q8_0 с максимальным качеством до Q2_K_L с существенной экономией памяти. Доступны форматы Q4, Q5, Q6, Q8, IQ и другие варианты, включая специальные сборки для ARM и AVX. В README указан шаблон промпта с системными и пользовательскими сообщениями, совместимый с форматом Llama 3.3. Модальность — текстовая; сведения о языках и размере контекста не указаны. Сильной стороной модели является широкий выбор квантизаций, позволяющий подобрать баланс между качеством, размером файла и требованиями к памяти; для большинства сценариев автор рекомендует Q4_K_M, Q5 и Q6-варианты. Более компактные сборки подходят для систем с ограниченным объёмом RAM, но обеспечивают более низкое качество. Некоторые варианты оптимизированы для ARM, однако отдельные сборки не рекомендуется использовать на Mac или с GPU. Лицензия в предоставленном README не указана.

TheBloke/Llama-2-7B-AWQ — это 4-битная AWQ-квантизированная версия языковой модели Llama 2 7B, разработанной Meta. Модель предназначена для генерации текста и поддерживает английский язык. Квантизацию выполнил TheBloke на основе оригинальной модели meta-llama/Llama-2-7b-hf. Модель содержит около 7 млрд параметров, использует архитектуру Llama и рассчитана на работу с последовательностями длиной до 4096 токенов. Формат AWQ оптимизирован для эффективного GPU-инференса; опубликованная версия использует параметры 4-bit, group size 128 и занимает около 3,89 ГБ. Модель может применяться в задачах генерации текста и развёртываться для многопользовательского инференса с помощью vLLM или AutoAWQ. Ключевые преимущества — существенно меньшие требования к памяти и возможность использовать более доступные GPU по сравнению с полноразмерной моделью. AWQ также поддерживает высокопроизводительный инференс и непрерывную пакетную обработку в vLLM, однако в README отмечено, что общая пропускная способность может быть ниже, чем у неквантизированной модели. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Лицензия указана как llama2.

Llama3.3-70B-CogniLink-i1-GGUF — квантизированная GGUF-версия модели Daemontatox/Llama3.3-70B-CogniLink, подготовленная mradermacher. Это текстовая языковая модель семейства Llama с 70 миллиардами параметров, ориентированная на генерацию текста, выполнение инструкций и задачи, требующие рассуждений. Модель обучалась с использованием наборов данных Daemontatox/Deepthinking-COT и gghfez/QwQ-LongCoT-130K-cleaned; заявленный язык — английский. Поддержка других языков, мультимодальность и размер контекстного окна в README не указаны. Модель предназначена для локального запуска в приложениях и средах, совместимых с форматом GGUF. Доступно множество вариантов квантизации размером примерно от 15,4 до 58 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством; README отмечает, что вариант i1-Q4_K_M является быстрым и рекомендуемым, а некоторые низкобитные варианты имеют пониженное качество. К ограничениям относятся возможная потеря качества из-за квантизации, высокие требования к ресурсам у 70B-версии и отсутствие опубликованных в README количественных результатов тестирования. Модель распространяется по лицензии Apache-2.0.

Llama-3-8B-Ultra-Instruct-GGUF — квантованные версии инструкционной языковой модели Llama-3-8B-Ultra-Instruct. Исходная модель связана с elinas/Llama-3-8B-Ultra-Instruct и базируется на Undi95/Meta-Llama-3-8B-Instruct-hf; квантования подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях, где важны автономность и умеренные требования к памяти. Это текстовая модель с примерно 8 млрд параметров, представленная в формате GGUF и совместимая с llama.cpp. Доступны варианты квантования от Q8_0 до IQ1_M размером примерно от 2,16 до 8,54 ГБ. Более качественными считаются Q6_K, Q5_K_M, Q5_K_S и ряд вариантов Q4; низкобитные версии экономят память, но снижают качество. В README не указаны языки, размер контекста, поддержка других модальностей и результаты бенчмарков. Для работы следует использовать специальный chat-шаблон Llama 3 с ролями system, user и assistant. Модель подходит для локальных чат-ботов, генерации и преобразования текста, а также других задач следования инструкциям. Сильные стороны — широкий выбор квантований, возможность запуска на ограниченных ресурсах и сохранение высокого качества в старших вариантах. Ограничения связаны с потерями качества при сильном квантовании; варианты Q3 и ниже имеют заметно более низкое качество, а IQ1_M не рекомендуется. Лицензия указана как llama3.

Local AI Toolkit — это подборка локально запускаемых моделей и инструментов, опубликованная под идентификатором m15dg/local-ai-toolkit. Коллекция собрана с использованием AI-подбора и предназначена как отправная точка для локального AI-окружения, а не как единая модель. Она ориентирована на работу на потребительском оборудовании с NVIDIA RTX 3060 с 12 ГБ видеопамяти и 32 ГБ оперативной памяти. В состав входят модели для универсальной генерации текста, программирования и кодовых агентов, координации multi-agent систем, RAG и анализа документов, embeddings и reranking, синтеза речи, распознавания речи, мультимодального анализа изображений и текста, а также uncensored-варианты. Заявлены форматы GGUF и SafeTensors; для отдельных сценариев предусматриваются GPU и CPU offload либо полностью GPU-ориентированный запуск. Поддерживаются английский и персидский языки, однако характеристики отдельных моделей, включая архитектуру, размеры, контекст и точные мультимодальные возможности, зависят от конкретных компонентов коллекции. Сильной стороной является подборка моделей, адаптированная под ограниченный бюджет памяти и различные локальные сценарии — от диалогов и генерации кода до RAG, агентов и речи. Ограничения заключаются в том, что это незавершённый и периодически обновляемый набор рекомендаций: заявленные возможности и качество не являются гарантированными, а Image Generation и Video Generation на момент описания отсутствуют. Лицензия указана как other; отдельные лицензии входящих моделей в README не приведены.

Mungert/Meta-Llama-3-8B-GGUF — модель для генерации текста на базе Meta Llama 3, разработанной Meta. Судя по идентификатору, это 8-миллиардная версия модели, представленная в формате GGUF, предназначенном для локального или совместимого с GGUF инференса. В карточке указана англоязычная поддержка и задача text-generation. Модель может использоваться для генерации и продолжения текста, ответов на запросы и других сценариев обработки естественного языка. Точная архитектура, размер контекста, варианты квантования, системные требования и дополнительные модальности в README не указаны; подтверждена только текстовая генерация, поэтому модель следует рассматривать как текстовую, без заявленной поддержки изображений, аудио или других модальностей. К сильным сторонам относятся компактный по современным меркам размер 8B и формат GGUF, потенциально удобный для локального запуска, однако конкретные преимущества производительности зависят от варианта квантования и используемого программного обеспечения. Ограничения модели, показатели качества и детальные сведения о тренировочных данных не приведены. Использование регулируется Meta Llama 3 Community License: при распространении материалов или продуктов необходимо соблюдать условия лицензии, включая требования к атрибуции, обозначению «Built with Meta Llama 3», Acceptable Use Policy и специальные коммерческие условия для организаций с более чем 700 миллионами ежемесячных пользователей.

RedHatAI/Meta-Llama-3-8B-Instruct-FP8-KV — это квантованный вариант Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для генерации текста и диалоговых сценариев с использованием vLLM; чекпойнт подготовлен с помощью AutoFP8 и калибровочных примеров из ultrachat. Модель содержит 8B параметров и использует FP8-квантизацию весов и активаций с покомпонентным масштабированием на уровне тензоров. Дополнительно в чекпойнт включены масштабы для FP8-квантизации KV-кэша, что позволяет включать этот режим через параметр kv_cache_dtype="fp8" в vLLM. Для работы требуется vLLM версии 0.5.0 или новее. Данные о поддерживаемых языках, размере контекста и мультимодальности не указаны. К преимуществам относятся снижение требований к памяти и возможность эффективного инференса с FP8 KV-кэшем. По результатам Open LLM Leaderboard показатель gsm8k в режиме 5-shot составляет 74,98 против 75,44 у исходной модели и 74,37 у варианта FP8 без квантованного KV-кэша, что указывает на близкое качество в этом тесте. Ограничения включают возможную потерю точности из-за квантизации и зависимость от совместимой версии vLLM. Лицензия в README не указана.

MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp-GGUF — набор файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе модели Weyaxi/MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp. Модель предназначена для генерации текста и может использоваться в локальных приложениях, чат-интерфейсах и системах, поддерживающих GGUF, включая llama.cpp, text-generation-webui, LM Studio, GPT4All, KoboldCpp и llama-cpp-python. В репозитории представлены варианты квантования с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Точные размер модели, архитектура исходной модели, максимальная длина контекста и поддерживаемые языки в README не указаны. Формат ориентирован на эффективный запуск, в том числе с GPU-ускорением, однако квантование может влиять на качество по сравнению с полноразмерной версией. Модель распространяется по лицензии Apache-2.0.

jigs97022/minicpm5-2b-distilled-reasoning-gguf — квантованная версия MiniCPM5-2B с дистиллированными рассуждениями, разработанная пользователем jigs97022 на базе модели MiniCPM5-2B от OpenBMB. Модель обучена на 10 тысячах высококачественных трасс рассуждений, полученных от Qwen3.8-Max, GLM-5.2 и Kimi K3, и предназначена для генерации текста, структурированного решения математических задач, написания кода, логических головоломок и сценариев с использованием инструментов. Доступна в формате GGUF для локального запуска через llama.cpp, Ollama, LM Studio и vLLM. Модель имеет размер 2B параметров и поддерживает контекст до 4096 токенов. Предлагаются варианты квантования Q4_K_M, Q6_K и Q8_0 объёмом примерно от 1,56 до 2,68 ГБ; они ориентированы соответственно на сбалансированную работу на ноутбуках, более высокое качество на настольных системах и минимальные потери качества. Сильными сторонами являются компактность, возможность локального CPU/GPU-инференса и специализация на пошаговом рассуждении. Ограничения включают меньший объём обучающих данных по сравнению с полноразмерными вариантами, возможное снижение качества на редких случаях, ограниченное контекстное окно, базу знаний примерно до 2024 года и склонность к подробным внутренним рассуждениям. Модель распространяется по лицензии Apache-2.0, однако для коммерческого использования рекомендуется отдельно проверить лицензию набора данных для дистилляции.

OsaurusAI подготовила для Apple Silicon сборку JANG_6M модели Nanbeige4.2-3B — диалоговой языковой модели с архитектурой Looped Transformer. В README указаны 22 слоя, выполняемые дважды с общими весами, что даёт эффективную глубину 44 слоя; размер весов — 4,17 млрд параметров. Контекст составляет 256K токенов. Модель дообучена на базе Nanbeige/Nanbeige4.2-3B и представлена в формате MLX safetensors с 6-битными аффинными весами и 8-битным attention; метаданные указывают библиотеку MLX и лицензию Apache-2.0. Модель предназначена для диалогов, генерации текста, рассуждений и агентных сценариев с вызовом инструментов на английском и китайском языках. README приводит результаты проверки близости к исходной версии bf16 и скорости генерации на M5 Max, но они относятся к описанной аппаратной конфигурации и тестам автора. Для корректной работы требуется загрузчик, поддерживающий архитектуру Nanbeige с циклическим выполнением слоёв и 44 слотами KV-кэша; общий загрузчик или один только mlx_lm.generate без соответствующего класса модели может выдавать неверные ответы. Сборка предназначена для Apple Silicon и распространяется по лицензии Apache-2.0.

Nemotron-Mini-4B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Nemotron-Mini-4B-Instruct, разработанной NVIDIA и квантизированной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локального инференса, в том числе через LM Studio. Указан английский язык; поддерживается текстовая модальность. Формат запроса требует специальных маркеров для системных, пользовательских и ассистентских сообщений. Доступны варианты от исходных весов F16 размером 8,39 ГБ до компактных квантизаций IQ3_M размером 2,18 ГБ. Предлагаются форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и другие, включая варианты, оптимизированные для ARM-процессоров. Некоторые сборки используют Q8_0 для embedding- и output-весов, что может улучшать сохранение качества. Ключевое преимущество набора — выбор между качеством, размером и требованиями к памяти; ограничение — снижение качества при более агрессивной квантизации. Сведения о размере контекста и архитектуре базовой модели в README не указаны. Модель распространяется по лицензии NVIDIA Community Model License; условия следует уточнять в документе лицензии NVIDIA.

NorMistral-7b-warm-instruct — инструкционно дообученная языковая модель, разработанная командой NorwAI/норвежского проекта NorMistral. Она предназначена для диалогового взаимодействия, генерации текста, ответов на вопросы, следования инструкциям и задач программирования преимущественно на норвежских языках. Модель основана на NorMistral-7b-warm и содержит около 7 миллиардов параметров. Это текстовая авторегрессионная модель семейства Mistral с поддержкой Bokmål и Nynorsk; в карточке также заявлен норвежский язык. Дообучение выполнено на открытых наборах данных Aya, OASST, OIG, No Robots, Dolly и Glaive code assistant. Контекстное окно при дообучении составляет 4096 токенов, что вдвое больше, чем у базовой модели. Для диалогов используется ChatML-подобный шаблон. Сильными сторонами модели являются специализация на норвежском языке, открытость для коммерческого применения и поддержка многоходовых диалогов. При этом выпущенные веса обозначены как рабочая версия, модель прошла только этап supervised fine-tuning без оптимизации предпочтений, а качество и поведение могут измениться в будущих версиях. Для использования рекомендуется корректно применять шаблон чата и параметры генерации, указанные авторами. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия инструкционной языковой модели Llama-3.1-8B-UltraLong-4M-Instruct, разработанной NVIDIA и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на запросы и работу с очень длинными контекстами; обозначение UltraLong-4M указывает на поддержку контекста до 4 миллионов токенов. В карточке указано, что модель ориентирована на английский язык и относится к текстовой модальности. Модель содержит 8 миллиардов параметров и распространяется в формате GGUF, совместимом с llama.cpp, LM Studio и другими проектами на его основе. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций с размером файлов примерно от 4,3 до 16,1 ГБ. Квантизации выполнены с использованием imatrix, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью инференса; наиболее качественными названы BF16, Q8_0 и варианты Q6, а Q4 и Q3 подходят для систем с меньшим объёмом оперативной памяти. Основные ограничения связаны с использованием квантизированных вариантов: уменьшение размера может сопровождаться снижением качества по сравнению с исходными весами, а требования к памяти при работе с контекстом в миллионы токенов остаются высокими. Для корректной работы следует использовать рекомендованный шаблон prompt формата Llama 3.1. Лицензия модели — CC-BY-NC-4.0, допускающая использование с некоммерческими ограничениями.

Это четырёхбитная версия модели NVIDIA Nemotron Nano 9B v2, подготовленная сообществом mlx-community для запуска в формате MLX. Исходная модель разработана NVIDIA; эта версия преобразована из nvidia/NVIDIA-Nemotron-Nano-9B-v2 с помощью mlx-lm 0.26.3. Метаданные относят её к генеративным языковым моделям для диалога и указывают интерфейс вызова инструментов. Модель предназначена для генерации ответов в чате и выполнения инструкций; базовая модель также рассчитана на программирование и управляемое рассуждение. Карточка связывает её с английским, испанским, французским, немецким, итальянским и японским языками. Лицензия указана как other, поэтому условия следует уточнять на странице репозитория и базовой модели. Четырёхбитное представление и формат MLX предназначены для локального инференса на совместимом оборудовании; количественные показатели качества в карточке не приведены.

Это GGUF-квантизированная версия языковой модели OpenReasoning-Nemotron-14B, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель имеет размер 14 миллиардов параметров; README не сообщает точную архитектуру, поддерживаемые языки и размер контекстного окна. Доступны варианты от полноточного BF16 до более компактных форматов Q8, Q6, Q5, Q4, Q3 и IQ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но сильнее теряют в качестве. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5_K_M, Q6_K и Q6_K_L; Q4_1 и Q4_0 используют устаревший формат, но могут быть полезны на некоторых CPU и Apple silicon. Сильная сторона этой версии — широкий выбор квантизаций для локального запуска на оборудовании с разным объёмом памяти. Ограничения связаны с неизбежной потерей качества при низких уровнях квантизации, а также с отсутствием в README подробностей о возможностях исходной модели, языках и контекстном окне. Лицензия в предоставленных данных не указана.

Orion-14B-Chat — диалоговая языковая модель компании OrionStarAI, дообученная для интерактивного общения на основе Orion-14B, обученной с нуля на многоязычном корпусе объёмом 2,5 трлн токенов. Модель имеет плотную архитектуру OrionForCausalLM и 14,1 млрд параметров; её основной сценарий — генерация ответов в диалоге, также заявлена поддержка задач с кодом. Модель рассчитана на общение на китайском, английском, японском и корейском языках. Длина контекста этой версии — 4096 токенов. В репозитории представлены форматы PyTorch и GGUF. Для развёртывания можно использовать Transformers, vLLM или llama.cpp. Карточка описывает её как модель, дообученную на высококачественном корпусе для интерактивного взаимодействия. Лицензия в предоставленных данных не указана, поэтому условия использования по ним установить нельзя.

phi-2-dpo-7k — дообученная на диалоговых данных модель семейства Phi-2, опубликованная mlx-community на Hugging Face. Она предназначена для генерации текста в формате общения и может использоваться для ответов на запросы и ведения диалога. Модель основана на Microsoft Phi-2: плотная архитектура PhiForCausalLM, около 3,5 млрд параметров и контекст до 2048 токенов. В README указано дообучение на 7 тысячах диалоговых примеров из наборов Orca pairs, UltraFeedback ratings и Capybara-DPO. Репозиторий содержит веса Safetensors и ориентирован на использование с MLX. В метаданных указан английский язык и возможность работы с кодом. Лицензия — MIT. Карточка отсылает к описанию исходной Phi-2 за дополнительными сведениями.

OpenVINO/Phi-3-mini-4k-instruct-int4-ov — это квантизированная версия Phi-3-mini-4k-instruct, разработанной Microsoft. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT4 с помощью NNCF. Это инструкционно настроенная языковая модель для генерации текста и диалоговых сценариев; поддерживается инференс через Optimum Intel и OpenVINO GenAI. Ключевые характеристики включают асимметричное INT4-сжатие весов с размером группы 64 и коэффициентом сжатия 1. В названии указано окно контекста 4k. Модель предназначена для запуска в экосистеме OpenVINO, в том числе на CPU, и совместима с OpenVINO версии 2024.4.0 и выше, а также Optimum Intel 1.23.1 и выше. Формат OpenVINO IR и INT4-квантизация могут снизить требования к памяти и упростить развёртывание, однако квантизация способна влиять на качество генерации по сравнению с исходной моделью. Языки, точный размер модели, результаты бенчмарков и подробные ограничения в карточке не указаны; для ограничений рекомендуется обращаться к карточке исходной Phi-3-mini-4k-instruct. Модель распространяется по лицензии MIT.

bunnycore/Qwen2.5-1.5B-Matrix — объединённая языковая модель, созданная автором репозитория с помощью mergekit и метода Model Stock. В качестве базовой использована Qwen/Qwen2.5-1.5B-Instruct; в объединение также вошли варианты Qwen2.5 для математики и программирования и Josiefied-Qwen2.5-1.5B-Instruct-abliterated-v1. Модель имеет архитектуру Qwen2ForCausalLM и 1,5 млрд параметров. Модель предназначена для генерации текста и диалогов, включая ответы на инструкции, задачи по программированию и математике. Она принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. Модель доступна в формате safetensors для библиотеки Transformers. Сочетание нескольких специализированных моделей расширяет набор задач, для которых её можно применять, но README не приводит сравнительных оценок качества или подробных результатов тестирования. Лицензия в предоставленных данных не указана.

stefancosma/Qwen3-14B-Instruct-Q4_K_M-GGUF — это квантованная версия языковой модели OpenPipe/Qwen3-14B-Instruct, преобразованная в формат GGUF с использованием llama.cpp и проекта GGUF-my-repo. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp в режиме командной строки или серверном режиме. Модель содержит около 14 миллиардов параметров и использует квантование Q4_K_M, что уменьшает требования к памяти по сравнению с полноразмерными весами, но может сопровождаться некоторой потерей точности. Это текстовая модель без заявленной поддержки изображений или других модальностей. В README не указаны поддерживаемые языки, максимальная длина контекста, результаты оценивания или специализированные сценарии применения. Для работы требуется совместимое окружение llama.cpp; поддерживаются запуск через CLI и сервер, а также аппаратные варианты сборки, включая CUDA для GPU Nvidia. Модель распространяется по лицензии Apache 2.0. Подробные характеристики и ограничения исходной модели следует уточнять в карточке OpenPipe/Qwen3-14B-Instruct.

mlx-community/Qwen3-30B-A3B-4bit — это 4-битная версия модели Qwen3-30B-A3B, преобразованная в формат MLX из базовой модели Qwen/Qwen3-30B-A3B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска в среде MLX, в том числе через библиотеку mlx-lm на совместимом оборудовании Apple Silicon. Ключевые характеристики включают формат MLX, 4-битное квантование и назначение text-generation. README не содержит сведений о точной архитектуре, количестве активных и общих параметров, поддерживаемых языках, размере контекста, модальностях, результатах тестирования, сильных сторонах и ограничениях качества. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это экспериментальная instruction-модель на базе Qwen3.5-9B, опубликованная пользователем W00ds1. В README указано, что она создана в результате многоэтапного fine-tuning и объединения нескольких моделей на локальном оборудовании при участии Nightmedia; базовая модель связана с DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Модель ориентирована на общий диалог, следование инструкциям, reasoning, программирование, творческое письмо и roleplaying, а также заявлена как uncensored и heretic-модель с уменьшенным количеством отказов. Модель поставляется в формате GGUF в обычных и MTP-вариантах, включая квантизации с использованием NEO IMATRIX. MTP предназначен для ускорения генерации за счёт multi-token prediction, но его эффективность зависит от оборудования, температуры и acceptance rate; при низком acceptance rate обычный вариант может работать быстрее. Заявлено контекстное окно 256k токенов. Поддерживаются английский и китайский языки. Vision активирован, однако для обработки изображений требуется отдельный файл mmproj. Указана совместимость со стандартными приложениями, поддерживающими GGUF. В README приведены результаты на ARC-C, ARC-E, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, где модель сравнивается с рядом более крупных моделей; эти результаты следует считать заявленными авторами и не распространять автоматически на все задачи. Ограничения включают зависимость производительности от выбранной квантизации, режима thinking или instruct, параметров генерации и аппаратного обеспечения, а также отсутствие гарантии превосходства над моделями большего размера во всех сценариях. Лицензия указана как Apache-2.0.

bernquant/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — это 27-миллиардная модель семейства Qwen3.6 в формате GGUF, созданная на базе DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. Модель разработана в рамках совместной работы автора, Nightmedia, TeichAI, armand0e и trohrbaugh с использованием Unsloth, многоэтапного fine-tuning и merge нескольких обученных версий. Указаны языки English и Chinese; заявлена поддержка vision, однако подробности о мультимодальной архитектуре и формате входных данных не приведены. Модель предназначена для широкого круга задач: следования инструкциям, решения проблем, reasoning, программирования, творческого письма, fiction и roleplaying. Авторы заявляют об улучшении общего интеллекта, instruction following и reasoning по сравнению с базовой моделью, а также о высоких результатах на ряде бенчмарков. Доступны обычные и MTP-варианты GGUF, включая NEO IMATRIX-квантизации; часть выходного тензора хранится в 16-битной точности. Для MTP-вариантов рекомендуется температура не выше 1 и отключённый repetition penalty; при низком уровне token acceptance рекомендуется использовать обычную квантизацию. К ограничениям относятся отсутствие подробных спецификаций контекстного окна, точного перечня поддерживаемых модальностей, требований к памяти и результатов независимой оценки. Модель позиционируется как uncensored и heretic, поэтому её поведение и фильтрация могут отличаться от стандартных версий Qwen. Заявления о превосходстве над другими моделями основаны на описании авторов и не подтверждены приведёнными в README полными методиками тестирования. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Q6_K-GGUF — это квантизированная версия модели Qwen3.6-35B-A3B, разработанная сообществом Qwen и преобразованная пользователем Abiray в формат GGUF с использованием llama.cpp. Модель предназначена для локального запуска на потребительском оборудовании и в сценариях с высокой нагрузкой на CPU; использовать её можно через llama.cpp и совместимые инструменты. Модель имеет архитектуру mixture-of-experts (MoE), что отражено в обозначении 35B-A3B: общий размер составляет около 35 млрд параметров, а активными при обработке, предположительно, являются около 3 млрд параметров. Вариант Q6_K использует 6-битное квантизирование и позиционируется как версия с очень высоким качеством при меньшем размере по сравнению с полной моделью. В метаданных указано назначение image-text-to-text, однако сведения о поддерживаемых языках, точном размере контекста, визуальном модуле и фактических мультимодальных возможностях отсутствуют. Сильными сторонами являются локальный запуск, совместимость с экосистемой GGUF и llama.cpp, а также компромисс между качеством и требованиями к ресурсам. Ограничения связаны с потерями качества, возможными для квантизированной версии, потребностью подобрать параметры потоков и контекста под конкретное оборудование и отсутствием подробных данных о производительности. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-20B-Minitron — экспериментальная производная модель exnivo на базе Qwen/Qwen3.8-27B. Это плотная мультимодальная модель с архитектурой Qwen3.5 и классом Qwen3_5ForConditionalGeneration, принимающая текст и изображения и предназначенная для диалогов и генерации ответов по визуальному содержимому. Модель уменьшена структурным удалением слоёв: число языковых слоёв сокращено с 64 до 44, а размер — с 27,357 до 19,746 млрд параметров; это не квантизация. После удаления слоёв модель восстанавливали дистилляцией по логитам исходной модели, обучением на текстовых, учебных, математических и кодовых данных, а также корректировкой с помощью LoRA с последующим слиянием адаптера в веса. Разработчик приводит результаты собственных проверок, но они не являются стандартизованными бенчмарками. Модель распространяется в формате safetensors под лицензией Apache-2.0. Качество и устойчивость могут уступать исходной модели; особенно отмечена слабость в рассуждениях о последовательностях и шаблонах, а также ошибки при необычных формулировках. Восстановление и оценка были сосредоточены главным образом на тексте, поэтому возможности сохранённой визуальной части проверены ограниченно.

Карточка модели Andronovo/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 на Hugging Face совпадает с карточкой denyzhirkov/Qwen3.8-27B-AEON-ULTIMATE-U-BF16, поэтому описание составлено по ней. Qwen3.8-27B-AEON-ULTIMATE-U-BF16 — экспериментальная ранняя версия модели Qwen3.8-27B, подготовленная denyzhirkov. Это дообученная и аблитерированная BF16-версия с уменьшенным числом отказов; базовая модель — Qwen/Qwen3.8-27B. Плотная мультимодальная архитектура поддерживает диалог, следование инструкциям, вызов инструментов и работу с изображениями. В README описана проверка на NVIDIA H200 через vLLM; при тестировании использовалось окно 16 384 токена, а автор указывает, что базовая модель поддерживает контекст до 262 000 токенов. Модель рассчитана на прямые ответы, творческое письмо, исследования безопасности, red-team-тестирование и работу с запросами, которые базовая модель могла бы отклонить. Снятие части отказов может сделать ответы более доступными, но не гарантирует точности или безопасности. README предупреждает о повторениях и потере связности на очень длинных запросах; модель может выдавать опасный или незаконный контент. Лицензия — Apache-2.0.

Карточка модели HFCK99/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 на Hugging Face совпадает с карточкой denyzhirkov/Qwen3.8-27B-AEON-ULTIMATE-U-BF16, поэтому описание составлено по ней. Qwen3.8-27B-AEON-ULTIMATE-U-BF16 — экспериментальная ранняя версия модели Qwen3.8-27B, подготовленная denyzhirkov. Это дообученная и аблитерированная BF16-версия с уменьшенным числом отказов; базовая модель — Qwen/Qwen3.8-27B. Плотная мультимодальная архитектура поддерживает диалог, следование инструкциям, вызов инструментов и работу с изображениями. В README описана проверка на NVIDIA H200 через vLLM; при тестировании использовалось окно 16 384 токена, а автор указывает, что базовая модель поддерживает контекст до 262 000 токенов. Модель рассчитана на прямые ответы, творческое письмо, исследования безопасности, red-team-тестирование и работу с запросами, которые базовая модель могла бы отклонить. Снятие части отказов может сделать ответы более доступными, но не гарантирует точности или безопасности. README предупреждает о повторениях и потере связности на очень длинных запросах; модель может выдавать опасный или незаконный контент. Лицензия — Apache-2.0.

timteh673/Qwen3.8-27B-Opus-Reasoning-Control-BF16 — мультимодальная модель для диалога и рассуждений, созданная timteh673 на основе Qwen/Qwen3.8-27B. Это дообученный QLoRA-чекпойнт, объединённый с базовой моделью и опубликованный в формате BF16 для Transformers; архитектура Qwen3_5ForConditionalGeneration объединяет текстовую часть на 27 млрд параметров и визуальный энкодер. Модель принимает текст и изображения и выдаёт текст; заявленный предел контекста — 262 144 токена. Вариант служит контрольным чекпойнтом для сравнения с версией Abliterix и резервной моделью семейства, а не официальной базовой моделью Qwen. Он предназначен для многошаговых рассуждений, диалога и анализа изображений. В локальных тестах проекта контрольная версия чаще отказывала на вредоносных запросах и уступила выбранной версии семейства по ряду метрик, но была сильнее на полном наборе задач по коду. Эти результаты не являются официальными бенчмарками и могут не переноситься на другие условия. Модель распространяется по лицензии Apache-2.0; BF16-чекпойнт велик и требует значительной памяти ускорителя.

Qwen3.8-35B-A3B-Distill GGUF — это набор общественных GGUF-квантизаций текстовой MoE-модели empero-ai/Qwen3.8-35B-A3B-Distill, подготовленный пользователем ngquocvinh. Модель предназначена для локальной генерации текста с помощью llama.cpp и совместимых сред. Это неофициальный релиз Qwen3.8 и не результат дополнительного обучения или дообучения. Исходная модель содержит 35 млрд параметров, из которых примерно 3 млрд активируются для каждого токена, использует 256 экспертов и маршрутизацию к 8 экспертам. Архитектура включает гибридные компоненты внимания, а заявленная длина контекста в конфигурации исходной модели составляет 262 144 токена. В карточке указана поддержка английского языка и текстовой модальности. Доступны варианты квантизации от Q8_0 размером около 35,22 GiB до IQ2_XS размером около 10,01 GiB, что позволяет выбирать между качеством и требованиями к памяти. Сильной стороной релиза является возможность запуска крупной MoE-модели локально на совместимом оборудовании, а также наличие измерений отклонения квантизированных вариантов от BF16-источника. Q4_K_M обозначен как практичный баланс качества и потребления памяти; варианты Q3_K_M, Q2_K и IQ2_XS имеют существенно большее отклонение и считаются экспериментальными. Поддержка длинного контекста, вызова инструментов и других специализированных функций зависит от исходной модели и используемой среды, поэтому требует отдельной проверки. Релиз распространяется по лицензии Apache-2.0, унаследованной от исходной модели. Квантизации являются общественным проектом и не означают официального одобрения со стороны авторов исходной модели.

Это квантованная версия модели supergemma4-e4b-abliterated, основанной на Jiunsong/supergemma4-e4b-abliterated. Квантование выполнил mradermacher; набор файлов опубликован в формате GGUF. Модель предназначена для генерации текста по инструкциям, включая сценарии с tool-calling и structured output, а также поддерживает обработку изображений как vision-модель. В README указано, что модель ориентирована на английский язык и использует экосистему Transformers. Доступны варианты квантования i1 с разными типами и размерами примерно от 4,5 до 6,3 ГБ; среди рекомендуемых отмечены i1-Q4_K_M как быстрый вариант и i1-Q4_K_S как компромисс между размером, скоростью и качеством. Конкретные архитектурные параметры, число параметров и размер контекста не указаны. Для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Основные преимущества — широкий выбор GGUF-квантов, возможность локального запуска при ограниченных ресурсах и поддержка текстовых, визуальных, инструментальных и структурированных сценариев. Качество зависит от выбранного типа квантования: варианты с более низким размером могут уступать по качеству, а IQ-кванты в README часто рекомендуются вместо сопоставимых обычных вариантов. Модель распространяется по лицензии Gemma.