I.14Автоматизация процессов и AI-агенты

Это GGUF-квантизированная версия модели Qwen3-8B-abliterated, разработанной mlabonne и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В README указано, что квантизация выполнена с использованием llama.cpp версии b5415 и метода imatrix. Модель относится к семейству Qwen3 и содержит 8 миллиардов параметров; доступна в форматах от BF16 до различных вариантов 2–8-битной квантизации. Размер файлов составляет примерно от 3,9 до 16,39 ГБ. Варианты с более высокой точностью обеспечивают лучшее качество, а компактные квантизации подходят для систем с ограниченными ресурсами. Для работы рекомендуется использовать шаблон промпта ChatML с ролями system, user и assistant. README не указывает поддерживаемые языки, длину контекста, мультимодальные возможности, результаты оценивания или ограничения, связанные с abliteration, поэтому эти характеристики нельзя достоверно описать. Модель распространяется по лицензии Apache-2.0.

Kimi-Linear-48B-A3B-Instruct-GGUF — набор GGUF-квантизаций модели Kimi-Linear-48B-A3B-Instruct, разработанной moonshotai и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с llama.cpp, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. В репозитории представлены варианты от BF16 размером 98,29 ГБ до компактных IQ4_XS размером 26,46 ГБ и Q3/Q4-квантизаций. Наиболее качественными считаются BF16, Q8_0, Q6_K_L, Q6_K и варианты Q5; Q4 обеспечивают компромисс между качеством и требованиями к памяти, а Q3 экономят ресурсы ценой заметного снижения качества. Квантизация выполнена с использованием imatrix и llama.cpp. Из README не указаны поддерживаемые языки, размер контекста, точная архитектура, модальности и рекомендуемый формат запросов. Сильной стороной модели является широкий выбор уровней квантизации, позволяющий адаптировать запуск к доступной оперативной памяти и вычислительным ресурсам. Ограничения связаны с большими требованиями к памяти даже у компактных вариантов, возможным снижением качества при агрессивной квантизации и отсутствием в README сведений о языковых возможностях, контекстном окне и результатах оценки. Указана лицензия MIT; конкретные условия использования базовой модели следует дополнительно проверять на странице moonshotai/Kimi-Linear-48B-A3B-Instruct.

iamplus/mpt-30b-v2 — дообученная языковая модель на архитектуре MPT, созданная на базе mosaicml/mpt-30b. В README указаны llm-foundry от MosaicML и набор данных flan3m-GPT3.5; метаданные также связывают репозиторий с датасетом ehartford/dolphin. Модель предназначена для генерации текста по запросам, включая ответы на вопросы в формате с системным сообщением и вопросом. Веса опубликованы в формате PyTorch, размер модели — 30 млрд параметров по идентификатору базовой модели. Указана лицензия Apache-2.0. В карточке нет данных о поддерживаемых естественных языках и длине контекста, поэтому их нельзя уточнить.

zelk12 выпустил MT1-Gen4-GI-gemma-2-9B — объединение двух предварительно обученных языковых моделей с помощью метода SLERP и инструментария mergekit. Это плотная авторегрессионная модель семейства Gemma 2 с 9 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; базовой моделью в конфигурации слияния указана zelk12/MT1-Gen4-GP-gemma-2-S4S5-9B. Модель принимает текст и генерирует текст, поддерживая контекст до 8192 токенов. Данные не описывают специализацию по предметной области или отдельные языки; явные сведения о лицензии отсутствуют, поэтому условия использования следует уточнить в карточке модели и условиях базовых моделей. Слияние объединяет веса моделей, но само по себе не гарантирует улучшения качества или одинакового поведения во всех задачах.

zelk12/MT3-Gen5-MAI-gemma-2-9B — слитая модель генерации текста на архитектуре Gemma 2, созданная методом SLERP с помощью mergekit из zelk12/MT3-Gen5-MA-gemma-2-MT2E-9B и zelk12/MT3-Gen5-IF-gemma-2-Av4dMT2-9B. Модель содержит 9 млрд параметров и предназначена для диалогов и генерации текста; принимает текстовые запросы и выдаёт текстовые ответы. Работает с контекстом до 8192 токенов и доступна в формате safetensors для библиотеки Transformers. В метаданных не указаны языковые предпочтения и прикладные специализации. Лицензия в предоставленных данных не указана.

Munin-NeuralBeagle-Flashback-Bellman — языковая модель для генерации текста, созданная объединением моделей с помощью LazyMergekit. Карточка описывает смешивание RJuro/munin-neuralbeagle-7b и birgermoell/Flashback-Bellman методом dare_ties; метаданные указывают базовую Mistral-архитектуру и 7,1 млрд параметров. Модель предназначена для генерации текста по текстовому запросу. Заявленная длина контекста составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors с типом bfloat16. Лицензия и конкретные поддерживаемые языки в предоставленных источниках не обозначены.

NB-Whisper Base beta — модель распознавания речи, разработанная NB AI-Lab Национальной библиотекой Норвегии на основе OpenAI Whisper и дообученная от openai/whisper-small. Она предназначена для транскрибации норвежской речи, включая букмол и нюнорск, а также английской речи. Модель относится к семейству Whisper; в метаданных указано 51,7 млн параметров. Она принимает аудио и выдаёт текст, поддерживается библиотекой Transformers и доступна в форматах PyTorch, TensorFlow, Flax, ONNX и safetensors. Модель обучалась на 20 000 часах размеченных данных, включая норвежские речевые базы, парламентские выступления, телесубтитры и аудиокниги. Разработчики сообщают о высоком качестве для норвежской транскрибации среди ASR-моделей сопоставимого размера. Это публичная бета с лицензией CC BY 4.0. Разработчики предупреждают, что модель может галлюцинировать, пропускать фрагменты и нормализовать устную речь в грамматически правильный письменный текст; поэтому результат может не быть дословной транскрипцией.

NB-Whisper Large — модель распознавания речи от NB AI-Lab Национальной библиотеки Норвегии, дообученная на основе openai/whisper-large. Модель семейства Whisper содержит около 905 млн параметров и предназначена для транскрибации речи; семейство также поддерживает перевод речи. Для обучения серии NB-Whisper использовали 8 млн аудиофрагментов общей длительностью около 66 000 часов, включая датасеты NbAiLab/ncc_speech, NbAiLab/NST и NbAiLab/NPSC. Модель ориентирована прежде всего на норвежский язык, включая букмол и нюношк, а также поддерживает английский. Она принимает аудио и генерирует текст; длинные записи можно обрабатывать сегментами, а Transformers позволяет получать временные метки слов и предложений. Для Large рекомендуется GPU; в README указано, что это релиз-кандидат, поэтому качество и стабильность могут измениться. Лицензия — Apache 2.0.

Nemotron-SEA-LION-v4.8-30B-A3B — инструктивная языковая модель, разработанная AI Products Pillar организации AI Singapore при финансировании National Research Foundation Singapore. Она дообучена на основе aisingapore/Nemotron-SEA-LION-v4.8-30B-A3B-Base с помощью SFT и онлайн-дистилляции по собственным ответам модели. Архитектура — гибрид Mamba2 и Transformer с Mixture of Experts; модель рассчитана на контекст до 262 144 токенов. Модель предназначена для генерации текста, диалога и выполнения инструкций на английском и языках Юго-Восточной Азии: бирманском, вьетнамском, индонезийском, тагальском, малайском, тамильском и тайском. Среди оценённых сценариев — ответы на вопросы, анализ тональности, перевод, суммаризация, причинно-следственные рассуждения, распознавание токсичности и многоходовый чат. Модель распространяется по лицензии MIT. Качество и надёжность ответов могут быть непоследовательными: модель способна галлюцинировать и выдавать не относящийся к запросу текст. Устойчивость к состязательным запросам не проверялась, а безопасность не была специально выровнена; для прикладного использования могут потребоваться отдельная настройка безопасности и проверка результатов.

NeuralDarewin-7B — объединённая модель на основе Mistral, опубликованная mlabonne. Она предназначена для генерации текста и может использоваться как языковая модель общего назначения. В карточке приведены результаты оценивания на бенчмарках рассуждений и понимания текста. Модель имеет плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Нативная длина контекста — 32 768 токенов. Модель создана слиянием шести моделей, включая Intel/neural-chat-7b-v3-3, openchat/openchat-3.5-0106 и mlabonne/NeuralHermes-2.5-Mistral-7B. Доступна в формате safetensors. Лицензия — Apache-2.0. Карточка не сообщает о специализированной предметной области или языковой специализации.

NeuralShiva-7B-DT — объединённая языковая модель на архитектуре Mistral, созданная Kukedlc с помощью LazyMergekit из четырёх моделей: automerger/YamShadow-7B, mlabonne/AlphaMonarch-7B, automerger/OgnoExperiment27-7B и Kukedlc/Jupiter-k-7B-slerp. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста. Её можно применять для диалогов, написания и продолжения текста, а также ответов на запросы. Метаданные указывают на текстовый ввод и текстовый вывод; сведений о поддерживаемых естественных языках в карточке нет. Весовые файлы представлены в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Nitral-Archive/NightWing3_Virtuoso-10B-v0.2 — языковая модель, созданная объединением моделей NightWing3-10B-v0.1 и Virtuoso-Lite-chatmlified-10B_r16-ep1. Она предназначена для генерации текста и диалогового общения; для взаимодействия используется формат ChatML с сообщениями system, user и assistant. Модель построена на плотной архитектуре Llama и содержит 9,9 млрд параметров. Она принимает текст и генерирует текст, поддерживает английский язык и контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors, модель рассчитана на Transformers. Лицензия указана как other, поэтому условия использования следует проверить в карточке модели и связанных компонентов.

Nona-Qwen2.5-v0.1 — объединённая языковая модель, созданная win10 с помощью mergekit и метода TIES. В основе объединения лежат FreedomIntelligence/Apollo2-7B и win10/Urdandi-Qwen2.5-7B. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и принимает текст для генерации текста в диалоговом формате. Заявленная длина контекста — 131 072 токена. Модель подходит для диалоговой генерации текста и задач, поддерживаемых её объединёнными компонентами. В метаданных указан тег text-generation и возможность чата. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Сведения о лицензии и конкретных ограничениях качества в предоставленных источниках отсутствуют.

DevQuasar/NousResearch.Hermes-4-405B-GGUF — квантизированная версия языковой модели NousResearch/Hermes-4-405B, опубликованная DevQuasar. Модель предназначена для генерации текста и, вероятно, может применяться в задачах диалога, написания и обработки текстов, однако README не содержит подробного описания поддерживаемых сценариев. Известно, что модель относится к классу text-generation и распространяется в формате GGUF. Сведения об архитектуре, количестве параметров, доступных уровнях квантизации, модальностях, языках, размере контекста, производительности и ограничениях в README не приведены. Условия лицензирования также не указаны; для уточнения следует обратиться к исходной модели NousResearch/Hermes-4-405B и материалам публикации DevQuasar.

OELLM 9B 128K theta32m v3 — базовая мультиязычная языковая модель OpenEuroLLM, созданная на основе baby_9b_dense с архитектурой Qwen3 Dense. Это версия полного обучения: контекст расширен с 4K до 128K токенов с помощью ABF и масштабирования RoPE с θ=32M; модель обучалась на 2 млрд токенов. Используйте её для генерации продолжений и извлечения сведений из длинного контекста; она не проходила инструкционную настройку и предназначена для работы как completion-модель. В тесте NIAH с одним целевым фрагментом модель показала 100% на 128K токенах в 12 европейских языках. Это результат узкого теста извлечения, поэтому он не гарантирует аналогичного качества на широком наборе задач или при поиске нескольких фрагментов. Модель использует Transformers и формат PyTorch. Лицензия — Apache-2.0.

Orca-2-13B-GGUF — квантизированная версия языковой модели Orca-2-13b, разработанной Microsoft и преобразованной в формат GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через LlamaEdge как сервиса или командного приложения. Для работы применяется шаблон запросов ChatML, а заявленный размер контекста составляет 5120 токенов. Модель основана на архитектуре Orca-2 с 13 млрд параметров и поддерживает только текстовую модальность. README не указывает набор поддерживаемых языков, поэтому языковые возможности нельзя достоверно определить по представленным данным. Доступны варианты квантизации от Q2_K до Q8_0 размером примерно от 5,43 до 13,8 ГБ. Чем выше разрядность, тем меньше потери качества, но тем больше требования к памяти; авторами рекомендуется сбалансированный вариант Q4_K_M либо варианты Q5_K_M и Q5_K_S с очень небольшими потерями качества. Ограничения зависят от выбранного уровня квантизации: компактные варианты могут значительно терять качество, а более точные требуют больше ресурсов. Для запуска указан LlamaEdge версии 0.2.8 или новее. Модель распространяется по Microsoft Research License; точные условия следует уточнять в файле лицензии исходного репозитория.

orca_mini_v2_13b — языковая модель Pankaj Mathur, созданная в сотрудничестве с Eric Hartford на основе LLaMA-13B. Это плотная авторегрессионная модель с 12,9 млрд параметров, предназначенная для генерации текста и выполнения инструкций. Для обучения использованы наборы WizardLM, Alpaca и Dolly-V2, подготовленные с подходами из исследовательской работы Orca; в README также отмечено улучшение генерации кода по сравнению с предыдущей версией orca_mini_13b. Модель рассчитана на текстовые запросы и ответы на английском языке; максимальная длина контекста составляет 2048 токенов. Автор публикует результаты оценивания на наборах задач ARC и HellaSwag и указывает на uncensored-настройку. Модель распространяется в форматах PyTorch и safetensors по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование.

Qwen2.5-7B-Instruct-IMat-GGUF — это квантизированная GGUF-версия языковой модели Qwen2.5-7B-Instruct, разработанной командой Qwen. Дистрибутив подготовлен пользователем legraphista с помощью llama.cpp версии b3785 и предназначен для локального запуска и генерации текста, включая чатовые сценарии. В README указана поддержка английского языка и текстовая модальность. Модель содержит около 7 млрд параметров и основана на исходных весах в формате BF16. Доступны варианты от BF16 и F16 до различных уровней квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серий, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Для ряда вариантов квантизации применена IMatrix-калибровка, призванная улучшить сохранение качества при уменьшении точности. Размер файлов варьируется примерно от 3,02 до 15,24 ГБ. Сильная сторона модели — возможность локального использования в широком диапазоне аппаратных конфигураций благодаря множеству вариантов квантизации и формату GGUF, совместимому с экосистемой llama.cpp. Ограничения включают возможное снижение качества у наиболее агрессивно квантизированных вариантов; сведения о размере контекста, архитектурных деталях, результатах тестирования и поддержке других языков в README не приведены. Модель и её варианты распространяются по лицензии Apache-2.0.

tensorblock/Qwen2.5-7B-Instruct-Uncensored-GGUF — это квантизированная версия языковой модели Qwen2.5-7B-Instruct-Uncensored от Orion-zhen, подготовленная в формате GGUF командой TensorBlock. Модель предназначена для запуска локально с помощью llama.cpp и совместима с этой библиотекой начиная с указанного в README коммита. Модель относится к классу инструкционных text-generation-моделей с примерно 7 млрд параметров и поддерживает китайский и английский языки. Она ориентирована на генерацию текста, диалоговые сценарии и выполнение инструкций. Версия помечена как uncensored и обучалась с использованием наборов данных, направленных в том числе на снижение отказов и работу с токсичными запросами, поэтому её поведение может быть менее ограниченным с точки зрения встроенных механизмов безопасности. К сильным сторонам относятся возможность локального запуска, поддержка GGUF и совместимость с llama.cpp, что упрощает использование на различном оборудовании в зависимости от выбранного уровня квантизации. В README приведены результаты оценивания на IFEval, BBH, MATH, GPQA, MuSR и MMLU-PRO, однако показатели заметно различаются по задачам; данные о размере контекста, конкретных вариантах квантизации и требованиях к памяти не указаны. Лицензия модели — GPL-3.0.

unsloth/Qwen2.5-Omni-7B — мультимодальная модель на архитектуре Qwen2.5-Omni, опубликованная Unsloth как дообученная версия Qwen/Qwen2.5-Omni-7B. Она принимает текст, изображения, аудио и видео и может вести диалог, объединяя сигналы из разных модальностей; ответы выдаёт текстом и естественной речью, в том числе в потоковом режиме. Модель рассчитана на голосовой и видеодиалог в реальном времени, распознавание и понимание речи, аудио- и видеовопросы, анализ изображений, мультимодальные рассуждения, перевод и генерацию речи. В README использование описано через библиотеку Transformers. Указана архитектура Thinker-Talker и синхронизация аудио с видеовременными метками посредством TMRoPE; метаданные относят модель к семейству Qwen2.5-Omni и указывают плотную архитектуру. Карточка сообщает об английском языке; характеристики контекста и число параметров этой версии в предоставленных данных не приведены. Модель демонстрирует широкие мультимодальные возможности, однако приведённые в README оценки относятся к исходной линейке Qwen2.5-Omni и не гарантируют идентичные результаты этой производной версии. Репозиторий указывает лицензию «other», поэтому перед применением следует проверить условия лицензии в карточке модели.

Mungert/Qwen3-32B-GGUF — набор GGUF-квантованных вариантов модели Qwen3-32B, подготовленных с помощью llama.cpp. Репозиторий предназначен для локального запуска и инференса текстогенерационной модели, в том числе на системах с ограниченными ресурсами, низким объёмом GPU-памяти, CPU и edge-устройствах. Основной акцент сделан на ультранизкобитной квантовке IQ-DynamicGate с адаптивным распределением точности по слоям в форматах 1–2 бита. Метод сохраняет более высокую точность за счёт использования разных схем квантовки для различных частей модели и защиты embeddings и выходных слоёв. В README приведены результаты для Llama-3-8B-Instruct с контекстом 2048 токенов, однако эти показатели нельзя напрямую считать характеристиками Qwen3-32B. Точные архитектурные параметры, размер контекста, поддерживаемые языки и модальности Qwen3-32B в карточке не указаны. Преимущество набора — существенное снижение требований к памяти при сохранении приемлемого качества, особенно в сценариях, где важна максимальная компактность. Компромиссы включают возможное снижение точности по сравнению с более высокобитными или полноразмерными версиями, а также небольшие накладные расходы на размер и скорость у DynamicGate-вариантов. Модель распространяется по лицензии Apache 2.0.

Модель clijo/qwen3-4b-instruct-2507-bf16-reco-grpo-b200-gentle-blue-orbit — дообученная с помощью TRL версия Qwen/Qwen3-4B-Instruct-2507, разработанная автором репозитория clijo. Это плотная языковая модель примерно на 3,7 млрд параметров с архитектурой Qwen3ForCausalLM, предназначенная для генерации текста в диалоговом формате и выполнения инструкций. В карточке приведён пример запуска через Transformers для ответа на вопрос пользователя. Модель принимает текст и генерирует текст; максимальная длина контекста — 262 144 токена. Метаданные указывают на формат safetensors и возможность диалога. Лицензия и специальные области применения в предоставленных данных не описаны.

TheStageAI/Qwen3.5-4B-GGUF — набор квантизированных GGUF-чекпойнтов модели Qwen3.5-4B, разработанный TheStageAI для запуска через llama.cpp и локального инференса. Модель предназначена для генерации текста, диалоговых приложений и сценариев, где важны небольшой размер и работа на устройствах с ограниченными ресурсами. Доступны четыре варианта: XS размером 1,52 ГБ, S — 1,90 ГБ, M — 2,39 ГБ и L — 4,49 ГБ; рекомендован вариант M. README не содержит сведений о поддерживаемых языках, длине контекста и модальностях, поэтому модель следует считать текстовой. Чекпойнты используют смешанную посттренировочную квантизацию с форматами GGUF и различными картами точности: от Q2_K–Q8_0 для XS и S до Q4_K_M для M и Q8_0 для L. По приведённым оценкам, вариант M сохраняет 98,4% instruction-strict результата BF16-модели на IFEval и 99,1% результата BF16 на MMLU-Pro; вариант L обеспечивает более высокую точность при большем размере, а XS ориентирован на режим без рассуждений. Для длинного пошагового рассуждения рекомендуется использовать S, M или L. Сильные стороны модели — компактность, несколько вариантов компромисса между размером и качеством, совместимость с llama.cpp и возможность локального запуска. Ограничения связаны с потерей качества при агрессивной квантизации, особенно у XS, а также с тем, что характеристики базовой архитектуры, языков и контекстного окна в README не указаны. Модель распространяется по лицензии Apache-2.0.

CodeShield/Qwen3.5-9B-Instruct — инструкционная текстовая генеративная модель семейства Qwen, опубликованная на Hugging Face под организацией CodeShield. Модель предназначена для диалогового взаимодействия и генерации текста по инструкциям; для работы предполагается использование библиотеки Transformers. Из идентификатора модели следует размер порядка 9 млрд параметров и ориентация на instruction-tuning, однако подробности архитектуры, обучения и состава данных в доступных материалах не описаны. Модель может применяться для ответов на вопросы, ведения диалога, создания и преобразования текстов, а также в составе приложений на базе conversational AI. Лицензия, поддерживаемые естественные языки и длина контекста в предоставленных данных не указаны. README содержит шаблонную автоматически созданную карточку без результатов оценки и конкретных рекомендаций по использованию, поэтому модель следует дополнительно проверять на качество, безопасность и соответствие задачам перед применением.

Qwen3.5-9B-Uncensored — это неофициальная GGUF-сборка модели семейства Qwen, опубликованная пользователем LEONW24 и основанная на Qwen/Qwen3-8B и HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive. Модель предназначена для локального запуска в Ollama, llama.cpp и других средах, совместимых с GGUF, а также для генерации текста и анализа изображений в сценариях, где требуется локальная работа без подключения к облачным сервисам. Модель содержит около 9 млрд параметров и поставляется в формате GGUF с квантованием Q4_K_M; размер файла составляет примерно 6,3 ГБ. Заявленное контекстное окно — до 131 072 токенов. Поддерживаются английский, китайский и другие языки. Архитектура Qwen 3.5 предусматривает возможности работы с мультимодальными данными, включая изображения, однако фактическая поддержка зависит от используемого runtime и корректности конфигурации. Сборка исправляет проблемы исходной упаковки, мешавшие запуску через Ollama и мультимодальному выводу. К сильным сторонам относятся компактность, возможность эффективного CPU- и GPU-инференса, автономная работа и отсутствие встроенных ограничений, характерных для цензурированных версий. При этом статус «uncensored» означает сниженный уровень защитных фильтров, поэтому модель может генерировать небезопасный или нежелательный контент и требует ответственного применения. В README не приведены результаты бенчмарков, поэтому качество относительно других моделей оценить нельзя. Модель распространяется по лицензии Apache 2.0.

Jianqiao1/Qwen3.6-27B-Architect-Polaris2-Fable-B-F451-MoQ-GGUF — набор GGUF-квантизаций базовой модели nightmedia/Qwen3.6-27B-Architect-Polaris2-Fable-B-F451, подготовленный Jianqiao1. Модель предназначена для генерации текста и запуска через совместимые инструменты, включая llama.cpp, с выбором между несколькими вариантами размера и качества. В основе лежит модель Qwen3.6 с 27 млрд параметров; точные сведения об архитектуре, поддерживаемых языках, модальностях и максимальной длине контекста в README не указаны. Квантизация MoQ использует смешанную точность с учётом структуры и чувствительности тензоров, 128-сегментную importance matrix и сохранение крупных MTP-тензоров в повышенной точности. Доступны варианты от 3.2 до 5.1 BPW, объёмом примерно от 10,8 до 17,5 ГБ. MTP-MoQ-4.8 обозначен как сбалансированный вариант, MTP-MoQ-5.1 — как наиболее качественный в обычной серии, а NVFP4 предназначен прежде всего для тестирования ускорения на GPU Blackwell. Сильной стороной является гибкий компромисс между размером, качеством и скоростью, подтверждённый оценками на WikiText-2: для более крупных вариантов наблюдается снижение PPL и KLD. Ограничения связаны с потерями от квантизации по сравнению с BF16, зависимостью производительности от оборудования и тем, что NVFP4 может обеспечивать лучшую скорость предварительного вычисления на RTX 5090, но уступать обычному MoQ-4.8 по качеству при сопоставимом размере. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Abliterated-SFT-i1-GGUF — квантованная GGUF-версия модели azukivc/Qwen3.8-27B-Abliterated-SFT, подготовленная mradermacher. Это 27-миллиардная модель, дообученная методом supervised fine-tuning (SFT) и подвергнутая abliteration. В карточке указана поддержка английского языка и библиотеки Transformers; модель предназначена прежде всего для генерации текста и запуска в совместимых средах, включая vLLM. Модель заявлена как vision-модель, поэтому для обработки изображений могут потребоваться дополнительные mmproj-файлы из статического репозитория. Доступны варианты GGUF с различными уровнями квантования от i1-Q2_K размером около 11 ГБ до i1-Q6_K размером около 22,5 ГБ. Среди представленных вариантов i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества; качество и скорость зависят от выбранного типа квантования и оборудования. README не содержит данных о размере контекста, результатах тестирования, точных архитектурных особенностях или подробном перечне поддерживаемых языков и сценариев. Ограничениями также являются возможная потеря качества при низком уровне квантования и необходимость дополнительных файлов для визуального ввода. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Heretic-GSQ-RCO-GGUF — семейство неравномерно квантованных GGUF-моделей, разработанное 0bserverx на базе Qwen3.8-27B-Heretic-Abliterated-Uncensored. Модель предназначена для генерации текста и запуска локально через llama.cpp, Ollama или LM Studio. Варианты включают стандартные веса и версии с встроенной головой Qwen3.8 MTP/NextN для спекулятивного декодирования. Модель содержит 27B параметров; каждый из 851 тензора получает собственный тип квантования по схеме RCO, с использованием официальной importance matrix и инструментов llama.cpp. Доступны варианты с целевой точностью 2,50–3,50 bpw и размером от 8,45 до 11,80 ГБ, а MTP-версии требуют примерно на 0,42 ГиБ больше. Версия IQ3_S показывает perplexity 6,1778 на wikitext-2, что на 0,95% выше эталона F16; заявленная скорость генерации составляет до 90 токенов в секунду для IQ3_S и до 150 токенов в секунду для IQ3_S-mtp в указанной конфигурации. Сильными сторонами являются низкие требования к памяти, высокая сохранность качества при 3,50 bpw и возможность спекулятивного декодирования. Ограничения связаны с компромиссом между размером, качеством и скоростью у более компактных вариантов, а также с тем, что опубликованная реализация воспроизводит распределение квантования RCO, но не полный refinement-проход GSQ. Модель основана на abliteration и позиционируется как uncensored; README сообщает о 0–1 отказах из 100 тестов, но не описывает методику оценки. Лицензия — Apache-2.0.

VnimanieAI/Qwen3.8-Flash-Next-W4A16 — это 4-битная INT4-квантизация модели Qwen3.8-Flash-Next, разработанная VnimanieAI на базе модели Qwen. Чекпойнт предназначен для запуска через Transformers и vLLM на потребительских GPU NVIDIA Ampere, прежде всего на конфигурациях из 4–8 RTX 3090, где исходная FP8-версия не поддерживается. По карточке модели он относится к сценарию image-text-to-text, однако подробное описание поддерживаемых языков и фактических модальностей в README отсутствует. Основные веса квантизированы методом RTN в формате compressed-tensors: W4A16, symmetric, group-128. Квантизация охватывает маршрутизируемые MoE-эксперты и attention-проекции, тогда как чувствительные компоненты, включая shared expert, MTP-модуль, PLE n-gram tables, роутер, индексатор QSA, линейное внимание, эмбеддинги и vision encoder, сохранены в BF16. Модель имеет 125 млрд параметров в базовом представлении; размер на диске уменьшен примерно с 335 до 168 ГБ, а около 102 ГБ таблиц PLE размещаются в оперативной памяти хоста. Поддерживается контекст до 262 тысяч токенов на 8 GPU либо до 96 тысяч на 4 GPU. Сильные стороны модели — возможность запуска крупной Flash-Next-модели на Ampere, сохранение качества, сопоставимого с базовой версией на заявленном наборе тестов, и сохранённая BF16-голова MTP для speculative decoding, которая, по данным авторов, ускоряет однопоточный декодинг на 57%. Ограничения включают высокие требования к видеопамяти и оперативной памяти, обязательное использование expert parallelism и специальной конфигурации vLLM; запуск с torch.compile на Ampere может зависать. Для инференса требуется не менее 110 ГБ свободной RAM и особые параметры Docker. Модель распространяется по лицензии qwen-community-1.0.

Qwen-Qwen3.8-27B-MTPLX — квантованная модель на базе Qwen/Qwen3.8-27B, опубликованная пользователем ben0112 и подготовленная с помощью MTPLX Forge. Модель предназначена для генерации текста и диалогового использования на компьютерах Apple Silicon через библиотеку MLX и среду выполнения MTPLX. Модель использует подход multi-token prediction (MTPLX) и 4-битное квантование; заявленный размер базовой модели — 27B параметров. Для неё указан лучший уровень глубины D3. В ходе проверки на Apple M5 Max модель показала множитель 2,58× по сравнению с авторегрессионным базовым режимом. Верификация проводилась с параметрами temperature 0.6, top_p 0.95 и top_k 20. К ограничениям относятся отсутствие в представленном README информации о поддерживаемых языках, размере контекстного окна, точной архитектуре базовой модели и качестве на других устройствах. Результаты производительности подтверждены только для Apple M5 Max, поэтому они не гарантируют аналогичные показатели на других конфигурациях Apple Silicon. Модель распространяется по лицензии Apache-2.0.