I.4Обработка документов и форм

Qwen3.8-27B-Uncensored-Q4_K_M-Vision-GGUF — это квантованная в формате GGUF версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем qaqab и предназначенная для запуска через llama.cpp и совместимые среды. Модель ориентирована на генерацию текста, диалоговые сценарии и обработку изображений при использовании vision-варианта, если соответствующая система поддерживается базовой моделью. Заявлены языки English и Chinese. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Файл Q4_K_M имеет размер около 16,8 ГБ; в него встроена MTP-голова для speculative decoding. В README указано, что отказное поведение было существенно снижено с помощью Heretic без дообучения и дополнительных данных, но не устранено полностью. При обычном прямом проходе MTP-блок не влияет на качество вывода, а speculative decoding может ускорить генерацию, хотя коэффициент принятия черновых токенов может немного снизиться. К сильным сторонам относятся большой контекст, поддержка мультимодального ввода, сохранённая MTP-структура и относительно компактное представление Q4_K_M. Ограничения включают зависимость от поддержки vision и MTP со стороны конкретного рантайма, а также возможное ухудшение качества квантования по сравнению с f16; для Q4_K_M в README приведена perplexity 7,1814 на wikitext-2. Модель распространяется по лицензии Apache-2.0.

Sohailhosseini/Qwen3.8-9B-Distill-AWQ-W4A16 — квантизированная версия модели empero-ai/Qwen3.8-9B-Distill, подготовленная пользователем Sohailhosseini. Модель предназначена для генерации текста и диалогового взаимодействия, а заявленный pipeline_tag указывает на поддержку сценариев image-text-to-text. В README также отмечена пригодность для instruction-тuned и многоязычных моделей, однако конкретный набор поддерживаемых языков не указан. Модель содержит 9,7 млрд параметров и использует схему AWQ-W4A16 с 4-битными весами в формате compressed-tensors. Размер на диске составляет около 8,6 ГБ — примерно в 2,24 раза меньше исходных 19,3 ГБ. Квантизация выполнена на GPU A40 с использованием 256 образцов из набора HuggingFaceH4/ultrachat_200k. Слои lm_head и компоненты, связанные с visual, vision_tower, vision_model, multi_modal_projector и merger, оставлены без квантизации, что соответствует мультимодальной конфигурации. Основные преимущества — сниженные требования к хранению и потенциально более эффективный запуск при сохранении качества исходной модели; README отдельно отмечает быструю калибровку и обычно более высокую устойчивость на instruction-тuned и многоязычных моделях. Для запуска рекомендуется vLLM с максимальной длиной контекста 32768 токенов. Ограничение схемы заключается в её асимметричности: некоторые старые ядра vLLM могут лучше работать с симметричным W4A16. Лицензия — Apache-2.0, унаследованная от исходной модели.

Qwen Plus 0728 — гибридная модель с рассуждением от команды Qwen, основанная на фундаментальной модели Qwen3. Она предназначена для генерации текста и решения задач, требующих рассуждений. Контекст модели составляет 1 миллион токенов; заявлен баланс производительности, скорости и стоимости. Модель подходит для диалогов, анализа длинных материалов и ответов на вопросы по большим текстовым контекстам. README не приводит подробностей об архитектуре, поддерживаемых языках или лицензии, поэтому эти характеристики нельзя уточнить по имеющимся данным.

Yi-6B-200K — базовая большая языковая модель, разработанная 01.AI и обученная с нуля. Она предназначена для генерации текста, понимания языка, рассуждений, ответов на вопросы и чтения длинных материалов. Модель построена на плотной архитектуре Transformer семейства Llama и содержит около 5,8 млрд параметров; контекстное окно составляет до 200 000 токенов. Серия Yi рассчитана прежде всего на английский и китайский языки и обучалась на многоязычном корпусе. Модель подходит для локального запуска, интеграции в приложения и дальнейшей адаптации; README описывает инструменты и сценарии развёртывания для семейства Yi. Это базовая генеративная модель, а не чат-версия, поэтому для диалогового использования может потребоваться настройка или обёртка. Опубликована под лицензией Apache 2.0.

EuroLLM-22B-Instruct — многоязычная большая языковая модель на 21,9 млрд параметров, разработанная консорциумом европейских университетов и компаний во главе с Instituto Superior Técnico — University of Lisbon при финансировании Европейского союза. Это плотный Transformer на базе архитектуры Llama; модель дообучена следовать инструкциям и поддерживать диалог. Контекстное окно — 32 768 токенов. Модель предназначена для многоязычных диалогов, выполнения общих инструкций и машинного перевода, в том числе между официальными языками ЕС. По данным карточки, предшествующая базовая модель EuroLLM-22B обучена на 4 трлн токенов из веб-данных, параллельных корпусов и высококачественных источников. Заявлена поддержка болгарского, хорватского, чешского, датского, нидерландского, английского, эстонского, финского, французского, немецкого, греческого, венгерского, ирландского, итальянского, латышского, литовского, мальтийского, польского, португальского, румынского, словацкого, словенского, испанского, шведского, арабского, каталанского, китайского, галисийского, хинди, японского, корейского, норвежского, русского, турецкого и украинского языков. Разработчики отмечают высокие результаты на задачах перевода и многоязычных бенчмарках. Модель не выровнена по человеческим предпочтениям и может выдавать галлюцинации, вредоносный контент или ложные утверждения. Лицензия — Apache 2.0.

GLM-5.3-Flash-GSQ-RCO-GGUF — это сторонняя общественная GGUF-квантизация мультимодальной модели GLM-5.3-Flash от zai-org. Файлы созданы независимым сообществом с применением методов GSQ и RCO, разработанных Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель содержит около 320 млрд параметров и предназначена для работы с текстом и изображениями; для визуального ввода поставляется отдельный BF16 vision encoder и projector. Доступны варианты с эффективной точностью около 3,0 и 3,5 бит размером примерно 117,48 и 137,07 ГБ соответственно, а также vision projector размером 1,16 ГБ. GSQ выполняет посттренировочную скалярную квантизацию с настройкой сеток и масштабов, а RCO распределяет типы квантизации между тензорами с учётом общего бюджета размера. Эти варианты рассчитаны на запуск через совместимый GGUF-совместимый runtime, в README отдельно описана проверка с использованием llama.cpp. Основное преимущество модели — существенное уменьшение размера по сравнению с FP8-чекпойнтом объёмом около 328,3 ГБ при сохранении близких характеристик: в тестах вариант 3,5 бит показал точность 60,55% на MMLU-Pro против 61,95% у Q8_0, а вариант 3,0 бит — 60,00%. Ограничения включают очень большой объём файлов, требования к производительному оборудованию и некоторое ухудшение perplexity и качества относительно восьмибитного эталона; показатели зависят от выбранного варианта квантизации. В опубликованной оценке использовался контекст 2 048 токенов, но общий максимальный контекст модели не указан. Лицензия файлов — MIT.

Llama-3-8B-ProLong-64k-Base — длинноконтекстная языковая модель Princeton NLP, созданная авторами семейства ProLong на основе Meta Llama 3 8B Instruct. Модель продолжительно обучали на длинных текстах; в метаданных указан датасет princeton-nlp/prolong-data-64K, а число параметров составляет 7,5 млрд. Архитектура — плотная LlamaForCausalLM, веса представлены в safetensors; модель предназначена для генерации текста и диалогового взаимодействия. Модель рассчитана на сценарии, где нужно анализировать и генерировать текст с длинным контекстом. Метаданные указывают контекстное окно 65 536 токенов. README описывает семейство ProLong и приводит обучение моделей на данных до 512K токенов, но не подтверждает такое окно для данного 64k чекпойнта. Базовая модель ориентирована на английский язык; явного списка языков для этой версии нет. Разработчики сообщают о высокой производительности семейства ProLong на оценке HELMET, однако приведённое в README сравнение относится к основным instruct-моделям семейства, а не явно к этой Base-версии. Лицензия — Llama 3; перед использованием следует соблюдать её условия.

Ornith-Agents-A1-3.6-35B-A3B-MTP-GGUF — GGUF-сборка от tepirale, основанная на объединённой с помощью dare_ties модели Qwen3.5-35B-A3B с архитектурой Mixture-of-Experts. В модель встроен блок Multi-Token Prediction (MTP), заимствованный из официальной GGUF-версии Qwen3.6-35B-A3B. Доступны варианты квантования Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16 размером примерно от 20,5 до 69,4 GiB. Указан английский язык; репозиторий также содержит multimodal-проектор для сценариев image-text-to-text. Главное назначение модели — генерация текста и мультимодальные задачи с запуском через llama.cpp, включая серверное применение и обработку изображений при наличии соответствующего mmproj-файла. Встроенный MTP-блок позволяет использовать native speculative decoding без отдельной draft-модели. По данным автора, достигается около 45% принятия черновых токенов и до примерно 260 токенов в секунду на H100; фактическая скорость зависит от квантования, настроек и оборудования. В README приведены конфигурации с контекстом до 131 072 и 254 000 токенов, однако это параметры тестовых запусков, а не обязательно гарантированный максимальный контекст. Сильные стороны — несколько вариантов компромисса между качеством и требованиями к памяти, отсутствие двойного квантования и сохранение блока MTP в точности Q8_0 или F16 независимо от основной квантовки. Ограничения включают значительные требования к VRAM, необходимость сборки llama.cpp с поддержкой CUDA для заявленной производительности и зависимость от корректной поддержки MTP. Модель распространяется по лицензии Apache 2.0.

timteh673/Qwen3.8-27B-Opus-Reasoning-Control-BF16 — мультимодальная модель для диалога и рассуждений, созданная timteh673 на основе Qwen/Qwen3.8-27B. Это дообученный QLoRA-чекпойнт, объединённый с базовой моделью и опубликованный в формате BF16 для Transformers; архитектура Qwen3_5ForConditionalGeneration объединяет текстовую часть на 27 млрд параметров и визуальный энкодер. Модель принимает текст и изображения и выдаёт текст; заявленный предел контекста — 262 144 токена. Вариант служит контрольным чекпойнтом для сравнения с версией Abliterix и резервной моделью семейства, а не официальной базовой моделью Qwen. Он предназначен для многошаговых рассуждений, диалога и анализа изображений. В локальных тестах проекта контрольная версия чаще отказывала на вредоносных запросах и уступила выбранной версии семейства по ряду метрик, но была сильнее на полном наборе задач по коду. Эти результаты не являются официальными бенчмарками и могут не переноситься на другие условия. Модель распространяется по лицензии Apache-2.0; BF16-чекпойнт велик и требует значительной памяти ускорителя.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF по лицензии Apache-2.0. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также работы с изображениями и видео. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и без стандартного поведения отказа. Это плотная языковая модель на 27 млрд параметров с vision encoder. Архитектура включает 64 слоя, размер скрытого состояния 5120, размер FFN 17408, словарь 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются английский, китайский и другие языки; заявлены текстовая, визуальная и видеомодальности. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Для обработки изображений и видео требуется отдельный vision projector в формате BF16. Модель сохраняет встроенный механизм NextN/MTP исходной Qwen3.8 и дополнительно поставляется с профилем ускорения HauhauCS FastMTP 32K, совместимым с различными текстовыми квантованиями. Доступны варианты от Q2 до Q8, включая специализированные K_P-кванты, оптимизированные для сохранения качества при уменьшенном размере. Ограничения включают значительные требования к памяти, зависимость визуального ввода от отдельного проектора и потенциальные риски некорректных или небезопасных ответов из-за uncensored-профиля; для критически важных длинноконтекстных агентских задач README рекомендует более сбалансированный вариант, если он доступен.

sergeyzh/rubert-large-uncased-sts — плотная BERT-модель, разработанная Sergeyzh для получения эмбеддингов русских и английских текстов. Эмбеддинги дистиллированы из Qwen/Qwen3-Embedding-4B. Модель предназначена для оценки семантического сходства предложений (STS), поиска перефразов, дедупликации и задач логического вывода NLI. Модель имеет 12 слоёв, размер эмбеддинга 1024 и контекст до 512 токенов. Для работы через Sentence Transformers специальные префиксы не требуются. Её также можно использовать как основу для дообучения под пользовательскую классификацию и кластеризацию. В README приведены результаты оценки на русских и английских бенчмарках семантического сходства; показатели на русских наборах близки к Qwen3-Embedding-4B, а на английских ниже. Модель распространяется по лицензии MIT.

Swift-Qwen3.8-27B-Uncensored-Dynamic-MTP-GGUF — набор GGUF-квантов модели Swift-Qwen3.8-27B-Uncensored-MTP, разработанный ajgazin. В основе лежит Swift-Qwen3.8-27B от UkisAI — дообученная для эффективного рассуждения версия Qwen3.8-27B. Модель предназначена для генерации текста, диалогов и задач рассуждения, а также поддерживает обработку изображений и видео через отдельный vision projector. Вариант содержит MTP head для self-speculative decoding в llama.cpp и ориентирован на локальный запуск через llama.cpp; заявлена совместимость также с vLLM и SGLang для NVFP4-варианта. Доступны варианты от UD-Q2_K_XL размером 9,2 GiB до UD-Q8_K_XL размером 29,3 GiB, а также исходный BF16-файл размером 50,9 GiB. Разные уровни квантования позволяют запускать модель на GPU с 12, 16, 20, 24, 32 и 48 GiB памяти, при необходимости используя частичную выгрузку на CPU. Для заявленного запуска используется контекст до 32768 токенов. Более крупные варианты ближе к качеству BF16: для UD-Q8_K_XL совпадение наиболее вероятного токена составляет 98,8%, для UD-Q4_K_XL — 95,8%, а для UD-Q2_K_XL — 85,2%. Сильные стороны модели — широкий выбор размеров квантов, поддержка текста, изображений и видео, встроенный MTP head для ускорения генерации и сниженная склонность к отказам: в описании указано 15 отказов из 100 против 98 из 100 у исходной Swift-модели. Ограничения включают потерю точности при агрессивном квантовании, необходимость отдельного mmproj-BF16.gguf для мультимодального ввода и специальной сборки llama.cpp с поддержкой MTP для qwen35. Качество измерялось преимущественно на тесте wikitext-2, поэтому оно не полностью характеризует работу с кодом и диалогами. Модель распространяется по лицензии swift-open-license-1.0; в карточке также указана категория лицензии other.

facebook/bart-large — англоязычная модель BART, разработанная командой Facebook и впервые опубликованная вместе с работой о предобучении преобразователей методом восстановления зашумлённого текста. Это архитектура Transformer encoder-decoder: двунаправленный энкодер сочетается с авторегрессионным декодером. Модель содержит 252,8 млн параметров, принимает текст с контекстом до 1024 токенов и доступна в форматах PyTorch, TensorFlow и Flax. BART обучена восстанавливать исходный текст после различных преобразований, поэтому базовую модель можно применять для заполнения пропусков в тексте и извлечения признаков. После дообучения она подходит для генерации текста, в частности суммаризации и перевода, а также для классификации и ответов на вопросы. Карточка рекомендует дообучать модель на размеченных данных для конкретной задачи. Лицензия — Apache 2.0.

Bill435/Drjajsufhfh — мультимодальная модель на базе Qwen3.6-27B-Fable-Fusion-711, опубликованная в формате GGUF. Она создана в рамках совместной работы автора репозитория с участниками Nightmedia, TeichAI, armand0e и trohrbaugh с использованием многоэтапного дообучения, нескольких слияний моделей и Unsloth. В README также указаны датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель распространяется по лицензии Apache-2.0. Модель предназначена для широкого круга задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, создания историй, ролевых сценариев и других универсальных применений. Заявлена поддержка работы с текстом и изображениями, а также языков английского и китайского. Доступны обычные и MTP-варианты GGUF-квантования; используются NEO IMATRIX-кванты, а выходной тензор в них частично сохранён в 16-битной точности. Указан размер базовой модели 27B, однако размер контекстного окна в README не приведён. К сильным сторонам относятся улучшенное следование инструкциям, общее решение задач, рассуждения и, по заявлениям авторов, высокие результаты на ряде бенчмарков даже в 4- и 8-битных вариантах. Формат GGUF и ориентация на потребительское оборудование упрощают локальный запуск, но точные требования к памяти и производительности зависят от выбранного кванта. Модель помечена как uncensored и heretic, поэтому её защитные ограничения могут быть ослаблены; заявленные показатели производительности основаны на описании авторов и не подтверждены независимыми данными в представленном README.

t-firefly/gemma4-e2b-rknn3-rk1828 — мультимодальная версия Gemma 4 E2B IT, подготовленная для запуска на устройстве RK1828 через LlamaPi. Исходную модель разработала Google DeepMind; карточка указывает на форматы GGUF и Safetensors, а метаданные связывают репозиторий с google/gemma-4-E2B-it. Модель принимает текст, изображения и аудио, выдаёт текст и предназначена для диалогов, рассуждений, программирования и агентных сценариев на устройстве или периферийном оборудовании. В README заявлены контекст 256 тысяч токенов и поддержка более 140 языков. Лицензия — Apache-2.0. Сведения о преобразовании весов специально для RKNN3, фактической производительности на RK1828 и совместимости отдельных модальностей в этой сборке ограничены; возможности исходной модели не гарантируют их полной поддержки в данном варианте.

Это независимая производная модель Huihui-Qwen3.8-27B-abliterated, подготовленная на основе исходных BF16-весов Huihui и с использованием схемы NVFP4 от Gittensor. Релиз не является официальным продуктом Huihui, Gittensor, Qwen, NVIDIA или SGLang. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая агентские задачи, работу с инструментами и сложные задачи рассуждения и программирования. Она основана на архитектуре Qwen3.8 с 27 млрд параметров и использует квантование NVFP4 W4A4 с размером группы 16. В процессе подготовки vision-компоненты, embeddings и отдельные слои Gated-DeltaNet были исключены из NVFP4; native MTP head удалён из deployment-варианта. Поддерживается контекст до 262 144 токенов при конфигурации SGLang, указанной в карточке. Сведения о языках обучения или полном перечне поддерживаемых языков отсутствуют. К сильным сторонам относятся сниженные требования к памяти благодаря NVFP4, совместимость с layout и метаданными Gittensor, а также возможность запуска на одной NVIDIA RTX 5090 с SGLang. Для ускоренного декодирования предусмотрена отдельная совместимая модель-черновик DSpark. Ограничения включают ориентацию на конкретную GPU-конфигурацию и serving-стек, необходимость специальной настройки SGLang, отсутствие встроенного MTP head и зависимость ускоренного режима от отдельного DSpark checkpoint. Архитектурные и поведенческие последствия абляции слоёв 18–51 по описанию исходной модели и слоёв 17–51 по прямому сравнению тензоров отдельно не оценены.

Carnice-V3-GGUF — это квантизированная GGUF-версия модели Carnice-V3, разработанной kai-os и подготовленной bartowski с использованием llama.cpp. Модель рассчитана на задачи генерации текста, агентские сценарии и взаимодействие с инструментами; в метаданных также указана поддержка image-text-to-text и тегов tool-use и agent. Модель содержит 28 млрд параметров и принимает текст, а также изображения при использовании специального mmproj-файла. Поддерживается английский язык. Доступны speculative decoding через MTP и квантизация с imatrix. Представлено множество вариантов квантизации от BF16 и Q8_0 до более компактных Q2/Q3/Q4/Q5/Q6, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. Для большинства сценариев автор рекомендует Q4_K_M как сбалансированный вариант, а Q6_K и Q6_K_L — для более высокого качества. К сильным сторонам относятся большой размер, мультимодальный ввод, поддержка агентских задач и инструментов, а также широкий выбор квантизаций. Ограничениями являются значительный объём файлов, необходимость совместимого ПО на базе llama.cpp и mmproj-файла для обработки изображений; качество также зависит от выбранного уровня квантизации. Модель распространяется по лицензии Apache-2.0.

Llama-Magpie-3.2-3B-Instruct — языковая модель prithivMLmods, дообученная на базе meta-llama/Llama-3.2-3B-Instruct на наборе Magpie-Pro-300K-Filtered-H4. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM и 3,2 млрд параметров, предназначенная для генерации текста, диалогов и выполнения инструкций. Метаданные указывают контекстное окно до 131 072 токенов; модель доступна в формате safetensors и поддерживает чатовый интерфейс и интерфейс вызова инструментов. Модель подходит для создания текстов и кратких пересказов, ответов в чат-ботах и выполнения задач, заданных естественным языком. В карточке указан английский язык; базовая модель описана как мультиязычная, однако README не уточняет языки, на которых именно эта настройка проверена. Качество на конкретных задачах и практический эффект увеличенного контекста не приведены. Указана лицензия CreativeML OpenRAIL-M.

Это GGUF-квантизированная версия Mistral-Small-4-119B-2603, разработанной Mistral AI и опубликованной пользователем bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix. Модель предназначена для задач генерации текста и обработки изображений с текстом, а также для локального запуска через llama.cpp, LM Studio, koboldcpp, Jan AI и другие совместимые инструменты. Модель имеет размер 119 млрд параметров и поддерживает арабский, английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, японский, корейский и китайский языки. Доступны варианты квантизации от Q3 до Q8, различающиеся размером файлов и точностью; рекомендуемые варианты занимают примерно от 64 до 103 ГБ, а Q8_0 — около 126 ГБ. В README не указаны архитектурные детали и размер контекстного окна. Сильной стороной модели является возможность локального использования при сохранении высокого качества, особенно в вариантах Q5–Q6 и Q8. Ограничения связаны с большими требованиями к оперативной памяти и ресурсам, а также с неизбежной потерей качества в более агрессивных вариантах квантизации. Для Q4_1 отмечены проблемы совместимости с поздними слоями FFN_DOWN_EXPS, поэтому исправленная версия этого варианта была переопубликована. Модель распространяется по лицензии Apache-2.0.

dealignai выпустила Ornith-1.5-35B-A3B-UNCENSORED-MXFP8 — версию Ornith-1.5-35B-A3B с удалённым на уровне весов поведением отказа и квантованием MXFP8 в формате MLX для Apple Silicon. Основа — мультимодальная MoE-модель семейства Qwen 3.5 с 35,9 млрд параметров; README указывает 40 слоёв, 256 маршрутизируемых экспертов, гибридный блок gated-delta и full attention, а также 27-слойную визуальную башню. Метаданные Hugging Face относят модель к задаче image-text-to-text и указывают поддержку чата, зрения и интерфейса вызова инструментов. Модель принимает текст и изображения; README также заявляет обработку видео. Она рассчитана на диалог, рассуждения, программирование с инструментами и анализ визуального содержимого. Карточка приводит результаты MMLU 78,9%, HarmBench 100% и KL-дивергенцию 0,0289 относительно некрякнутой MXFP8-версии; это результаты авторского тестирования на данном бандле. Для запуска предназначены vMLX или совместимая с архитектурой qwen3_5_moe среда MLX-VLM на Apple Silicon. Удаление отказов означает, что модель может выполнять запросы без защитного отказа; авторы ориентируют публикацию на исследования безопасности ИИ и разрешённое тестирование. Лицензия — Apache-2.0.

Qwen3.5-9B-Uncensored-Genesis-NVFP4-GGUF — квантизированная NVFP4-версия модели Qwen3.5-9B-Uncensored-Genesis, подготовленная автором репозитория на основе весов LuffyTheFox/Qwen3.5-9B-Uncensored-Genesis-BF16-GGUF с помощью модифицированного квантайзера для GGUF. Это плотная мультимодальная модель семейства Qwen3.5 на 9,22 млрд параметров и 32 слоя; для обработки изображений требуется отдельно использовать неизменённый файл мультимодальной проекции из исходного репозитория. В карточке указан контекст 262 144 токена. Модель предназначена для диалогов, рассуждений, работы с инструментами и задач «изображение–текст», а вариант imatrix v6 калибровался на разговорах, включая примеры вызова инструментов. В репозитории также есть варианты без калибровки и с текстовой калибровкой v5; автор рекомендует v6 для чата, рассуждений и вызова инструментов, а v5 — для обычного продолжения текста. Модель поддерживает английский и китайский языки. Лицензия — Apache-2.0. Карточка не приводит измерений perplexity или KLD для квантованных вариантов, поэтому качество относительно исходных BF16-весов не подтверждено такими метриками; для обработки изображений нужен отдельный файл проекции, а скорость NVFP4 зависит от видеокарты и сборки llama.cpp.

Qwen3.5-9B-Unredacted-MAX — дообученная мультимодальная модель семейства Qwen от prithivMLmods, основанная на Qwen/Qwen3.5-9B. Она предназначена для диалогов и обработки изображений с текстом, а также для локального и облачного инференса, прототипирования, исследований следования инструкциям и тестирования устойчивости. Модель содержит 9 млрд параметров, использует плотную архитектуру Qwen3.5 и распространяется в формате safetensors для Transformers; заявлена совместимость с современными конвейерами Transformers. В карточке сообщается о модификации отказов и приводятся самоотчётные показатели поведения на 2000 тестовых запросах; это не независимый бенчмарк. Возможны неверные или непоследовательные ответы, особенно в сложных сценариях, а результаты зависят от промпта и настроек генерации. Для оптимальной производительности рекомендуется ускорение на GPU. Лицензия — Apache-2.0.

Мультимодальная модель dealignai на базе Qwen3.6-35B-A3B предназначена для диалогов, рассуждений и анализа изображений и видео. В README указана архитектура Mixture-of-Experts с гибридом SSM и полнослойного внимания: 40 слоёв, 256 маршрутизируемых экспертов и 10 активных. Модель дообучена с удалением отказов на уровне весов, а затем квантизирована в MXFP4 для запуска через MLX на компьютерах Apple с заявленным размером около 18 ГБ; сохранена голова MTP для спекулятивного декодирования. Заявлены режимы рассуждений и прямых ответов, а также интерфейс вызова инструментов. Модель подходит для визуальных вопросов и ответов, анализа видеокадров, диалоговых и агентных сценариев. В README приведены результаты HarmBench-320 99,4%, MMLU 74,6% и ускорение генерации в 1,51 раза при использовании совместимого MTP-рантайма; это результаты авторской оценки через vMLX. Модель распространяется по лицензии Apache-2.0. Удаление отказов означает, что она может отвечать на опасные запросы без ограничений.

Qwen3.6-35B-A3B-oQ2e-FP16-MTP-MLX — модель семейства Qwen3.6, подготовленная Treeish в формате MLX safetensors как FP16-вариант пакета Qwen3.6-35B-A3B-oQ2e-MTP-MLX. Она предназначена прежде всего для локального запуска в Sprig на компьютерах Mac с чипами M1 и M2; для M3 и более новых рекомендуется BF16-вариант. Модель поддерживает обработку текста и изображений согласно заявленному pipeline image-text-to-text, однако подробности о визуальных возможностях в карточке не приведены. Архитектура содержит 35 млрд параметров, из которых примерно 3 млрд активны, и использует агрессивную смешанную oQ2e-квантизацию с imatrix: по умолчанию 2-битную affine-квантизацию с размером группы 64 и индивидуальными переопределениями точности от 3 до 8 бит. Остаточные плавающие тензоры имеют точность FP16. В пакет встроен один слой Multi-Token Prediction (MTP), контекстное окно составляет 262 144 токена. Размер пакета — около 13,6 ГБ; для работы Treeish использует 24 ГБ объединённой памяти и рекомендует 32 ГБ, но фактические требования зависят от длины контекста и настроек кэша. Сильными сторонами являются локальная генерация на Apple Silicon, поддержка MTP для потенциального ускорения декодирования и сохранение исходной структуры тензоров при переходе BF16 в FP16. В приведённом тесте на M4 Max скорость составила до 105,8 токена в секунду с MTP, но эти результаты относятся к одной машине и небольшому тестовому набору. Ограничения включают потери качества, возможные для низкобитной квантизации, зависимость от совместимого MLX Swift runtime и отсутствие гарантии побитового совпадения результатов MTP и базовой генерации. Модель распространяется по лицензии Apache 2.0.

Twu31/Qwen3.8-27B-AWQ-INT4-MTP-LowLatency — квантизированная сборка базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем Twu31. Модель предназначена для интерактивного диалога с низкой задержкой, включая чат-интерфейсы, голосовых агентов и embodied assistants, при отключённом рассуждении и работе через vLLM на одной GPU. Это гибридная модель с архитектурой GDN и attention, поддержкой текстово-визуального ввода и языками English и Chinese. Основные веса представлены в формате INT4 W4A16 с симметричной групповой квантизацией g128 и обслуживаются через compressed-tensors и Marlin; lm_head использует INT8, а vision tower и MTP draft head сохранены в BF16. Размер квантизированных весов составляет около 18,2 ГБ против 55,6 ГБ у BF16-версии. Указан максимальный контекст 12 288 токенов в рекомендуемой конфигурации. Сборка поддерживает speculative decoding через MTP и оптимизирована для prefix caching; заявлены TTFT менее 100 мс и задержка полного ответа менее 0,5 секунды в отдельных конфигурациях на RTX 6000 Ada или RTX 5090. Сильные стороны модели — низкая задержка, экономия видеопамяти, сохранённая MTP-голова и высокая эффективность prefix caching при длинном фиксированном системном промпте. Ограничения включают зависимость производительности от версии и настроек vLLM, GPU с архитектурой SM 8.0+, параметров prefix caching и длины ответа; MTP требует проверки фактического acceptance rate и может замедлять работу при низком принятии черновых токенов. Поддержка SGLang не проверялась. Модель распространяется по лицензии Apache-2.0.

TheDrainFlorist/Qwen3.8-27B-VQ-4.5bpw — векторно-квантизированная сборка базовой модели Qwen/Qwen3.8-27B, разработанной Qwen. Модель предназначена для генерации текста и, при использовании совместимого mlx-vlm, обработки изображений. Сборка ориентирована на локальный запуск на устройствах Apple Silicon через MLX и сохраняет совместимость со стандартным mlx-lm без патчей. Модель содержит 27 млрд параметров и использует векторное квантование с эффективностью около 4,5 бит на вес; размер чекпойнта составляет примерно 14,45 GiB, включая vision tower в формате bf16. В метаданных указан английский язык, однако полный набор поддерживаемых языков и размер контекстного окна не приведены. Для загрузки требуется версия mlx-lm с поддержкой параметра model_file, а для работы с изображениями — mlx-vlm версии 0.6.16 или новее. Главное преимущество сборки — заметно меньший размер при качестве, близком к bf16 и немного лучшем, чем у указанной локальной 4-битной affine-квантизации: согласие по наиболее вероятному токену составляет 90,1%, а расхождение с bf16-версией — 40,3 millinats на токен. Ограничения включают зависимость от Apple Silicon и совместимых версий MLX, необходимость корректной загрузки встроенного runtime, а также снижение точности по сравнению с bf16 и более качественными 6- и 8-битными вариантами. Лицензия — Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-oQ2-MTP — это общественная MLX-конверсия модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для генерации текста и обработки изображений и видео в совместимых vision-language сценариях на устройствах Apple Silicon. Это не официальный релиз Qwen, а квантованная версия, преобразованная из официального BF16-чекпойнта в формат MLX safetensors. Модель использует архитектуру qwen4_exp с разреженной смесью экспертов (MoE), Gated DeltaNet, Qwen Sparse Attention, расширенными gated residual streams и hashed n-gram embeddings. Общее число параметров языковой модели составляет около 125 млрд, активных — около 6 млрд; дополнительно указаны 51 млрд параметров n-gram embedding и 4 млрд параметров native MTP-блока. Архитектура включает 48 слоёв, 512 маршрутизируемых экспертов, 10 активных экспертов и один общий эксперт. Контекст настроен на 262 144 токена и может быть расширен upstream до 1 000 000 токенов. Ключевая особенность — чувствительно-ориентированное смешанное квантование oQ2: базовое представление использует 2-битное affine-квантование с размером группы 32, а отдельные модули — 3, 4, 5, 6 и 8 бит. В чекпойнте сохранён один native MTP draft-блок для speculative decoding. На Apple M3 Studio в тестах скорость генерации составила 26,1398 токена в секунду без MTP и 25,9290 токена в секунду с MTP глубины 3; в данном тесте MTP снизил производительность на 0,81%, поэтому рекомендуется отключать его по умолчанию. Для запуска требуется runtime с явной поддержкой qwen4_exp и native MTP; без такой поддержки загрузка может завершиться ошибкой. Модель распространяется по лицензии Qwen Community License 1.0. Размер весов составляет около 70,782 ГБ, поэтому необходимы значительные объёмы памяти и совместимое оборудование. README не содержит полного описания ограничений исходной модели и предупреждает, что результаты производительности зависят от длины запроса, размера контекста, состояния кэша, версии runtime, нагрузки на память и температуры устройства.

T3Q-qwen2.5-14b-v1.0-e3 — дообученная модель на основе Qwen/Qwen2.5-14B-Instruct-1M, опубликованная разработчиком JungZoona. Это плотная языковая модель с архитектурой Qwen2ForCausalLM и 14 млрд параметров, предназначенная для диалогов и генерации текста. Модель рассчитана на контекст длиной до 1,01 млн токенов и работает через библиотеку Transformers. В README указано, что модель прошла постобучение с LoRA на train_data_v1.0. Метаданные заявляют поддержку чата и интерфейса вызова инструментов; модель может применяться для длинных диалогов и анализа больших текстовых контекстов. В карточке сообщается о первом месте среди моделей до 32 млрд параметров в Global Open LLM Leaderboard, однако подробности оценки не приведены. Поддерживаемые языки по метаданным — английский и корейский. Модель распространяется по лицензии Apache-2.0. README сообщает о выпуске более новой версии T3Q-qwen2.5-14b-v1.2-e2 от 14 марта 2025 года, поэтому v1.0-e3 может быть устаревшей относительно неё.

mradermacher/turbo-ai-7b-i1-GGUF — набор квантованных версий текстовой модели TurboAiLabs/turbo-ai-7b, подготовленный пользователем mradermacher. Модель предназначена для генерации текста и диалогового использования, включая работу с электронной почтой, суммирование, подготовку черновиков и извлечение задач. В метаданных также указана пригодность для локального и периферийного развёртывания, что может быть полезно для сценариев с повышенными требованиями к приватности. Исходная модель имеет размер 7B параметров, относится к архитектуре Qwen2 и поддерживает английский язык. Репозиторий содержит файлы в формате GGUF с различными вариантами квантования от i1-IQ1_S до i1-Q6_K; их размер составляет примерно от 2,0 до 6,4 ГБ. Более компактные варианты требуют меньше памяти, но могут обеспечивать более низкое качество, тогда как i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Контекстный размер, мультимодальность и точные характеристики исходной модели в README не указаны. Распространение выполняется по лицензии Apache-2.0. Для запуска квантованных файлов требуется совместимое программное обеспечение, поддерживающее формат GGUF; конкретные требования к оборудованию и производительности не приведены.

AIArchiveInfo/Yi-34B-Chat — побайтовая архивная копия Yi-34B-Chat, исходно разработанной компанией 01.AI и опубликованной под лицензией Apache-2.0. Согласно карточке, веса не обучались, не дообучались и не изменялись при копировании; лицензия оригинала продолжает действовать. Это диалоговая плотная языковая модель на архитектуре Transformer семейства Llama, содержащая 33,9 млрд параметров и рассчитанная на генерацию текста в формате чата. Она предназначена для общения, ответов на вопросы, понимания языка, рассуждений, здравого смысла и чтения с пониманием. В README модель описана как двуязычная, с упором на английский и китайский; максимальный контекст составляет 4096 токенов. Карточка сообщает о сильных результатах Yi-34B-Chat в сравнительных оценках, но приведённые позиции относятся к данным 2024 года и не гарантируют качество для конкретных задач. Размер модели требует значительных вычислительных ресурсов; модель может ошибаться и не следует считать её ответы проверенными фактами. Репозиторий содержит веса в формате safetensors.