II.2Создание и понимание программного кода

Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored — дообученная плотная мультимодальная модель семейства Qwen3.5 от DavidAU с 40 млрд параметров и архитектурой Qwen3_5ForConditionalGeneration. Она предназначена для диалогов, рассуждений, программирования, творческого письма и ролевых сценариев; метаданные также указывают поддержку изображений и интерфейс вызова инструментов. В карточке заявлены подробные ответы и адаптивное использование токенов рассуждения, однако приведённые заявления о превосходстве в тестах не сопровождаются проверяемыми результатами. Модель использует формат safetensors, библиотеку Transformers и распространяется по лицензии Apache-2.0. Указаны английский и китайский языки. README описывает вариант GGUF как отдельный ресурс; представленные здесь метаданные относятся к safetensors-модели.

KridgeDookie/Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS — мультимодальная производная модель на базе Qwen/Qwen3.8-27B. Она сохраняет гибридную текстово-визуальную архитектуру исходной модели, имеет 27 млрд параметров и распространяется в формате BF16 Safetensors, а также в нескольких текстовых вариантах GGUF. Модель заявлена как многоязычная и предназначена для диалогов, генерации и анализа текста, программирования, работы с JSON, объяснений, математических задач и обработки изображений. Для запуска в Transformers рекомендуется около 56 ГБ памяти под веса без учёта служебных расходов и KV-кэша; в примере для Ollama указан контекст 32768 токенов, но это не подтверждает максимальный контекст модели. Основная особенность версии PHILADELPHIA CLASS — существенное снижение отказов от ответа. По внутренним автоматизированным проверкам авторов, модель не отказала в 842 основных и 126 отложенных запросах, а также прошла 23 из 24 проверок связности; эти результаты не являются независимым аудитом или публичными бенчмарками, причём часть тестовых запросов использовалась при настройке преобразования. Возможные ограничения включают отсутствие гарантии сохранения исходных показателей рассуждений, точности, программирования и компьютерного зрения, зависимость поведения от квантования и серверной части, а также отсутствие MTP-головы, из-за чего недоступно спекулятивное декодирование на её основе. Safetensors предназначен для проверенного мультимодального режима, тогда как GGUF-файлы являются текстовыми и требуют отдельного совместимого vision projector для работы с изображениями. Модель выпущена по лицензии Apache License 2.0.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-Fable-mxfp8-mlx — экспериментальная объединённая модель, разработанная NightmediaAI на основе Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 от DavidAU и Qwen3.8-27B-Fable-Distill от armand0e. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, математических и STEM-задач, исследовательских сценариев, творческого письма, создания художественных историй и ролевого взаимодействия. Указана поддержка английского, китайского, японского и испанского языков. Модель содержит 27B параметров и представлена в формате mxfp8 для MLX; в карточке также упоминается вариант mxfp4. Заявлены контекстные окна до 256K и 1M токенов, однако подробности реализации не приведены. В качестве сильных сторон указаны улучшенные результаты по сравнению с базовой Qwen3.8-27B на приведённых тестах, а также высокая скорость генерации: около 180 токенов в секунду при mxfp8. Ограничения включают экспериментальный статус, отсутствие подробных инструкций по применению и неполные сведения о фактической поддержке мультимодального ввода, несмотря на тег image-text-to-text. Лицензия указана как Apache-2.0. Модель предназначена для исследовательского и общего использования, но заявленные характеристики и результаты следует проверять самостоятельно, поскольку они основаны на данных из карточки модели.

Atomic-Germ/Qwen3.8-27B-Heretic-MTP-GGUF — это многоэтапная дообученная и объединённая версия Qwen3.8 с 27 млрд параметров, распространяемая в формате GGUF. Модель основана на DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU и создана с использованием Unsloth, методов Cold Fusion и Fable Fusion 711. В репозитории представлены обычные и MTP-квантизации, включая варианты с 4- и 8-битной точностью и imatrix-оптимизацией. Модель предназначена для широкого круга сценариев: решения задач и рассуждений, программирования, творческого письма, генерации художественных текстов, ролевого взаимодействия и других универсальных применений. Заявлены поддержка английского и китайского языков, три режима работы с рассуждениями, а также акцент на сокращение объёма внутренних рассуждений и ускорение генерации при сохранении детализации ответов. Архитектура, точное окно контекста и наличие подтверждённой мультимодальности в README не указаны. К сильным сторонам относятся относительно высокая производительность на потребительском оборудовании, уменьшенное число токенов рассуждений, варианты для разного объёма памяти и ориентация на детализированные ответы. В README приводятся высокие результаты на ARC-C и ARC-E, однако это заявления автора и не являются независимо подтверждёнными характеристиками. Ограничения включают возможную зависимость качества от выбранной квантизации, отсутствие подробных данных о контекстном окне и неполную информацию о тестировании. Модель распространяется по лицензии Apache-2.0.

utautako/Qwen3.8-27B-NVFP4-MTP-Q8attn-GGUF — это квантованная GGUF-версия модели Qwen3.8-27B, разработанной командой Qwen. Конверсию выполнил автор репозитория с использованием NVIDIA ModelOpt: MLP-слои представлены в формате NVFP4, а проекции attention и линейного внимания DeltaNet сохранены в Q8_0 для повышения точности, особенно при работе с длинным контекстом. Модель предназначена для запуска через llama.cpp. Модель поддерживает текстовые и визуальные сценарии: для обработки изображений поставляется отдельный BF16 vision projector, совместимый с путём Qwen3-VL. Архитектура содержит 64 текстовых слоя и один MTP-слой для speculative decoding; общий размер основного файла составляет около 17,81 GiB, а плотность — примерно 5,60 бит на вес. Заявлена поддержка контекста до 213056 токенов в текстовом режиме и до 163840 токенов при подключённом vision projector на RTX 5090 с 32 ГБ видеопамяти. К сильным сторонам относятся сохранение качества attention-компонентов за счёт Q8_0, поддержка изображений и ускорение генерации с помощью MTP: на RTX 5090 производительность достигает примерно 120–130 токенов в секунду, что примерно вдвое выше авторегрессионного режима. Ограничения включают зависимость от совместимой версии llama.cpp, значительные требования к видеопамяти и снижение эффективности speculative decoding при глубине чернового предсказания четыре и более. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4-W4A16-MLP-GGUF — это квантованная GGUF-версия модели Qwen/Qwen3.8-27B, опубликованная axiomofmind. Модель предназначена для запуска через llama.cpp и поддерживает текстовые сценарии, а при подключении отдельного vision-проектора mmproj-Qwen3.8-27B-BF16.gguf — обработку изображений. Объём модели составляет 27B параметров; языки и максимальный размер контекста в README не указаны. Доступны два варианта: версия объёмом 30,06 ГБ с attention в BF16/F32, ориентированная на максимальное сохранение точности, и компактная версия объёмом 23,29 ГБ с attention в Q8_0, рассчитанная на снижение требований к VRAM и ускорение загрузки. В обеих версиях MLP-слои 64-слойного backbone используют NVFP4 W4A16, тогда как эмбеддинги, выходная голова, MTP/NextN-компоненты и vision-компоненты сохраняются в более высокой точности. Поддерживаются встроенное MTP и опциональное speculative decoding с DFlash 2; для работы требуется свежая CUDA-сборка llama.cpp с поддержкой NVFP4 и Qwen3.8. Ограничениями являются значительные требования к видеопамяти, зависимость от совместимой версии llama.cpp и потенциальная потеря точности из-за квантования. Лицензия — Apache 2.0.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — многоэтапная дообученная и объединённая версия модели Qwen3.8-27B, опубликованная DavidAU. Модель создана с использованием Unsloth, методов COLD FUSION и Fable Fusion 711, а также представлена в форматах GGUF с обычными и MTP-квантами. Заявлены поддержка английского и китайского языков и лицензия Apache-2.0. В метаданных указан тип pipeline image-text-to-text, однако подробности о фактической поддержке изображений не приведены. Модель предназначена для широкого круга задач: рассуждений, решения задач, программирования, творческого письма, художественной прозы, ролевых сценариев и диалогов. Ключевая особенность — стремление сократить объём рассуждений и ускорить генерацию при сохранении подробности ответов; заявлено сокращение числа thinking-токенов примерно от двух до десяти раз по сравнению с обычной Qwen3.8. Доступны варианты для запуска на потребительском оборудовании, включая 4-битные и 8-битные квантизации. Ограничения включают отсутствие указаний на размер контекстного окна, точный набор поддерживаемых модальностей и подробные независимые результаты тестирования; приведённые сведения о превосходстве над другими моделями основаны на заявлениях автора.

A3Pz0/Qwen3.8-27B-TURBO-Fable-Uncen-MTP-GGUF — это многос этапная дообученная и объединённая версия Qwen3.8-27B, разработанная автором DavidAU с использованием Unsloth, методов Cold Fusion и Fable Fusion. Модель распространяется в формате GGUF с обычными и MTP-квантами, включая варианты с точностью 4 и 8 бит, и ориентирована на работу на потребительском оборудовании. Модель предназначена для решения общих задач, рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Заявлены режимы thinking и reasoning, а также оптимизация для сокращения объёма рассуждений и ускорения генерации при сохранении детализации ответа. В карточке указаны английский и китайский языки. Архитектура и размер унаследованы от Qwen3.8-27B; поддержка изображений заявлена через тег image-text-to-text, но подробности мультимодальных возможностей в README не приведены. К сильным сторонам относятся заявленные автором высокие результаты на наборах ARC-C и ARC-E, улучшение по сравнению с базовой Qwen3.8-27B, сокращение числа токенов рассуждений и наличие вариантов для разного объёма памяти. Ограничения включают отсутствие независимой проверки приведённых бенчмарков, неполные сведения о контекстном окне и мультимодальности, а также возможную специфику поведения uncensored/abliterated-дообучения. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-INT8-AutoRound — квантизированная версия модели orcarouter/Qwen3.8-27B-Uncensored, опубликованная пользователем berkerdooo. Она предназначена для запуска и обслуживания языковой или мультимодальной модели Qwen3.8 в условиях ограниченных ресурсов с использованием INT8-квантования весов. В карточке указана multimodal-конфигурация image-text-to-text, а также наличие vision tower, однако поддерживаемые языки и полный перечень мультимодальных возможностей не описаны. Модель имеет размер 27B параметров и использует смешанную точность W8A16: 263 линейных слоя, включая основные проекции self-attention и MLP, хранятся в симметричном INT8 с group size 128, а 354 линейных слоя, включая linear attention, эмбеддинги, выходную голову, нормализационные слои и vision tower, работают в BF16. Квантование выполнено с помощью AutoRound методом SignRound после калибровки на текстах и исходном коде. В README упоминается архитектура с 16 слоями full attention и 48 слоями linear attention/GDN. Для обслуживания проверена связка vLLM с GPTQ-Marlin и поддерживается MTP speculative decoding; в тестовой конфигурации указан максимальный контекст до 262144 токенов. Сильной стороной является небольшая потеря относительно BF16-источника: на указанном тесте согласие top-1 составило примерно 97,2–97,7%, а разница NLL была +0,0022. Ограничения включают зависимость от совместимого стека vLLM и аппаратного обеспечения, а также отсутствие в README результатов прикладных бенчмарков, точного описания языковой поддержки и детальной оценки качества vision-возможностей. Модель распространяется по лицензии Apache-2.0.

Карточка модели willhx/Qwen3-8B-Base-Math-SeaSFT на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

Карточка модели willamazon1/Qwen3-8B-SDFT-Math-LoRA-iter45 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

xaionaro/qwen38-fcf-gguf — открытая многоэтапная fine-tune- и merge-модель на базе Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. В README указано, что разработка выполнялась командой автора с использованием Unsloth, методов COLD FUSION и Fable Fusion. Модель распространяется в формате GGUF, включая обычные и MTP-квантизации Neo-CODER MAX DI-MATRIX; заявлены варианты с разрядностью 4 и 8 бит. Размер базовой модели — 27 млрд параметров. Модель предназначена для широкого спектра задач: общего диалога, решения задач и рассуждений, программирования, творческого письма, художественной прозы и ролевых сценариев. Заявленная особенность — сокращённый объём thinking-токенов по сравнению с обычной Qwen3.8, что должно уменьшать задержку и расход токенов при сохранении подробности ответов. В метаданных указаны английский и китайский языки. Поддержка контекста, точный набор модальностей и дополнительные архитектурные характеристики в README не описаны; тег image-text-to-text сам по себе не позволяет надёжно подтвердить полноценную работу с изображениями. К сильным сторонам относятся ориентация на высокую детализацию, рассуждения, код и творческие задачи, а также наличие квантизированных сборок для запуска на потребительском оборудовании. Автор заявляет превосходство над рядом базовых моделей в семи бенчмарках и высокие результаты ARC, однако эти утверждения требуют независимой проверки. Ограничениями являются отсутствие подробных воспроизводимых данных о тестировании, неизвестные требования к памяти и производительности для конкретных квантов, а также uncensored-профиль, который может приводить к генерации небезопасного или нежелательного контента. Указанная лицензия — Apache-2.0.

RockTalk/Qwen3.8-Flash-Next-MLX-4bit — это 4-битная MLX-квантизованная версия экспериментальной модели Qwen3.8-Flash-Next, разработанной командой Qwen. Порт создан Rocktalk-Holdings для запуска на Apple Silicon; модель использует архитектуру qwen4_exp и предназначена для генерации текста, программного кода, структурированных ответов и агентских сценариев. Вариант с соответствующим мультимодальным окружением также поддерживает обработку изображений и видео, а сама модель — вызовы инструментов. Заявленный размер составляет около 180 млрд параметров: 125 млрд параметров MoE-трансформера, из которых активно около 6 млрд, 51,2 млрд параметров n-граммной embedding-таблицы и 4 млрд параметров MTP-головы для спекулятивного декодирования. Архитектура включает 512 экспертов, разреженное внимание QSA на 12 из 48 слоёв, Gated DeltaNet на 36 слоях и Hyper-connections. Основной заявленный язык — английский. Контекст модели в README не указан. Для MLX-версии применяется преимущественно 4-битная аффинная квантизация с размером группы 64, а отдельные компоненты используют 8-битное представление. Сильной стороной модели является эффективный запуск на компьютерах Apple Silicon: на M3 Ultra заявлена скорость около 26–35 токенов в секунду, а при использовании внешнего MTP-драфтера и gmlx — до 55–86 токенов в секунду в зависимости от типа содержимого. Спекулятивное декодирование сохраняет идентичность последовательностей с обычным жадным режимом в заявленных проверках. Ограничения включают очень высокие требования к памяти, зависимость от специализированного MLX/gmlx-стека и экспериментальный статус архитектуры; заявленная поддержка изображений, видео и инструментов относится к дополнительной конфигурации с отдельным vision projector и совместимым сервером. Лицензия указана как other, без дополнительных условий в README.

RWKV-4-Raven — серия языковых моделей BlinkDL, представляющая собой дообученные на диалоговых и инструкционных данных версии RWKV-4-Pile. В серии указаны варианты размером 1,5, 3, 7 и 14 млрд параметров; метаданные этого репозитория не уточняют размер конкретного чекпойнта. Архитектура RWKV описана как языковая модель на основе RNN, а репозиторий содержит веса PyTorch. Модель предназначена для генерации текста и диалогов в формате реплик «Bob» и «Alice». Варианты серии ориентированы преимущественно на английский язык либо на сочетание английского с китайским и другими языками. При дообучении использовались Alpaca, CodeAlpaca, Guanaco, GPT4All и ShareGPT; это позволяет применять модель для ответов на инструкции, общения и генерации кода. Модель лицензирована по Apache 2.0. README рекомендует использовать специальный формат промпта и избегать двойных переводов строки внутри реплик. Для серии указаны разные языковые пропорции, поэтому языковые возможности зависят от конкретного варианта; README рекомендует RWKV-4-World для более широкой поддержки языков.

Tiiny/SmallThinker-4BA0.6B-Instruct-GGUF — GGUF-квантизированная версия SmallThinker-4BA0.6B-Instruct, семейства нативных для устройств языковых моделей с архитектурой Mixture-of-Experts. Модель разработана совместно IPADS и School of AI Шанхайского университета Цзяотун при участии Zenergize AI и предназначена для локального запуска на устройствах с ограниченными ресурсами, обеспечивая приватность и низкую задержку без обращения к облачным сервисам. Модель рассчитана на генерацию текста и работу в инструкционном режиме: ответы на вопросы, рассуждения, решение математических задач, следование инструкциям и генерацию кода. Она обучалась преимущественно на английском языке, поэтому качество для других языков не заявлено. Контекстное окно составляет 32K токенов. Архитектура включает 4B общих параметров и 0,6B активируемых параметров, 32 слоя, 12 attention heads, механизм GQA, активацию ReGLU, 32 эксперта MoE и выбор 4 экспертов на токен. К сильным сторонам относятся высокая эффективность для компактной модели, возможность локального развертывания, поддержка llama.cpp для обычных GGUF-файлов и PowerInfer для файлов с суффиксом .powerinfer.gguf, использующих разреженные операторы. Ограничения включают преимущественно англоязычное обучение, возможные фактические ошибки, предвзятость и устаревание ответов, а также зависимость специальных .powerinfer.gguf-файлов от фреймворка PowerInfer. Модель распространяется по лицензии Apache-2.0.

Myric/Spark-X2.5-4B-GGUF — это GGUF-конверсия модели XHToken/Spark-X2.5-4B, предназначенная для генерации текста и работы в сценариях рассуждений, включая агентное программирование. Модель выпускается в нескольких вариантах точности и квантования для запуска через llama.cpp. Модель имеет плотную архитектуру примерно на 4,11 млрд параметров, 36 слоёв, скрытое пространство размером 2560, 16 query-heads и 4 KV-heads. Она использует чередующееся sliding-window attention: 27 слоёв с окном 512 токенов и 9 слоёв с полным вниманием. Заявлен максимальный контекст до 1 048 576 токенов, однако качество на таком контексте в README не измерялось. Модель поддерживает текстовую модальность, имеет словарь на 131 072 токена и выдаёт блок рассуждений. Сильными сторонами являются сравнительно низкие требования к памяти при длинном контексте, наличие вариантов от BF16 до Q4_K_M и оптимизация квантований с importance matrix. Для запуска требуется специально пропатченная ветка llama.cpp с поддержкой архитектуры spark2_5; стандартная upstream-версия не загрузит модель. Необходимо явно задавать размер контекста, иначе может быть предпринята попытка выделить память под полный контекст в 1 млн токенов. Производительность и результаты в README измерены на ограниченном наборе задач, поэтому их нельзя считать универсальными оценками. Модель и конверсия распространяются по лицензии Apache-2.0.

Swift-Qwen3.8-27B-Genesis-F16-GGUF — мультимодальная модель на базе Swift-Qwen3.8-27B, опубликованная LuffyTheFox. Автор применил к весам метод Genesis для численной коррекции тензоров; модель распространяется в формате GGUF F16 и рассчитана на запуск в llama.cpp, LM Studio, koboldcpp и других совместимых средах. Лицензия — Apache-2.0. Модель предназначена для диалогов, анализа изображений и видео, а также задач общего назначения, включая программирование. README указывает плотную архитектуру на 27 млрд параметров с визуальным энкодером, 64 слоями языковой модели и контекстом 262 144 токена; заявлена возможность расширения контекста до 1 000 000 токенов при поддержке со стороны среды запуска. Указана поддержка текста, изображений и видео, однако для работы с изображениями нужен отдельный файл mmproj. Автор описывает Genesis как постобработку тензоров без переобучения и заявляет, что она снижает шум весов, сохраняя выученные знания. Эти заявления не сопровождаются в карточке независимыми результатами оценки. Для работы с шаблоном диалога рекомендуется llama.cpp с флагом --jinja; README также советует использовать контекст не менее 128K токенов для сохранения возможностей рассуждения. Модель помечена как uncensored; качество и поведение на разных задачах могут отличаться от заявлений автора.

ThinkingCap-Qwen3.6-27B-NVFP4 — квантизированная версия модели ThinkingCap-Qwen3.6-27B от BottleCap AI, созданная на базе Qwen3.6-27B, разработанной командой Qwen. Модель дообучена для сохранения качества и стиля ответов базовой модели при среднем сокращении числа токенов рассуждений примерно на 50%, а затем сжата до формата NVFP4 для эффективного инференса. Это крупная модель с весами 4 бита и активациями bf16 в режиме W4A16. Размер чекпойнта составляет около 19 ГБ вместо примерно 55 ГБ для версии bf16. В составе сохранены vision tower, lm_head и MTP-голова, поэтому заявлена поддержка мультимодальных компонентов исходной модели и самоспекулятивного декодирования с multi-token prediction. Модель предназначена прежде всего для запуска через vLLM на GPU NVIDIA Hopper и Blackwell; для спекулятивного декодирования требуется vLLM версии 0.24.0 или новее. Сильные стороны модели — существенно меньшие требования к памяти, примерно двукратное ускорение декодирования относительно bf16-контрольной версии и дополнительное ускорение за счёт MTP. По данным разработчика, в отдельных тестах суммарное ускорение на задачу относительно исходной невзвешенной модели составляло примерно 4,7–8,4 раза при сопоставимой точности. Ограничение заключается в том, что текущая реализация предназначена для vLLM: SGLang пока не может загрузить weight-only NVFP4 для этой архитектуры. Для llama.cpp, Ollama и LM Studio рекомендуется использовать отдельные GGUF-квантизации. Модель распространяется по лицензии Apache-2.0, однако доступ к карточке на платформе может требовать заполнения формы и принятия условий доступа.

TinyMistral-6x248M — компактная языковая модель M4-ai на архитектуре Mixtral с механизмом смеси экспертов (MoE). Она создана с помощью LazyMergekit путём слияния шести моделей семейства TinyMistral, включая варианты для инструкций, диалогов и генерации кода, а затем предварительно обучена на 600 тысячах примеров набора nampdn-ai/mini-peS2o. В метаданных указано 215,2 млн параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста, в том числе ответов на запросы и кода. Для инференса автор рекомендует включать семплирование и приводит настройки температуры, top-p, top-k и штрафа за повторы. Автор предупреждает о заметном снижении качества при использовании Inference API. Модель распространяется по лицензии Apache-2.0.

Trismal-NeurAmoclion-7B-Base-Ties — объединённая модель на основе Mistral, созданная JoPmt с помощью LazyMergekit. Она объединяет JoPmt/Trismal-HyperAmocles-7B-Base-Ties и Locutusque/NeuralHyperion-2.0-Mistral-7B методом TIES. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и принимает контекст до 32 768 токенов. Модель предназначена для генерации текста. Описание базовой модели указывает на поддержку сложных вопросов, научных рассуждений, генерации кода и диалогов; README не уточняет, насколько эти возможности сохраняются после слияния. Доступные сведения не описывают лицензию или языки модели.

Это репозиторий трёх GGUF-квантований Xing4.0-29B-A4B, подготовленных автором vincespeed с помощью Apex-Quant для запуска через llama.cpp. В основе — XingChen-AGI/Xing4.0-29B-A4B, диалоговая модель архитектуры Xing4_0ForCausalLM: 29 млрд параметров всего, около 4 млрд активных на токен, с 40 слоями, включая блоки Mixture-of-Experts и Multi-Latent Attention. Доступны профили i-quality, i-balanced и i-compact с разным соотношением качества, размера и скорости; файлы занимают примерно 14–22 ГБ. Модель предназначена для генерации текста и диалогов. Её можно использовать для ответов на вопросы, написания текстов, рассуждений и программирования; исходная модель также рассчитана на длинный контекст и агентные задачи с инструментами. В README указана поддержка контекста до 65 536 токенов для приведённой оценки памяти KV-кэша. Репозиторий содержит только квантованные варианты и не сообщает отдельного языкового списка. При тестировании автор получил вывод, состоящий из пробелов, на CPU и при частичной выгрузке на GPU; возможны проблемы маршрутизации экспертов в некоторых конфигурациях, поэтому качество инференса следует проверять на целевом окружении. Черновая голова Multi-Token Prediction при обычном инференсе не исполняется, а спекулятивное декодирование зависит от движка. Лицензия — Apache 2.0.

A3ON-1B-i1-GGUF — это GGUF-квантизация базовой модели A3ON-1B, разработанной Kaiiddo и подготовленной к распространению пользователем mradermacher. Модель предназначена для генерации текста и помощи в программировании; в метаданных указана поддержка английского языка. Формат GGUF рассчитан на локальный запуск в совместимом программном обеспечении. Модель имеет размер 1 млрд параметров, однако сведения об архитектуре, длине контекста и поддерживаемых модальностях в README не приведены. Доступны многочисленные варианты квантизации, включая IQ- и Q-семейства, размером примерно от 0,5 до 1,1 ГБ. В README отмечается, что IQ-квантизации часто обеспечивают лучшее качество при сопоставимом размере; среди вариантов отдельно рекомендуются i1-Q4_K_M и i1-Q4_K_S, а i1-Q6_K по качеству практически соответствует статической Q6_K. Более агрессивные варианты могут заметно снижать качество. Лицензия модели — CC BY 4.0. README не содержит подробных результатов тестирования, поэтому её преимущества и ограничения следует оценивать с учётом выбранного уровня квантизации и конкретного сценария использования.

Карточка модели jondurbin/airoboros-l2-70b-2.1 на Hugging Face совпадает с карточкой jondurbin/airoboros-l2-13b-2.1, поэтому описание составлено по ней. airoboros-l2-13b-2.1 — языковая модель на архитектуре Llama 2, дообученная Jondurbin на синтетических инструкциях Airoboros. Она предназначена для диалогов и выполнения инструкций: ответов по заданному контексту, написания текстов и следующих глав, ролевых бесед, помощи с кодом, планирования и генерации аргументов функций в JSON или YAML. В обучающий набор вошли примеры стилизованных ответов и экспериментальные форматы ролевых диалогов. Модель содержит 12,9 млрд параметров, работает с текстом и имеет нативное контекстное окно 4096 токенов. Для диалогов используется формат с маркерами USER и ASSISTANT; карточка рекомендует останавливать генерацию при появлении USER:, поскольку модель может продолжить имитацию диалога. В README указано, что версия 2.1 имеет ошибку форматирования промптов при обучении, которая может ухудшать работу; заявлена как экспериментальная. Модель распространяется по лицензии Llama 2. В карточке описан небольшой набор для ослабления цензурных ограничений, поэтому ответы могут включать чувствительный контент; качество и соблюдение инструкций не гарантированы.

AutomatosX AX-Qwen3.8-27B-MLX-AXQ-4bit-MTP — это смешанно-точечный квантованный чекпойнт на базе Qwen/Qwen3.8-27B, предназначенный для запуска на Apple Silicon через MLX. Основная языковая часть модели квантована с применением AXQuant, а голова multi-token prediction и vision tower сохранены в формате BF16. Модель имеет 27,36 млрд логических параметров, архитектуру Qwen3_5ForConditionalGeneration и поддерживает генерацию текста, а также визуальный ввод; аудио не поддерживается. Максимальный заявленный контекст — 262 144 токена, однако практический предел зависит от объёма unified memory устройства. Модель ориентирована на локальный текстовый инференс, разработку и сценарии, где важны сниженный объём хранения и запуск на компьютерах Apple Silicon. Она совместима с MLX-LM для стандартного текстового инференса, а для использования MTP и связанных runtime-возможностей предусмотрены AX Engine, oMLX и MTPLX. Полный размер загрузки составляет около 18,20 ГБ, измеренный общий показатель — 5,2338 BPW. Заявления об ускорении MTP ограничены профилями, указанными в сертификатах, и не гарантируются для всех конфигураций; MLX-LM также может не использовать vision- и MTP-компоненты. Репозиторий содержит MLX Safetensors и не включает веса PyTorch или GGUF. Модель распространяется по лицензии Apache-2.0. Для работы требуются совместимые версии MLX-инструментов и достаточный объём памяти; качество и возможности визуального инференса зависят от выбранного runtime и его поддержки дополнительных компонентов.

CleverQwen2-1.5B — объединённая языковая модель на архитектуре Qwen2, созданная автором trollek с помощью mergekit методом Model Stock. В основу слияния взята trollek/Qwen2-1.5B-Instruct-Abliterated; также объединены cognitivecomputations/dolphin-2.9.3-qwen2-1.5b, M4-ai/Hercules-5.0-Qwen2-1.5B и Replete-AI/Replete-Coder-Qwen2-1.5b. Модель содержит 1,5 млрд параметров, использует формат safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке; объединение моделей включает варианты общего назначения и для программирования. Автор сообщает, что при слиянии число параметров выросло примерно на 300 млн и что модель работает ожидаемым образом, но подробные оценки качества не приводит. Лицензия — Apache-2.0.

DeepSeek-R1-0528-GGUF — это набор квантизированных версий языковой модели DeepSeek-R1-0528, разработанной deepseek-ai и преобразованной в формат GGUF участником bartowski с использованием llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_XS и другие, размером примерно от 215 до 713 ГБ для представленных файлов. Квантизация выполнена с применением imatrix и специального набора данных; для повышения производительности использовались изменения из соответствующего PR для llama.cpp. README не содержит сведений о точной архитектуре, числе параметров, поддерживаемых языках, модальностях и размере контекста исходной модели. Сильной стороной набора является широкий выбор уровней квантизации: более высокие варианты обеспечивают качество, близкое к исходному, а более компактные позволяют экономить оперативную память. Ограничения связаны с очень большими требованиями к дисковому пространству и памяти, а также с неизбежным снижением качества у низкобитных вариантов. Для работы следует использовать указанный формат промпта с маркерами DeepSeek-R1. Модель распространяется по лицензии MIT.

calcuis/deepseek-r1 — это квантованная версия DeepSeek-R1 в формате GGUF, основанная на модели deepseek-ai/DeepSeek-R1. Разработчик исходной модели — DeepSeek; репозиторий calcuis предоставляет её GGUF-представление. Модель предназначена для генерации текста и запуска через совместимые GGUF-коннекторы, включая gguf-connector, что подходит для локального или специализированного инференса. README отдельно отмечает исправленную загрузку и совместимость с архитектурой llama. Исходный DeepSeek-R1 — текстовая модель с архитектурой MoE, 671 млрд общих параметров и 37 млрд активируемых параметров. Указан английский язык; поддержка других языков, точный размер квантованного файла, допустимая длина контекста и конкретный вариант квантования для этой сборки в README не описаны. Приведённые результаты исходной модели показывают сильные стороны в математике, программировании, рассуждениях и китайских языковых тестах, однако эти показатели не обязательно полностью отражают характеристики данной квантованной версии. К ограничениям относятся зависимость от совместимого GGUF-коннектора и возможное снижение качества или точности из-за квантования; конкретные потери качества не представлены. Модель распространяется по лицензии MIT. Использование требует оборудования и программной среды, совместимых с GGUF и выбранным размером квантованного файла.

DeepSeek-R1-Distill-Qwen-14B-3MPER0RR-abliterated — экспериментально изменённая версия DeepSeek-R1-Distill-Qwen-14B от 3MPER0RR. Это плотная 14-миллиардная языковая модель на архитектуре Qwen2 для диалогов и генерации текста; в карточке указано, что модель протестирована и сохранена. Она унаследовала от базовой модели поддержку рассуждений, в том числе для математических и программных задач, и контекст до 131 072 токенов. Модель рассчитана на разговорное взаимодействие и текстовые запросы. README описывает её как модифицированную, «abliterated» экспериментальную версию, но не уточняет метод изменения и не приводит результатов сравнительных оценок, поэтому нельзя установить, как оно повлияло на качество и поведение. Лицензия — MIT.

DeepSeek-R1-Distill-Qwen-14B-Q4_K_M-GGUF — это квантованная версия модели DeepSeek-R1-Distill-Qwen-14B, разработанной организацией deepseek-ai и опубликованной в формате GGUF пользователем Andrew Webby из RolePlai. Модель предназначена для генерации текста, диалоговых сценариев, ролевого общения, а также задач программирования и математики; она может использоваться в приложениях на базе llama.cpp. Модель основана на архитектуре Qwen, имеет размер 14 млрд параметров и поддерживает текстовый ввод и вывод. Квантование Q4_K_M уменьшает требования к памяти по сравнению с полной версией, что делает модель более подходящей для локального запуска, однако может снижать точность по сравнению с исходными весами. В README не указаны поддерживаемые языки, размер контекстного окна, точные требования к оборудованию, результаты тестирования и ограничения качества. Файл модели имеет формат GGUF, не использует imatrix и не разделён на части. Лицензия и условия использования в предоставленных данных не указаны.

DeepSeek-V4-Flash-0731-ds4-GGUF — набор квантизированных сборок финальной версии DeepSeek-V4-Flash от DeepSeek, подготовленных пользователем nazeshinjite для инференс-движка DwarfStar (ds4), разработанного antirez. Модель предназначена для локальной генерации текста, диалоговых приложений, программирования и агентских сценариев; поддерживаются интерактивный CLI, OpenAI- и Anthropic-совместимый HTTP API, а также дисковый KV-кэш для многошаговых сессий. Базовая модель использует архитектуру Mixture-of-Experts: около 284 млрд параметров, из которых примерно 277 млрд приходятся на маршрутизируемые эксперты. Репозиторий содержит смешанную Q2/Q4-сборку размером 90,9 GiB, плоские Q2- и Q4-варианты, а также опциональные draft head для speculative decoding. В основной сборке маршрутизируемые эксперты в последних слоях используют Q4_K, остальные — преимущественно 2-битные форматы, а attention-проекции, общие эксперты и выходной слой — Q8. Указана поддержка контекста до 1 млн токенов на подходящем локальном оборудовании; для 256K контекста заявлено потребление менее 3,5 GiB KV-кэша. Языки и мультимодальные возможности в README не указаны. Сильные стороны модели — существенное уменьшение размера при сохранении качества, высокая скорость декодирования в DwarfStar и эффективная работа с длинными повторяющимися контекстами благодаря дисковому KV-кэшу. На Apple M5 Max автор README сообщает скорость 36,8–27,1 токена в секунду в зависимости от длины контекста, однако эти результаты относятся к предварительным измерениям. Главные ограничения — файлы совместимы только с DwarfStar и не загружаются в llama.cpp, Ollama или LM Studio; для запуска требуется специализированный движок и мощное оборудование, включая системы с большим объёмом памяти, CUDA или ROCm. Распространение указано по лицензии MIT.