II.2Создание и понимание программного кода

Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V7-GGUF — мультимодальная модель в формате GGUF, созданная LuffyTheFox на основе HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive. В модель также перенесены данные дообучения DJLougen/hermes-qwen3.5-35b-a3b-GGUF на датасете NousResearch/hermes-function-calling-v1, ориентированном на Hermes-агентов и вызов функций. Модель относится к семейству Qwen3.6, использует архитектуру Mixture-of-Experts с заявленным общим размером 35B и примерно 3B активных параметров, а также поддерживает обработку текста и изображений. В карточке указаны английский, китайский и многоязычный режимы работы, однако точный размер контекстного окна не приведён. Модель предназначена для диалогов, генерации текста и кода, агентных сценариев, вызова функций, ролевых и творческих задач, а также задач image-text-to-text. Основной заявленный акцент — отсутствие встроенных отказов и улучшение стабильности, ясности контекста и следования инструкциям с помощью метода Genesis, который, по описанию автора, выполняет численную коррекцию тензоров GGUF без переобучения. Эти заявления не подтверждены независимыми результатами оценки, поэтому качество, устойчивость и фактическая степень «uncensored» зависят от сценария использования. Для запуска требуются совместимые GGUF-инструменты и настройка распределения MoE-весов между GPU и CPU; автор приводит рекомендации для RTX 3060 с 12 ГБ видеопамяти, включая использование F16 для K/V cache и ограничение числа активных экспертов. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.6-35B-A3B, подготовленная разработчиком 0xSero. Модель предназначена для генерации текста и запуска через llama.cpp, включая сценарии локального инференса на совместимом оборудовании. Доступны варианты с разными уровнями квантизации, включая динамическую смешанную квантизацию DYNAMIC.gguf. Модель имеет 35 млрд общих параметров, при этом на один токен активируется около 3 млрд параметров. В её основе используется гибридная архитектура Gated DeltaNet и Gated Attention с маршрутизацией через 256 экспертов; для DYNAMIC.gguf критичные компоненты внимания и маршрутизатор сохраняются в более высокой точности, а экспертные слои квантуются сильнее. Указан формат GGUF, однако размер контекста, число слоёв, скрытый размер, поддерживаемые языки и модальности в README не приведены. Сильной стороной являются варианты, ориентированные на баланс качества, размера и скорости, а также результаты тестирования на AMD Ryzen AI MAX+ 395 с Radeon 8060S, Vulkan и llama.cpp. Ограничение — заявленные показатели производительности относятся к конкретной конфигурации и могут отличаться на другом оборудовании; квантизация также может влиять на качество. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored-NM-DAU-NEO-MAX-MTP-GGUF — крупная 40-миллиардная fine-tune-модель, разработанная DavidAU при участии Nightmedia, TeichAI и других авторов. Она создана на основе Qwen3.6 и объединяет несколько версий Fable Fusion, Deckard Qwen3.6 40B, многоэтапное дообучение и слияние моделей с использованием Unsloth. Модель распространяется в форматах GGUF, включая обычные и MTP-квантизации, с вариантами разрядности 4 и 8 бит. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач и аналитического рассуждения, генерации кода, творческого письма, создания историй и roleplay. Заявлены улучшенные reasoning и thinking, автоматическая адаптация глубины рассуждений к сложности запроса, подробные ответы и сильные творческие возможности. В карточке также указана поддержка vision и языков English и Chinese, однако конкретные поддерживаемые визуальные форматы и параметры контекста не приведены. К сильным сторонам относятся многоэтапная настройка, акцент на общем интеллекте, instruction following, problem solving и качестве рассуждений, а также доступность квантизированных вариантов для потребительского оборудования. Модель описывается как uncensored и heretic, что может быть полезно для менее ограниченных сценариев, но одновременно означает потенциально более высокие риски нежелательного или небезопасного вывода. Заявления о превосходстве над другими моделями основаны на тестах авторов и не подтверждены независимой проверкой в предоставленных данных. Лицензия модели указана как Apache-2.0. README не содержит точных требований к аппаратному обеспечению, размера контекстного окна, подробных инструкций по запуску или результатов стандартизированных бенчмарков, поэтому эти характеристики нельзя определить по имеющейся информации.

bartowski/Qwen3.8-27B-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, разработанной Qwen и сконвертированной bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для локального запуска через совместимые инструменты, включая llama.cpp. Модель поддерживает текстовый и, при наличии отдельного файла mmproj, графический ввод, поэтому может использоваться для текстовых и мультимодальных сценариев. Также заявлена поддержка speculative decoding через MTP. В репозитории представлены варианты квантизации от Q2 до Q8 с размерами файлов примерно от 10 до 29 ГБ; рекомендуемым универсальным вариантом назван Q4_K_M размером 17,44 ГБ, а варианты Q6_K_L, Q6_K и Q6_K_S обеспечивают более высокое качество при большем потреблении памяти. Сильная сторона набора — широкий выбор компромиссов между размером, скоростью и сохранением качества; для вариантов приведены показатели perplexity, Mean KLD и совпадения распределения top-p. Более сильная квантизация требует больше оперативной или видеопамяти, а компактные варианты могут заметнее терять качество. Языки, размер контекстного окна, точные возможности мультимодального ввода и лицензия в представленном README не указаны.

Qwen3.8-27B-GPTQ-W4A8-MTP-Ampere — квантованная версия базовой модели Qwen/Qwen3.8-27B; разработчик в README явно не указан. Модель предназначена для генерации текста и инференса через vLLM, включая сценарии с OpenAI-совместимым API. Профиль запуска рассчитан на текстовые задачи; мультимодальная обработка не включена, несмотря на наличие vision tower в базовой конфигурации. Модель использует GPTQ-квантование: веса декодера представлены в INT4 с размером группы 128, language model head — в INT8, эмбеддинги упакованы в INT8, а MTP-модуль для speculative decoding — в INT4. Предусмотрены FP8 KV-кэш и генерация до трёх черновых токенов MTP за шаг. Заявленная максимальная длина контекста — до 250 000 токенов, однако фактические возможности зависят от доступной памяти и настроек запуска. Для работы требуется две видеокарты NVIDIA с 24 ГБ VRAM, например RTX 3090, Linux с совместимыми CUDA и драйверами, Python 3.11 и строго указанная версия vLLM 0.27.1. К сильным сторонам относятся снижение требований к памяти по сравнению с полноразмерной BF16-моделью и ускорение генерации благодаря speculative decoding. Ограничения включают возможное ухудшение качества из-за квантования весов и FP8 KV-кэша, необходимость специального compatibility layer и отказ от запуска с другими версиями vLLM, а также привязку тестового профиля к двум GPU. Модель распространяется по лицензии Apache 2.0.

Chungulus/Qwen3.8-27B-Q3_K_L-GGUF — это независимая ванильная GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель не является дообучением, слиянием или изменённой версией; сохранены исходные шаблон чата, режимы рассуждений, нативный формат вызова инструментов и мультимодальные компоненты. Квантизация выполнена в формате Q3_K_L с использованием llama.cpp, размер основного файла составляет около 14,56 ГБ, а полный репозиторий занимает около 15,5 ГБ. Модель предназначена для генерации текста, вызова инструментов, анализа изображений и работы с видео через vision projector. Она использует гибридную архитектуру с чередованием Gated DeltaNet и полнотекстового внимания, а также содержит MTP-тензоры, однако спекулятивное ускорение не заявлено. Текстовая генерация, вызов инструментов и мультимодальные сценарии прошли функциональную проверку; валидационная скорость составила около 14,77 токена в секунду на тестовой системе. Для запуска требуется совместимый runtime, поддерживающий граф Qwen3.8, vision tower, проектор, токенизатор и MTP-метаданные, а также ориентировочно не менее 19 ГБ доступной памяти без гарантии пикового потребления. Максимальный размер контекста в README не указан и полноценно не тестировался, языки также не перечислены. Квантизация может снижать качество, особенно из-за небольшой разрядности. Модель и её квантизация распространяются по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q4_K_M-GGUF — это неизменённая vanilla-квантизация базовой модели Qwen/Qwen3.8-27B в формате GGUF. Репозиторий подготовлен Chungulus и содержит основной файл модели с квантизацией Q4_K_M, а также отдельный vision projector в формате F16. Это не дообученная, не объединённая и не изменённая с точки зрения шаблона чата модель. Модель предназначена для генерации текста, работы с изображениями и видео, а также вызова инструментов через нативный формат Qwen. Сохранены механизмы управления рассуждениями, включая enable_thinking, reasoning_effort и preserve_thinking. Архитектура включает гибридную структуру Gated DeltaNet и полноразмерного внимания, зрительную башню и проектор; заявленный размер базовой модели — 27 млрд параметров. Поддерживаемые языки и максимальная длина контекста в README не указаны. Преимущества модели — подтверждённая работоспособность генерации текста, vision- и video-сценариев, tool calling и совместимость с llama.cpp при наличии соответствующей поддержки архитектуры. Квантизация уменьшает требования к памяти, однако может снижать качество, особенно по сравнению с полной точностью. Для запуска рекомендуется иметь примерно 21 ГБ доступной памяти, причём KV-кэш дополнительно увеличивает расход памяти в зависимости от контекста. Максимальный контекст README не подтверждает тестированием. Модель и её квантизация распространяются по лицензии Apache-2.0.

Yepengz/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored-NM-DAU-NEO-MTP-GGUF — это многэтапная fine-tune- и merge-модель на базе Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored, связанная с разработчиком DavidAU и созданная с использованием Unsloth. Модель ориентирована на английский и китайский языки и распространяется в форматах GGUF, включая обычные и MTP-квантизации, с вариантами, рассчитанными на запуск на пользовательском оборудовании. Модель предназначена для широкого спектра задач: рассуждений и решения проблем, программирования, творческого письма, художественной прозы, ролевых сценариев и других диалоговых применений. В README заявлены пять режимов reasoning и пять instruct-режимов, включая режимы Spoon и Einstein, возможность переключения режимов через API или на уровне сообщения, а также отсутствие reasoning-токенов в instruct-режимах. Основной акцент сделан на сокращении объёма рассуждений и ускорении генерации при сохранении подробности ответов. Ключевые характеристики включают размер 27B параметров, поддержку GGUF-квантизаций, варианты с разрядностью 4 и 8 бит и заявленную повышенную устойчивость к чрезмерному «обдумыванию». Модель позиционируется как сильно uncensored и может быть полезна для сценариев, где требуется меньше ограничений на содержание, однако это одновременно повышает риски нежелательных, небезопасных или неприемлемых ответов. Заявления о превосходстве над другими моделями и результатах бенчмарков приведены в README без подробных методик проверки. Размер контекста и точный перечень поддерживаемых модальностей в предоставленных данных не указаны. Лицензия — Apache-2.0. Для использования следует учитывать особенности конкретной GGUF-квантизации, требования к памяти и отсутствие заявленных ограничений на содержание.

Qwen3.8-27B-ULTIMATE-UNCENSORED-MTP-IQ4-GGUF-16GB — квантизированная GGUF-версия модели Qwen3.8-27B, подготовленная lemonyins на основе аблитерированной и «uncensored» сборки AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16. Модель предназначена для локального запуска и исследовательских или разработческих сценариев, где требуется модель класса 27B с уменьшенным потреблением памяти и без исходных контентных ограничений базовой сборки. Используется гибридная квантизация: основные attention-слои имеют формат IQ4_XS, а слои FFN — IQ3_S; применяется GGUF и поддержка TurboQuant для компактного KV-кэша. Вариант ориентирован на видеокарты с 16 ГБ VRAM. По данным README, на NVIDIA RTX 4060 Ti 16GB заявлена скорость около 20 токенов в секунду без MTP и около 30 токенов в секунду с multi-token prediction; с TurboQuant доступен контекст порядка 100–110 тысяч токенов без MTP и около 80 тысяч с MTP. Поддержка изображений возможна при подключении отдельного vision-проектора mmproj-BF16.gguf, при этом доступный контекст уменьшается примерно на 20 тысяч токенов. Сильные стороны модели — низкое потребление памяти, высокая скорость локального вывода, большой контекст и возможность speculative decoding через MTP. Ограничения связаны с потерями качества из-за квантизации FFN до IQ3_S, которые могут проявляться, например, в задачах на фактическое запоминание, а также с обязательной зависимостью заявленных показателей памяти от TurboQuant-enabled сборки llama.cpp. Приведённые показатели perplexity, VRAM и скорости требуют отдельной проверки именно для Qwen3.8. В README указана лицензия Apache-2.0.

Max-GE/Qwen3.8-27B-uncen — многоэтапная fine-tune-модель на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. Согласно README, модель создана с использованием Unsloth, методов COLD FUSION и Fable Fusion и ориентирована на повышение качества рассуждений, общее решение задач, программирование, творческое письмо, создание историй и roleplaying. Заявлена как uncensored/abliterated-модель. Модель относится к семейству Qwen3.8 с размером 27B и поддерживает английский и китайский языки. Репозиторий содержит Regular и MTP GGUF-квантизации, включая варианты с точностью 4 и 8 бит; заявлена поддержка трёх режимов мышления. Основной особенностью разработчики называют сокращение объёма reasoning-токенов примерно от двух до десяти раз по сравнению с обычной Qwen3.8 при сохранении детализации и качества, а также оптимизацию скорости генерации. README также указывает тег image-text-to-text, но не приводит подробностей о визуальном энкодере или подтверждённой обработке изображений. Сильными сторонами заявлены высокие результаты на ARC-C и ARC-E, улучшение по сравнению с базовыми моделями Qwen и эффективность на потребительском оборудовании. Эти результаты представлены разработчиками и не сопровождаются в карточке независимой методологией проверки. Возможные ограничения включают зависимость характеристик от выбранной GGUF-квантизации, отсутствие данных о размере контекста и детальных тестах безопасности, а также uncensored-настройку, которая может повышать риск нежелательных или небезопасных ответов. В метаданных указана лицензия Apache-2.0.

unsloth/Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, представленная Unsloth как версия с оптимизацией Dynamic 2.0. Это базовая модель на этапе предварительного обучения, предназначенная для генерации текста и дальнейшей адаптации под прикладные задачи. Архитектура — причинная языковая модель Qwen3ForCausalLM; в метаданных указано 7,6 млрд параметров, в README — 8,2 млрд параметров и 6,95 млрд без эмбеддингов. Контекст составляет 32 768 токенов. Базовая модель Qwen3 обучалась на многоязычном корпусе, включавшем 119 языков, а также данные по программированию, STEM, рассуждениям и общим знаниям. Модель подходит как основа для дообучения и экспериментов с генерацией текста; карточка отдельно рекомендует актуальную версию Transformers. Указана лицензия Apache-2.0. README сообщает о преимуществе точности Dynamic 2.0 относительно других квантованных версий, однако формат репозитория в метаданных — safetensors, поэтому не следует считать эту копию квантованной.

ISTA-DASLab/Qwen3-8B-GGUF-GSQ — это квантизированная версия языковой модели Qwen3-8B, разработанной командой Qwen и доработанной ISTA-DASLab с применением метода GSQ (Gumbel-Softmax Quantization). Модель предназначена для генерации текста и запуска локальных больших языковых моделей с пониженным потреблением памяти. Модель поставляется в формате GGUF K-Quant с вариантами разной точности, включая Q2_K, Q4_K и Q6_K. Квантизация начинается с публичной инициализации Unsloth GGUF, после чего дискретные значения весов уточняются методом GSQ и упаковываются обратно в тот же формат K-Quant. Размер модели составляет 8 миллиардов параметров. Поддерживаются llama.cpp, Ollama, LM Studio и другие программы, совместимые с GGUF. Ключевое преимущество модели — улучшение качества при агрессивной низкобитной квантизации: для варианта Q2_K средний результат бенчмарков повышен с 50,03 до 56,28 относительно исходной инициализации Unsloth. При этом сохраняются стандартная структура GGUF K-Quant и совместимость с существующими инструментами. Ограничения включают возможную потерю качества по сравнению с полной точностью и отсутствие в README сведений о языках, максимальном контексте, поддерживаемых модальностях и подробных результатах по отдельным тестам. Модель распространяется по лицензии Apache-2.0.

trohrbaugh/Qwen3.8-Flash-Next-heretic-2 — производная версия Qwen3.8-Flash-Next, представленная как разговорная модель с открытыми весами. Это причинная языковая модель с визуальным энкодером и поддержкой обработки изображений вместе с текстом; метаданные относят её к архитектуре Qwen4Exp. Модель содержит 125 млрд параметров, из которых активируются 6 млрд, а также 51 млрд параметров n-граммных эмбеддингов и 4 млрд параметров MTP. В README указаны гибридное внимание с Qwen Sparse Attention и Gated DeltaNet, MoE с 512 экспертами и нативный контекст 262 144 токена с расширением до 1 млн. Модель предназначена для диалогов, визуально-языковых запросов и агентных сценариев с длинным контекстом, включая работу с изображениями, документами и программными задачами. README описывает базовую Qwen3.8-Flash-Next и её тестирование в агентных и визуальных бенчмарках, но не приводит отдельной оценки именно этой производной версии. Теги heretic, uncensored, decensored и abliterated указывают на модификацию ограничений поведения, однако конкретная методика изменений не описана. В репозитории указаны веса Safetensors и библиотека Transformers. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой и лицензией базовой модели перед применением.

Qwen3.8-Flash-Next REAP-288 — экспериментальный неофициальный пакет для инференса на Apple Silicon, опубликованный 30cmtonyfaker и созданный на основе Qwen3.8-Flash-Next от Qwen. Модель адаптирована для запуска через MLX Serve и использует community REAP-288 pruning, 4-битное квантование и Native MTP для ускорения декодирования. В метаданных указаны английский и китайский языки, а также тег image-text-to-text, однако подробности о поддержке изображений в представленном README не приведены. Пакет предназначен для локального запуска языковой модели, диалогов, генерации текста, программирования, структурированных ответов и сценариев с инструментами. Заявлена поддержка контекста до 65 536 токенов в протестированной конфигурации, но качество работы на длинном контексте и полноценные возможности настольного режима отдельно не подтверждены. Исторические измерения на M4 Max с 128 ГБ unified memory показывают ускорение декодирования с MTP примерно в 1,54–2,24 раза на тестовом наборе, однако результаты относятся к изменённой версии MLX Core, ограниченному сценарию и не гарантируют аналогичную производительность в других нагрузках. Для актуальной версии исправлена ошибка заголовка тензора, а базовый запуск через официальный MLX Core 26.9.1 был проверен на M4 Max. Ограничения включают экспериментальный статус, зависимость от Apple Silicon и MLX, отсутствие подтверждения универсальной корректности MTP и различия между последовательным и MTP-выводом в тестах. Модель распространяется по qwen-community-license-1.0; лицензия обозначена как other, а полный текст доступен в файле LICENSE.

Qwen3.8-Flash-Next-Uncensored-oQ5e-mtp — это MLX-квантизация модели Qwen3.8-Flash-Next-Uncensored, разработанная timteh673 на основе модели OrcaRouter, которая, в свою очередь, создана на базе Qwen/Qwen3.8-Flash-Next. Модель предназначена для исследовательских задач, red teaming, интерпретируемости, генерации текста, рассуждений, вызова инструментов, а также обработки изображений и видео. В исходной модели удалена защитная настройка, поэтому она может выполнять запросы, от которых отказывается оригинальная Qwen3.8-Flash-Next; при практическом развёртывании требуется собственная модерация. Это мультимодальная sparse MoE-модель с поддержкой режима рассуждений и MTP-головой. Она содержит около 180 млрд параметров, из которых примерно 6 млрд активируются на токен, 48 слоёв, 512 маршрутизируемых экспертов с выбором 10 экспертов и одного общего эксперта, гибридную attention-архитектуру с Gated-DeltaNet и полноформатным attention, а также vision- и video-модули. Нативный контекст составляет 262 144 токена; заявлены английский и китайский языки, при этом модель может обладать более широкими мультиязычными возможностями. Использована чувствительная к данным смешанная 5-битная квантизация oQe с importance matrix: эффективная точность составляет 5,72 бита на вес, размер — около 128,54 ГБ в 25 safetensors-фрагментах. Формат совместим со стандартным MLX и не требует пользовательских ядер или загрузчика; сборка ориентирована на Apple Silicon и позволяет запускать полный контекст на Mac с 128 ГБ памяти. Ограничения включают очень большой объём модели, зависимость от MLX и Apple Silicon, а также отсутствие встроенных гарантий безопасности из-за abliteration. Лицензия — Qwen Community License 1.0, унаследованная от upstream-модели.

xactobear/qwen38-xactobear-gguf — это набор GGUF-квантизаций мульт этапной дообученной модели на базе Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU, разработанной DavidAU. Репозиторий содержит обычные и MTP-варианты квантов Neo-CODER MAX DI-MATRIX, включая версии с точностью 4 и 8 бит. В README также указано использование Unsloth, методов COLD FUSION и Fable Fusion 711, направленных на повышение качества рассуждений, сокращение объёма thinking-токенов и ускорение генерации. Заявлены поддерживаемые языки English и Chinese; размер контекстного окна и точные параметры архитектуры не указаны. Модель предназначена для широкого круга сценариев: решения задач и рассуждений, программирования, творческого письма, создания художественных текстов и ролевого взаимодействия. По заявлению автора, она ориентирована на генерацию подробных ответов при меньшем количестве токенов рассуждений по сравнению с базовой моделью и рассчитана на запуск на потребительском оборудовании. README приводит высокие результаты на ARC-C и ARC-E, однако эти показатели представлены самим автором и не сопровождаются полной методикой независимой проверки. К ограничениям относятся отсутствие подробной информации о размере контекстного окна, поддерживаемых модальностях, системных требованиях, формате MTP-режима и результатах независимого тестирования. В описании также используется характеристика uncensored, поэтому поведение модели в отношении нежелательного или чувствительного контента может отличаться от стандартных моделей. Репозиторий распространяется по лицензии Apache-2.0.

Salamandra-7B — базовая авторегрессионная языковая модель семейства Salamandra, разработанная и предварительно обученная с нуля. Это плотная decoder-only Transformer-архитектура Llama с 6,7 млрд параметров и контекстом 8192 токена. Модель обучена на 12,875 трлн токенов текста на 35 европейских языках и кода; репозиторий содержит веса в формате Safetensors. Модель предназначена для продолжения текста и генерации на нескольких языках, а также может служить основой для последующей тонкой настройки под конкретные задачи и области. Это базовая, не настроенная на выполнение инструкций версия, поэтому качество диалоговых ответов и следование запросам не гарантируются без дополнительной настройки. Модель распространяется по лицензии Apache 2.0. В карточке отмечены социальные и когнитивные смещения: в неоднозначных сценариях наблюдались слабые результаты, а ответы могут зависеть от позиции вариантов и формулировки подсказки. Авторы рекомендуют оценивать и адаптировать модель перед применением.

Карточка модели tigerking009/ZOYA_FLASH_V1_PHASE0 на Hugging Face совпадает с карточкой lukey03/Qwen3.5-9B-abliterated, поэтому описание составлено по ней. Qwen3.5-9B-abliterated — текстовая диалоговая модель на архитектуре Qwen3.5, созданная lukey03 на основе Qwen/Qwen3.5-9B. Автор удалил часть поведения отказа ортогональной проекцией весов, затем применил QLoRA-дообучение и объединил адаптер с основными весами. В репозитории указано 7,2 млрд параметров, архитектура dense и контекст длиной 262 144 токена; модель распространяется в формате safetensors и рассчитана на работу через Transformers. Модель предназначена для генерации ответов в диалоге, включая запросы, на которые исходная модель отказывалась отвечать. В README также приведены примеры рассуждений, математики и программирования, но основная задача в каталоге — генерация текста. Карточка сообщает о тестировании на 18 запросах, однако это небольшой набор и результаты не гарантируют качество на других задачах. Удаление отказов означает, что модель может выдавать вредоносный, опасный или откровенный контент. Лицензия — Apache-2.0.

Agents-A1-4B-Fable-Preview-heretic — текстовая чат-модель на архитектуре Qwen3.5, подготовленная авторами hotdogs путём абляции модели hotdogs/Agents-A1-4B-Fable-Preview с помощью heretic. Веса представлены в формате BF16 для Transformers; метаданные указывают 3,4 млрд параметров и контекст до 262 144 токенов. Модель предназначена для агентных сценариев: многошагового рассуждения, планирования и вызова инструментов в формате Hermes/Qwen. Также заявлены помощь с кодом и ведение многоходового диалога. README сообщает о поддержке английского и тайского языков и снижении частоты отказов, однако это заявление автора, а не независимая оценка. Модель принимает текст и генерирует текст. README предупреждает, что из-за снятия защитных механизмов ответы могут быть оскорбительными, вредными или неуместными. Лицензия — AGPL-3.0.

ASTRA-32B-Thinking-v1 — дообученная модель на основе Qwen/Qwen3-32B, представленная авторами работы ASTRA: Automated Synthesis of Agentic Trajectories and Reinforcement Arenas. Это плотная языковая модель семейства Qwen3 на 29,7 млрд параметров с контекстом до 133 120 токенов, предназначенная для многошаговых задач с вызовом инструментов и структурированными рассуждениями. Модель обучали в два этапа: на примерах многоходового использования инструментов, а затем с помощью обучения с подкреплением и проверяемыми наградами в исполняемых средах. Модель рассчитана на агентные сценарии: планирование последовательностей вызовов инструментов, работу с их схемами и выполнение сложных задач в несколько шагов. В README заявлен результат уровня state of the art на многоходовой подвыборке BFCL-V3 для сопоставимого масштаба моделей. Метаданные также указывают интерфейс диалога и вызова инструментов. Модель распространяется под лицензией Apache-2.0; авторы описывают её как предназначенную для исследований и обучения и снимают с себя ответственность за последствия использования.

Kiwen1.1-27B — мультимодальная языковая модель на 28 млрд параметров, разработанная beyoru и представленная в формате GGUF с квантованием от bartowski. Модель предназначена для работы с текстом и изображениями, причём для обработки изображений требуется дополнительный mmproj-файл. Указанные сценарии применения включают рассуждения, агентские задачи, работу с вьетнамским языком, математикой и программированием. Поддерживается speculative decoding с использованием MTP. Модель подготовлена для запуска через llama.cpp; доступны варианты от BF16 до низкобитных квантований Q8_0, Q6, Q5, Q4, Q3 и IQ. Рекомендуемым компромиссом между качеством и размером назван Q4_K_M объёмом 17,77 ГБ, а варианты Q6_K и Q6_K_L обеспечивают более высокое качество при большем потреблении памяти. README не содержит данных о размере контекстного окна, полном наборе поддерживаемых языков, исходной архитектуре или результатах бенчмарков. Модель распространяется по лицензии Apache-2.0. Основное ограничение — значительные требования к оперативной или видеопамяти: даже рекомендуемый вариант Q4_K_M занимает около 17,77 ГБ, а использование изображений требует отдельного multimodal-компонента.

BitNet b1.58 2B4T — языковая модель для генерации текста, разработанная Microsoft Research. Она предназначена для диалоговых сценариев, следования инструкциям и работы с текстом и кодом. Модель обучена на 4 триллионах токенов и содержит около 2 миллиардов параметров; заявленный язык — английский. Модель построена на архитектуре Transformer с модифицированными BitLinear-слоями, RoPE, активацией ReLU² в FFN и нормализацией subln. Она обучена с нуля с использованием нативной схемы квантования W1.58A8: веса принимают тернарные значения {-1, 0, +1}, а активации квантуются до 8 бит. Максимальная длина контекста составляет 4096 токенов, используется токенизатор LLaMA 3 с размером словаря 128 256 токенов. Обучение включало предварительное обучение, supervised fine-tuning и DPO. Ключевое преимущество модели — потенциальное снижение требований к памяти, энергопотреблению и задержке благодаря нативным 1,58-битным весам. Однако эти преимущества раскрываются только при использовании специализированной реализации bitnet.cpp; стандартный запуск через transformers не обеспечивает ожидаемого прироста эффективности и может быть сопоставим по скорости и энергопотреблению с полноточными моделями. Представленная BF16-версия предназначена главным образом для обучения и дообучения, а не для развертывания. Модель распространяется по лицензии MIT.

BLOOM-1b1 — многоязычная авторегрессионная языковая модель, разработанная сообществом BigScience для открытых исследований больших языковых моделей и генерации текста. Её также можно использовать как предварительно обученную основу для дообучения под специализированные задачи. Модель построена на декодерной архитектуре Transformer, модифицированной относительно Megatron-LM GPT-2: 24 слоя, 16 голов внимания, размер скрытого слоя 1536 и около 1,07 млрд параметров. В ней используются позиционные кодировки ALiBi; при обучении применялась последовательность длиной 2048 токенов. Модель обучена на нескольких естественных языках и данных с кодом; карточка перечисляет, в частности, английский, французский, испанский, китайский, арабский, хинди и вьетнамский. Лицензия — BigScience BLOOM RAIL 1.0. BLOOM-1b1 подходит для генерации продолжений текста, экспериментов с языковыми моделями и создания специализированных вариантов посредством дообучения. Она может выдавать фактически неверные утверждения, повторяющийся или нерелевантный текст, а также предвзятый, оскорбительный или иной неподходящий контент. Карточка исключает применение в критически важных и высокорисковых решениях, а также использование для надёжных фактических ответов и в медицинской, политической, юридической и финансовой сферах.

Bonsai-8B-GGUF-1bit — языковая модель, разработанная Prism ML и распространяемая в формате GGUF для llama.cpp. Она предназначена для генерации текста, локального запуска чат-ассистентов и интеграции в приложения на устройствах с GPU или CPU, включая системы на CUDA, Apple Metal и Android. Модель может использоваться через специализированную сборку llama.cpp с 1-битными ядрами; также доступна отдельная версия для MLX. Модель основана на плотной архитектуре Qwen3-8B и содержит 8,19 млрд параметров, из которых около 6,95 млрд не относятся к embedding-слоям. В ней 36 decoder-блоков Transformer, GQA с 32 query- и 8 KV-головами, SwiGLU, RoPE и RMSNorm. Длина контекста составляет 65 536 токенов, размер словаря — 151 936 токенов. Все основные веса, включая embeddings, attention- и MLP-проекции, а также LM head, представлены в формате Q1_0 с эффективными 1,125 битами на вес. Ключевое преимущество — компактность и энергоэффективность: память параметров занимает около 1,15 ГБ против 16,38 ГБ у FP16, что примерно в 14 раз меньше; заявлено также ускорение до 6,2 раза на RTX 4090 и снижение энергопотребления на токен в 4–5 раз. Ограничения связаны с экстремальным 1-битным квантованием, которое может влиять на качество по сравнению с полной точностью, а для запуска требуются совместимые 1-битные ядра и сборка llama.cpp от Prism ML. Модель распространяется по лицензии Apache 2.0.

AmberYifan/capsd-marin-8b-base-n80000-opc-r96-marin-8b-base-code_cap_b8000_s0 — дообученная модель семейства Llama, созданная на основе marin-community/marin-8b-base с использованием датасета capsd_R96__mix_code_cap_b8000_s0. Она предназначена для генерации и продолжения текста; метаданные также отмечают поддержку диалогового режима. Модель содержит 7,5 млрд параметров, работает с текстом и имеет контекстное окно 4096 токенов. Базовая модель описана как англоязычная; отдельные характеристики языковой поддержки этой версии в карточке не раскрыты. README не приводит подробностей о целевых сценариях, обучении или оценке. Лицензия указана как other, поэтому условия использования следует сверить с лицензией репозитория.

DeepSeek-R1-Distill-Qwen-14B-heretic — текстовая генеративная модель, созданная на основе DeepSeek-R1-Distill-Qwen-14B компанией или автором репозитория saidutta69 с использованием Heretic версии 1.4.0. Это вариант с подавленным поведением отказа, полученный направленной абляцией и изменением весов в выходных проекциях attention и down-прекциях MLP, без дообучения. Модель предназначена для разработчиков, которым нужны диалоги, генерация текста и рассуждения без встроенных отказов базовой модели. Модель имеет примерно 14,8 млрд параметров, поддерживает текстовую модальность и ориентирована на английский язык. Доступны полноточные веса BF16 и квантованные варианты GGUF Q4_K_M, Q5_K_M, Q6_K и Q8_0. Для запуска рекомендуются GPU с 16–24 ГБ памяти; квантованные версии подходят для потребительского оборудования, CPU и Apple Silicon. Модель совместима с llama.cpp, Ollama, LM Studio, Jan, vLLM, SGLang и Transformers. Размер контекста в README не указан. Главное преимущество — сохранение знаний и навыков следования инструкциям базовой модели при уменьшении количества отказов, а также широкий выбор квантований для локального запуска. При этом это не улучшенная по возможностям версия DeepSeek-R1-Distill-Qwen-14B, а модификация с удалёнными защитными ограничениями. Отсутствие дополнительной фильтрации означает повышенный риск небезопасной генерации, поэтому ответственность за применение и развёртывание лежит на пользователе. Модель распространяется по лицензии deepseek-research-license, унаследованной от базовой модели.

DeepSeek-V4-Flash-0731-Abliterated-DS4-Quality128 — это GGUF-квантизованная версия модели DeepSeek V4 Flash, подготовленная apetersson на основе чекпойнта apetersson/DeepSeek-V4-Flash-0731-Abliterated-FP8. Модель предназначена для локальной генерации текста и запуска через DS4 или llama.cpp, включая работу на Apple Silicon с ускорением Metal. Это MoE-модель с разреженной маршрутизацией экспертов; сведения о точном общем числе параметров, поддерживаемых языках и максимальном контексте в README не указаны. Профиль DS4 Quality128 ориентирован на сохранение качества при размещении модели в памяти 128-ГБ M1 Ultra. Размер основного GGUF-файла составляет около 95,8 GiB. В наиболее чувствительных маршрутизируемых экспертах сохранён нативный формат MXFP4, остальные эксперты используют IQ2_XXS и Q2_K, а attention-, shared-expert- и output-пути — Q8; отдельные индексатор и вспомогательные тензоры защищены в F16. Abliteration затрагивает только 36 attention-тензоров wo_b, тогда как коды и масштабы routed experts сохранены без изменений. Основное преимущество модели — ориентированная на качество квантизация и возможность запуска на совместимом локальном оборудовании. Целевой GGUF совместим с DS4 и llama.cpp для обычного inference; для DSpark speculative decoding требуются отдельные runtime-специфичные companion-файлы, которые нельзя взаимозаменять. Поддержка зависит от конкретной версии runtime: stock llama.cpp b10210 поддерживает только обычный запуск, а DSpark требует специальных сборок и изменений DeepSeek V4. Приведённые в README показатели производительности основаны на кратком smoke-тесте и не являются устойчивым бенчмарком. Лицензия модели — MIT.

DeepSeek-V4-Flash-0731-GGUF — это квантизированная версия языковой модели DeepSeek-V4-Flash-0731, разработанной deepseek-ai и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp и совместимые приложения, включая LM Studio, KoboldCpp и Text Generation Web UI. Модель содержит 284 млрд параметров, поддерживает текстовый ввод и поставляется только в формате MXFP4. Доступен вариант размером около 156,38 ГБ, сохраняющий исходное качество квантизации. В модели предусмотрены веса MTP (Multi-Token Prediction) в виде отдельной DSpark draft-модели, которую можно использовать для speculative decoding и ускорения генерации. Языки, максимальная длина контекста и дополнительные модальности в README не указаны. К сильным сторонам относятся большой размер модели, сохранение исходного качества MXFP4 и возможность ускорения вывода с помощью DSpark. Ограничения включают очень высокие требования к дисковому пространству и аппаратным ресурсам, отсутствие imatrix-калибровки на момент публикации и неопределённость стандартного chat template, который может быть задан некорректно. Модель распространяется по лицензии MIT.

DeepSeek-V4-Flash-0731 GGUF — это набор GGUF-конвертаций и экспертно подобранных квантованных вариантов базовой модели DeepSeek-V4-Flash-0731, разработанной DeepSeek AI. Репозиторий подготовлен bullerwins для запуска через llama.cpp и предназначен для генерации текста, включая локальное инференс-развёртывание и агентские сценарии. Модель использует разреженную MoE-архитектуру с маршрутизируемыми экспертами. В репозитории доступны варианты размером от 81,86 до 150,75 GiB, а также компактный DSpark-компаньон размером 10,15 GiB для speculative decoding. Представлены lossless-вариант MXFP4/BF16, смешанные IQ2_XS/IQ3_XXS-квантизации и версии с IQ2_XS или IQ3_XXS для экспертов. Квантизации позволяют выбирать компромисс между размером и качеством: по тестам на Wikitext-2 lossless-вариант обеспечивает полное совпадение с эталоном, тогда как квантованные варианты показывают от 75,082% до 84,094% совпадения наиболее вероятного токена. Сильной стороной набора является широкий выбор практических вариантов, сохранение native MXFP4 для части экспертных тензоров и оценка качества по KLD и совпадению токенов. Ограничения — очень высокие требования к дисковому пространству и памяти, а также снижение качества у более компактных квантований. Сведения о поддерживаемых языках, размере контекста и подробных модальностях в предоставленной карточке отсутствуют. Указана лицензия MIT; для формата чата, архитектурных деталей и рекомендуемых параметров сэмплирования предлагается обращаться к карточке исходной модели. Рекомендуемые параметры: temperature 1.0, top_p 0.95 для агентских сценариев и top_p 1.0 в остальных случаях.

squanchyzx/DeepSeek-V4-Flash-0731-HERETIC-Abliterated-FP8 — производная модель от DeepSeek-V4-Flash-0731, разработанной DeepSeek. Релиз создан издателем squanchyzx с использованием Heretic v1.4.0, проекта Philipp Emanuel Weidmann и соавторов. Модель предназначена для генерации текста, рассуждений, работы с инструментами и длительных агентских сессий, особенно в сценариях с большими историями диалога и большим количеством вызовов инструментов. Модель сохраняет официальную архитектуру DeepSeek V4/DSpark, native FP8-представление, официальный encoder, tokenizer и конфигурацию базовой модели. В версии v2 изменены attention output projections в слоях 10–42: применена rank-3 коррекция refusal subspace для режимов chat, think-high и think-max со сниженной силой lambda=1.35. MTP/DSpark-тензоры, эксперты, embeddings, norms, heads и остальные компоненты не изменялись. Заявлено сконфигурированное контекстное окно до 1 048 576 токенов; для запуска требуется DeepSeek-V4-совместимый runtime и официальный encoder. Сильной стороной релиза является целевая проверка устойчивости к деградации в длинных историях: в опубликованных тестах 12 из 12 длинных воспроизведений завершились без повторяющихся последовательностей, переключения скриптов и других патологий, а 6 из 6 проверенных вызовов инструментов были корректными. При этом результаты являются ограниченными релизными тестами, а не универсальным бенчмарком: короткая проверка качества дала 11 из 12 успешных результатов, а refusal smoke — 6 из 16. Совместимость с обычными runtime без поддержки DeepSeek V4 не гарантируется. Модель распространяется по лицензии MIT. При этом используемый проект Heretic имеет отдельную лицензию AGPL-3.0-or-later; README подчёркивает, что Heretic не принадлежит издателю модели.