II.2Создание и понимание программного кода

Kataguru Jackripper v1.0 Uncensored — финская доработка Qwen3.5-35B-A3B, выпущенная Kataguru в формате GGUF. Это разреженная MoE-модель с 35 млрд параметров и примерно 3 млрд активных параметров на токен; в карточке заявлены чат, рассуждения и усиленная работа на финском языке. Предназначена для локального диалога и генерации текста на финском и английском, в том числе для ответов на вопросы, задач на рассуждение и написания кода. README заявляет изменение направлений отказа и приводит три квантизованных варианта GGUF объёмом 12,05–15,33 GiB с рекомендациями по видеопамяти 12–24 ГБ. В примере запуска указан контекст 32 768 токенов, но это параметр команды, а не подтверждённый предел модели. Заявления о безошибочном финском и результатах бенчмарков приведены автором карточки и не подтверждены независимыми данными. Модель основана на мультимодальной Qwen3.5, однако описание этого релиза и доступные задачи указывают на текстовую генерацию и чат. Лицензия — Apache-2.0.

Qwen3.5-9B-abliterated — текстовая диалоговая модель на архитектуре Qwen3.5, созданная lukey03 на основе Qwen/Qwen3.5-9B. Автор удалил часть поведения отказа ортогональной проекцией весов, затем применил QLoRA-дообучение и объединил адаптер с основными весами. В репозитории указано 7,2 млрд параметров, архитектура dense и контекст длиной 262 144 токена; модель распространяется в формате safetensors и рассчитана на работу через Transformers. Модель предназначена для генерации ответов в диалоге, включая запросы, на которые исходная модель отказывалась отвечать. В README также приведены примеры рассуждений, математики и программирования, но основная задача в каталоге — генерация текста. Карточка сообщает о тестировании на 18 запросах, однако это небольшой набор и результаты не гарантируют качество на других задачах. Удаление отказов означает, что модель может выдавать вредоносный, опасный или откровенный контент. Лицензия — Apache-2.0.

VikramPal выпустил дообученную модель Qwen3.5-9B для генерации SQL в агентном цикле. Она предназначена для ответов на вопросы по базам данных: модель предлагает запрос, получает результат его выполнения и при необходимости уточняет запрос с помощью инструмента. Для такого сценария требуется многошаговая интеграция с инструментом исполнения SQL; при одношаговом переводе вопроса в запрос ожидаемые результаты ниже. В карточке приведены оценки на Spider 1 dev и BIRD dev, а также на локальном подмножестве Spider 2.0-lite; результаты Spider 1 использовали подсказку, настроенную на том же dev-наборе, а Spider 2 охватывал только 135 из 547 примеров. Модель основана на Qwen/Qwen3.5-9B, имеет плотную архитектуру Qwen3_5ForCausalLM, около 7,2 млрд параметров и контекст до 262 144 токенов. Обучение включало SFT на трассах рассуждений и GRPO; опубликованные веса представляют собой адаптер, применённый к исходной базовой модели, без двух ранних этапов обучения. Модель рассчитана на работу с английскими запросами и схемами баз данных. В README указана поддержка только диалекта SQLite; обучение ориентировано на схемы в стиле Spider-1, поэтому очень широкие и сильно денормализованные схемы могут оказаться вне распределения. Для выполнения сгенерированного SQL требуется соединение только для чтения и тайм-аут запросов. Лицензия — Apache-2.0.

Tsuna57/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP-Q8_0-GGUF — это квантованная версия модели DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP, преобразованная в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель основана на Qwen3.6 и имеет размер 27 млрд параметров; в карточке также указаны многоэтапная настройка, объединение моделей, режимы thinking и reasoning, а также поддержка MTP-квантов. Квантование Q8_0 предназначено для запуска через llama.cpp. Модель ориентирована на широкий спектр текстовых сценариев, включая программирование, творческое письмо, создание историй и художественной прозы разных жанров, ролевые диалоги и задачи общего назначения. Заявлена поддержка английского и китайского языков. В метаданных указан pipeline image-text-to-text, однако подробности о фактических возможностях обработки изображений в README отсутствуют. К сильным сторонам относятся формат GGUF, совместимость с llama.cpp и возможность локального запуска через CLI или сервер. Ограничения и точные показатели качества, размер контекста, требования к оборудованию, особенности мультимодальности и результаты оценки в карточке не приведены; в примере запуска указан контекст 2048 токенов, но это не обязательно максимальное значение модели. Лицензия — Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP-RFA_S — это смешанная малобитная квантованная версия модели Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. Базовую модель разработал DavidAU совместно с Nightmedia, TeichAI, armand0e и trohrbaugh; репозиторий квантования поддерживает tcclaviger. Модель основана на Qwen3.6 с 27 млрд параметров и предназначена для широкого круга задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, сторителлинга и ролевого взаимодействия. В карточке заявлена поддержка английского и китайского языков, а также текстово-графического сценария, однако размер контекста не указан. Версия RFA_S использует смешанную точность: основные dense MLP-слои, часть attention-блоков и MTP-блок квантованы в RFA 4-bit, линейное и gated-delta attention — в RFI int8 W8A8, а отдельные компоненты, включая vision tower, embeddings и lm_head, сохранены в bf16. Всего квантовано 405 модулей, общий размер составляет около 22,97 ГБ. Такой подход уменьшает требования к памяти по сравнению с менее агрессивной сборкой, сохраняя часть компонентов в более высокой точности. Ключевые ограничения связаны с совместимостью: требуется специальный образ tcclaviger/vllm:dev или более новый runtime с поддержкой RFA/RFI и оборудования RDNA 4 (gfx12xx); работа на другом оборудовании не подтверждена. Это не самостоятельная дообученная архитектура, а численно изменённая квантованная сборка родительской модели. Лицензия указана как Apache-2.0.

Moemajor3/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — это модель на базе Qwen3.6-27B, разработанная в рамках совместной работы авторов DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh. Она представляет собой многоэтапную fine-tune и merge-модель, подготовленную для запуска на потребительском оборудовании в форматах GGUF, включая обычные и MTP-варианты. В обучении и слиянии использовались датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets, а также дополнительные наборы и трассы, упомянутые в README. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, сторителлинга и ролевых сценариев. Заявлена поддержка английского и китайского языков. В карточке также указана мультимодальная специализация image-text-to-text и наличие vision, однако подробности о поддерживаемых форматах изображений и контекстном окне не приведены. Архитектурные характеристики ограничиваются размером базовой модели — 27B параметров. К заявленным сильным сторонам относятся улучшенное следование инструкциям, рассуждение и общее решение задач, а также высокая эффективность квантованных версий. По утверждению авторов, модель превосходит базовую Qwen3.6-27B в шести из семи внутренних бенчмарков и сопоставима с ней в седьмом; эти результаты не подтверждены независимыми данными в README. Модель позиционируется как uncensored и heretic, поэтому её ответы могут требовать дополнительной фильтрации и проверки. Для MTP-квантов рекомендуется температура не выше 1 и repetition penalty, равный 1; при низком уровне token acceptance следует использовать обычные кванты. Лицензия — Apache-2.0.

LuffyTheFox/Qwen3.6-27B-Uncensored-Genesis-MTP-GGUF — мультимодальная локальная модель семейства Qwen3.6, созданная LuffyTheFox на основе HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive. Автор применяет собственный метод Genesis для численной коррекции весов GGUF без дополнительного обучения или дообучения, стремясь уменьшить шум в тензорах и повысить стабильность генерации. Базовая модель связана с Tongyi Lab команды Alibaba Group, однако сведения о точном авторстве исходной архитектуры в README ограничены. Модель предназначена прежде всего для локального использования, включая программирование и работу в LM Studio с агентом Bionic. Она поддерживает текст, изображения и видео; для работы с изображениями требуется отдельный файл mmproj. Заявлены языки English, Chinese и многоязычная поддержка. Модель содержит 27 млрд плотных параметров, 64 слоя, 48 слоёв линейного внимания и 16 слоёв полноформатного gated attention. Нативный контекст составляет 262 тысячи токенов и может быть расширен примерно до 1 млн с помощью YaRN. К сильным сторонам относятся большой контекст, мультимодальность, ориентация на локальный запуск и заявленная автором коррекция деградации весов. При этом README не содержит независимых результатов тестирования, поэтому преимущества Genesis над исходной моделью нельзя считать подтверждёнными. Для запуска рекомендуется квантование Q3_K_M при наличии около 16 ГБ VRAM или Q4_K_M при 24 ГБ VRAM, максимальная выгрузка на GPU и F16 для K/V cache. Модель обозначена как uncensored, поэтому её поведение и защитные ограничения могут отличаться от стандартных версий Qwen. Указана лицензия Apache-2.0.

Qwen3.6-40B-Grand-Intelligence-Fable-Fusion-Uncensored-Heretic — экспериментальная 40-миллиардная мультимодальная модель семейства Qwen3.5 от DavidAU, основанная на дообученной Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. Автор описывает её как дальнейшую модификацию Qwen3.6-40B-Grand-Intelligence с объединением нескольких моделей Fable Fusion и заявляет о сокращении объёма рассуждений при генерации. Архитектура — плотная Qwen3.5 для условной генерации текста и изображений; модель распространяется в формате safetensors и предназначена для работы через Transformers. Модель рассчитана на диалог, рассуждения, написание художественных текстов и ролевые сценарии, а также программирование и анализ изображений. В карточке перечислены английский и китайский языки. Автор предупреждает, что это незавершённая работа: модель проходила тестирование и бенчмаркинг, а результаты и название могли измениться. Лицензия — Apache-2.0; пометка uncensored указывает на ослабленные ограничения генерации, поэтому выводы могут включать нежелательный или неподходящий контент.

Qwen3.7 Flash — мультимодальная модель рассуждения с поддержкой изображений, разработанная Alibaba. Она предназначена для мультимодальных агентов, визуального программирования, поиска и взаимодействия с компьютером, а также задач распознавания объектов и пространственного понимания. Модель принимает текст и изображения и генерирует текст.

Qwen3.8-27B Abliterated MLX MXFP4-MTP — vision-language модель на основе Qwen/Qwen3.8-27B, упакованная Shiftedx для экосистемы MLX. Это квантованная версия полной 27-миллиардной архитектуры: языковая часть использует MXFP4 с размером группы 32, а неизменённая vision tower — веса BF16. Пакет также содержит 15 BF16-тензоров native MTP для ускорения спекулятивной генерации; рекомендованная глубина MTP — 3. Для работы требуется MTPLX версии 2.0.2 или новее. Модель предназначена для генерации и анализа текста, обработки изображений, задач с длинным контекстом, tool calling и сценариев, где важна высокая скорость вывода на совместимом Apple Silicon-оборудовании. В опубликованном тестировании эффективный проверенный контекст составлял до 131 072 токенов; языки README не уточняет. На Apple M4 Max с 64 ГиБ unified memory модель показала 100% в тестах tool calling, 86,7% в тестах длинного контекста и 75% в vision-тестах, однако результаты зависят от версии весов, runtime, настроек и оборудования. Изменение refusal-направления снизило измеренные отказы в специально подготовленном наборе с 12/12 до 0/12, но авторы подчёркивают, что это не доказывает универсальную «нецензурированность». Модель может чаще выдавать вредные или ошибочные ответы; результаты бенчмарков также показывают ограничения в общей проверке качества и agentic-сценариях. Использовать её следует с осторожностью, особенно при работе с инструментами, изображениями и генерируемым кодом. Лицензия — Apache-2.0; ограничения исходной модели сохраняются.

Qwen3.8-27B-MXFP4-MagicQuant-GGUF — адаптированная GGUF-сборка модели Qwen3.8-27B, основанная на официально постобученном и квантованном чекпойнте AMD Qwen3.8-27B-Quark-AWQ-MXFP4. Репозиторий подготовлен magiccodingman и содержит исходную нативную MXFP4-версию, а также варианты дополнительного квантования по рецептам MagicQuant и Unsloth. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая обработку изображений благодаря поддержке vision projectors. Также заявлена поддержка MTP. Размер базовой модели составляет 27B параметров, формат распространения — GGUF, а нативная версия занимает около 18,89 ГБ. Доступны варианты с различными уровнями квантования; среди рекомендуемых по соотношению качества и размера указаны MQ-IQ4_XS_1, UD-Q4_K_S, UD-IQ4_XS и UD-Q3_K_XL. Для них заявлено близкое соответствие логитам нативной MXFP4-версии при уменьшении размера примерно на 20,7–31,05%. Сильной стороной сборки является наличие нескольких проверенных вариантов квантования, опубликованных tensor maps, результатов KLD-тестов и сведений об imatrix, что упрощает выбор между качеством и требованиями к памяти. Ограничения связаны с потерями качества при агрессивном квантовании: один вариант UD-IQ2_XXS был удалён после провала установленного порога качества, а остальные низкобитные варианты также могут заметно отличаться от нативной версии. Это адаптированный downward clone, а не новый полный поиск рецептов MagicQuant; языки и размер контекстного окна в README не указаны. Лицензия — Apache-2.0.

Qwen3.8-9B-Distill-uncensored-heretic-GGUF — GGUF-квантизированная версия модели Qwen3.8-9B-Distill, подготовленная пользователем petruhonk на базе empero-ai/Qwen3.8-9B-Distill. Модель подвергнута «abliteration» с помощью Heretic v1.4.0 для снижения числа отказов при ответах на запросы, которые исходная модель отклоняет. Она предназначена для генерации текста, диалоговых приложений, агентских сценариев и функционального вызова инструментов через llama.cpp. Модель содержит 9 млрд параметров, 33 блока и сохранённую MTP-голову для speculative decoding с режимом draft-mtp. В репозитории опубликованы только текстовые веса в формате GGUF, предположительно с квантизацией Q8_0; для запуска с мультимодальными возможностями необходим отдельный файл mmproj. Исходная архитектура поддерживает изображения и видео, однако данный репозиторий не содержит соответствующих компонентов. Встроенный шаблон чата поддерживает tools и <tool_call>, а пример запуска рассчитан на контекст до 32768 токенов. К сильным сторонам относятся сохранённая MTP-голова, совместимость со speculative decoding и существенно меньшее число отказов по сравнению с исходной моделью: 6 из 100 против 100 из 100 в указанном тесте. Ограничения включают неполную мультимодальную поставку, зависимость качества и потребления памяти от выбранной квантизации, а также возможные изменения поведения из-за abliteration; показатель KL-дивергенции относительно исходной модели составляет 0,0306. Модель распространяется по лицензии Apache-2.0.

Sawfwair/Qwen3.8-Flash-Next-MLX-Mixed-2bit — воспроизводимая конверсия модели Qwen/Qwen3.8-Flash-Next в формат MLX, предназначенная для локального запуска на Apple Silicon Mac. Разработчик — Sawfwair, исходная модель создана Qwen. Распространяемая версия рассчитана на профиль Mac с 128 ГБ unified memory и использует смешанное квантование для снижения требований к памяти. Модель имеет архитектуру с маршрутизацией экспертов и мультимодальной поддержкой upstream-версии, включая обработку текста и изображений. Общий объём — около 180B параметров: 125B в основной модели, 51B в n-gram embedding и 4B в MTP-компоненте. 48 банков routed experts используют MLX affine Q2 с group-128, часть матриц — Q4, а embeddings, QSA indexers, routers, vision и MTP fusion heads сохранены в BF16. Нативный контекст составляет 262 144 токена, однако в mere.run v0.45.0 доступный бюджет ограничен 2 048 токенами на prompt и output вместе, а ввод изображений ещё не квалифицирован. Основные сценарии — локальная генерация текста, чат и развёртывание локального OpenAI-compatible API; встроенный MTP head может ускорять декодирование за счёт speculative decoding с проверкой целевой моделью. Для работы требуются Apple Silicon, macOS 15 или новее, около 68,08 GiB для checkpoint и совместимый Qwen4Exp-aware MLX runtime, например mere.run v0.45.0 или новее. Модель распространяется по Qwen Community License 1.0, которая включает требования к атрибуции и отображению для очень крупных коммерческих продуктов, а также отдельные лицензионные условия для некоторых коммерческих Model-as-a-Service и AI Work Assistant-сценариев.

bartowski/Qwen_Qwen3.6-27B-GGUF — это набор GGUF-квантизаций языковой модели Qwen3.6-27B, разработанной Qwen и опубликованной в формате, совместимом с llama.cpp. Квантизации подготовлены bartowski с использованием imatrix и предназначены для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В метаданных указано назначение image-text-to-text, однако подробные сведения о поддержке изображений в README отсутствуют. Модель имеет 27 млрд параметров и доступна в вариантах от BF16 до низкобитных Q3, Q4, Q5, Q6, Q8 и IQ-квантизаций. Размер файлов составляет примерно от 13,5 до 54,7 ГБ; варианты с более высокой точностью обычно сохраняют лучшее качество, а низкобитные версии требуют меньше оперативной памяти. Для некоторых конфигураций заявлена поддержка MTP-слоёв через параметр draft-mtp в llama.cpp. Формат prompt использует специальные маркеры ролей system, user и assistant с секцией рассуждений think. Модель подходит для локальной генерации текста и мультимодальных сценариев, если соответствующая поддержка реализована используемым инструментом, однако языки, размер контекста, архитектурные детали исходной модели и конкретные возможности работы с изображениями в предоставленных данных не указаны. Сильные стороны — широкий выбор квантизаций, возможность запуска на различном оборудовании и заявленное высокое качество вариантов Q5–Q8; ограничения связаны с ростом потерь качества у низкобитных вариантов и значительными требованиями к памяти. Указана лицензия Apache-2.0.

Scarlett-Llama-3-8B-GGUF — это набор квантизованных версий текстовой генеративной модели Scarlett-Llama-3-8B, опубликованный bartowski. Исходная модель разработана проектом ajibawa-2023, а квантизация выполнена с использованием llama.cpp и метода imatrix. Модель распространяется в формате GGUF и предназначена для локального запуска и генерации текста. По тематическим меткам модель ориентирована на художественные тексты, философские рассуждения, романтические сценарии, шутки, советы и написание кода. Указан английский язык. Архитектура и исходный размер обозначены как Llama 3 8B; поддерживается только текстовая модальность. Формат диалога использует специальные маркеры system, user и assistant. Длина контекста в README не указана. Главное преимущество набора — широкий выбор уровней квантизации с размером файлов примерно от 2,01 до 8,54 ГБ, что позволяет адаптировать модель к доступному объёму памяти. Версии Q6_K, Q5_K_M, Q5_K_S и Q4_K_M отмечены как рекомендуемые благодаря сочетанию качества и размера; варианты с более низкой разрядностью экономичнее, но дают более низкое качество. Лицензия указана как llama3 с типом other; точные условия следует уточнять в файле LICENSE.

ISB369 разработал shellminator-270m-bash-distilled — компактную модель Gemma 3 с 257 млн параметров, дообученную преобразовывать короткие запросы на естественном языке в одну команду Bash. Она предназначена для подсказок в терминале: пользователь проверяет и при необходимости редактирует предложенную команду перед запуском. Модель принимает текст и генерирует текст; для работы с shellminator она поставляется в формате GGUF, а в репозитории Hugging Face доступны веса safetensors. Контекст составляет до 32 768 токенов. Модель ориентирована на английские запросы и Linux/Bash. Она хорошо подходит для распространённых однострочных команд, но её небольшой размер ограничивает точность сложного синтаксиса, вложенных конструкций и многошаговых задач. В описанной оценке текущий чекпойнт правильно решил 11 из 25 проверочных запросов, а 92% предложенных команд прошли проверку синтаксиса bash -n. Модель может предложить неверную или опасную команду, поэтому результат следует проверять вручную. Лицензия — Gemma.

Spark-X2.5-4B MLX 8-bit — 8-битная версия языковой модели XHToken/Spark-X2.5-4B, подготовленная для MLX. Модель предназначена для задач общего назначения, включая рассуждения, программирование, использование инструментов и агентские рабочие процессы. Идентификатор модели — abenzerps/Spark-X2.5-4B-MLX-8bit. Модель имеет архитектуру spark2_5, содержит около 4 миллиардов параметров и работает с текстом. Заявлен нативный контекст до 1 048 576 токенов, что подходит для обработки очень больших документов и длинных последовательностей. Веса представлены в формате MLX 8-bit и занимают около 4,37 ГБ; языки обучения или поддержки в README не указаны. Для работы требуется Spark-MLX-LLM: модель пока не поддерживается oMLX и стандартным MLX-LM. README не приводит подробных результатов тестирования, поэтому качество в конкретных задачах нельзя оценить по представленным данным. Модель распространяется по лицензии Apache-2.0.

Vaayu-Large — компактная языковая модель, разработанная Meet Mendapara и обученная с нуля для вызова инструментов и взаимодействия между программами. Она предназначена для локального запуска и работы в составе агентных систем, включая выполнение инструментов через Model Context Protocol (MCP). По данным карточки, модель содержит около 492,7 млн параметров; метаданные указывают 451,7 млн. Это декодерный трансформер VaayuForCausalLM с RoPE, grouped-query attention, SwiGLU и Pre-RMSNorm. Контекст — 4096 токенов; библиотека — Vaayu, формат весов — PyTorch. Модель специализируется на генерации структурированных вызовов инструментов, JSON-RPC и аргументов по схемам, с ориентацией на локальное исполнение. Карточка приводит результаты оценок точности выбора инструментов и аргументов, а также скорости CPU; это заявленные авторами результаты. Она не предназначена для открытого творческого письма или общих викторин. При подключении нескольких подробных MCP-серверов может потребоваться сокращать схемы; среда исполнения должна безопасно ограничивать действия инструментов. Лицензия — MIT.

WhiteRabbitNeo-7B-v1.5a-GGUF — это квантизированная версия языковой модели WhiteRabbitNeo-7B-v1.5a, подготовленная пользователем bartowski в формате GGUF для запуска с llama.cpp. Исходная модель разработана проектом WhiteRabbitNeo; README также указывает лицензию deepseek и ссылается на лицензионные условия DeepSeek Coder 33B Base. Модель предназначена для генерации текста и локального запуска в совместимых приложениях на базе llama.cpp. Доступны варианты квантизации от Q2_K до Q8_0 с размером файлов примерно от 2,53 до 7,16 ГБ. В README не указаны архитектура исходной модели, поддерживаемые языки, размер контекста и дополнительные модальности, поэтому подтверждённые сведения позволяют описать её только как текстовую генеративную модель. Основное преимущество сборки — возможность выбрать компромисс между качеством и требованиями к памяти: Q6_K отмечен как рекомендуемый вариант высокого качества, а менее точные варианты подходят для систем с ограниченным объёмом RAM. Более сильная квантизация уменьшает размер файла, но снижает качество. Использование регулируется лицензией, обозначенной как deepseek; перед применением следует ознакомиться с условиями по указанной в README ссылке.

YAYI2-30B — базовая языковая модель, разработанная компанией Wenge Technology (中科闻歌). Эта версия репозитория — конверсия модели wenge-research/yayi2-30b в формат, совместимый с Llama. Модель построена на архитектуре Transformer с плотной архитектурой LlamaForCausalLM и содержит 29,8 млрд параметров; в карточке указано контекстное окно 4096 токенов. Модель предварительно обучена на многоязычном корпусе объёмом 2,65 трлн токенов. В README описаны оценки понимания языка и знаний, математических и логических рассуждений и генерации кода. Метаданные и карточка указывают китайский и английский языки. Это базовая модель для генерации текста и дальнейшей адаптации, а не специализированный чат-чекпойнт. Для запуска в BF16/FP16 README рекомендует не менее 80 ГБ видеопамяти. Использование регулируется лицензией YAYI 2; в метаданных лицензия обозначена как other.

airoboros-7b-gpt4-1.1 — дообученная авторами проекта Airoboros языковая модель семейства LLaMA с архитектурой LlamaForCausalLM и примерно 6,6 млрд параметров. Она создана на синтетических обучающих данных, сгенерированных GPT-4, и предназначена для диалоговой генерации текста по шаблону Vicuna, включая ответы на вопросы и выполнение инструкций. Модель ориентирована на викторины, математические рассуждения, программирование, вопросы с выбором ответа и заполнение пропусков, а также ответы по заданному контексту. При контекстном вопросно-ответном поиске её обучали опираться на предоставленные сведения и ограничивать ответ их содержимым, чтобы уменьшить галлюцинации. В метаданных указан контекст до 2048 токенов; README отмечает, что эта версия добавляет примеры инструкций по программированию и улучшает следование контексту. Модель принимает текст и генерирует текст. README не заявляет конкретные поддерживаемые естественные языки. Известное ограничение — автор прямо отмечает слабые результаты на математике и рассуждениях; следование контексту также не исключает выдуманных ответов. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

s3rg0x/apple-crash-rca-8b — специализированная текстовая модель для анализа отчётов о сбоях Apple. Она разработана на базе Qwen3-8B и дообучена с помощью QLoRA на синтетических примерах, созданных методом дистилляции и прошедших проверку на соответствие видимым свидетельствам. Модель связывает признаки в отчёте с причиной сбоя и описывает его развитие через окружение, триггер, механизм, распространение и завершение. Модель предназначена для диагностики watchdog termination, jetsam и завершений из-за нехватки памяти, EXC_BAD_ACCESS, EXC_RESOURCE, EXC_GUARD, ошибок Swift runtime, kernel panic, spindump и зависаний приложений. Она принимает Apple .ips JSON, классические текстовые отчёты, Markdown и неформатированные копии текста; работает локально через Transformers, а для Apple Silicon доступна сборка MLX в 4-битном формате. Размер базовой модели — 7,6 млрд параметров, контекст — до 40 960 токенов. Карточка заявляет, что корректно структурированный анализ получается примерно в 95% случаев, а правильный механизм сбоя определяется примерно в 75% случаев. Модель рассчитана на англоязычные диагностические отчёты Apple. Она может отказаться анализировать ввод, который не похож на отчёт о сбое, и помечать причины как неразрешённые, когда свидетельств недостаточно. На неоднозначных отчётах возможны выводы, выходящие за пределы доказательств, поэтому результаты требуют проверки специалистом. Лицензия — Apache-2.0.

QuantFactory/bloom-7b1-GGUF — квантизированная версия языковой модели bigscience/bloom-7b1, подготовленная QuantFactory с использованием llama.cpp. Исходную модель разработал исследовательский проект BigScience. Модель предназначена для генерации текста и работы с многоязычными текстовыми запросами, включая программный код. Это decoder-only Transformer на основе модифицированной архитектуры Megatron-LM GPT-2 с 7 069 016 064 параметрами, 30 слоями, 32 головами внимания и скрытым размером 4096. Используются StableEmbedding, позиционные кодировки ALiBi и активации GeLU. Максимальная длина последовательности составляет 2048 токенов. Токенизатор основан на byte-level BPE и имеет словарь из 250 680 элементов. Модель поддерживает широкий набор языков, включая английский, французский, испанский, португальский, арабский, бенгальский, китайский, хинди, русский в заявленном перечне отсутствует, а также многие языки Африки и Южной Азии. Квантизированный формат может упростить локальный запуск и снизить требования к ресурсам по сравнению с исходной полноразмерной моделью, однако конкретный метод и уровень квантизации в README не указаны. Модель является базовой языковой моделью генерации текста; сведения о специализированном instruction-tuning, точных показателях качества и детальных ограничениях отсутствуют. Исходная модель распространяется по лицензии BigScience BLOOM RAIL v1.0, также указанной для этой версии.

Bonsai 2 27B 1bit CRACK GGUF — языковая и визуальная модель, разработанная командой dealignai на основе тернарно сжатой PrismML версии Qwen3.8-27B. Из модели удалены механизмы отказа на уровне весов, при этом заявлено сохранение общих возможностей, режимов рассуждения, инструментального использования и многотуровой связности. Модель предназначена для генерации текста, рассуждений, работы с инструментами и обработки изображений в совместимом окружении llama.cpp. Модель использует гибридную архитектуру Attention и SSM на базе GatedDeltaNet: 64 блока, размер скрытого состояния 5120 и отдельная vision tower. Применяется квантование PrismML PTQ1_0 с тернарными весами, группами по 128 и эффективным размером около 2,13 bpw; файл занимает примерно 5,95 ГБ. Поддерживаются режимы рассуждения off, low и xhigh, а для обработки изображений требуются совместимые mmproj-файлы. Запуск заявлен на CPU, CUDA и Metal, включая ноутбуки и системы с одной GPU. Сильной стороной является низкое потребление памяти при сохранении класса модели 27B, а также отсутствие встроенных отказов, что делает модель пригодной для исследовательских и экспериментальных сценариев, где требуется высокая исполнительность. Однако заявленная abliteration снижает защитные ограничения, поэтому модель не следует использовать без собственного контроля безопасности. Результаты MMLU показывают небольшое снижение точности относительно базовой версии, а для старых сборок была отмечена ошибка зацикливания токенов в режимах low и xhigh; рекомендуется использовать версию, выпущенную после 18 сентября 2026 года. Лицензия — Apache-2.0.

rizerphe создал CodeLlama-function-calling-6320-7b-Instruct-hf — плотную авторегрессионную модель семейства Llama для генерации текста и диалогов с вызовом функций. Модель дообучена с помощью LoRA на небольшой части набора glaive-function-calling-v2 и отформатированной, слегка очищенной версии sharegpt-hyperfiltered-3k; размер — 6,6 млрд параметров, контекст — до 16 384 токенов. Модель предназначена для диалоговых сценариев, в которых нужно отвечать на запросы и формировать вызовы функций. В README приведён пример ответа о настройке пароля. Поддерживаемые языки карточка не описывает. Модель распространяется с лицензией Llama 2; качество вызова функций может зависеть от формата запроса и используемых инструментов.

MaziyarPanahi/DeepSeek-R1-0528-Qwen3-8B-GGUF — это набор файлов модели в формате GGUF для базовой модели deepseek-ai/DeepSeek-R1-0528-Qwen3-8B. Исходную модель разработала deepseek-ai, а квантированную версию подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты. GGUF — формат, созданный командой llama.cpp и пришедший на смену GGML. Доступны варианты квантования с разной разрядностью: 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством работы. Поддерживаются llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и ctransformers. К сильным сторонам относятся возможность локального использования, широкий выбор уровней квантования, GPU-ускорение в ряде клиентов и совместимость с OpenAI-совместимыми серверными интерфейсами некоторых библиотек. README не содержит сведений о точной архитектуре, размере параметров, поддерживаемых языках, длине контекста, мультимодальности, результатах тестирования или лицензии, поэтому эти характеристики нельзя достоверно определить.

Это пакет слоёв модели DeepSeek-R1-Distill-Qwen-32B в формате GGUF Q4_K_M, подготовленный Mesh LLM для распределённого запуска. Он сохраняет разбиение исходного GGUF на отдельные артефакты по слоям и предназначен для инференса на локальном кластере из нескольких машин, когда полной модели недостаточно разместить на одном узле. Пакет подходит для приватного локального чата и для работы через локальный API Mesh LLM с совместимым с OpenAI интерфейсом chat completions. Репозиторий указывает исходную модель unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF и вариант квантования Q4_K_M. Сведения об архитектуре, контекстном окне, языках и условиях лицензии следует сверять с карточкой исходной модели; в предоставленных данных они не раскрыты.

QuantTrio/DeepSeek-V3.2-Exp-AWQ — AWQ-квантизированная версия экспериментальной языковой модели DeepSeek-V3.2-Exp, разработанной DeepSeek AI и опубликованной QuantTrio. Модель предназначена для генерации текста, диалоговых приложений и серверного инференса через Transformers и vLLM, включая сценарии с автоматическим выбором инструментов и вызовом функций. В основе лежит архитектура DeepSeek-V3.2-Exp с механизмом DeepSeek Sparse Attention (DSA), рассчитанным на повышение эффективности обучения и инференса при работе с длинными последовательностями. В README заявлена поддержка контекста до 32 768 токенов. Модель является текстовой; сведения о размере, количестве параметров и поддерживаемых языках не указаны. Размер файлов модели составляет около 373 ГБ. К сильным сторонам относятся снижение вычислительных затрат при обработке длинного контекста благодаря разреженному вниманию и совместимость с оптимизациями vLLM, включая expert parallelism и speculative decoding. Ограничения включают экспериментальный статус, необходимость специализированной конфигурации и минимум шести GPU для указанного односерверного запуска. На момент публикации заявлена поддержка только датацентровых GPU Hopper и Blackwell; производительность и совместимость с другим оборудованием могут отличаться. Модель распространяется по лицензии MIT.

DeepSeek-V4-Flash-0731 REAP 80G — производная версия DeepSeek-V4-Flash-0731 от автора репозитория, сокращённая методом REAP и упакованная в формат GGUF с разной точностью квантования. В каждом MoE-блоке сохранено 160 из 256 маршрутизируемых экспертов; эксперты используют IQ2XXS, проекции W2 — Q4_K, а внимание, общие эксперты и выходная голова — Q8_0. Модель предназначена для генерации текста в диалоговом режиме и локального запуска на совместимом с DeepSeek-V4 оборудовании и ПО. Карточка описывает её как экспериментальную производную, не являющуюся официальным выпуском DeepSeek. Ожидаемые сценарии включают диалог, программирование, рассуждения, работу с инструментами и длинным контекстом, но качество этих возможностей следует оценивать на своих задачах. Для запуска требуются среды, понимающие компоненты DeepSeek-V4; обычные загрузчики GGUF могут не поддерживать используемые компоненты MXFP4, sparse attention, токенизатор и DSpark MTP. Оценки паритета с исходной моделью по бенчмаркам нет. Модель основана на deepseek-ai/DeepSeek-V4-Flash-0731; метаданные указывают языки en и zh, лицензию MIT и задачу text-generation. README предупреждает, что важность экспертов оценивалась по близкому раннему чекпойнту, а не по версии 0731; удалено 37,5% маршрутизируемых экспертов. Совместимость MTP-блоков требует отдельной проверки.

Dolphin3.0-Llama3.2-1B-GGUF — это GGUF-квантизации языковой модели Dolphin3.0-Llama3.2-1B, опубликованные и подготовленные пользователем bartowski. Модель основана на cognitivecomputations/Dolphin3.0-Llama3.2-1B и предназначена для генерации текста, включая работу через llama.cpp и LM Studio. Указан английский язык. Модель имеет размер 1B параметров и представлена в вариантах от F32 и F16 до разных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 0,64 до 4,95 ГБ, что позволяет выбирать между качеством и требованиями к оперативной памяти. В README приведён формат диалога с ролями system, user и assistant. Среди обучающих данных указаны наборы для программирования, математических задач, function calling, instruction tuning и диалогов. К сильным сторонам относятся широкий выбор квантизаций, возможность локального запуска и сравнительно небольшие требования к ресурсам; варианты Q4_K_M, Q5 и Q6 отмечены как рекомендуемые для разных сценариев. Более агрессивная квантизация снижает качество, а конкретные возможности модели, например мультимодальность, длина контекста и поддержка других языков, в README не указаны. Лицензия обозначена как llama3.2.