II.2Создание и понимание программного кода

Joestar79/Qwen3.8-27B-OBLITERATED-NVFP4 — производный мультимодальный чекпойнт на базе Qwen/Qwen3.8-27B, прошедший V3 abliteration авторами OBLITERATUS и квантование NVIDIA ModelOpt 0.45.0. Модель предназначена для текстовой генерации, работы с изображениями, рассуждений и вызова инструментов через vLLM. Поведение отказов удалено, поэтому модель выполняет запросы, которые исходная версия могла отклонять; ответственность за законность использования и настройку защитных ограничений лежит на операторе. Модель использует квантование NVFP4 W4A16: размер на диске составляет около 21,5 ГБ вместо 55,6 ГБ у исходной BF16-версии. Весовая часть упакована в FP4, а vision tower, MTP head, lm_head, embeddings и отдельные внутренние компоненты линейного внимания сохранены в BF16. MTP head подключён для speculative decoding, поддерживается контекст до 126 976 токенов, а шаблон чата включает диалект вызова инструментов qwen3_coder. В README не указаны полный список языков и точное число параметров сверх обозначения 27B. Чекпойнт рассчитан прежде всего на запуск на одной NVIDIA RTX 5090 с 32 ГБ памяти и совместим с другими картами Blackwell и FP4-совместимыми серверными GPU. На RTX 5090 заявлена пропускная способность около 40 токенов в секунду для одного потока и до 317 токенов в секунду суммарно для восьми потоков. Ограничения включают известную проблему с зацикливанием генерации при некоторых условиях, возможное снижение эффективности speculative decoding из-за несовпадения MTP head с abliteration-весами и отсутствие калибровки квантования под конкретные задачи. Модель не рекомендуется для публичного неаутентифицированного развёртывания; перед критически важным применением её следует сравнить с BF16-версией. Лицензия — Apache-2.0. Производная модель наследует знания, предубеждения и потенциальные ошибки базовой модели, а удаление отказов повышает риск небезопасных или нежелательных ответов.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — это GGUF-квантизированная версия многоэтапно дообученной и объединённой модели на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. Модель подготовлена с использованием Unsloth, методов COLD FUSION и Fable Fusion 711; репозиторий konizquants содержит обычные и MTP-варианты Neo-CODER MAX DI-MATRIX GGUF-квантов. Заявлены языки английский и китайский, а также лицензия Apache 2.0. Точные сведения о длине контекста и полном устройстве архитектуры в README не указаны. Модель предназначена для общих задач, рассуждений и решения задач, программирования, генерации творческих текстов, художественной прозы, ролевых сценариев и работы с различными жанрами. Ключевая цель дообучения — сократить объём токенов рассуждения и ускорить генерацию при сохранении подробности и качества ответов; автор заявляет сокращение от примерно половины до одной десятой по сравнению с обычной Qwen3.8. Доступны варианты с 4- и 8-битным представлением, включая MTP, что ориентировано на запуск на потребительском оборудовании. README приводит высокие результаты внутренних и заявленных бенчмарков ARC, но не содержит независимой верификации. Ограничениями являются зависимость качества и скорости от конкретного кванта и оборудования, отсутствие подробных данных о контекстном окне и модальностях, а также заявленная «uncensored» направленность, из-за которой модель может требовать дополнительного контроля безопасности.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — модель семейства Qwen3.8 с 27 млрд параметров, представленная в виде GGUF-квантовок. По README, это многоэтапная fine-tune-модель и результат объединения нескольких обученных версий, созданная с использованием Unsloth, методов Cold Fusion и Fable Fusion. В репозитории доступны обычные GGUF-варианты и варианты с MTP, включая 4- и 8-битные квантовки. Заявлены поддержка английского и китайского языков; максимальный размер контекста не указан. Метаданные также содержат тег image-text-to-text, однако подробности мультимодальных возможностей не приведены. Модель ориентирована на широкий спектр сценариев: решение задач и рассуждение, программирование, творческое письмо, художественную прозу, ролевые диалоги и другие универсальные задачи. Основной заявленный акцент — повышение качества при одновременном сокращении объёма внутренних thinking-токенов, что должно уменьшать задержку и расход вычислительных ресурсов. Автор README заявляет превосходство над базовой Qwen3.8-27B и рядом других моделей по семи ключевым бенчмаркам, а также высокие результаты ARC-C и ARC-E, но эти утверждения требуют независимой проверки. К сильным сторонам относятся ориентация на потребительское оборудование, наличие разных уровней квантования, поддержка MTP и заявленное сочетание подробных ответов с более быстрым выводом. Ограничения включают отсутствие в README точных сведений о контекстном окне, архитектурных деталях, системных требованиях, качестве мультимодальной обработки и воспроизводимых результатах тестов. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-TURBO-FCF — многоэтапная дообученная и объединённая версия модели Qwen3.8 с 27 млрд параметров, опубликованная пользователем kamikatze13. В качестве базовой модели указана Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU от DavidAU. Модель создана с использованием методов Cold Fusion, Fable Fusion и Unsloth, а также обучалась на наборах DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель ориентирована на широкий круг задач: решение проблем, рассуждения, программирование, творческое письмо, создание художественных текстов, ролевые сценарии и другие универсальные применения. Заявленная особенность версии TURBO — сокращение объёма рассуждений и расхода токенов по сравнению с обычной Qwen3.8, что должно обеспечивать более быструю генерацию при сохранении подробности ответов. README также указывает поддержку английского и китайского языков, наличие режимов рассуждения и вариантов GGUF-квантизации, включая 4- и 8-битные сборки, обычные и MTP-варианты. К сильным сторонам относятся ориентация на детализированные ответы, программирование, reasoning и художественную генерацию, а также возможность запуска на потребительском оборудовании благодаря квантизации. Заявленные высокие результаты ARC-C и ARC-E, превосходство над рядом базовых моделей и сильные возможности tool calling приведены авторами README, но независимая проверка этих утверждений не представлена. Ограничения включают отсутствие подробных данных о размере контекстного окна, точной архитектуре, мультимодальных возможностях и требованиях к оборудованию. Модель обозначена как uncensored, поэтому её ответы могут иметь сниженные защитные ограничения и требовать дополнительного контроля. Лицензия — Apache 2.0.

TeichAI/Qwen3-8B-Gemini-2.5-Flash-Distill-GGUF — языковая модель, разработанная TeichAI на базе unsloth/Qwen3-8B. Модель обучена методом дистилляции на крупном наборе данных TeichAI/gemini-2.5-flash-11000x, созданном на основе Gemini 2.5 Flash. Она предназначена для генерации текста общего назначения, включая программирование, научные задачи, юридические и исторические вопросы, а также маркетинговые сценарии. Модель содержит 8 миллиардов параметров. В README указана поддержка английского языка, однако сведения о точной архитектуре, модальностях, размере контекстного окна и дополнительных языках отсутствуют. К сильным сторонам относятся универсальная область применения и обучение на данных, связанных с Gemini 2.5 Flash; при этом качество и поведение модели могут зависеть от особенностей дистиллированного набора данных и базовой Qwen3-архитектуры. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-MLX-8bit — это 8-битная сборка модели Qwen3.8-Flash-Next, разработанная PipeNetwork для работы через MLX на компьютерах с Apple Silicon. Модель предназначена прежде всего для генерации текста, включая программирование, ответы на запросы и другие сценарии текстового вывода. В текущем runtime поддерживается только текстовый режим, хотя в составе checkpoint присутствует vision tower. Модель использует гибридную архитектуру Gated-DeltaNet и sparse attention с разреженной Mixture-of-Experts-структурой: всего около 125 млрд параметров, из которых примерно 6 млрд активируются на токен (125B-A6B). Также используется hashed n-gram embedding объёмом около 51 млрд параметров. Контекст и поддерживаемые языки в README не указаны. Модель преобразована в формат MLX и занимает около 192,2 ГБ на диске; большая часть весов квантована в 8 бит, отдельные управляющие компоненты и vision tower сохранены в bfloat16. 4B multi-token-prediction head не включён. По данным README, 8-битная версия сохраняет качество, статистически неотличимое от исходной bfloat16-модели на тесте wikitext-2, при существенно меньшем размере. Ограничения включают очень высокие требования к памяти, необходимость собственного runtime с поддержкой удалённого кода и привязку к экосистеме Apple Silicon и MLX. Лицензия — Qwen Community License 1.0.

BennyDaBall/Qwen3.8-Uncensored-NVFP4-MTP — это квантизированная GGUF-версия модели JonathanColetti/Qwen3.8-27B-Uncensored, подготовленная BennyDaBall. Модель основана на 27B-сборке Qwen3.8 с удалёнными ограничениями фильтрации, предназначена для генерации текста и диалогов, а также поддерживает работу с изображениями и видеокадрами при подключении vision-проектора. Заявлены английский и китайский языки. Контекстное окно составляет 262 144 токена. Основная часть трансформера из 64 слоёв сжата в формат NVFP4, а lm_head, embeddings, MTP-голова и vision-проектор сохранены в BF16. Встроенная MTP-голова позволяет использовать speculative decoding без отдельной draft-модели, что может существенно ускорять генерацию, особенно на структурированных данных, коде и повторяющихся фрагментах. Модель ориентирована прежде всего на видеокарты NVIDIA Blackwell, включая RTX 5090, RTX 5080 и RTX PRO; для работы требуются свежие версии llama.cpp с поддержкой NVFP4 и архитектуры qwen35 либо LM Studio 2.29.1 и новее. Производительность и эффективность спекулятивного декодирования зависят от оборудования и характера запроса, а для мультимодального режима требуется около 1 ГиБ дополнительной видеопамяти на vision-проектор. Распространяется по лицензии Apache-2.0.

DavidAU представил Qwen3-MOE-4x0.6B-2.4B-Writing-Thunder-V1.2 — компактную текстовую MoE-модель общего назначения на базе четырёх моделей Qwen3 по 0,6 млрд параметров, объединённых в структуру с 1,54 млрд параметров. Она предназначена для быстрой генерации текста, творческого письма, диалогов, ролевых сценариев, программирования и других общих задач; автор отмечает улучшения в кодировании относительно предыдущих версий. Модель поддерживает контекст до 40 960 токенов и режим рассуждений; в MoE по умолчанию активны два эксперта, а для сложного кода автор рекомендует повышать их число и использовать более точное представление весов. В метаданных указаны архитектура Qwen3 MoE, формат safetensors и лицензия Apache-2.0. Карточка также перечисляет слияние базовой Qwen3-0.6B с кодовой, математической и медицинской экспертными моделями. README предупреждает, что ответы могут заметно различаться между генерациями при одинаковых настройках; для программирования и сложных задач рекомендуются Q8 или полная точность. Автор модели — DavidAU; исходные модели созданы их соответствующими авторами и командой Qwen.

mradermacher/Qwopus3.8-27B-Flash-i1-GGUF — квантованная GGUF-версия модели Qwopus3.8-27B-Flash, подготовленная mradermacher на основе модели Jackrong/Qwopus3.8-27B-Flash. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, генерации текста, диалоговых сценариев, рассуждений, агентских задач, использования инструментов, function calling и генерации кода. Также заявлена поддержка обработки изображений вместе с текстом. Модель относится к мультимодальным vision-языковым моделям с архитектурой и размером семейства Qwen3 8 / 27B; точные архитектурные параметры и размер контекста в README не указаны. Заявлены английский, китайский, испанский, русский и японский языки. Репозиторий содержит набор imatrix-квантов разных уровней, примерно от 11,0 до 22,5 ГБ; варианты различаются компромиссом между размером, скоростью и качеством. В README отмечены рекомендации по отдельным вариантам, но количественные результаты оценки качества не приведены. Сильными сторонами являются мультимодальность, поддержка нескольких языков, широкий набор сценариев применения и возможность локального инференса при выборе подходящего уровня квантования. Ограничения включают потерю качества по сравнению с полноразмерной моделью из-за квантования, зависимость характеристик от выбранного варианта GGUF и отсутствие подробных данных о производительности, контексте и требованиях к оборудованию. Лицензия — Apache-2.0.

BenevolenceMessiah/QwQ-32B-Preview-Self-instruct-4x-TIES-MGS-v1.0 — объединённая языковая модель на архитектуре Qwen2, созданная методом TIES с помощью mergekit на основе Qwen/QwQ-32B-Preview и моделей TheBeagle, EVA-Qwen2.5 и Rombos. Она предназначена для диалоговой генерации текста и может применяться для ответов на вопросы, рассуждений и помощи с программированием. Модель содержит 32 млрд параметров, принимает текст и выдаёт текст; нативное окно контекста — 32 768 токенов. Репозиторий содержит веса Safetensors для библиотеки Transformers. Карточка не сообщает лицензию и не описывает отдельные результаты оценки качества; характеристики базовой QwQ указывают на ориентацию на рассуждения и код, но не гарантируют их качество после слияния.

Карточка модели Zhixianvsdgdsg/readbook-hf на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

RWKV-7 Goose 1.5B — официальная базовая языковая модель BlinkDL в формате Transformers. Это плотная авторегрессионная модель класса Rwkv7ForCausalLM с рекуррентной архитектурой без attention: размер состояния не растёт с длиной контекста, а вычислительная работа на генерируемый токен остаётся постоянной; обучение при этом допускает параллелизацию. Модель предварительно обучена на веб-текстах, коде, синтетических данных, инструкциях, диалогах и материалах для рассуждений. Модель предназначена для генерации текста, оценки, последующего обучения и дообучения, в том числе для создания диалоговых приложений. Шаблон чата задаёт формат промпта, но сам по себе не означает, что модель является безопасным или выровненным ассистентом. В комплект входят интеграция с Transformers, токенизатор RWKV и шаблон чата; заявлена поддержка LoRA. Репозиторий содержит веса safetensors, размер модели — 1,5 млрд параметров. Лицензия Apache-2.0. Качество следования инструкциям и языковое поведение зависят от чекпойнта, промптинга и последующего обучения. Спекулятивное декодирование с откатом рекуррентного кэша не поддерживается без сохранения предыдущих состояний. Оптимизированный инференс зависит от GPU, типа данных, размера пакета и формы входа; для TileLang требуется проверка совпадения результатов для конкретной конфигурации. Оценки безопасности, предвзятости, токсичности, фактической точности и пригодности для критически важных сценариев не заявлены.

Solar Open2 250B — Nota NVFP4 — это 4-битная квантованная версия большой языковой модели Solar Open2 250B, разработанной Upstage и подготовленной Nota AI с использованием собственной технологии квантования Mixture-of-Experts (MoE). Модель предназначена для генерации текста и может обслуживать задачи рассуждения, программирования, следования инструкциям, работы с англоязычными и корейскоязычными заданиями, а также другие сценарии применения больших языковых моделей. В заявленных метаданных указаны английский, корейский и японский языки; модальность — текстовая. Размер контекста в README не указан. Модель использует формат NVFP4 с 4-битным квантованием весов и активаций (W4A4), group_size=16 и упаковкой compressed-tensors для прямого запуска через vLLM. Заявленный объём весов составляет 153,3 ГБ против 500,6 ГБ у версии BF16. Ключевое преимущество — существенно меньшие требования к памяти и более высокая пропускная способность при близком к BF16 качеству на приведённых тестах; средний результат составил 81,35 против 81,57 у BF16. Ограничение — необходимость GPU архитектуры NVIDIA Blackwell с поддержкой FP4 tensor cores, например B200 или GB200; Hopper, Ada и Ampere не поддерживаются. Для развёртывания требуется vLLM и Blackwell-класс GPU. Модель распространяется по лицензии Upstage Solar License. Для производных моделей указаны требования использовать префикс Solar в названии, размещать заметную атрибуцию «Built with Solar» в публичных материалах и включать копию лицензии Upstage Solar.

SirSahOl подготовил 16-битную конверсию Spark-X2.5-1.7B в формат MLX для локального запуска на GPU Apple Silicon. Это плотная авторегрессионная языковая модель с 1,7 млрд параметров и контекстом до 1 048 576 токенов; метаданные указывают поддержку диалогового режима. Модель предназначена для генерации ответов и ведения диалога на устройстве, а базовая Spark-X2.5-1.7B также описана как пригодная для кода, перевода, рассуждений и агентных задач. Формат весов — safetensors, точность — 16 бит; заявленный объём памяти для весов составляет около 4,2 ГБ, рекомендуется не менее 8 ГБ объединённой памяти. Конверсия ориентирована на Apple Silicon и требует MLX; на других аппаратных платформах этот формат не предназначен для запуска. Лицензия — Apache-2.0. В README отмечено, что длинные контексты свыше 32 тыс. токенов требуют достаточного запаса объединённой памяти.

Spark-X2.5-4B Community Quants — набор GGUF-квантизаций модели Spark-X2.5-4B, разработанной XHToken и опубликованной сообществом. Модель предназначена для генерации текста, диалоговых и агентских сценариев с использованием инструментов, включая работу с файлами, терминалом, памятью и выполнением кода. Доступны варианты для видеокарт с 4, 8, 12 и 16 ГБ памяти, рассчитанные на полностью GPU-резидентный запуск через llama.cpp. Базовая модель содержит около 4,1 млрд параметров и использует гибридное внимание: соотношение слоёв sliding-window и full attention составляет 3:1. Заявлен нативный контекст до 1 млн токенов, однако на потребительских видеокартах практический предел определяется объёмом KV-кэша и существенно ниже. Квантизации используют importance matrix, рассчитанную на мультиязычном тексте. Варианты включают Q6_K, Q5_K_M, а также смешанные Q3_K_M и Q4_K_M; размер файлов составляет примерно от 2,0 до 3,2 ГБ. Модель поддерживает режим рассуждений, формат вызова инструментов и мультиязычные данные, но точный перечень языков в README не указан. Сильными сторонами являются компактный размер, высокая эффективность использования VRAM, поддержка длинного контекста и близкое к эталонному качество у вариантов Q6_K и Q5_K_M. Более компактные варианты позволяют запускать модель на видеокартах с 4–8 ГБ памяти, но заметно уступают по показателям perplexity и демонстрируют более высокую вероятность пропуска требуемых вызовов инструментов. Для запуска требуется форк llama.cpp от XHToken, поскольку архитектура spark2_5 пока отсутствует в upstream-версии. Модель распространяется по лицензии Apache-2.0.

sqrl-9b — агентная модель преобразования запросов на естественном языке в SQL для SQLite, разработанная feyninc на базе Qwen/Qwen3.5-9B. Модель может сначала выполнять исследовательские SELECT-запросы для проверки значений, связей таблиц и фильтров, а затем выдавать итоговый SQL. Для работы используется протокол с одним блоком действия за ход и передачей результатов исследования обратно в контекст. Модель содержит 9 млрд параметров и обучена в два этапа: дистилляция с учителем на проверенных выполнением траекториях и онлайн RL с наградой за совпадение результата SQL. По оценке авторов на BIRD-dev результат составляет 66,6% для pass@1 и 69,8% для голосования по восьми вариантам. Репозиторий содержит объединённый чекпойнт с LoRA, доступный в формате safetensors; лицензия — Apache-2.0. Унаследованная от базовой модели башня зрения сохранена, но обучение для SQL было текстовым. Предназначена прежде всего для генерации SQL по схеме SQLite и вопросу пользователя; качество зависит от соблюдения описанного в карточке протокола и может улучшаться за счёт нескольких сэмплов и голосования. Модель не настроена на другие диалекты SQL, использует соглашения SQLite для кавычек идентификаторов. Сгенерированные запросы следует проверять и выполнять в режиме только для чтения.

SuperGemma4-26B-Uncensored-Fast GGUF v2 — локальная GGUF-сборка, опубликованная пользователем Jiunsong и основанная на google/gemma-4-26B-A4B-it. Модель предназначена для диалогов, генерации текста, программирования и сценариев с использованием инструментов. Она позиционируется как менее ограниченная по сравнению со стандартными чат-релизами Gemma, но сохраняет естественное поведение в обычных запросах и не переводит их автоматически в режим программирования или вызова инструментов. Модель использует формат GGUF Q4_K_M и рассчитана на запуск через llama.cpp, в частности на компьютерах Apple Silicon. В README указано, что это MoE-модель, а экспорт выполнен из линии supergemma4-26b-uncensored-fast-v2 MLX. Заявлена поддержка английского и корейского языков; отдельно отмечена проверка на корейских запросах и задачах программирования. Размер контекста и точные параметры активной части модели не указаны. К сильным сторонам относятся компактный локальный формат, высокая скорость работы на Apple M4 Max, улучшения относительно исходной локальной базовой версии в коде, логике, браузерных сценариях и корейском языке, а также встроенный нейтральный шаблон чата, устраняющий известную проблему маршрутизации простых запросов в режим кода или вызова инструментов. Ограничения включают зависимость качества и скорости от оборудования и llama.cpp, квантизацию Q4_K_M и отсутствие в README подробных результатов независимого тестирования. Модель распространяется по лицензии Gemma.

Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Think2SQL-4B — дообученная модель Qwen3-4B от автора репозитория anonymous-2321 для преобразования вопросов на естественном языке в SQL-запросы. Она рассчитана на сценарии, где модели передают вопрос пользователя, дополнительные сведения и схему базы данных. Модель содержит около 3,7 млрд параметров, использует архитектуру Qwen3ForCausalLM и формат Safetensors; контекст — до 40 960 токенов. Для обучения применялись датасет BIRD и методы обучения с проверяемыми наградами за результат выполнения SQL. В карточке заявлена конкурентоспособность рассуждений при ограниченных вычислительных ресурсах. Для работы рекомендуется использовать системный и пользовательский промпты автора. Модель обучалась с отключённым режимом рассуждений; качество за пределами задачи Text-to-SQL и датасета BIRD отдельно не подтверждено. Лицензия в предоставленных данных не указана.

ThinkingCap-Qwen3.6-27B-int4-AutoRound-v1 — это общественная INT4-квантизация модели ThinkingCap-Qwen3.6-27B, исходно выпущенной BottleCap AI. Квантизацию выполнил Josef Prusa с использованием Intel AutoRound 0.14.0. Модель предназначена для локального инференса и агентных сценариев с длинным контекстом, включая работу с инструментами, вызов функций, оркестрацию задач и обслуживание через vLLM. Модель основана на архитектуре Qwen3.6 с 27 млрд параметров и использует текстовую генерацию. Применена весовая схема W4A16 с 4-битными весами, group size 128 и симметричной квантизацией; размер файлов составляет около 20 ГБ. Тензоры Multi-Token Prediction сохранены в BF16 для поддержки speculative decoding. В рекомендуемой конфигурации vLLM заявлен максимальный контекст до 262 144 токенов, а KV-кэш может дополнительно квантизироваться в 4-битный формат. Поддерживаются режимы рассуждений, tool calling и соответствующие парсеры Qwen3. Сильные стороны модели — уменьшенное потребление памяти, высокая скорость локального инференса, возможность размещения на видеокарте класса RTX 5090 с 32 ГБ памяти и сохранение поведения исходной ThinkingCap в задачах рассуждений и работы с инструментами. По локальным предварительным тестам модель показала результаты 81 в Hermes Agent, 90 в наборе tool-call-style, 89 в instructfollow-15, 73 в bugfind-15 и 65 в cli-40. Эти показатели получены на локальных тестах и не являются полной независимой оценкой качества. Ограничения связаны с потерями качества, возможными для 4-битной квантизации, а также с тем, что приведённые оценки и показатели производительности являются предварительными измерениями на одной конфигурации. Параметр group size 128 выбран в пользу скорости, меньшего потребления VRAM и запаса для длинного KV-кэша; меньшие группы могут повысить качество, но требуют больше памяти. Лицензия в представленном README не указана.

M4-ai разработала TinyMistral-6x248M-Instruct — компактную языковую модель с архитектурой Mixture of Experts, дообученную на базе M4-ai/TinyMistral-6x248M для выполнения инструкций. В метаданных указано 215,2 млн параметров и контекст до 32 768 токенов; веса опубликованы в формате safetensors. Модель принимает текстовые запросы и генерирует ответы, объяснения и аналитические тексты. Она рассчитана на широкий круг тем, включая программирование, историю и естественные науки; для диалога можно использовать формат ChatML. Дообучение выполнено на hercules-v1.0, наборе с примерами по коду, математике и другим дисциплинам. В карточке заявлена поддержка английского языка и многоязычной генерации. Модель распространяется по лицензии Apache-2.0. Возможны предвзятые, токсичные или чувствительные ответы; карточка также предупреждает об ухудшении качества при использовании Inference API и рекомендует параметры инференса базовой модели.

Trida-7B — языковая модель на 7,76 млрд параметров от Trillion Labs, построенная на архитектуре Block Diffusion Language Model. Это Transformer-декодер с RoPE, SwiGLU и RMSNorm; модель создана посредством непрерывного предобучения базовой trillionlabs/Tri-7B с последующим постобучением. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и предназначена для генерации на корейском, английском и японском языках. Блочная диффузионная генерация сочетается в ней с авторегрессионными зависимостями. Механизм Step-wise Autoregressive Attention рассчитан на обучение и генерацию с более эффективным использованием вычислений; заявлена поддержка KV-кэширования внутри текущего блока. В README указана длина контекста 8192 токена, тогда как метаданные каталога задают native context в 4096 токенов. Модель оценивали на задачах рассуждения, знаний, программирования, математики и следования инструкциям. Модель распространяется по лицензии Apache-2.0. Разработчик указывает, что качество может снижаться при работе с языками, отличными от английского, корейского и японского; сведения модели ограничены данными до февраля 2025 года.

UNA-34Beagles-32K-bf16-v1 — экспериментальная диалоговая модель, опубликованная one-man-army и построенная на Yi-34B-200K с использованием Bagel. Это плотная 34-миллиардная языковая модель архитектуры Llama, распространяемая в формате Safetensors; заявленная длина контекста — 32 768 токенов. Модель дообучена на широком наборе данных для инструкций, диалогов, рассуждений, программирования, математики и ролевых сценариев, а также прошла DPO-обучение. Модель предназначена для генерации текста и ответов в диалоге: она может помогать с вопросами и ответами, анализом предоставленного контекста, написанием кода, математическими задачами и творческими или ролевыми текстами. В README указаны четыре варианта форматирования запросов: Vicuna, Llama 2, Alpaca и ChatML-подобный формат. Данные описывают многоязычные задачи, но конкретный перечень поддерживаемых языков не приведён. Автор сообщает, что включение Toxic DPO должно снизить цензурирование ответов. Это может повышать вероятность генерации токсичного или небезопасного текста; качество и надёжность ответов не гарантированы. Модель распространяется по лицензии Apache-2.0.

WestLake-Munin-Cat-NorskGPT — объединённая модель на архитектуре Mistral, созданная с помощью LazyMergekit из шести моделей, включая NorskGPT-Mistral-7b, Munin, WestLake, MetaMath-Mistral и OpenHermes. Модель насчитывает 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового использования. Её можно применять для ответов на вопросы, написания и продолжения текстов, а также помощи с кодом и математическими задачами благодаря возможностям входящих в объединение моделей. Формат весов — safetensors; модель опубликована в феврале 2024 года. В карточке не приведены результаты оценки качества или отдельные инструкции по эксплуатации. Условия лицензирования в доступных данных не указаны.

Whittle-Qwen-3.8-35B-A3B-i1-GGUF — это квантизированная GGUF-версия модели Whittle-Qwen-3.8-35B-A3B, разработанной logic65 и опубликованной в формате квантизаций пользователем mradermacher. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений, программирования и математических задач, а также для локального запуска через llama.cpp и совместимые инструменты. Модель использует архитектуру mixture-of-experts (MoE) и заявленные механизмы n-gram memory, conditional memory, hyper-connections и knowledge distillation. В обозначении указано 35B параметров, однако README не уточняет число активных параметров при инференсе. Поддерживаются английский, китайский и другие языки; модель работает с текстом и не предназначена для мультимодальных входов. Размер контекста и другие параметры архитектуры не указаны. Доступно множество вариантов квантизации i1-GGUF объёмом примерно от 13,1 до 29,4 ГБ. Они предлагают разные компромиссы между размером, скоростью и качеством; README отмечает i1-Q4_K_M как быстрый рекомендуемый вариант, а i1-Q4_K_S — как удачный баланс размера, скорости и качества. Ограничения включают возможную потерю качества при низкой разрядности и отсутствие подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

Yi-1.5-9B-Chat-GGUF — это квантизированная в формате GGUF языковая модель для генерации текста и диалогового взаимодействия. Исходную модель Yi-1.5-9B-Chat разработала компания 01-ai, а квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для локального использования, в том числе через LM Studio, и распространяется под лицензией Apache 2.0. Модель содержит около 9 миллиардов параметров и относится к семейству Yi, построенному на архитектуре, совместимой с Llama. Она была дополнительно обучена на корпусе объёмом 500 млрд токенов и дообучена на 3 млн разнообразных примеров. Заявленные сценарии включают программирование, математику, рассуждения, выполнение инструкций, понимание языка, здравый смысл и чтение с пониманием. Для общения рекомендуется использовать шаблон ChatML. Сведения о поддерживаемых языках, размере контекста, точной архитектуре и других технических характеристиках в README не приведены. К сильным сторонам относятся универсальность, возможности диалогового режима и пригодность для запуска на локальном оборудовании благодаря квантизации. Ограничения включают отсутствие опубликованных подробных технических характеристик, а также типичные для языковых моделей риски неточных, вредных или неподходящих ответов; результат зависит от выбранного варианта квантизации и настроек запуска.

Larryvrh опубликовал версию Yi-34B-200K от 01.AI, адаптированную для работы с архитектурой Llama и удобства использования. Это плотная языковая модель на 33,9 млрд параметров для генерации текста; репозиторий содержит веса Safetensors. Заявленная длина контекста — до 200 000 токенов. Модель подходит для диалога и генерации текста на китайском и английском языках, ответов на вопросы по длинным документам, чтения с пониманием, рассуждений, математики и задач по программированию. В README приведены результаты бенчмарков для разных моделей, но отдельные результаты Yi-34B-200K здесь не выделены. Модель может выдавать ошибочные или проблематичные ответы. Лицензия — Apache-2.0.

Yosegi-2 — объединённая языковая модель от Local-Novel-LLM-project, созданная с помощью mergekit и метода TIES. Она предназначена для генерации текста и диалоговых сценариев; при объединении использованы Mistral-7B-v0.3, MetaMath-Mistral-7B, speechless-zephyr-code-functionary-7b и локальная LoRA-адаптация Ninja-v1-RP-expressive-v2. Модель построена на архитектуре MistralForCausalLM, содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий распространяет веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

Карточка модели DIYIN/Youtu-LLM-2B-Base на Hugging Face совпадает с карточкой tencent/Youtu-LLM-2B-Base, поэтому описание составлено по ней. Youtu-LLM-2B-Base — базовая авторегрессионная языковая модель Tencent из семейства Youtu-LLM. Она содержит около 1,96 млрд параметров, использует плотную архитектуру с Multi-head Latent Attention (MLA) и предназначена для генерации текста и дальнейшей адаптации под конкретные задачи. Модель принимает текст и генерирует продолжение; карточка описывает её возможности в рассуждениях, STEM, программировании, работе с длинным контекстом и агентных сценариях. Контекст модели составляет 131 072 токена. В README приведены результаты сравнительных тестов, в том числе по общим знаниям и агентным задачам; заявленные результаты не гарантируют аналогичного качества в каждом применении. Указана лицензия `other`, поэтому перед использованием следует проверить её условия в карточке модели. README не уточняет поддерживаемые естественные языки.

AaryanK/Youtu-LLM-2B-GGUF — это набор моделей в формате GGUF, представляющий квантованную версию Youtu-LLM-2B, разработанной Tencent. Модель предназначена для генерации текста, диалоговых приложений, программирования, STEM-задач и агентских сценариев, включая режим рассуждений Chain of Thought. Модель содержит около 1,96 млрд параметров и использует архитектуру Dense MLA. Она поддерживает английский и китайский языки, работает с текстом и имеет нативное контекстное окно до 128K токенов. Благодаря небольшому размеру ориентирована на эффективный локальный запуск, однако для корректной работы архитектуры требуется актуальная версия llama.cpp. Доступны два режима: Reasoning Mode для сложной логики и математики и Normal Mode для более стабильного общения. Модель заявлена как превосходящая многие более крупные модели в STEM-, кодинговых и агентских бенчмарках, но README не приводит конкретных числовых результатов. Распространение осуществляется по лицензии youtu-llm; точные условия следует уточнять в файле лицензии Tencent.