II.9Статистика, эксперименты и причинный анализ

bunnycore/Qwen-2.5-7B-Stock-Deep-Bespoke — языковая модель на 7,1 млрд параметров, созданная методом Model Stock с помощью mergekit. В качестве базовой использована deepseek-ai/DeepSeek-R1-Distill-Qwen-7B; в слияние также вошли Bespoke-Stratos-7B, Qwen2.5-7B-Instruct-abliterated-v3 с LoRA-адаптером bunnycore/Qwen-2.5-7b-rp-lora и Qwen2.5-7B-nerd-uncensored-v1.0. Модель использует архитектуру Qwen2ForCausalLM, работает с текстом и предназначена для диалогов и генерации текста. Контекстное окно составляет до 131 072 токенов. Базовая модель ориентирована на многошаговые рассуждения, включая математику и программирование; объединённые модели также указывают на сценарии ролевого и менее ограниченного диалога. Репозиторий содержит веса в формате Safetensors, библиотека — Transformers. Лицензионные условия в предоставленных данных не указаны.

Qwen-2.5-7b-TitanFusion-v5-Exp — объединённая языковая модель на базе архитектуры Qwen2, созданная сообществом с помощью mergekit и метода TIES. В объединение вошли huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2, Cran-May/T.E-8.1, Qwen/Qwen2.5-Coder-7B, Qwen/Qwen2.5-Math-7B, happzy2633/qwen2.5-7b-ins-v3 и katanemo/Arch-Function-7B. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2ForCausalLM и принимает текст для генерации текста; поддерживает диалоговый режим и интерфейс вызова инструментов. Контекстное окно составляет 32 768 токенов. Включение кодовой, математической и функционально ориентированных моделей предполагает применение для программирования, решения математических задач и диалогов с инструментами, однако README не приводит отдельных результатов оценки этих возможностей. Репозиторий содержит веса в формате safetensors и предназначен для Transformers. Лицензия в предоставленных данных не указана.

Карточка модели agadelmoula-avey/Qwen3-4B-Base на Hugging Face совпадает с карточкой Qwen/Qwen3-4B-Base, поэтому описание составлено по ней. Qwen3-4B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на стадии предварительного обучения, предназначенная для дальнейшей адаптации и генерации текста. В карточке указаны 4,0 млрд параметров, 36 слоёв, групповое внимание с 32 головами Q и 8 головами KV и контекст до 32 768 токенов; метаданные каталога оценивают размер весов в 3,7 млрд параметров. Модель обучена на многоязычном корпусе; README сообщает о 119 языках в обучающих данных, но не перечисляет поддержку каждого из них. Среди заявленных направлений обучения — общие знания, программирование, STEM, рассуждения и понимание длинного контекста. Для запуска рекомендуется актуальная версия Transformers: версии ниже 4.51.0 могут не распознавать архитектуру Qwen3. Лицензия — Apache-2.0.

Qwen3.5-9B-GGUF — это квантизированная версия языковой модели Qwen3.5-9B, распространяемая в формате GGUF. Исходную модель разработала команда Qwen; преобразование и квантизацию выполнила unsloth. Репозиторий tinnlab/Qwen3.5-9B-GGUF является зеркалом без изменений: Tin Nguyen Lab не обучала, не дообучала и не квантизировала модель. В поставке доступен один файл Qwen3.5-9B-Q4_K_M.gguf размером около 5,68 ГБ с квантизацией Q4_K_M. Модель предназначена для локальной генерации текста, текстового диалога и использования инструментов без API-ключа. В данном репозитории поддерживаются только текстовые сценарии; мультимодальный проектор отсутствует, поэтому обработка изображений и видео невозможна. Дополнительные сведения об архитектуре, языках и размере контекста в предоставленной карточке не указаны. Модель распространяется по лицензии Apache-2.0. Репозиторий общедоступен и не требует токена, учётной записи или соглашения о доступе. Зеркало содержит только вариант Q4_K_M, поэтому для других уровней квантизации и мультимодальных компонентов необходимо обращаться к исходному репозиторию unsloth.

Qwen3.5-Thinking-AIO-GGUF — экспериментальная серия мультимодальных моделей, созданная prithivMLmods на основе моделей Alibaba Qwen3.5. В репозитории представлены варианты Unredacted MAX с размером 0,8B, 2B, 4B и 9B параметров в формате GGUF; README также упоминает вариант 27B, но подробности его файлов в каталоге не приведены. Модели предназначены для генерации текста, рассуждений, программирования, математических задач и работы с изображениями, а также для локального запуска через llama.cpp и совместимые инструменты. Заявлены гибридная архитектура Gated DeltaNet, контекст до 262 144 токенов, словарь на 201 язык и переключаемые режимы рассуждений. Для мультимодальной работы доступны отдельные файлы mmproj, а для разных требований к памяти предусмотрены варианты F32, BF16, F16 и Q8_0. Малые версии ориентированы на периферийные устройства и системы с ограниченными ресурсами, более крупные — на повышение качества ответов и сложные задачи. Ключевая особенность серии — так называемая abliteration: автор заявляет минимизацию отказов и удаление стандартных защитных ограничений при сохранении или улучшении возможностей рассуждения. Это может быть полезно для исследовательских задач, создания датасетов и сценариев, где требуется более свободное следование инструкциям, но одновременно повышает риски небезопасных или нежелательных ответов. Модели экспериментальные, официальные оценки производительности не представлены, а заявления о превосходстве над исходными моделями основаны на неподтверждённых community-бенчмарках. Распространение указано по лицензии Apache-2.0.

Qwen3.6-11B-A3B-Niwaki-4bit-GGUF — это GGUF-сборка модели Qwen3.6, разработанной командой Qwen и адаптированной проектом Niwaki. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая генерацию текста, диалог, рассуждения, краткие творческие задачи и программирование. В README указаны архитектура mixture-of-experts с 40 слоями, 256 маршрутизируемыми экспертами и выбором top-8 экспертов; общий размер модели составляет 11B параметров, активными являются примерно 3,05B. Размер промежуточного слоя экспертов уменьшен с 512 до 128, а контекстное окно соответствует базовой модели, но его точный размер не указан. Требуется актуальная версия llama.cpp с поддержкой Qwen3.6 и hybrid linear attention. Рекомендуемая сборка UD-Q3K занимает около 5,9 ГБ и использует структурно-ориентированное 4-битное квантование: постоянно активные компоненты хранятся с более высокой точностью, а маршрутизируемые эксперты — в компактном формате с калибровкой по матрицам важности. Также доступна сборка Q4_K_M размером около 7,0 ГБ. Модель показывает функциональные результаты в чат-сценариях, рассуждениях и кратком написании, однако её слабая сторона — продолжительная генерация кода: на длинных программных файлах возможны ранняя остановка и потеря связности. Для интенсивной работы с кодом README рекомендует более крупную 19B-модель. Лицензия — Apache 2.0; pruning, distillation и GGUF-сборки выполнены проектом Niwaki.

Qwen3.6-27B-Architect-Polaris2-Fable-B-F451 — мультимодальная модель Nightmedia, полученная слиянием NuSLERP нескольких моделей семейства Qwen. Карточка описывает её как диалоговую и экспериментальную модель для рассуждений, программирования и творческого письма; в примере показаны развёрнутые ответы на математические и художественные вопросы. Архитектура в метаданных обозначена как плотная Qwen3.5 для генерации текста с изображениями, размер базовой модели — 27 млрд параметров. Метаданные указывают поддержку зрения, следования инструкциям и интерфейса вызова инструментов, а также языки английский, китайский, японский и испанский. Заявлены контекстные варианты до 256 тыс. и 1 млн токенов, однако README не уточняет, к каким именно вариантам они относятся. Модель подходит для диалоговых помощников, анализа изображений, программирования, рассуждений и создания художественных текстов. Карточка приводит отдельные сравнительные показатели компонентов с разными форматами квантования, но не даёт полноценной независимой оценки качества итогового слияния. Лицензия — Apache-2.0. README содержит фрагменты кода, опущенные в карточке, поэтому детали рецепта слияния и воспроизводимости по нему проверить нельзя.

unsloth/Qwen3.6-27B-GGUF — это квантизированное распространение открытой модели Qwen3.6-27B, разработанной командой Qwen и подготовленной Unsloth в формате GGUF. Модель предназначена для локального запуска и интеграции через совместимые инструменты инференса, а также для задач агентного программирования, работы с репозиториями, frontend-разработки, рассуждений и использования инструментов. Это причинная языковая модель с vision-энкодером, то есть мультимодальная модель, способная обрабатывать текст и изображения. Она содержит около 27 млрд параметров, 64 слоя и имеет нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN; заявлена поддержка сохранения контекста рассуждений между сообщениями и улучшенный разбор вложенных объектов при вызове инструментов. Языки в README не указаны. К сильным сторонам относятся большой контекст, возможности работы с изображениями, улучшенная производительность в сценариях агентного кодирования и совместимость с экосистемой Transformers, vLLM, SGLang и KTransformers. Ограничения включают высокие требования к вычислительным ресурсам, особенно при длинном контексте, а конкретные характеристики квантизации и результаты бенчмарков для данного GGUF-варианта в README не приведены. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF — это производная от Qwen3.6-27B модель от DavidAU, созданная на базе Qwen3.6-27B-Heretic2-Uncensored-Finetune-Thinking. Модель была подвергнута декодированию ограничений и дообучению с использованием Unsloth на пользовательском наборе данных, а затем преобразована в GGUF-квантизации с применением методов NEO и NEO-CODE Di-Matrix. Модель предназначена для общего применения, включая диалоги, творческое и художественное письмо, генерацию сюжетов и сцен, ролевые сценарии, программирование, математику и задачи, требующие работы с длинным контекстом. Заявлена поддержка контекста до 256 тысяч токенов. Указаны языки English и Chinese. Размер базовой модели — 27 миллиардов параметров; доступны квантизации с различным соотношением качества и требований к памяти, включая IQ2_M и Q4K_S. В карточке также заявлена поддержка image-text-to-text, однако подробности о мультимодальных возможностях не приведены. Сильными сторонами заявлены сниженный уровень отказов, отсутствие цензурных ограничений, высокая близость к качеству полной точности и оптимизация для длинных диалогов, кода и математических задач. Приведённые результаты основаны преимущественно на внутренних тестах автора, поэтому их не следует считать независимой оценкой. Конкретные требования к оборудованию, совместимые приложения и подробная методика дообучения не указаны. Модель распространяется по лицензии Apache-2.0.

OBLITERATUS/Qwen3.6-27B-OBLITERATED — открытая текстовая языковая модель, разработанная OBLITERATUS на основе Qwen/Qwen3.6-27B. Модель предназначена для локальной генерации текста, диалогов, программирования, следования форматам и исследовательских задач, связанных с анализом и снижением отказов. Это не промпт-обёртка и не дообучение в обычном смысле: применён метод source-tethered ASPA, изменяющий веса модели для уменьшения отказов при сохранении исходных возможностей. Модель содержит 26,9 млрд параметров и доступна в формате bfloat16 safetensors, а также в вариантах GGUF Q4_K_M, Q5_K_M, Q6_K и Q8_0. Поддерживаются Transformers, vLLM, TGI, llama.cpp, Ollama, LM Studio, Jan и другие совместимые локальные среды. Это текстовая модель без vision encoder и мультимодальных компонентов; сведения о языках и размере контекстного окна в карточке не указаны. Для работы рекомендуется использовать современные версии runtime и корректный chat template. Ключевая особенность модели — существенно сниженный уровень отказов: по данным карточки, на внутреннем наборе из 842 парных запросов показатель отсутствия отказа составил 95,84% при прохождении проверки качества в 93,94%, а на 1 920 строках прокси-теста HarmBench — 93,65%. При этом на указанных срезах MMLU-Pro результаты совпали с базовой моделью: 51/70 на валидационном и 36/70 на отложенном срезе. Эти результаты отражают заявленные авторами проверки и не гарантируют одинаковое поведение во всех сценариях; остаточные отказы сохраняются в отдельных областях, а снижение защитных ограничений может быть нежелательно для задач, требующих встроенных механизмов безопасности. Модель распространяется по лицензии Apache-2.0. Для полной версии safetensors требуется примерно 50 ГБ локального пространства, крупнейший публичный GGUF Q8_0 занимает около 28,6 ГБ.

sakamakismile/Qwen3.8-27B-MTP-NVFP4 — квантованная версия модели Qwen3.8-27B, разработанной командой Qwen. Это плотная гибридная модель с архитектурой DeltaNet и полноразмерным attention, компонентами компьютерного зрения Qwen3-VL и встроенной MTP-головой для speculative decoding. Модель предназначена прежде всего для генерации текста, рассуждений и использования в серверных сценариях через vLLM; поддержка мультимодального режима заявлена благодаря vision tower, но в README её производительность не оценивалась. Основная часть весов сжата в формат NVFP4 W4A4 с размером группы 16, тогда как vision tower, lm_head, conv1d DeltaNet и MTP-голова сохранены в bf16. Размер базовой модели составляет 27,8 млрд параметров; объём уменьшен с 55,6 до 20,6 ГБ. Заявлен контекст до 131 072 токенов, поддерживается KV-кэш fp8 и работа на GPU Blackwell через vLLM 0.22.0. MTP-голова позволяет ускорять декодирование, однако требует корректного сохранения специальных модулей и конфигурации speculative decoding. Сильными сторонами модели являются существенное сокращение объёма весов, высокая скорость генерации на совместимом оборудовании и поддержка длинного контекста. Ограничения связаны с требованиями к GPU Blackwell и конфигурации vLLM: формат W4A4 необходим для указанной архитектуры, а мультимодальная производительность не проверялась. Модель ориентирована на задачи рассуждений; при высоком уровне reasoning effort значительная часть лимита токенов может расходоваться на внутреннее рассуждение без итогового ответа, поэтому для длинных запросов рекомендуется режим medium и max_tokens не менее 4096. Распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-MLX-8bit — это 8-битная сборка модели Qwen3.8-Flash-Next, разработанная PipeNetwork для работы через MLX на компьютерах с Apple Silicon. Модель предназначена прежде всего для генерации текста, включая программирование, ответы на запросы и другие сценарии текстового вывода. В текущем runtime поддерживается только текстовый режим, хотя в составе checkpoint присутствует vision tower. Модель использует гибридную архитектуру Gated-DeltaNet и sparse attention с разреженной Mixture-of-Experts-структурой: всего около 125 млрд параметров, из которых примерно 6 млрд активируются на токен (125B-A6B). Также используется hashed n-gram embedding объёмом около 51 млрд параметров. Контекст и поддерживаемые языки в README не указаны. Модель преобразована в формат MLX и занимает около 192,2 ГБ на диске; большая часть весов квантована в 8 бит, отдельные управляющие компоненты и vision tower сохранены в bfloat16. 4B multi-token-prediction head не включён. По данным README, 8-битная версия сохраняет качество, статистически неотличимое от исходной bfloat16-модели на тесте wikitext-2, при существенно меньшем размере. Ограничения включают очень высокие требования к памяти, необходимость собственного runtime с поддержкой удалённого кода и привязку к экосистеме Apple Silicon и MLX. Лицензия — Qwen Community License 1.0.

Qwen3.8-Flash-Next-ROCmFP4-STRIX-GGUF — это квантованная версия базовой модели Qwen/Qwen3.8-Flash-Next, опубликованная пользователем kingjones777. Модель предназначена для генерации текста, включая рассуждения, формирование JSON, программирование и суммирование длинных документов. Формат GGUF ориентирован на запуск через llama.cpp и совместимые среды. Модель использует архитектуру qwen4exp и типы тензоров ROCmFP4. Она оптимизирована прежде всего для AMD Ryzen AI Max+ 395, Strix Halo и GPU gfx1151 с ROCm, включая работу на интегрированной Radeon 8060S с общей памятью. В README указано, что размер модели составляет около 98 GiB, а работа с контекстом проверялась вплоть до 128K токенов. Доступна поддержка speculative decoding через дополнительную MTP-голову, однако измерения относятся к другим вариантам семейства и не гарантируют такой же прирост для этой сборки. Сильными сторонами являются возможность запуска очень крупной модели на системе с унифицированной памятью, поддержка длинного контекста и потенциальное ускорение генерации с MTP. Ограничения включают низкую пропускную способность общей памяти по сравнению с дискретными GPU, необходимость специальной ветки ROCmFPX с поддержкой qwen4exp и ROCmFP4, а также применения патчей перед сборкой; стандартный llama.cpp этот файл не загружает. Языки модели в предоставленных данных не указаны. Лицензия обозначена как other с названием qwen-community-1.0.

uukuguy/speechless-mistral-six-in-one-7b — объединённая модель на основе шести дообученных моделей Mistral-7B, опубликованная пользователем uukuguy. Это плотный авторегрессионный трансформер Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; модель предназначена для генерации текста в диалогах, ответов на вопросы, рассуждений и помощи с кодом. В карточке перечислены исходные модели Dolphin, OpenOrca, Platypus, Samantha, CollectiveCognition и Zephyr; заявлены результаты на нескольких бенчмарках, но часть таблиц неполная, поэтому они не дают полной оценки качества. Модель принимает текст и генерирует текст. В метаданных указан английский язык и возможность работы с кодом. Репозиторий содержит веса safetensors, а лицензия обозначена как Llama 2. Модель унаследовала заявленное в карточке базовой Mistral-7B отсутствие механизмов модерации; сгенерированные ответы могут быть ошибочными или нежелательными.

StrangeMerges_11-7B-slerp — объединённая языковая модель на архитектуре Mistral, созданная Gille с помощью LazyMergekit. Модель объединяет Gille/StrangeMerges_10-7B-slerp и mlabonne/NeuralBeagle14-7B методом SLERP; конфигурация использует слои 0–31 обеих моделей и тип данных bfloat16. Модель предназначена для генерации текста, включая диалоговые ответы, следование инструкциям, рассуждения и творческое письмо. Она содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. В README приведены результаты отдельных тестов Open LLM Leaderboard, включая AI2 Reasoning Challenge и HellaSwag. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. README не указывает языковой охват или дополнительные ограничения модели.

SuperQwen-2.5-1.5B — объединённая плотная языковая модель семейства Qwen2, созданная сообществом с помощью mergekit и метода TIES. В качестве основы использована Qwen/Qwen2.5-1.5B-Instruct; в объединение также вошли Qwen2.5-Coder-1.5B-Instruct и Qwen2.5-Math-1.5B-Instruct. Модель содержит 1,5 млрд параметров, работает через Transformers и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста и диалогов; объединение инструктивной, программной и математической моделей ориентировано на широкий круг запросов, включая код и математику. В метаданных также отмечен интерфейс вызова инструментов. Опубликованные веса представлены в формате safetensors. Карточка не сообщает лицензию и не приводит отдельные оценки качества; результаты для задач программирования и математики могут зависеть от запроса и требуют проверки.

tau-instruct-0.5B — языковая модель с инструкционной настройкой, созданная на базе tau-0.5B. В карточке указано, что для дообучения использовали около 16 000 примеров, сгенерированных GPT-4. По архитектуре это плотная Qwen2-модель примерно на 463,9 млн параметров; она принимает текст и генерирует текст, поддерживает диалог и контекст до 32 768 токенов. Метаданные указывают английский язык. Модель предназначена для ответов на вопросы, продолжения и создания текста, решения математических задач, работы с кодом, рассуждений и общих знаний. Её можно использовать как основу для виртуальных помощников, учебных инструментов и исследовательских приложений. По README, настройка улучшила следование инструкциям относительно базовой модели, но качество может снижаться на сложных или неясных запросах; возможны унаследованные от базы и обучающих данных ограничения и предвзятость. Лицензия указана как other; README требует учитывать лицензию Qwen и сообщает, что права использования совпадают с правами базовой tau-0.5B.

Yuan2-2B-Janus-hf — текстовая причинная языковая модель Yuan 2.0, разработанная IEIT System и представленная на Hugging Face в формате PyTorch. Это плотная архитектура YuanForCausalLM примерно на 1,9 млрд параметров с контекстом до 8192 токенов и возможностью диалогового применения. Модель предназначена для генерации текста и диалогов, а также может использоваться для задач, связанных с математикой, рассуждениями, программированием и знаниями. В README Yuan 2.0 описана как модель, обученная на разнообразных высококачественных данных и данных для настройки по инструкциям; для семейства приведены оценки на GSM8K, AGIEval, HumanEval и TruthfulQA. Карточка не подтверждает поддержку изображений, аудио или других нетекстовых входов. Выводы могут быть неточными или зависеть от формулировки запроса. В README указаны Apache 2.0 для кода репозитория и отдельное лицензионное соглашение Yuan 2.0 для модели; коммерческое использование заявлено как допустимое при соблюдении этого соглашения.

Yuan2.0-M32-HF — языковая модель семейства Yuan, разработанная командой Yuan и опубликованная в формате Hugging Face. Это разреженная архитектура Mixture of Experts с 32 экспертами, из которых для каждого токена активируются два; в README указано 40 млрд общих и 3,7 млрд активных параметров. Метаданные репозитория указывают 1,9 млрд параметров, поэтому размер конкретной HF-сборки расходится с описанием семейства в README. Модель обучена с нуля на 2000 млрд токенов и предназначена для генерации текста, в том числе написания кода, математических вычислений и рассуждений, а также ответов на вопросы общего характера. В карточке модели заявлены результаты на HumanEval, GSM8K, MMLU, Math и ARC-Challenge, а архитектура с разреженной активацией призвана снизить вычислительные затраты при работе. Метаданные указывают контекст 4096 токенов, тогда как README для Yuan2.0-M32 сообщает длину последовательности 16K; эти значения относятся к разным описаниям и не совпадают. Модель принимает текст и генерирует текст. Репозиторий использует PyTorch и лицензию Apache 2.0; README также отсылает к отдельному лицензионному соглашению Yuan2.0. Авторы предупреждают, что ответы могут быть неточными и модель может поддаваться вводящим в заблуждение инструкциям.

AlphaAI-1.5B-Thought — языковая модель Alpha AI, дообученная на базе Qwen2.5-1.5B для пошаговых рассуждений и решения структурированных задач. Это плотная авторегрессионная модель семейства Qwen2 с 1,5 млрд параметров; заявленная длина контекста — 131 072 токена. Модель принимает текст и генерирует текст, а карточка указывает английский язык. Модель предназначена для локального запуска и диалоговых сценариев, где полезны многошаговые выводы: разбор математических и научных задач, программирование, генерация рабочих процессов и структурированные ответы виртуальных помощников. Веса представлены в формате PyTorch/Safetensors; README также описывает вариант с 16-битной точностью и перечисляет доступные квантизованные варианты. Лицензия — Apache-2.0. Модель может наследовать предвзятости обучающих данных, а ответы для критически важных задач следует проверять; качество в конкретных предметных областях карточка не подтверждает.

MaziyarPanahi/calme-2.2-qwen2-72b-GGUF — квантизированная версия дообученной языковой модели calme-2.2-qwen2-72b, разработанной и квантизированной MaziyarPanahi на основе Qwen/Qwen2-72B-Instruct. Модель предназначена для генерации текста в диалоговых и общих сценариях использования больших языковых моделей, включая ответы на вопросы, рассуждения и решение задач. Для работы используется шаблон ChatML; поддерживаемые форматы GGUF рассчитаны на запуск через совместимые инструменты, например llama.cpp. Модель основана на архитектуре Qwen2 с заявленным размером 72 млрд параметров и представлена в вариантах квантизации от 2 до 16 бит, включая Q2_K, 3-, 4-, 5-, 6- и 8-битные варианты. Квантизация позволяет снизить требования к памяти, однако может уменьшать точность по сравнению с полноразмерной версией; README не содержит сведений о длине контекста, точном наборе языков, требованиях к оборудованию и результатах комплексного сравнения. В опубликованных оценках указаны результаты на TruthfulQA, Winogrande, ARC-Challenge и GSM8K, но они не гарантируют качество в конкретных прикладных сценариях. Лицензия обозначена как other с названием tongyi-qianwen; в качестве лицензионного документа указана лицензия Qwen/Qwen2-72B-Instruct. Перед использованием необходимо проверить её условия, особенно требования к распространению и коммерческому применению.

ChatHercules-2.5-Mistral-7B — диалоговая языковая модель, созданная объединением Locutusque/Hercules-2.5-Mistral-7B и openchat/openchat-3.5-0106 методом SLERP с помощью LazyMergekit. Модель построена на плотной архитектуре Mistral для генерации текста и имеет 7,1 млрд параметров; для работы с длинными диалогами заявлен контекст до 32 768 токенов. Модель предназначена для общения и генерации ответов в сценариях общего назначения. В описании базовой модели также указаны программирование и математические рассуждения. Репозиторий содержит веса в формате Safetensors, а лицензия — Apache-2.0. Карточка приводит результаты оценки на Open LLM Leaderboard, но не описывает отдельные ограничения или подробную языковую специализацию этой сборки.

Chichu 2.0 500M Instruct — компактная языковая модель на 494 млн параметров, разработанная Sebastianpro88 и дообученная методом LoRA на базе Qwen/Qwen2.5-0.5B-Instruct. Для обучения использован корпус дистилляции ответов нескольких моделей, охватывающий математику, программирование, рассуждения и выполнение инструкций. Модель предназначена для диалогов и генерации текста по инструкциям, в том числе для задач с кодом, математикой и логическими рассуждениями. Это плотная архитектура Qwen2 с контекстом до 32 768 токенов; модель принимает и выдаёт текст. Карточка указывает лицензию «other», но не уточняет её условия, поэтому перед использованием следует проверить сведения о лицензировании в репозитории.

DeepSeek-R1-Distill-Qwen-7B-heretic — языковая модель для генерации текста и рассуждений, разработанная пользователем saidutta69 на основе deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Вариант создан с помощью Heretic v1.4.0 методом directional ablation («abliteration»): целевые изменения весов в выходных проекциях attention и down-проекциях MLP подавляют поведение, связанное с отказами, без дополнительного fine-tuning. Заявляется, что при этом знания и способность следовать инструкциям в основном сохранены. Модель предназначена для разработчиков, которым нужна компактная reasoning-модель примерно на 7,6 млрд параметров для диалогов, генерации текста и задач, требующих рассуждений. Указан английский язык и текстовая модальность. Доступны веса BF16 и GGUF-квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0; модель можно запускать через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Для работы рекомендуется GPU с 8–12 ГБ памяти, а Q4_K_M подходит для потребительского оборудования и CPU-only или Apple Silicon при наличии достаточного объёма оперативной памяти. Размер контекста в README не указан. К сильным сторонам относятся сохранение базовых возможностей исходной модели, поддержка рассуждений и широкий выбор квантизаций для локального запуска. Ключевое ограничение и одновременно особенность — намеренное подавление отказов: модель может выполнять запросы, от которых базовая версия отказалась бы, включая потенциально небезопасные, и не содержит дополнительного слоя фильтрации. Модель распространяется на условиях deepseek-research-license, унаследованных от базовой модели.

unsloth/DeepSeek-V3-0324-GGUF — это набор динамически квантованных GGUF-версий модели DeepSeek-V3-0324, подготовленный Unsloth на основе базовой модели deepseek-ai/DeepSeek-V3-0324. Модель предназначена для локального запуска в llama.cpp, LM Studio, Open WebUI и других фреймворках инференса, включая задачи генерации текста и кода. В README указан английский язык; сведения о других языках и мультимодальных возможностях отсутствуют. Доступны варианты с квантованием от 1,78 до 4,5 бит и размером файлов примерно от 186 до 405 ГБ. Используется динамическое селективное квантование, призванное сохранить более высокую точность по сравнению со стандартными вариантами. Рекомендуются конфигурации IQ2_XXS 2,42 бит и Q2_K_XL 2,71 бит как удачный баланс размера и производительности; версия Q4_K_XL 4,5 бит получила наивысшую оценку качества. Для запуска желательно иметь не менее 180 ГБ совокупной VRAM и RAM. Ограничения включают очень высокие требования к памяти, а предварительные версии 1,78 и 1,93 бит могут хуже справляться с некоторыми задачами программирования. Лицензия модели — MIT.

Mihaiii создал прореженную версию модели cognitivecomputations/dolphin-2.6-mistral-7b-dpo: из исходных 7,24 млрд параметров удалены шесть слоёв, и в результате осталось около 5,93 млрд параметров. Модель основана на плотной архитектуре Mistral и предназначена для генерации текста; в метаданных также указан контекст длиной до 32 768 токенов. Модель подходит для диалоговых ответов, следования инструкциям и генерации кода. В карточке перечислены обучающие датасеты Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder и Capybara; это указывает на широкий набор инструкционных и кодовых сценариев, но не гарантирует качество для каждой задачи. Модель опубликована в формате Safetensors по лицензии Apache-2.0.

Falcon3-MoE-2x7B-Instruct — инструктивная языковая модель с архитектурой Mixture of Experts, созданная объединением двух моделей Falcon3-7B-Instruct. В README заявлено 13,4 млрд параметров и формат BF16; метаданные указывают 7,1 млрд параметров. Модель основана на Falcon3-7B-Instruct от TII, а репозиторий содержит веса в формате safetensors. Модель предназначена для диалогов и генерации ответов по инструкциям. Базовая Falcon3-7B-Instruct рассчитана на задачи понимания языка, следования инструкциям, рассуждений, программирования и математики; контекст составляет до 32 768 токенов. В карточке для базовой модели перечислены английский, французский, испанский и португальский языки. Метаданные также отмечают интерфейс для вызова инструментов. Лицензия указана как other, поэтому конкретные условия использования следует уточнять в репозитории. Описание не содержит отдельных оценок качества или ограничений для MoE-версии; заявленные возможности базовой модели не следует считать подтверждёнными сравнительными результатами этой сборки.

ThomasBaruzier/gemma-2-27b-it-GGUF — это набор GGUF-квантизаций instruction-tuned модели Gemma 2 27B, разработанной Google. Квантизации выполнены с помощью llama.cpp с использованием метода imatrix на основе оригинальной модели google/gemma-2-27b-it и калибровочного файла Bartowski. Модель предназначена для текстовой генерации, включая ответы на вопросы, суммаризацию, рассуждения и другие сценарии взаимодействия по инструкциям. Это decoder-only языковая модель формата text-to-text с открытыми весами; в README указана поддержка английского языка. Доступно множество вариантов квантизации от IQ1_S до Q8_0, а также F16, с размером файлов примерно от 5,8 до 51,9 ГБ. Более компактные варианты требуют меньше памяти, но уступают менее квантизированным версиям по измеренным показателям perplexity и accuracy. Сильной стороной набора является возможность запускать крупную 27-миллиардную модель в llama.cpp и выбирать компромисс между качеством, размером и требованиями к ресурсам. Ограничения включают потенциальную потерю качества при сильной квантизации, значительные требования к памяти для крупных вариантов и преимущественную ориентацию на английский язык. Контекстное окно и точные аппаратные требования в README не указаны. Использование модели регулируется лицензией Gemma от Google; для доступа на Hugging Face требуется ознакомиться с условиями и принять лицензию Google.

Gemma-4-12B-Coder-Fable5-Composer2.5-8bit — это 8-битная MLX-квантизированная версия модели yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1, созданная сообществом mlx-community на основе Google Gemma-4-12B-it. Модель предназначена для генерации текста, программирования и задач, требующих рассуждений, включая локальный чат-стиль инференса через библиотеку mlx-lm. Модель содержит около 12 миллиардов параметров, использует формат 8-bit и оптимизирована для локального запуска на компьютерах Apple Silicon. Квантизация существенно снижает требования к памяти при сохранении близких к исходным возможностей рассуждения и генерации кода. В репозитории добавлен Jinja-шаблон чата для корректного форматирования диалогов. Поддерживаемые языки, размер контекста и набор модальностей в README не указаны; по описанию это текстовая модель. Модель распространяется по лицензии Apache 2.0, разрешающей использование, изменение и повторное распространение. Ограничения, связанные с качеством ответов, безопасностью и областью применения, в README отдельно не описаны.

AEON-7 выпустил BF16-версию Gemma-4-12B-it с удалёнными отказами и заявленным сохранением возможностей исходной модели. Это плотная мультимодальная модель семейства Gemma 4 с 12 млрд параметров, предназначенная для диалога и следования инструкциям; основная задача в метаданных — генерация текста. В README также указаны сценарии работы с кодом, математическими задачами и рассуждениями. Базовая модель поддерживает работу с изображениями, видео и аудио, однако карточка этой версии описывает прежде всего текстовую генерацию. В README модель позиционируется как точный BF16-вариант семейства K4 для дообучения или запуска на оборудовании без Blackwell. Для загрузки через мультимодальный путь vLLM требуется processor_config.json из карточки базовой модели. Приведённые авторами показатели производительности относятся к DGX Spark и оптимизированному контейнеру AEON vLLM; они не характеризуют другие конфигурации. Модель распространяется по лицензии Gemma Google.