II.3Рефакторинг, миграция и модернизация

SLIMDER Qwen3.8 Depth-32 Agentic REAM-288 — экспериментальная модель семейства Qwen, опубликованная пользователем jakeatx. Она создана на основе sjakek/slimder-qwen38-reap384-depth32-mb2-3-4-5 и предназначена для генерации текста, особенно для агентных сценариев: вызова инструментов, программирования и выполнения кода, retrieval-задач и многошагового рассуждения. Модель использует архитектуру Mixture-of-Experts с 32 трансформерными слоями, 288 маршрутизируемыми экспертами на слой и выбором 10 экспертов для каждого токена. Это результат структурного сжатия с 384 до 288 экспертных слотов в каждом слое. Применена точность BF16. Калибровка выполнена на 1 024 последовательностях длиной 512 токенов с повышенным весом агентных, кодовых, retrieval- и reasoning-сценариев. Дополнительные сведения о поддерживаемых языках, размере параметров, модальностях и длине контекста не указаны. Сильной стороной модели является целевая оптимизация под агентное поведение при сохранении разреженной экспертной архитектуры и уменьшении числа экспертов. При этом это исследовательский контрольный снимок: ему необходимы более широкие проверки агентных функций, генерации кода, выполнения инструментов, retrieval, длинных последовательностей и безопасности, поэтому модель не рекомендуется считать готовой к промышленному использованию без дополнительной оценки. Модель распространяется по лицензии Apache-2.0.

UNA-34Beagles-32K-bf16-v1 — экспериментальная диалоговая модель, опубликованная one-man-army и построенная на Yi-34B-200K с использованием Bagel. Это плотная 34-миллиардная языковая модель архитектуры Llama, распространяемая в формате Safetensors; заявленная длина контекста — 32 768 токенов. Модель дообучена на широком наборе данных для инструкций, диалогов, рассуждений, программирования, математики и ролевых сценариев, а также прошла DPO-обучение. Модель предназначена для генерации текста и ответов в диалоге: она может помогать с вопросами и ответами, анализом предоставленного контекста, написанием кода, математическими задачами и творческими или ролевыми текстами. В README указаны четыре варианта форматирования запросов: Vicuna, Llama 2, Alpaca и ChatML-подобный формат. Данные описывают многоязычные задачи, но конкретный перечень поддерживаемых языков не приведён. Автор сообщает, что включение Toxic DPO должно снизить цензурирование ответов. Это может повышать вероятность генерации токсичного или небезопасного текста; качество и надёжность ответов не гарантированы. Модель распространяется по лицензии Apache-2.0.

Bonsai-27B-antidoom-1bit-DSpark — текстовая генеративная модель, разработанная на базе Bonsai-27B от prism-ml с применением метода antidoom от Liquid4All и ускорения DSpark от PrismML. Модель предназначена для генерации текста, включая программный код, а также поддерживает работу с изображениями через поставляемый vision projector. Указанный язык — английский. Это гибридная attention-модель Qwen3.5 с 27 млрд параметров, квантованная в 1-битный формат GGUF Q1_0 с показателем 1,125 бит на вес при группировке g128. В комплект входят основная модель размером около 4,5 ГБ, DSpark-драфтер в формате Q4_1 и vision projector в формате Q8_0. Для запуска требуется форк llama.cpp от PrismML с CUDA и поддержкой специальных Q1_0-ядер гибридного внимания; протестированная конфигурация использует одну RTX 5090 с 32 ГБ памяти. Контекст в приведённой конфигурации составляет 16 384 токена. Antidoom — это FTPO-настройка, направленная на снижение зацикливания и повторов: модель обучалась предпочитать связное продолжение вместо продолжения повторяющегося цикла. При этом агрессивное 1-битное квантование частично ослабляет эффект LoRA, поэтому он сильнее проявляется при более высокой точности. DSpark ускоряет генерацию на задачах с высокой долей принятых черновых токенов, однако на обычной прозе с низкой долей принятия может работать медленнее нативного режима. Лицензия модели — Apache-2.0.

Continual AI 2.0B (Reasoning Infused v2) — языковая модель с открытыми весами от Continual AI Research, построенная на архитектуре Mistral. Репозиторий содержит около 1,7 млрд параметров в формате safetensors; README указывает 1,83 млрд параметров, 28 слоёв, Grouped-Query Attention и SwiGLU. Контекст модели составляет 8192 токена. Модель предназначена для генерации текста в диалогах, многошаговых рассуждений, решения математических и логических задач, а также генерации кода. В карточке заявлены механизмы непрерывного обучения, включая индексируемую память и адаптеры пластичности; README также заявляет снижение катастрофического забывания, но не приводит независимых подтверждений этих свойств. Метаданные отмечают возможности чата и работы с кодом. Указан английский язык. Модель можно загружать через Transformers как причинную языковую модель. Лицензия — Apache-2.0. Заявленные в README результаты на математических, логических и алгоритмических задачах описаны без достаточных деталей о методике оценки, поэтому их следует считать заявлениями авторов, а не независимой оценкой качества.

Карточка модели LimitlessMindd/DeepSeek-R1-Distill-Llama-70B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Карточка модели Openintelligent123/DeepSeek-R1-Distill-Qwen-14B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Dolphin-2.6-mistral-7b-dpo-laser-GGUF — это набор квантованных файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе модели cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser. Модель относится к семейству Mistral и предназначена для генерации текста, включая диалоговые и инструкционные сценарии. В метаданных указан размер 7B, текстовая модальность и поддержка английского языка. Обучение исходной модели связано с наборами данных Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder и Capybara; также указано DPO дообучение в названии модели. Главная особенность этой версии — поставка в GGUF с вариантами квантования от 2 до 8 бит, что позволяет запускать модель локально с различными компромиссами между размером файлов, требованиями к памяти и качеством генерации. Формат поддерживается llama.cpp и совместимыми приложениями и библиотеками для локального запуска. К ограничениям относятся возможная потеря качества при низкобитном квантовании, отсутствие заявленных характеристик контекстного окна и подробных результатов оценки, а также отсутствие подтверждения поддержки других языков помимо английского. Модель распространяется по лицензии Apache 2.0.

peasantsmith/gpt-oss-120b-PS-IQ4_NL.gguf — это квантизированная версия модели gpt-oss-120b от OpenAI, подготовленная PeasantSmith и BlackFrost AI в формате GGUF для задач генерации текста. Модель использует архитектуру mixture-of-experts; исходные данные README не содержат точных сведений о числе параметров активной части, поддерживаемых языках и модальностях, а также о максимальном контексте. Указано, что вариант IQ4_NL занимает около 71,75 ГБ и имеет показатель 4,91 BPW, поэтому для запуска требуется значительный объём оперативной или видеопамяти. Модель предназначена для локального применения в совместимых средствах инференса, включая llama.cpp, и подходит для диалоговой генерации, ответов на фактические вопросы, программирования и задач, требующих работы с контекстом до 8192 токенов в приведённых тестах. Разработчики сообщают об успешной проверке генерации, реализации LRU-кэша, извлечения значения из контекста длиной 8K и отсутствии ошибок выполнения. Для работы требуется учитывать специальный формат ответов harmony, а результаты тестирования не заменяют независимую оценку качества. Рекомендуемые параметры — temperature 1.0, top-k 0 и top-p 1.0. Это производная квантизация, поэтому лицензия и условия использования определяются лицензией исходной модели gpt-oss-120b от OpenAI и должны быть проверены перед распространением.

Hercules-1.0-Mistral-7B — диалоговая языковая модель на основе Mistral-7B, дообученная Locutusque на наборах Hercules и OpenOrca. Она предназначена для генерации ответов в диалоге и других текстовых задач; метаданные также отмечают поддержку сценариев с кодом. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов. Автор позиционирует её как улучшенную версию OpenHermes-7B и сообщает о сопоставимом качестве с OpenHermes 2; приведены результаты сравнения и тестовая потеря, но подробности протокола оценки в карточке не раскрыты. Модель распространяется в формате safetensors по лицензии Apache-2.0.

jth01/inf-o1-pi0-fixed — копия весов INF-o1-pi0 от INFLY TECH (Shanghai) Co., Ltd. с заменёнными файлами конфигурации токенизатора на вариант QwQ; автор репозитория сообщает, что так модель работает лучше. Это плотная причинная языковая модель семейства Qwen2 с 32 млрд параметров, рассчитанная на генерацию текста и диалог. Контекст — до 32 768 токенов. Исходный INF-o1-pi0 представлен как начальный чекпойнт для оценки конвейера подготовки данных и развития многошаговых рассуждений. В карточке описаны задачи математики, программирования, логики, безопасности и SQL, а также приведены сравнительные результаты на соответствующих тестах. Модель может применяться для решения математических и логических задач, объяснения решений и генерации кода или SQL-запросов. Метаданные указывают на слияние INF-o1-pi0 и Qwen/Qwen2.5-32B-Instruct; этот репозиторий дополнительно меняет конфигурацию токенизатора. Для запуска используется Transformers, веса хранятся в safetensors. Лицензия в предоставленных данных не указана. Результаты бенчмарков не гарантируют точность ответов в прикладных сценариях; README позиционирует исходный чекпойнт как основу для дальнейшей разработки, а не как завершённую модель для ответственных решений.

K2-Horizon-7B-GGUF — это набор общественных GGUF-квантизаций модели K2-Horizon-7B, разработанной IFM. Данный репозиторий подготовлен сообществом и предназначен для запуска модели локально через llama.cpp. Релиз является только квантизированной конверсией: обучение, дообучение, объединение моделей и иные изменения весов не выполнялись. Исходная модель представляет собой плотную reasoning-модель с 7B параметров и заявленным контекстом до 524 288 токенов. Она ориентирована на генерацию текста, рассуждения, программирование, работу на английском и китайском языках, обработку длинного контекста и agentic-сценарии. В набор входят варианты квантизации от Q8_0 до Q1_0, позволяющие выбирать компромисс между требованиями к памяти и близостью поведения к BF16-версии. По проведённому пилотному тесту Q4_K_M является практичной отправной точкой для локального использования, а Q5_K_M и Q6_K лучше сохраняют поведение исходной модели; более компактные варианты требуют проверки на целевой задаче. Модель поддерживает запуск и проверку генерации в llama.cpp, однако авторы этого релиза отдельно отмечают, что tool calling и полный upstream-набор бенчмарков повторно не оценивались, а включённый шаблон чата не является сертифицированным полным tool-aware шаблоном. Результаты проверки измеряют близость следующего токена к BF16 и не являются прямой оценкой сохранённых прикладных возможностей. Распространение выполняется по Apache License 2.0 с сохранением атрибуции и лицензии; релиз не является официальной публикацией или одобрением IFM.

Карточка модели NostraEmpire/mirror-deepseek-r1-distill-qwen-14b на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Карточка модели NostraEmpire/mirror-deepseek-r1-distill-qwen-7b на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Это GGUF-квантизированная версия OpenCoder-8B-Instruct, разработанного infly. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в формате инструкций, включая сценарии локального запуска через llama.cpp и LM Studio. Модель содержит 8 миллиардов параметров и доступна в вариантах от F16 до различных Q2–Q8-квантизаций, что позволяет выбирать баланс между качеством, скоростью и потреблением памяти. В README указана поддержка английского и китайского языков. Формат взаимодействия использует специальные токены system, user и assistant. Данные о точной архитектуре, размере контекстного окна и поддерживаемых модальностях отсутствуют; по назначению это текстовая, а не мультимодальная модель. Сильной стороной являются многочисленные варианты квантизации, включая рекомендуемые Q4 и Q5, а также более качественные Q6 и Q8, благодаря чему модель можно адаптировать под разные аппаратные ограничения. Более компактные варианты снижают требования к памяти, но могут заметно уступать по качеству; ARM-оптимизированные варианты требуют соответствующих аппаратных инструкций и не рекомендуются для Mac или Windows. Модель основана на OpenCoder-8B-Instruct и распространяется с лицензией inf, подробные условия которой приведены в отдельном LICENSE-файле.

Карточка модели Openintelligent123/Phi-4-reasoning на Hugging Face совпадает с карточкой microsoft/Phi-4-reasoning, поэтому описание составлено по ней. Phi-4-reasoning — открытая по весам языковая модель Microsoft Research, дообученная на базе Phi-4 с помощью supervised fine-tuning на примерах цепочек рассуждений и обучения с подкреплением. Она предназначена для диалоговых генеративных приложений, где важны рассуждения и логика, а также ограничены вычислительные ресурсы или допустимая задержка. Основные области обучения и оценки — математика, наука и программирование; модель рассчитана прежде всего на английский язык. Модель использует плотный декодерный Transformer архитектуры Phi-3 с 14,1 млрд параметров и контекстом до 32 768 токенов. При инференсе рекомендуется ChatML-шаблон; для более сложных запросов авторы советуют выделять больше токенов на генерацию. Модель может ошибаться и не проходила оценку для всех прикладных сценариев, поэтому ответы следует проверять, особенно при использовании в задачах с высокими последствиями. Лицензия — MIT.

PollardWeights/Qwen2.5-14B-Instruct-Pollard — это квантизированная версия Qwen2.5-14B-Instruct, разработанная PollardWeights на основе модели Qwen от Qwen. Модель предназначена для генерации текста и диалоговых сценариев, включая объяснения, программирование, рассуждения и творческое продолжение текста. Поддерживает только текстовый ввод; заявленный язык — английский. Архитектура — qwen2, размер — около 14,8 млрд параметров, формат распространения — GGUF. Модель использует смешанную квантизацию PollardMix с распределением разрядности по чувствительности отдельных слоёв, а не равномерное сжатие. Доступны варианты от Q6_K размером около 12,12 ГБ до IQ1_KT размером 3,92 ГБ. Крупные варианты обеспечивают более высокое качество, а IQ4_XS позиционируется как оптимальный баланс размера и качества. IQ1_KT позволяет запускать модель при ограниченных ресурсах, но требует ik_llama.cpp и работает медленнее, чем некоторые более крупные варианты. Сильной стороной является существенное уменьшение размера по сравнению с F16-версией: примерно с 29,60 до 3,92 ГБ. По измерениям на WikiText-2 вариант Q6_K близок к F16 по perplexity, а PollardMix превосходит равномерную 1-битную квантизацию по указанным метрикам и сохраняет связность в чат-сценариях. Ограничения включают потери качества при агрессивной квантизации, зависимость IQ1_KT от ik_llama.cpp, отсутствие данных о других языках и неполные сведения о длине контекста. Лицензия — Apache-2.0.

Qwen2idae-16x14B-v1.0 — разговорная языковая модель от авторов проекта Parameter-Efficient Sparsity Crafting. Она преобразует плотные модели в разреженную архитектуру Mixture-of-Experts с помощью эффективного дообучения, включая QLoRA и адаптеры. По карточке модели, версия выпущена в марте 2024 года. Модель предназначена для диалогов и инструкций, особенно для задач математики и программирования. В метаданных указаны 13,4 млрд параметров, архитектура Qwen2ForCausalLM типа MoE, контекст до 32 768 токенов и библиотека Transformers; в README заявлено 15 млрд активируемых параметров. Для работы доступны веса Safetensors. Модель поддерживает английский язык. Лицензия — Apache-2.0. README приводит оценки на бенчмарках для серии Camelidae, но не содержит результатов Qwen2idae-16x14B-v1.0, поэтому качество именно этой версии по этим данным оценить нельзя.

Qwen3.5-9B-The-Defiant-Fable-DARK-ROAST-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP — мультимодальная плотная модель семейства Qwen3.5 с 9 млрд параметров, разработанная DavidAU совместно с Nightmedia. Это многоэтапный fine-tune и merge нескольких моделей Qwen3.5-9B; карточка описывает полноточную версию в 16-битном формате и отдельно упоминает варианты GGUF с NEO IMATRIX и MTP для ускоренной генерации. В метаданных указан формат safetensors и библиотека Transformers. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования, творческого письма и ролевых сценариев. Она принимает текст и изображения, поддерживает английский и китайский языки и, согласно карточке, контекст до 256 тысяч токенов. Также заявлен интерфейс вызова инструментов. Автор приводит результаты бенчмарков, но они не гарантируют превосходства на любых пользовательских задачах; видео не тестировалось. Автор характеризует модель как полностью uncensored и сообщает об удалении отказов; это может приводить к генерации нежелательного или небезопасного содержания. Лицензия — Apache-2.0. Для использования зрения в описанных GGUF-вариантах требуется отдельный файл mmproj.

Qwen3.6-27B-V1.1-FF711-Darker-Hero-GAIN-H2.0 — дообученная Дэвидом AU мультимодальная модель семейства Qwen3.5 с плотной архитектурой на 27 млрд параметров, основанная на Qwen/Qwen3.6-27B. Карточка описывает метод GAIN, также называемый COLD FUSION: динамическая настройка обучения на уровне отдельных примеров. Модель предназначена для диалогов, рассуждений, программирования, творческого письма и работы с изображениями; метаданные указывают поддержку vision и интерфейс вызова инструментов. Автор заявляет о сокращённых блоках рассуждений, следовании инструкциям и сохранении производительности при низкой точности, однако приведённые в README сравнения и показатели являются заявлениями автора. В примерах упоминается режим без фильтрации и контент NSFW; модель может выдавать ненормативную лексику и материалы для взрослой аудитории. Карточка также сообщает о снижении частоты отказов. Указана лицензия Apache-2.0. В метаданных перечислены английский и китайский языки; других языков карточка не подтверждает.

Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking — мультимодальная плотная модель с обработкой изображений, созданная DavidAU на основе Qwen/Qwen3.6-27B. Автор описывает расширение модели с 27 до 40 млрд параметров и многоэтапное дообучение: на наборах Deckard/PDK и на данных дистилляции рассуждений Claude 4.6 Opus. Модель рассчитана на диалог, рассуждения, программирование и творческое письмо, включая создание сюжетов и ролевые сценарии; поддерживает вызов инструментов и анализ изображений. В карточке указана длина контекста 256 тыс. токенов, а также режим рассуждений с переменной длиной ответа. Заявления автора о превосходстве в тестах не сопровождаются в предоставленном тексте конкретными результатами, поэтому их следует считать заявлениями автора. README также описывает модель как uncensored и предупреждает о возможности генерации откровенного контента по запросу; отмечены возможные зацикливания на низких квантизациях или слишком коротких запросах. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — многоэтапная дообученная и объединённая версия модели Qwen3.8 с 27 млрд параметров, созданная DavidAU и его командой с использованием Unsloth, методов Cold Fusion и Fable Fusion. Модель распространяется в формате GGUF с обычными и MTP-квантами, включая варианты с точностью 4 и 8 бит. Модель предназначена для решения общих задач, рассуждений, программирования, творческого письма, сторителлинга и ролевых сценариев. По заявлению автора, её настройка направлена на сокращение объёма рассуждений и ускорение генерации при сохранении детализации и качества ответов. В метаданных указаны английский и китайский языки, а также тег image-text-to-text, однако конкретные возможности обработки изображений в README не описаны. Размер контекста и точная архитектура также не указаны. К сильным сторонам относятся заявленные улучшения решения задач, генерации кода и художественного текста, поддержка нескольких режимов рассуждений, снижение избыточного расхода токенов и варианты для запуска на потребительском оборудовании. Автор сообщает о превосходстве базовой Qwen3.8 27B в ряде внутренних или указанных в README тестов, но независимая проверка этих утверждений не приведена. Ограничения включают возможные потери качества при использовании низкобитных квантов, а также отсутствие подробных сведений о контекстном окне, требованиях к ресурсам и фактической мультимодальной поддержке. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-INT8-AutoRound — квантизированная версия модели orcarouter/Qwen3.8-27B-Uncensored, опубликованная пользователем berkerdooo. Она предназначена для запуска и обслуживания языковой или мультимодальной модели Qwen3.8 в условиях ограниченных ресурсов с использованием INT8-квантования весов. В карточке указана multimodal-конфигурация image-text-to-text, а также наличие vision tower, однако поддерживаемые языки и полный перечень мультимодальных возможностей не описаны. Модель имеет размер 27B параметров и использует смешанную точность W8A16: 263 линейных слоя, включая основные проекции self-attention и MLP, хранятся в симметричном INT8 с group size 128, а 354 линейных слоя, включая linear attention, эмбеддинги, выходную голову, нормализационные слои и vision tower, работают в BF16. Квантование выполнено с помощью AutoRound методом SignRound после калибровки на текстах и исходном коде. В README упоминается архитектура с 16 слоями full attention и 48 слоями linear attention/GDN. Для обслуживания проверена связка vLLM с GPTQ-Marlin и поддерживается MTP speculative decoding; в тестовой конфигурации указан максимальный контекст до 262144 токенов. Сильной стороной является небольшая потеря относительно BF16-источника: на указанном тесте согласие top-1 составило примерно 97,2–97,7%, а разница NLL была +0,0022. Ограничения включают зависимость от совместимого стека vLLM и аппаратного обеспечения, а также отсутствие в README результатов прикладных бенчмарков, точного описания языковой поддержки и детальной оценки качества vision-возможностей. Модель распространяется по лицензии Apache-2.0.

Карточка модели willhx/Qwen3-8B-Base-SeaSFT на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

Qwen3.8-Flash-Next-MLX-8bit — это 8-битная сборка модели Qwen3.8-Flash-Next, разработанная PipeNetwork для работы через MLX на компьютерах с Apple Silicon. Модель предназначена прежде всего для генерации текста, включая программирование, ответы на запросы и другие сценарии текстового вывода. В текущем runtime поддерживается только текстовый режим, хотя в составе checkpoint присутствует vision tower. Модель использует гибридную архитектуру Gated-DeltaNet и sparse attention с разреженной Mixture-of-Experts-структурой: всего около 125 млрд параметров, из которых примерно 6 млрд активируются на токен (125B-A6B). Также используется hashed n-gram embedding объёмом около 51 млрд параметров. Контекст и поддерживаемые языки в README не указаны. Модель преобразована в формат MLX и занимает около 192,2 ГБ на диске; большая часть весов квантована в 8 бит, отдельные управляющие компоненты и vision tower сохранены в bfloat16. 4B multi-token-prediction head не включён. По данным README, 8-битная версия сохраняет качество, статистически неотличимое от исходной bfloat16-модели на тесте wikitext-2, при существенно меньшем размере. Ограничения включают очень высокие требования к памяти, необходимость собственного runtime с поддержкой удалённого кода и привязку к экосистеме Apple Silicon и MLX. Лицензия — Qwen Community License 1.0.

Карточка модели fknuette/werwolf-sft на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

Карточка модели unsloth/DeepSeek-R1-Distill-Llama-70B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Карточка модели maksimbbbi/DeepSeek-R1-Distill-Llama-8B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Карточка модели Ishowbackup/DeepSeek-R1-Distill-Qwen-14B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Карточка модели densafaradenza/DeepSeek-R1-Distill-Qwen-32B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

DeepSeek-V4-Flash-0731-ds4-GGUF — набор квантизированных сборок финальной версии DeepSeek-V4-Flash от DeepSeek, подготовленных пользователем nazeshinjite для инференс-движка DwarfStar (ds4), разработанного antirez. Модель предназначена для локальной генерации текста, диалоговых приложений, программирования и агентских сценариев; поддерживаются интерактивный CLI, OpenAI- и Anthropic-совместимый HTTP API, а также дисковый KV-кэш для многошаговых сессий. Базовая модель использует архитектуру Mixture-of-Experts: около 284 млрд параметров, из которых примерно 277 млрд приходятся на маршрутизируемые эксперты. Репозиторий содержит смешанную Q2/Q4-сборку размером 90,9 GiB, плоские Q2- и Q4-варианты, а также опциональные draft head для speculative decoding. В основной сборке маршрутизируемые эксперты в последних слоях используют Q4_K, остальные — преимущественно 2-битные форматы, а attention-проекции, общие эксперты и выходной слой — Q8. Указана поддержка контекста до 1 млн токенов на подходящем локальном оборудовании; для 256K контекста заявлено потребление менее 3,5 GiB KV-кэша. Языки и мультимодальные возможности в README не указаны. Сильные стороны модели — существенное уменьшение размера при сохранении качества, высокая скорость декодирования в DwarfStar и эффективная работа с длинными повторяющимися контекстами благодаря дисковому KV-кэшу. На Apple M5 Max автор README сообщает скорость 36,8–27,1 токена в секунду в зависимости от длины контекста, однако эти результаты относятся к предварительным измерениям. Главные ограничения — файлы совместимы только с DwarfStar и не загружаются в llama.cpp, Ollama или LM Studio; для запуска требуется специализированный движок и мощное оборудование, включая системы с большим объёмом памяти, CUDA или ROCm. Распространение указано по лицензии MIT.