II.3Рефакторинг, миграция и модернизация

Olmo-3-7B-Think-DPO — авторегрессионная языковая модель семейства OLMo 3, разработанная Allen Institute for AI (Ai2). Это плотный Transformer с 6,9 млрд параметров, дообученный методом DPO на наборе Dolci-Think-DPO-7B поверх allenai/Olmo-3-7B-Think-SFT. Модель поддерживает диалоговый режим и генерирует текст; контекстное окно составляет 65 536 токенов. Основной язык — английский. Модель предназначена для рассуждений с длинной цепочкой шагов, особенно при решении математических задач и написании кода, а также для диалогов, ответов на общие вопросы и следования инструкциям. В обучающих данных DPO были математические, программные, диалоговые и общеобразовательные запросы. Модель распространяется в форматах PyTorch и Safetensors и поддерживается Transformers версии 4.57.0 и выше. Лицензия — Apache 2.0; карточка также отсылает к рекомендациям Ai2 по ответственному использованию. Модель может выдавать неверные факты и без фильтрации генерировать вредный или предвзятый контент, поэтому ответы следует проверять.

stelterlab/phi-4-AWQ — это 4-битно-квантизированная версия модели phi-4, разработанной Microsoft Research. Квантизация выполнена stelterlab в формате INT4 GEMM с использованием AutoAWQ. Базовая модель представляет собой плотный decoder-only Transformer с 14 млрд параметров, обученный на синтетических и отфильтрованных общедоступных данных, академических книгах, наборах вопросов и ответов, образовательных материалах и коде. Модель ориентирована преимущественно на английский язык; около 8% обучающих данных являются многоязычными. Модель предназначена для генерации текста по текстовым запросам, прежде всего в чат-формате, и может использоваться как основа генеративных AI-функций, в том числе в условиях ограниченных ресурсов и требований к низкой задержке. Среди ключевых сценариев — рассуждение, логика, математика, программирование, ответы на вопросы, диалог и выполнение инструкций. Контекстное окно составляет 16 000 токенов, а выходом является сгенерированный текст. Обучение включало supervised fine-tuning и direct preference optimization для повышения точности следования инструкциям и безопасности. К преимуществам относятся относительно компактный для своих возможностей размер, акцент на рассуждениях, математике, коде и следовании инструкциям, а также снижение требований к памяти благодаря INT4-квантизации. Ограничения включают преимущественную ориентацию на английский язык, статичность модели и отсечение общедоступных данных на июнь 2024 года; перед применением в чувствительных или высокорисковых сценариях необходимы проверка точности, безопасности и справедливости результатов. Модель распространяется по лицензии MIT.

RedHatAI/Qwen3-30B-A3B-FP8-block — это текстовая causal language model, разработанная Red Hat на основе Qwen/Qwen3-30B-A3B. Модель принимает текст и генерирует текст, поэтому предназначена для диалоговых систем, ответов на вопросы, следования инструкциям, общего анализа текста и программирования. В README также приведены оценки на OpenLLM leaderboard и coding-бенчмарках HumanEval и MBPP. Архитектура модели обозначена как Qwen3MoeForCausalLM. Это версия с FP8-квантизацией весов и активаций линейных операторов внутри transformer-блоков; используется пок блочная квантизация весов и динамическая токенная квантизация активаций. Снижение разрядности с 16 до 8 бит уменьшает размер на диске и требования к GPU-памяти примерно на 50%. Число параметров указано в идентификаторе и базовой модели как 30B-A3B, однако размер контекста и поддерживаемые языки в README не указаны. К сильным сторонам относятся существенно сниженные требования к хранению и памяти при сохранении качества, близкого к исходной модели: средний результат в OpenLLM V1 составил 73,74 против 73,65 у базовой версии. Модель ориентирована на развёртывание с vLLM и форматом compressed-tensors. Ограничения включают возможные потери качества из-за квантизации, а также отсутствие в предоставленных данных подробностей о языковом покрытии и контекстном окне. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-35B-A3B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-35B-A3B, разработанная ByteShape с использованием ShapeLearn. ShapeLearn подбирает оптимальный тип данных для каждого тензора, стремясь сохранить качество при малой разрядности. Модель распространяется в вариантах для GPU и CPU с различными компромиссами между размером, скоростью и качеством; размер доступных вариантов в приведённой таблице составляет от 9,41 до 17,9 ГБ при 2,17–4,12 бит на вес. Модель предназначена для текстовых и визуально-текстовых задач, включая диалоговое применение, программирование, агентные сценарии, function calling и обработку изображений. Она поддерживает vision-возможности при запуске через llama.cpp с автоматической загрузкой vision projector. Для работы рекомендуются llama.cpp или LM Studio; на момент публикации Ollama не поддерживает эту модель на базе Llama.cpp GGUF. В README не указаны языки и размер контекстного окна. К сильным сторонам относятся доступность нескольких уровней квантизации, оптимизация под разные аппаратные платформы и заявленная ориентация на сохранение качества при низкой разрядности. Ограничения включают зависимость характеристик от выбранного варианта квантизации и оборудования, а также отсутствие в README подробных численных результатов benchmark-тестов для конкретных файлов. Модель распространяется по лицензии Apache-2.0.

MoonRide/Qwen3.6-27B-heretic-ara-GGUF — GGUF-квантизированная версия модели Qwen3.6-27B, разработанная MoonRide. Это декензурированная модификация исходной модели Qwen/Qwen3.6-27B, созданная с помощью Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA) с сохранением row-norm. Модель предназначена для генерации текста, программирования, агентских сценариев и работы с визуально-текстовыми запросами; исходная архитектура включает языковую модель с vision encoder. Модель содержит 27B параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated DeltaNet и Gated Attention, а также обучалась с использованием multi-step MTP. В репозитории представлены различные GGUF-квантизации; рекомендованы IQ3_XS размером около 12 ГБ и IQ3_XXS размером около 11,2 ГБ. Ключевая особенность модели — значительно сниженная склонность к отказам: в приведённом сравнении она отказала в 16 из 100 тестовых случаев против 91 из 100 у исходной Qwen3.6-27B. При этом декензурирование может влиять на поведение и безопасность модели, а квантизация способна снижать точность по сравнению с оригинальными весами; измеренное KL-расхождение составляет 0,0221. Модель распространяется по лицензии Apache-2.0.

Occamy-1.0 — мультимодальная агентная модель AMAImedia для длительной совместной работы с инструментами, файлами, кодом, поиском и структурированными API. Эта версия репозитория объединяет Occamy-1.0 и Qwen3.6-35B-A3B; в карточке указаны форматы GGUF F16, Q4_K_M, Q8_0 и Safetensors. Модель сохраняет архитектуру Qwen3.6-35B-A3B с Mixture of Experts: 35 млрд параметров всего и около 3 млрд активных при обработке токена. Модель рассчитана на многошаговые рабочие процессы, требующие вызова инструментов, ведения состояния и восстановления после сбоев, а также на программирование в терминале и следование инструкциям. Она принимает текст и изображения и выдаёт текст; заявлены возможности чата и анализа изображений. Карточка отмечает поддержку множества языков, включая русский, английский и китайский. Точное ограничение контекста в предоставленных данных не приведено. Авторы позиционируют Occamy как модель для практической агентной работы с компактной активной частью MoE, но указывают, что у неё остаётся запас для задач с интенсивным поиском и симуляцией пользователя; взаимодействие с браузером или рабочим столом через визуальный интерфейс не входит в текущий обучающий интерфейс. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель, созданная HauhauCS на основе Qwen/Qwen3.6-35B-A3B. Это вариант с усиленным удалением отказов: по заявлению автора, модель не отказывается от запросов и сохраняет функциональность исходной модели, хотя иногда может добавлять короткие дисклеймеры. Подходит для диалогов, генерации и анализа текста, программирования, рассуждений, а также работы с изображениями и видео. Модель использует архитектуру MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на один проход. Она содержит 256 экспертов, из которых для каждого токена выбираются 8, включает 40 слоёв и гибридное сочетание linear attention и full softmax attention в соотношении 3:1. Заявлен нативный контекст до 262K токенов. Поддерживаются текст, изображения и видео; в README указаны английский, китайский и многоязычный режимы. Для работы с изображениями требуется дополнительный файл mmproj. Основные преимущества — высокая заявленная устойчивость к отказам, мультимодальность, большой контекст и доступность множества GGUF-квантизаций, включая оптимизированные HauhauCS варианты K_P. Ограничения включают отсутствие встроенных защитных ограничений в Aggressive-варианте, значительные требования к памяти: размер файлов варьируется примерно от 11 до 44 ГБ, а также необходимость корректно настроить совместимый runtime, например llama.cpp или LM Studio. Для сохранения возможностей режима рассуждений рекомендуется использовать контекст не менее 128K токенов. Модель распространяется по лицензии Apache-2.0.

Youssofal/Qwen3.8-27B-MTPLX-Optimized-Quality — квантизированная версия Qwen/Qwen3.8-27B, подготовленная разработчиком Youssofal для запуска через MTPLX на компьютерах Mac с Apple Silicon. Модель предназначена для локальной генерации текста, программирования, задач с рассуждениями и работы в инструментах вроде OpenCode и Claude Code. Она использует архитектуру базовой модели Qwen3.8-27B, поддерживает контекст до 262 144 токенов и сохраняет multi-token prediction (MTP) для спекулятивного декодирования. Это 8-битная динамическая квантизация: матрицы весов хранятся в 8-битном формате с группами по 64 значения, а чувствительные компоненты, включая GDN-ядра, параметры рекуррентного состояния, нормализации и MTP-head, — в 16-битном. Размер загрузки составляет 29,4 ГБ, измеренное пиковое потребление unified memory — 32,7 ГБ; рекомендуется Mac минимум с 36 ГБ unified memory. Модель рассчитана на MacBook Pro, MacBook Air, Mac mini и Mac Studio на чипах M1–M5 и обеспечивает ускорение за счёт native speculative decoding, при этом заявлена близость к исходной bf16-модели: 99,3% совпадения top-1 на тестовом наборе и KL-дивергенция 0,0005. Сильная сторона модели — приоритет качества при сохранении высокой скорости локального вывода; README приводит скорость до 87,6 токена в секунду в отдельных сценариях и около 33 токенов в секунду при длинном рассуждении. Поддерживаются уровни reasoning effort low, medium и xhigh, а точность распределения вывода сохраняется при использовании спекулятивного декодирования. Ограничения — необходимость совместимого Mac с достаточным объёмом памяти, зависимость от MTPLX и отсутствие заявленной поддержки других аппаратных платформ. Модель распространяется по лицензии Apache-2.0.

Это квантованная версия Qwen3.8-27B, подготовленная FreedomAISVR в формате GGUF MXFP4 для запуска через llama.cpp на видеокартах NVIDIA Blackwell. В основе — плотная мультимодальная архитектура Qwen3_5ForConditionalGeneration с языковой частью на 27 млрд параметров и отдельным визуальным проектором; веса модели используют MXFP4, проектор — F16. Карточка указывает лицензию Apache-2.0. Модель предназначена для диалогов с текстом и изображениями, анализа видео, программирования, профессиональных и исследовательских задач, а также многошагового планирования и работы с агентскими сценариями. Режим рассуждений включён по умолчанию; его можно отключать и настраивать глубину. В README приведены примеры запуска с контекстом 32K и тесты производительности на RTX 5060 Ti 16GB, но это рекомендованные настройки и результаты для конкретной конфигурации, а не гарантии для другого оборудования. Квантизация уменьшает размер текстовых весов примерно до 14,2 ГБ; для обработки изображений также нужен визуальный проектор около 928 МБ. README рекомендует видеокарты RTX 50-й серии с 16 ГБ видеопамяти и не менее 16 ГБ оперативной памяти. Указанный в README контекст 32K — настройка примера запуска, а не подтверждённый максимальный контекст модели. Качество и скорость могут зависеть от оборудования и сборки llama.cpp.

Qwen3.8-27B-NVFP4-all — текстовая генеративная модель на базе Qwen3.8-27B, разработанная сообществом thomasgardiner с использованием базовых чекпойнтов Qwen и RadixArk. Архитектура сочетает Gated DeltaNet и полное внимание, включает 64 слоя и поддерживает ввод и вывод текста. Модель предназначена для генерации текста, решения математических задач, ответов на сложные вопросы, следования инструкциям и генерации кода. Ключевая особенность — оптимизация NVFP4-квантизации для ускорения декодирования на GPU NVIDIA RTX 5090 и платформах SM120. Часть линейных проекций переведена из FP8 в NVFP4 с симметричной блочной схемой квантизации, тогда как отдельные компоненты сохраняют формат BF16. Размер чекпойнта уменьшен с 20,6 до 18 ГБ. Заявлено ускорение декодирования на 13–17% относительно RadixArk/Qwen3.8-27B-NVFP4 при сопоставимой точности; в полном стеке оптимизаций прирост относительно стандартного SGLang достигает 25–33% на фиксированных запросах. По представленным тестам модель сохраняет близкую к исходному NVFP4-чекпойнту точность на GSM8K, MATH-500, GPQA Diamond, IFEval и HumanEval, однако небольшое снижение наблюдается на части математических и кодовых задач. Для эффективного использования требуются совместимые версии SGLang и FlashInfer, CUDA 13.0, а на SM120 — специальный патч backend b12x; рекомендуемая конфигурация использует спекулятивное декодирование DFlash2. Лицензия — Apache-2.0.

malvavisc0/Qwen3.8-9B-gptq-int4 — квантизированная версия модели empero-ai/Qwen3.8-9B, разработанная в формате GPTQ Int4. Модель относится к семейству Qwen и представляет собой плотную модель примерно на 9 млрд параметров, дистиллированную из Qwen3.8 2.4T A95B. Квантизация выполнена для текстовых модулей; заявлена гибридная архитектура с 24 слоями GatedDeltaNet и 8 слоями полнотекстового внимания. Нативный контекст составляет до 262 тысяч токенов. В репозитории также присутствует необработанная vision tower, однако подробности о поддерживаемых визуальных сценариях не приведены. Модель предназначена для генерации текста, рассуждений, решения математических задач, программирования и агентских сценариев с вызовом инструментов. Она поддерживает reasoning с блоками <think>, управление интенсивностью рассуждений через chat template и XML-формат вызова инструментов. Предусмотрена интеграция с vLLM и Transformers, а также совместимость с OpenAI API через локальный сервер vLLM. Указан английский язык; сведения о полноценной поддержке других языков отсутствуют. Ключевое преимущество — снижение потребления памяти: размер весов составляет около 8,5 ГБ против примерно 18 ГБ у версии BF16. Для работы рекомендуется не менее 12 ГБ общей памяти, комфортный режим начинается примерно с 16 ГБ, а видеокарты с 24 ГБ позволяют использовать длинный контекст. На CPU модель запускается, но медленно. К ограничениям относятся потери, связанные с Int4-квантизацией, необходимость правильно настраивать длину контекста и размер пакета, а также потенциально длинные рассуждения в блоках <think>, которые может потребоваться удалять перед показом пользователю. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной модели.

Furiosa-AI Qwen3-8B-FP8 — это версия модели Qwen3-8B-FP8, подготовленная для запуска на аппаратной платформе FuriosaAI RNGD с использованием Furiosa-LLM. Модель разработана на базе Qwen3 компании Qwen и предназначена для генерации текста, диалоговых приложений, решения задач, программирования, математического рассуждения, вызова инструментов и построения агентных систем. Доступен OpenAI-совместимый API. Модель представляет собой плотный causal transformer с grouped-query attention и примерно 8,2 млрд параметров. Она работает только с текстом на входе и выходе; в README явно указан английский язык. Qwen3-8B поддерживает гибридный режим рассуждений: по умолчанию модель может формировать рассуждение перед ответом, а для отдельных запросов рассуждения можно отключать. Также поддерживается вызов функций через parser hermes. Веса статически квантизированы в FP8 с размером блока 128, а активации динамически квантизируются в FP8 во время выполнения. К сильным сторонам относятся сочетание качества рассуждений и эффективного режима без рассуждений, поддержка инструментов и агентных сценариев, а также оптимизация для FuriosaAI RNGD. Ограничения включают зависимость от Furiosa-LLM и оборудования RNGD для описанного способа запуска, а также то, что характеристики языковой поддержки и контекстного окна в данной карточке не раскрыты. На RNGD используется tensor parallelism с размером 8 PE, соответствующий одной карте RNGD. Модель распространяется по лицензии Apache 2.0.

azampatti/Qwen3.8-Flash-Next-125B-A5B-INT4-AutoRound — гибридная квантованная версия Qwen3.8-Flash-Next, подготовленная автором azampatti на основе чекпойнтов Qwen и Intel. Модель предназначена для генерации текста, программного кода, математических ответов, работы с инструментами и длинным контекстом. Она поддерживает OpenAI-совместимую подачу через специализированную сборку vLLM и рассчитана прежде всего на запуск на одной системе DGX Spark с GB10 и 128 ГБ памяти. Модель использует архитектуру mixture-of-experts: всего 125 млрд параметров, из которых около 4,8 млрд активируются для каждого токена. Число выбираемых маршрутизатором экспертов сокращено с 10 до 5, после чего общий эксперт был дообучен методом self-distillation для восстановления качества. Основные компоненты распределены между форматами int4, fp8 и bf16; применяются GPTQ-Marlin с размером группы 128 и AutoRound. В репозитории также содержится FP8-таблица n-грамм объёмом около 49 ГБ, отображаемая из памяти при работе. Сильными сторонами являются высокая скорость генерации — примерно 64–70 токенов в секунду на DGX Spark, сохранение возможностей инструментального использования и уменьшенные активные вычисления по сравнению с исходной моделью. Ограничение — некоторое снижение общей способности: заявленный показатель составляет около 47–49 против 51,8 у исходной версии, а результаты измерялись собственным тестовым стендом и не являются универсальным лидербордом. Для запуска требуется специализированная сборка vLLM, поскольку стандартная vLLM не поддерживает используемую комбинацию int4 и fp8. Лицензия указана как qwen с типом other; применяются условия лицензии Qwen, ссылка на которую приведена в карточке.

tangger/Qwen-7B-Chat 是阿里云通义千问 Qwen 系列的 чат-модель, которую автор репозитория повторно загрузил как временную резервную копию версии, скачанной 11 сентября 2023 года. Модель основана на Transformer и обучена с применением методов выравнивания для работы в формате диалогового ИИ-ассистента; в README указаны слои RoPE, SwiGLU и RMSNorm, а также токенизатор tiktoken со словарём около 150 тысяч токенов. Метаданные указывают 11,4 млрд параметров, контекст до 8192 токенов, форматы PyTorch и поддержку китайского и английского языков. Модель предназначена для многоходового диалога, ответов на вопросы, работы с кодом и математическими задачами, а также сценариев использования инструментов. В README приведены оценки на C-Eval, MMLU, GSM8K и HumanEval и упоминаются тесты длинного контекста и использования инструментов. Автор описывает репозиторий как временную копию и рекомендует перейти на официальный репозиторий после его восстановления. Лицензия в предоставленных данных не указана.

Qwen-SEA-LION-v4.5-27B-IT-GGUF — это квантизированная в формате GGUF версия мультимодальной инструкционно настроенной модели Qwen-SEA-LION-v4.5-27B-IT. Модель разработана AI Products Pillar при AI Singapore при финансовой поддержке National Research Foundation Singapore и построена на архитектуре Qwen3.6-27B. Она представляет собой каузальную языковую модель с визуальным энкодером и предназначена для коммерческого использования. Модель ориентирована на сложное рассуждение, многошаговое планирование, генерацию кода, работу с инструментами, структурированными схемами и агентными сценариями. Она поддерживает обработку текста и изображений, контекст длиной до 262 тысяч токенов и оптимизирована для языков и культур Юго-Восточной Азии. Дообучение проводилось на бирманском, индонезийском, филиппинском, малайском, тамильском, тайском и вьетнамском языках; также заявлена конкурентоспособная работа с английским и китайским. Доступны варианты квантизации Q4_K_M размером 16,8 ГБ, Q6_K размером 22,4 ГБ, Q8_0 размером 29 ГБ и F16 размером 54,7 ГБ, что позволяет выбирать компромисс между требованиями к памяти и качеством. К сильным сторонам относятся большой контекст, региональная языковая специализация, мультимодальность и развитые возможности использования инструментов. При этом модель не проходила полноценное выравнивание по безопасности и не тестировалась на устойчивость к adversarial prompting; возможны галлюцинации, нерелевантные ответы и фактические ошибки, поэтому результаты требуют проверки и дополнительной настройки безопасности. Модель распространяется по лицензии MIT. Для запуска GGUF-версий в README приведён пример использования llama.cpp; для визуального ввода требуется отдельный файл mmproj.

d0xin выпустил Swift-Qwen3.8-27B-Uncensored-BF16 — BF16-производную модели ukisai/Swift-Qwen3.8-27b на архитектуре Qwen3.5 dense с генерацией текста по текстовому и визуальному вводу. Модель рассчитана на диалоги, рассуждения, программирование, агентные сценарии и вызов инструментов; заявленная конфигурация контекста — 262 144 токена. Чекпойнт занимает около 52 ГБ, работает через Transformers и может обслуживаться через OpenAI-совместимый API SGLang. Модель получена ранговой абляцией направления в residual stream: изменены 131 из 1199 тензоров, а веса зрения оставлены без изменений. Автор сообщает, что на фиксированной проверке из 100 запросов модель не отказала ни разу, хотя в 10 случаях ответ сопровождался оговоркой; на отдельной проверке из 298 примеров измеримого снижения качества по сравнению с исходной моделью не обнаружено. Эти результаты относятся к описанным наборам и настройкам и не гарантируют поведение на других запросах. Из-за снижения склонности к отказам модель может выдавать небезопасный, незаконный или недостоверный контент. Лицензия указана как other; карточка рекомендует lawful use и предупреждает, что модель не предназначена для регулируемых профессиональных консультаций.

Ternary-Bonsai-2-27B-mlx-2bit — производная от Qwen/Qwen3.8-27B модель Prism ML для генерации текста, диалогов и рассуждений. Это плотная гибридная трансформерная архитектура с 27,36 млрд параметров: языковая часть использует линейное и полное внимание, SwiGLU, RoPE и RMSNorm; в комплект также входит башня зрения. Весы языковой модели представлены значениями −1, 0 и +1 с групповым масштабированием и вращением Адамара, тогда как башня зрения не квантизирована. Репозиторий весит 8,60 ГБ и предназначен для запуска через MLX на устройствах Apple, включая локальные сценарии без сети; заявленная длина контекста — 262 тысячи токенов. Модель рассчитана на локальных диалоговых и агентных помощников, анализ длинных документов и репозиториев кода, математические рассуждения и вызов инструментов. Разработчик сообщает о сохранении 98,2% среднего результата FP16 на 14 тестах и скорости около 47 токенов в секунду на ноутбуке с Apple M5 Max; показатели производительности зависят от оборудования и runtime. Основное ограничение — небольшая потеря качества по сравнению с полной точностью, а низкобитные ядра могут работать медленнее на некоторых GPU. Лицензия — Apache-2.0.

Trinity Mini GGUF — квантизированная версия модели Trinity-Mini, разработанная Arcee AI. Это открытая по весам языковая модель для генерации текста, ориентированная прежде всего на задачи рассуждения, а также на универсальные сценарии работы с инструкциями. Модель предназначена для запуска на платформах, использующих llama.cpp, включая LM Studio, а также доступна через API. Модель построена на архитектуре AfmoeForCausalLM и использует разреженную MoE-архитектуру: всего 26 млрд параметров, из которых 3 млрд активны при обработке токена. В составе 128 экспертов, 8 активных экспертов и 1 общий эксперт. Контекстное окно составляет 128 тысяч токенов. Модель обучена на 10 трлн токенов с дополнительным акцентом на математику и программный код. Заявлена поддержка английского, испанского, французского, немецкого, итальянского, португальского, русского, арабского, хинди, корейского и китайского языков. К сильным сторонам относятся сочетание крупного общего числа параметров с меньшим числом активных параметров, большой контекст и специализация на рассуждениях при сохранении универсальности. Ограничения включают необходимость совместимого программного обеспечения и аппаратных ресурсов для запуска, а также отсутствие в предоставленных данных подробных количественных результатов тестов и информации о мультимодальности; модель описана как текстовая. Распространяется по лицензии OpenMDW-1.1.

Virtuoso-Lite — языковая модель для генерации текста, представленная командой arcee-ai. В метаданных указаны архитектура Llama и базовая модель Falcon3-10B-Base; карточка описывает модель как 10-миллиардную и сообщает о дистилляции знаний DeepSeek-V3. Репозиторий содержит веса safetensors для библиотеки Transformers, а контекст модели составляет 32 768 токенов. Модель предназначена для диалоговых помощников, генерации и отладки кода, математических и технических ответов, а также прототипов анализа данных и STEM-обучения. Карточка заявляет о логитной дистилляции примерно на 1,1 млрд токенов и последующем DPO-выравнивании. Модель поддерживает текстовый ввод и генерацию текста; заявлены возможности чата и интерфейс вызова инструментов. В README указана лицензия falcon-llm-license. Среди ограничений карточка отмечает возможную предвзятость и вредоносную генерацию, а также срез знаний примерно до июня 2024 года. Показатели бенчмарков приведены без подробностей о методике, поэтому их следует считать заявлениями авторов карточки.

Yi-1.5-34B — базовая языковая модель компании 01.AI, построенная на плотной архитектуре семейства Llama. В репозитории представлена версия примерно на 33,9 млрд параметров в формате Safetensors; метаданные указывают контекст 4096 токенов. Модель создана на основе Yi: семейство Yi-1.5 прошло дополнительное предобучение на высококачественном корпусе объёмом 500 млрд токенов и дообучение на 3 млн разнообразных примеров. Модель предназначена для генерации текста, понимания инструкций, рассуждений, чтения и ответов на вопросы, а также задач по математике и программированию. Разработчик отмечает улучшения относительно Yi в программировании, математике, рассуждениях и следовании инструкциям. В README перечислены также варианты Yi-1.5 с контекстом 16K и 32K, но метаданные этого репозитория указывают 4096 токенов. Модель распространяется по лицензии Apache-2.0. Это базовая версия, а не одна из перечисленных в README чат-версий; заявленные сильные стороны и результаты бенчмарков относятся к семейству, а не гарантируют качество на конкретных задачах. В карточке нет сведений о специальных ограничениях применения.

Apriel-1.5-15b-Thinker-GGUF — это GGUF-версия мультимодальной модели рассуждений Apriel-1.5-15b-Thinker, разработанной ServiceNow AI и подготовленной в формате GGUF командой Unsloth. Модель предназначена для генерации текста, решения математических и научных задач, программирования, следования инструкциям, работы с API и функциями, диалоговых сценариев, а также понимания и рассуждений по изображениям и смешанным текстово-графическим данным. Модель содержит 15 млрд параметров и рассчитана на эффективное локальное развёртывание: по заявлению разработчиков, она помещается на одной GPU. Она обучалась с использованием продолжительного предварительного обучения на текстовых и мультимодальных данных, а также supervised fine-tuning более чем на 2 млн текстовых примеров. Для постобучения не применялись reinforcement learning и специализированное обучение на изображениях. Заявлены результаты 52 балла в Artificial Analysis, 68 в Tau2 Bench Telecom и 62 в IFBench, однако конкретные сведения о контекстном окне, поддерживаемых языках и архитектуре в README не указаны. Сильными сторонами модели являются сочетание компактного размера, развитого текстового рассуждения, возможностей работы с изображениями и ориентация на корпоративные задачи. Ограничениями могут быть повышенный расход токенов и более длительное время ответа из-за подробного рассуждения по умолчанию, а также отсутствие image SFT, что может влиять на отдельные визуальные сценарии. Модель распространяется по лицензии MIT.

MaziyarPanahi/calme-2.4-rys-78b — плотная авторегрессионная языковая модель семейства Qwen2, дообученная Maziyar Panahi на базе calme-2.1-rys-78b. Она предназначена для диалогов и генерации текста: ответов на вопросы, работы виртуальных помощников, создания и суммаризации контента, а также генерации и анализа кода и решения сложных задач. Модель насчитывает 76,7 млрд параметров, поддерживает контекст до 32 768 токенов и использует шаблон диалога ChatML. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH, но конкретных гарантий качества для отдельных сценариев нет. Модель может наследовать смещения и давать ненадёжные ответы; для применения нужны проверка результатов и человеческий контроль. Лицензия — MIT.

Это BF16-версия DeepSeek-R1-0528, опубликованная Unsloth на основе модели DeepSeek-R1-0528 от DeepSeek. Репозиторий предназначен для конвертации весов и экспериментов; модель представляет собой плотную авторегрессионную языковую модель семейства DeepSeek-V3 с 37,6 млрд параметров, доступную в формате Safetensors и рассчитанную на контекст до 163 840 токенов. Модель подходит для диалогов и генерации текста с углублённым рассуждением, в том числе для решения математических задач, программирования и задач на общую логику. Также заявлены улучшенная поддержка вызова функций и снижение частоты галлюцинаций по сравнению с предыдущей версией. Для модели указана лицензия MIT. Фактическая точность ответов не гарантируется, а длинные рассуждения могут требовать значительного числа токенов.

unsloth/DeepSeek-R1-BF16 — версия DeepSeek-R1, опубликованная Unsloth и представленная в формате Safetensors для Transformers. Модель основана на DeepSeek-R1 от DeepSeek и предназначена для диалоговой генерации текста с упором на рассуждения, решение математических задач и помощь с кодом. В карточке указана архитектура DeepSeek-V3; размер составляет 37,6 млрд параметров, длина контекста — до 163 840 токенов. Модель может применяться для пошагового анализа сложных вопросов, объяснения решений, генерации и разбора кода, а также ответов в диалоге. Указанная лицензия — MIT. Для практического использования учитывайте, что ответы могут содержать ошибки, а многошаговые рассуждения — быть избыточными; README не приводит оценок качества именно этой сборки.

mlx-community/DeepSeek-R1-Distill-Llama-8B — конверсия в формат MLX модели DeepSeek-R1-Distill-Llama-8B от deepseek-ai, выполненная Focused с помощью mlx-lm 0.21.1. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров для генерации текста и диалогового взаимодействия; заявленная длина контекста — 131072 токена. Базовая модель дообучена на данных рассуждений DeepSeek-R1 и предназначена для многошаговых рассуждений, решения математических задач и программирования. Репозиторий предлагает использовать модель через mlx-lm; метаданные указывают формат safetensors и интерфейс вызова инструментов. В README не приведены сведения о лицензии или языковом покрытии. Возможности и качество модели наследуют ограничения базового чекпойнта; характеристики использования MLX зависят от совместимой среды.

DeepSeek-R1-Distill-Qwen-14B — плотная языковая модель на архитектуре Qwen2, выпущенная DeepSeek. Это 14-миллиардная версия серии дистиллированных моделей DeepSeek-R1: её дообучили на примерах рассуждений, созданных DeepSeek-R1, а в качестве основы использовали модель семейства Qwen2.5. Модель предназначена для генерации текста и диалогов с пошаговыми рассуждениями, особенно при решении математических задач, программировании и ответах на сложные вопросы. Модель принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. В карточке не указана специализация на конкретных естественных языках. Репозиторий содержит веса safetensors и рассчитан на использование через Transformers. Лицензия MIT разрешает использование и распространение на её условиях. Как и другие языковые модели, она может ошибаться, выдавать неверные рассуждения или некорректный код; качество не гарантируется для каждой задачи.

mlx-community/DeepSeek-R1-Distill-Qwen-7B — языковая модель на архитектуре Qwen2, преобразованная сообществом mlx-community из deepseek-ai/DeepSeek-R1-Distill-Qwen-7B в формат MLX с помощью mlx-lm 0.21.1. В основе лежит дистиллированная модель DeepSeek R1 Distill Qwen 7B с 7,1 млрд параметров. Модель предназначена для диалогов и генерации текста, в том числе для многошаговых рассуждений, решения математических задач и программирования. Она поддерживает контекст до 131 072 токенов. В метаданных указаны чат-возможности и интерфейс вызова инструментов. Репозиторий содержит преобразованную версию для MLX; README описывает использование через mlx-lm. Это преобразование формата, а не отдельное дообучение или квантизация. Сведений о лицензии и ограничениях применения в предоставленных данных нет.

blackbook-lm/DeepSeek-R1-Distill-Qwen-7B-heretic — разговорная языковая модель на архитектуре Qwen2, основанная на DeepSeek-R1-Distill-Qwen-7B. По метаданным, она содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации ответов и рассуждений, в том числе для задач по математике и программированию. Это вариант с abliteration: в карточке приведено сравнение с исходной моделью, где число отказов на тесте из 100 запросов снизилось с 49 до 5, а KL-дивергенция составила 0,0071. Тегами также отмечено снижение ограничений на ответы. Эти результаты относятся к приведённой в карточке оценке и не гарантируют такого поведения на других запросах. Веса опубликованы в формате safetensors, библиотека для работы — Transformers, лицензия — MIT. Карточка не указывает отдельные языковые характеристики этого варианта; базовая модель семейства DeepSeek-R1 предназначена для рассуждений, математики и кода.

Dolphin 2.9 Llama 3 70B — разговорная модель, подготовленная Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и сообществом Cognitive Computations на базе Meta Llama 3 70B. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, представленная в форматах PyTorch и Safetensors. Она дообучена методом qLoRA с длиной последовательности 8 тыс. токенов и использует шаблон диалога ChatML. Модель предназначена для диалогов, выполнения инструкций, генерации кода и математических ответов; README также отмечает начальные агентные возможности и поддержку вызова функций. Основной язык в карточке — английский. В данных обучения указаны, среди прочего, наборы Dolphin 2.9, OpenHermes 2.5, UltraChat и датасеты для кода, математики и function calling. Модель описана как uncensored и может охотно выполнять небезопасные или неэтичные запросы; автор рекомендует добавить собственный слой выравнивания перед предоставлением сервиса. В датасете есть дефект, из-за которого ответы могут излишне упоминать системное сообщение; README предлагает ограничить это инструкцией в system prompt. Использование регулируется лицензией Meta Llama 3 Community License Agreement, включая её условия для коммерческого применения.

QuantFactory/Fireball-3.1-8B-ORPO-GGUF — квантизированная версия EpistemeAI/Fireball-3.1-8B-ORPO, созданная с помощью llama.cpp. В основе лежит Meta Llama 3.1 8B от Meta, дообученная методом ORPO, который объединяет supervised fine-tuning и выравнивание по предпочтениям в едином процессе. Разработчик и автор исходной версии — EpistemeAI; квантизацию также выполнила EpistemeAI. Модель предназначена для генерации текста, диалоговых ассистентов и других задач обработки естественного языка, включая работу с кодом. Это текстовая autoregressive Transformer-модель примерно на 8 млрд параметров с поддержкой Grouped-Query Attention. Заявлены мультиязычные текстовые входы и выходы, включая английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Максимальная длина контекста составляет 128 тысяч токенов, дата отсечения знаний — декабрь 2023 года. Квантизированный формат GGUF ориентирован на запуск через llama.cpp и может снизить требования к памяти и вычислительным ресурсам по сравнению с полноразмерными весами. Ограничения включают статичность знаний, возможные ошибки и ограничения качества после дообучения и квантизации, а также отсутствие поддержки изображений и других немультимодальных входов. В README указана лицензия Llama 3.1 Community License; при этом в разделе сведений о загруженной модели также упомянута Apache-2.0, поэтому условия распространения следует уточнить по актуальным файлам лицензии репозитория.