II.3Рефакторинг, миграция и модернизация

Youssofal/Qwen3.6-35B-A3B-MTPLX-Optimized-Balance — локальная модель для генерации текста, опубликованная пользователем или организацией Youssofal и основанная на семействе Qwen3.6. Она предназначена для запуска на компьютерах Apple Silicon через MLX и ускорения генерации с помощью MTPLX — механизма speculative decoding, использующего собственные MTP-головы модели для чернового предсказания токенов с последующей проверкой основной моделью. Модель подходит для локального чата, программирования и других сценариев генерации текста, включая задачи с рассуждениями и обычные контексты разработки. README не указывает поддерживаемые языки и точное максимальное окно контекста. Модель имеет конфигурацию 35B-A3B и архитектуру mixture-of-experts, поставляется в виде 6-битного MLX-квантизованного основного блока с размером группы 64, 8-битными router и gate-тензорами, а также калиброванными INT4 MLX MTP-головами. Нормализации, масштабы, смещения и обычные тензоры сохранены в BF16. Заявлены высокая скорость локальной генерации и практичное потребление памяти; измеренная скорость генерации в режиме MTPLX Sustained Max на Apple Silicon для рекомендованной конфигурации D2 составила около 123–126 токенов в секунду, а скорость обработки промпта в тестах достигала 1756,8–4109,8 токена в секунду в зависимости от длины контекста. Ограничения связаны с применением квантизации, зависимостью от Apple Silicon и MTPLX, а также с тем, что это не полноточный чекпойнт. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-MTPLX-Optimized-Speed — квантованная версия базовой модели Qwen/Qwen3.8-Flash-Next, подготовленная Youssofal для запуска через MTPLX на компьютерах Apple Silicon. Модель предназначена для локальной генерации текста, диалогов и программирования, включая работу с OpenCode и другими локальными AI-инструментами. Модель основана на архитектуре поколения Qwen4 с гибридной MoE-структурой GDN, Qwen Sparse Attention и 51-миллиардной n-gram memory. Всего заявлено 125B параметров, из которых 6B активируются на токен. Основные веса используют динамическую 4-битную квантизацию, проекции внимания — 8-битную, а отдельные компоненты и MTP-голова сохраняют 16-битную точность. Поддерживается контекст до 262 144 токенов, мультимодальная vision tower сохранена, однако конкретные языки и поддерживаемые форматы ввода в карточке не указаны. Ключевое преимущество — нативное multi-token speculative decoding с адаптивной глубиной до 3 токенов, обеспечивающее заявленное ускорение по сравнению с обычной авторегрессионной генерацией при сохранении распределения вывода. Загрузка занимает около 115,1 ГБ, из них 32 ГБ n-gram-таблицы могут размещаться на SSD; рекомендуются Mac с Apple Silicon и минимум 96 ГБ unified memory. Ограничения включают высокие требования к памяти и зависимость от MTPLX и совместимого оборудования. Лицензия указана как qwen-community-1.0; также обозначено поле license: other.

Toffee 3B β — языковая модель-ассистент, разработанная zait-ai и дообученная на базе mistralai/Ministral-3-3B-Base-2512. Она предназначена для диалога и выполнения инструкций, включая общие вопросы, математические задачи и программирование. Модель использует плотную архитектуру семейства Mistral, содержит 3,2 млрд параметров и поддерживает контекст до 8192 токенов. Обучение проходило на смесях диалоговых, математических и программных инструкций. В карточке приведены результаты на MMLU, HellaSwag, BoolQ и Winogrande, однако сравнение с другими моделями обозначено как приблизительное из-за различий в настройках оценки. Основной язык — английский. Модель распространяется по лицензии MIT.

Whittle-Next-27B-A3B-GGUF — это GGUF-квантизированная версия модели Whittle-Next-27B-A3B, разработанной logic65 и подготовленной квантизатором mradermacher. Модель основана на архитектуре mixture-of-experts и предназначена для генерации текста, диалоговых сценариев, рассуждений, программирования и математических задач. В метаданных заявлена поддержка английского, китайского и других языков, а также сценариев с длинным контекстом. Модель содержит около 27 млрд параметров в общей конфигурации и обозначает архитектуру с примерно 3 млрд активных параметров, однако точные сведения о механизме активации, размере контекста и мультимодальных возможностях не указаны. Среди заявленных архитектурных особенностей — hyper-connections, n-gram memory, per-layer embeddings, knowledge distillation и online distillation. Доступны варианты GGUF с разными уровнями квантизации от Q2_K до Q8_0 и IQ4_XS; версии Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, а Q8_0 — как вариант с наилучшим качеством среди представленных. К сильным сторонам относятся поддержка локального запуска через совместимые инструменты, включая llama.cpp, широкий выбор компромиссов между размером, скоростью и качеством, а также ориентация на рассуждения, код и математику. К ограничениям относятся неизбежная потеря качества в более агрессивно квантизированных вариантах, отсутствие опубликованных в README бенчмарков и точных характеристик контекстного окна, а также отсутствие сведений о поддержке изображений или других модальностей. Модель распространяется по лицензии Apache-2.0.

Это конверсия модели DeepSeek-R1-Distill-Qwen-7B в формат MLX для локального запуска на графическом процессоре Apple Silicon. Конверсию подготовил SirSahOl на базе архитектуры Qwen2ForCausalLM; модель содержит 7,1 млрд параметров и распространяется в формате safetensors с 16-битными весами bfloat16. Контекст составляет до 131 072 токенов. Модель предназначена для диалогов и генерации текста, в том числе для многошаговых рассуждений, решения математических задач и помощи с программированием. Вариант 16-bit сохраняет исходную точность весов и ориентирован на оценивание, сравнение результатов и локальную работу на компьютерах Apple Silicon с достаточной объединённой памятью; для весов требуется около 15,2 ГБ, а README рекомендует не менее 24 ГБ памяти. Лицензия — MIT. Это преобразование весов в формат MLX, специализированный для Apple Silicon; README указывает, что репозиторий предназначен для GPU этих устройств. На длинных контекстах потребление памяти существенно возрастает, а скорость зависит от оборудования и длины контекста.

Solstice-AI/DeepSeek-V4-Flash-Vision-Exp-MXFP4 — производственная MXFP4-версия экспериментальной мультимодальной модели DeepSeek-V4-Flash-Vision-Exp, разработанной DeepSeek-AI и подготовленной, проверенной и упакованной Solstice-AI. Модель предназначена для обработки текста и изображений, мультимодального рассуждения, анализа визуального содержания, генерации кода и задач, требующих работы с длинным контекстом. README также указывает совместимость с Transformers, vLLM, SGLang и TensorRT-LLM, а также готовность к speculative decoding через DSpark. Архитектура включает 305 млрд параметров в конфигурации Mixture-of-Experts, из которых 13 млрд активируются для каждого токена. Указаны 43 скрытых слоя, 256 маршрутизируемых экспертов с шестью активными на токен, Multi-Head Latent Attention и отдельный 32-слойный vision encoder. Заявлена поддержка контекста до 1 048 576 токенов. Основная часть экспертных весов предварительно обучена в формате OCP MXFP4, а исполнение использует схему W4A16: веса представлены в 4-битном формате, активации сохраняются в 16-битном BF16; ряд компонентов, включая vision encoder, маршрутизаторы и нормализации, сохраняется в более высокой точности. К сильным сторонам относятся высокая вычислительная и memory-bandwidth эффективность по сравнению с полноразмерным представлением, мультимодальность и очень длинное контекстное окно. Ограничения — значительный общий размер модели и требовательность к GPU-инфраструктуре: для практического развёртывания README рекомендует конфигурации от нескольких GPU, а полный контекст в 1 млн токенов рассчитан на крупные кластеры. Модель обозначена как экспериментальная, а приведённые в README результаты тестирования представлены неполностью. Лицензия — MIT.

Dolphin-2.7-mixtral-8x7b-GGUF — квантизированная версия языковой модели Dolphin 2.7 Mixtral 8X7B, разработанной Cognitive Computations и преобразованной в формат GGUF компанией Second State Inc. Модель основана на архитектуре Mixtral и предназначена для диалоговых сценариев и генерации текста; README также указывает на использование обучающих наборов для инструкционного следования, программирования и универсальных задач. Заявлен английский язык. Модель поддерживает шаблон запросов ChatML и контекст длиной 4096 токенов. Доступны варианты квантизации от Q2_K до Q8_0 размером примерно от 15,6 до 49,6 ГБ. Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые варианты с балансом между размером и качеством, тогда как более низкие уровни квантизации могут приводить к существенной потере качества. Для запуска через LlamaEdge требуется версия 0.2.8 или новее. README не содержит данных о мультимодальности или поддержке других языков. Лицензия модели — Apache-2.0.

Карточка модели FuseAI/FuseO1-DeepSeekR1-Qwen2.5-Coder-32B-Preview на Hugging Face совпадает с карточкой FuseAI/FuseO1-DeepSeekR1-QwQ-SkyT1-32B-Preview, поэтому описание составлено по ней. FuseO1-DeepSeekR1-QwQ-SkyT1-32B-Preview — экспериментальная объединённая языковая модель команды FuseAI. Она создана с помощью слияния трёх моделей для рассуждений: DeepSeek-R1-Distill-Qwen-32B, Qwen/QwQ-32B-Preview и NovaSky-AI/Sky-T1-32B-Preview. Модель основана на плотной архитектуре Qwen2 с 32 млрд параметров и предназначена для генерации текста и диалогов с пошаговыми рассуждениями. Основные сценарии — решение математических задач, рассуждения о программном коде и научные вопросы. В README для версии указаны результаты AIME24: 74,0 Pass@1 и 86,7 Cons@32 при описанной авторами схеме оценки. Модель принимает текст и генерирует текст; метаданные указывают контекстное окно 131 072 токена и интерфейс для вызова инструментов. Языки в карточке явно не перечислены. Модель распространяется в формате safetensors по лицензии Apache-2.0. Это предварительная версия, а опубликованные сравнительные показатели относятся к конкретным настройкам и методике оценки; они не гарантируют аналогичных результатов в других задачах или конфигурациях.

Gemma 4 21B-A4B-it REAP Heretic — разговорная модель на базе Gemma 4, представленная в репозитории coder3101. Это доработанный вариант 20-процентно прореженной экспертной модели 0xSero/gemma-4-21b-a4b-it-REAP: в MoE-архитектуре оставлено 103 эксперта на слой вместо 128, а на каждый токен по-прежнему активируются 8 экспертов. Веса опубликованы в формате safetensors; модель поддерживает диалоговую генерацию текста и, согласно карточке, входные изображения. Вариант Heretic применяет абляцию отказов: в приведённом сравнении число отказов на тестовом наборе снизилось со 100 из 100 у исходной модели до 14 из 100. При этом небольшие тесты показывают, что качество зависит от задачи: например, результат по математике начального уровня снизился с 92% до 90%, а по философии — с 92% до 88%; наборы по 50 примеров на задачу и 14 промптов для сравнения генерации не дают широкой оценки качества. Для исходного варианта REAP указано окно контекста 262 144 токена, но README не уточняет, сохраняется ли этот предел в данной сборке Heretic. Модель предназначена для диалогов, рассуждений и генерации кода; особенно подходит для сценариев, где требуется меньше отказов. Лицензия — Gemma; условия её использования следует сверять с лицензией семейства Gemma.

gemma-4-31B-it-Mystery-Fine-Tune-HERETIC-UNCENSORED-Thinking-GGUF — модель на базе Gemma 4 31B, дообученная автором DavidAU с использованием Unsloth и закрытых датасетов. Модель позиционируется как инструкционная и рассуждающая, с минимальными ограничениями на тематику, и выпускается в форматах GGUF с вариантами квантования Q4KS и Q6. Для запуска требуется LLAMACPP версии b8641 или новее. Модель предназначена для диалогов, генерации и продолжения художественных текстов, ролевых сценариев, программирования, анализа и других универсальных задач. Поддерживаются текстовые запросы, а благодаря добавленным mmproj-файлам также обработка изображений. Заявлены режимы instruct и thinking; в режиме thinking внутренние рассуждения оформляются специальными каналами, которые приложение должно корректно отображать. Максимальный контекст, указанный для этой модели, составляет 128K токенов. README также ссылается на возможности Gemma 4: работу с изображениями, документами, видео, функциями и многоязычными запросами; для семейства заявлена поддержка более 35 языков «из коробки». Сильными сторонами являются большой размер модели, длинный контекст, мультимодальность, генерация кода и художественного текста, а также заявленное превосходство над базовой моделью в шести из семи внутренних тестов. Ограничения включают использование закрытых датасетов, наличие нерешённых проблем конвейера и контроля качества, ограниченный набор квантований на момент публикации и возможный перевыпуск файлов после дополнительного обучения. Рекомендуемые параметры генерации: temperature 1.0, top_k 64 и top_p 0.95. Лицензия — Apache 2.0.

Карточка модели nfsff/Gemma-4-31B-JANG_4M-CRACK на Hugging Face совпадает с карточкой ZHENDANG/Gemma-4-31B-JANG_4M-CRACK, поэтому описание составлено по ней. ZHENDANG/Gemma-4-31B-JANG_4M-CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-31b-it. Это доработанная методом abliteration версия плотной архитектуры Gemma 4 с 31 млрд параметров, гибридным скользящим и глобальным вниманием и сохранённым визуальным энкодером. Модель предназначена для диалогов, рассуждений, программирования и ответов на запросы по тексту и изображениям; поддерживает режим thinking. В README авторы сообщают о высокой доле ответов на вредоносные запросы в их тесте HarmBench и о прохождении проверок по кибербезопасности и пентестингу. Эти результаты отражают заявленные авторами тесты и не гарантируют качество в других сценариях. Для запуска рекомендован vMLX на компьютерах Apple Silicon с не менее чем 32 ГБ объединённой памяти; указано, что стандартные mlx_lm и mlx_vlm на момент подготовки карточки модель не поддерживают. Модель распространяется по лицензии Gemma; авторы указывают исследовательское назначение и ответственность пользователя за соблюдение законов.

Gemma-4-E4B-Claude-4.6-Opus-Reasoning-Distilled — дообученная модель на базе google/gemma-4-E4B-it, разработанная пользователем arsovskidev. Она создана с использованием SFT и QLoRA в 4-битном режиме на наборе данных nohurry/Opus-4.6-Reasoning-3000x-filtered, содержащем около 2,3 тысячи отфильтрованных траекторий рассуждений, дистиллированных из Claude 4.6 Opus. Модель не связана с Anthropic и не одобрена этой компанией. Модель предназначена для текстовых задач, где важны пошаговое рассуждение и структурированный анализ: многошаговой математики, логики, декомпозиции и отладки кода, а также обработки сложных запросов. Она обучена формировать рассуждения внутри тегов <think> перед итоговым ответом. Указанная максимальная длина последовательности при обучении — 2048 токенов; язык обучения — английский. Доступны экспорты в формате GGUF с квантованием Q4_K_M и Q8_0. Сильные стороны модели — компактный размер порядка 4B параметров, ориентированность на более последовательное и обдуманное решение задач и возможность запуска через Ollama или llama.cpp. Ограничения включают небольшой объём обучающего набора, возможные галлюцинации и отсутствие обученных мультимодальных возможностей: несмотря на тег image-text-to-text и возможности базовой модели, этот вариант позиционируется как текстовый. Лицензия — Apache 2.0 с дополнительными Gemma Terms of Use.

GLM-4.7-Flash-MXFP4-MOE-GGUF — квантизированная версия языковой модели GLM-4.7-Flash от Zhipu AI, опубликованная в формате GGUF. Это модель Mixture-of-Experts на архитектуре DeepSeek2 с Multi-head Latent Attention: около 30 млрд параметров всего, из которых примерно 3,2 млрд активируются на токен; используются 64 маршрутизируемых эксперта и один общий. В README указан контекст до 200 000 токенов. Модель предназначена для генерации текста и диалогов, включая рассуждения и программирование. Она поддерживает английский и китайский языки; режим рассуждений включён по умолчанию. В квантизации MXFP4 веса экспертов представлены в 4-битном формате, а остальные тензоры — в Q8_0; файл весов занимает 15,8 ГБ. README указывает на запуск через llama.cpp на GPU или CPU. Квантизация рассчитана на более эффективный вывод при небольшом снижении качества относительно исходной модели. Репозиторий распространяется по лицензии MIT.

unsloth/GLM-Z1-32B-0414-GGUF — GGUF-версия 32-миллиардной reasoning-модели GLM-Z1-32B-0414, разработанной командой THUDM на основе GLM-4-32B-0414 и подготовленной в формате GGUF проектом Unsloth. Модель предназначена для локального текстового диалога и генерации текста, особенно для задач, требующих глубокого рассуждения: математики, программирования, логики и решения сложных многоэтапных задач. Модель поддерживает китайский и английский языки и относится к задачам text-generation. Заявлены улучшенные математические способности и общее качество решения сложных задач по сравнению с базовой моделью. В README указано 32 миллиарда параметров; архитектура подробно не описана. Для работы с длинным контекстом предусмотрен YaRN: при длине входа свыше 8192 токенов рекомендуется включать масштабирование RoPE, исходный максимальный размер позиционных эмбеддингов составляет 32768 токенов. Модель подходит для локального развертывания через совместимые инструменты, включая llama.cpp; для корректной обработки системного промпта в llama.cpp рекомендуется параметр --jinja. Для генерации рекомендованы temperature 0.6, top_p 0.95, top_k 40 и max_new_tokens 30000. Ограничения включают значительные требования к вычислительным ресурсам из-за размера 32B и возможное небольшое ухудшение качества на коротких текстах при постоянном включении YaRN. Лицензия — MIT.

GPT-neo-Custom 7B — диалоговая языковая модель, дообученная Szymon-Wachelko на базе Qwen2.5-7B-Instruct методом QLoRA. Она предназначена для генерации ответов на польском и английском языках, рассуждений, программирования и решения математических и логических задач. Репозиторий распространяет веса в формате GGUF для локального запуска через Ollama, LM Studio и совместимые инструменты; поддерживается шаблон диалога ChatML. В метаданных указана лицензия Apache-2.0. Заявленные сильные стороны — естественная генерация на польском, помощь с кодом и структурированными техническими ответами. Это модель на 7 млрд параметров, поэтому качество рассуждений и решений может варьироваться; заявления о «полном мастерстве» и идентичности квантованных вариантов точностью FP16 приведены автором и не подкреплены в карточке оценками. Версии GGUF различаются размером и точностью, что влияет на требования к памяти и качество генерации.

Hercules-3.1-Mistral-7B — дообученная Locutusque языковая модель на основе Mistralai/Mistral-7B-v0.1. Это плотная авторегрессионная модель на 7,1 млрд параметров с контекстом до 32 768 токенов, предназначенная для диалогов и генерации текста, следования многошаговым инструкциям и работы с вызовами функций. Модель подходит для научных и технических чат-ботов, учебных помощников, а также генерации кода и сценариев, где инструменты вызываются через функции. В карточке заявлены знания по биологии, химии, физике, математике, медицине и информатике; обучающий набор Hercules-v3.0 объединяет данные из нескольких наборов инструкций и диалогов. README не уточняет поддерживаемые естественные языки; метаданные отмечают код. Модель распространяется по лицензии Apache-2.0. Возможны токсичные, предвзятые, фактически неверные или вводящие в заблуждение ответы, особенно в специализированных областях. Вызовы функций сами по себе не гарантируют безопасного выполнения действий: результаты модели следует проверять.

InternLM2-20B — плотная языковая модель второго поколения семейства InternLM, разработанная командой InternLM и представленная в репозитории internlm. Она предназначена для генерации и продолжения текста, а также может служить основой для адаптации под предметные области. В опубликованных оценках показаны способности к рассуждению, математике и программированию; карточка также описывает поддержку длинных контекстов. Модель содержит 19,3 млрд параметров, построена на архитектуре InternLM2ForCausalLM и распространяется в формате PyTorch. Метаданные указывают контекст до 32 768 токенов. В README заявлена поддержка до 200 000 символов для базовой модели InternLM2; это значение не следует приравнивать к числу токенов и оно может зависеть от конфигурации конкретного чекпойнта. Карточка приведена на китайском и английском языках, но точный перечень языков модели не указан. Модель подходит для продолжения текста и как языковая основа для задач общего назначения, включая рассуждения, математику и код. Это базовая версия, а не чат-версия InternLM2-Chat, поэтому оптимизация для диалога и следования инструкциям здесь не заявлена. Генерация может содержать ошибки, предвзятость или вредные ответы. Код лицензирован по Apache-2.0; веса открыты для академических исследований, а коммерческое использование требует получения бесплатного разрешения.

K2-Chat — диалоговая языковая модель на 65 млрд параметров, разработанная MBZUAI и LLM360. Это дообученная версия K2-65B на наборах Infinity-Instruct, JiuZhang3.0-Corpus-SFT и glaive-function-calling-v2-sharegpt; модель построена на архитектуре Llama и распространяется в формате PyTorch. Контекст составляет 8192 токена. Модель предназначена для диалогов, ответов на вопросы, задач по математике и программированию, а также вызова функций по заданным схемам. В README заявлены улучшения в безопасности и результаты бенчмарков, но они не гарантируют качество на конкретных задачах. Примеры использования ориентированы на английский язык; модель описана как отвечающая только на английском. Для вызова функций требуется соблюдать специальный формат промпта; совместная работа режимов обычного диалога и вызова функций отдельно не проверена. Лицензия — Apache-2.0.

Lizzy 7B — открытая по весам разговорная модель-помощник семейства Lizzy, разработанная Flower Labs. Это плотный авторегрессионный трансформер-декодер класса 7B с 6,9 млрд параметров, поддержкой контекста до 65 536 токенов, локальным и скользящим вниманием и собственными токенами для чата и управления. Модель принимает текстовые запросы и рассчитана на диалог, следование инструкциям, рассуждения, работу с кодом и вызов инструментов; её настройка уделяет особое внимание британскому английскому и знаниям о Великобритании. Модель предназначена для британских ассистентских сценариев, а также для общих задач рассуждения и помощи с кодом. В карточке приведены результаты сравнений на внутренних бенчмарках Flower Labs по британской тематике, математике и рассуждениям. Для много GPU-развёртывания через vLLM с тензорным параллелизмом может потребоваться патч, приложенный к поставке. Модель распространяется по лицензии Apache-2.0. Она может выдавать ошибочные, устаревшие или чрезмерно уверенные ответы; британская настройка может смещать тон и предположения к нормам Великобритании. Для рискованных сценариев рекомендуется проверка человеком и собственные меры модерации.

Llama-3.1-Minitron-4B-Depth-Base — базовая языковая модель NVIDIA для генерации текста. Она построена на архитектуре Llama 3.1 с авторегрессионным трансформером, механизмом Grouped-Query Attention и позиционными эмбеддингами RoPE; размер модели составляет 4 млрд параметров, а длина контекста — до 131 072 токенов. Модель принимает и выдаёт текст. Модель создана прореживанием слоёв Llama-3.1-8B, после чего её продолжили обучать с дистилляцией на 94 млрд токенов. Она предназначена для адаптации к задачам генерации естественного языка, включая продолжение текста, ответы на вопросы и генерацию кода. Обучающий корпус включал английские и многоязычные тексты, код, диалоги и документы из разных областей; основным языком карточки указан английский. Модель заявлена как готовая к коммерческому использованию. Метаданные указывают лицензию other, поэтому перед применением следует проверить условия NVIDIA. Возможные ограничения — токсичные ответы и усиление предвзятости из обучающих данных, а также неточные, неполные или избыточные ответы; данные предобучения имеют срез до июня 2023 года.

RedHatAI/Llama-3.2-3B-quantized.w8a8 — это квантованная текстовая языковая модель семейства Llama 3.2, размещённая Red Hat AI и основанная на модели Meta Llama 3.2. В репозитории указаны формат Safetensors, 8-битная точность и схема W8A8; отдельная карточка модели отсутствует, поэтому сведения о точной процедуре квантования и дополнительных оценках для этой конкретной версии не заявлены. Модель предназначена для генерации текста и кода, а также для адаптации под локальные и периферийные сценарии с ограниченными вычислительными ресурсами. Это авторегрессионная модель с оптимизированной Transformer-архитектурой, примерно 3,21 млрд параметров, текстовыми входами и выходами, поддержкой английского, немецкого, французского, итальянского, португальского, hindi, испанского и тайского языков. Для квантованных текстовых моделей Llama 3.2 заявлен контекст до 8 тысяч токенов. Ключевые преимущества — меньшие требования к памяти, размеру хранения и вычислениям по сравнению с полноточной версией; ограничение — возможная потеря качества из-за квантования, а также отсутствие опубликованной карточки и специфических результатов тестирования именно для данного репозитория. Базовая модель Llama 3.2 разработана Meta, а использование регулируется Llama 3.2 Community License — специальной коммерческой лицензией Meta с дополнительными требованиями Acceptable Use Policy.

Карточка модели satpalsr/Meta-Llama-3-8B на Hugging Face совпадает с карточкой meta-llama/Meta-Llama-3-8B, поэтому описание составлено по ней. Meta Llama 3 8B — авторегрессионная языковая модель Meta с оптимизированной архитектурой Transformer и Grouped-Query Attention. Эта версия принимает текст и генерирует текст, в том числе код. Семейство Llama 3 включает предварительно обученные и дообученные для инструкций модели; карточка этой модели описывает базовый предварительно обученный чекпойнт, пригодный для адаптации к различным задачам генерации текста. Модель предназначена для коммерческого и исследовательского применения на английском языке. Её можно использовать как основу для генерации текста и кода, а после адаптации — для диалоговых сценариев. Выпущена в апреле 2024 года и распространяется по пользовательской коммерческой лицензии Meta Llama 3. Карточка не приводит для этого репозитория конкретную длину контекста; сама модель статична и обучена на офлайн-данных. Для развёртывания приложений разработчикам следует самостоятельно подбирать меры безопасности под свой сценарий.

MiniCPM5-2B-Midtrain — промежуточная версия плотной причинно-языковой модели серии MiniCPM5, разработанной командой OpenBMB. Она построена на архитектуре LlamaForCausalLM и предназначена для локальных помощников, программирования, работы с инструментами и рассуждений на устройствах с ограниченными ресурсами. Модель содержит около 2,2 млрд параметров и поддерживает контекст до 131 072 токенов. Модель генерирует текст, поддерживает диалоговый режим и рассчитана на английский и китайский языки. В карточке серии заявлены сильные результаты для своего класса в программировании, математике, длинном контексте, использовании инструментов и агентных задачах; указанные сравнения относятся к MiniCPM5-2B в целом, а не обязательно к этой промежуточной версии. Весы доступны в формате safetensors, лицензия — Apache-2.0. Как промежуточный чекпойнт midtrain, модель может уступать завершённой версии по следованию инструкциям и качеству диалога. Её ответы могут быть неточными, предвзятыми или оскорбительными; модель не заменяет экспертную консультацию в чувствительных областях.

IntervitensInc/Mistral-Nemo-Base-2407-chatml — вариант базовой языковой модели Mistral Nemo с добавленными токенами ChatML для дообучения. Исходную модель Mistral Nemo 12B совместно разработали Mistral AI и NVIDIA. Это плотный трансформер MistralForCausalLM на 12,1 млрд параметров; в исходной карточке указано окно контекста 128 тыс. токенов. Метаданные этой копии сообщают native context в 1 024 000 токенов, однако README не подтверждает такое увеличение контекста. Модель предназначена для генерации текста и дальнейшей настройки под диалоговые сценарии. Она обучалась на многоязычных данных и данных программирования; заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Базовая модель не имеет механизмов модерации, поэтому ответы могут требовать дополнительной проверки и фильтрации. Файлы представлены в формате safetensors, лицензия — Apache 2.0.

AceReason-Nemotron-1.1-7B-GGUF — это GGUF-квантизированная версия языковой модели AceReason-Nemotron-1.1-7B, разработанной NVIDIA и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста, задач рассуждения, математики и программирования; в метаданных указаны supervised fine-tuning и reinforcement learning. Заявленный язык — английский. Модель содержит 7 миллиардов параметров и поставляется в нескольких вариантах точности, включая BF16, Q8_0, Q6_K, Q5_K, Q4_K и более компактные форматы. Квантизация выполнена с использованием imatrix и llama.cpp, поэтому модель рассчитана на локальный запуск через llama.cpp, LM Studio и совместимые проекты. Для работы используется формат запросов ChatML с ролями system, user и assistant. Размер контекста и точная архитектура в README не указаны. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и компромисс между качеством, требованиями к памяти и скоростью инференса; наиболее качественными в README названы варианты Q6_K_L, Q6_K, Q5_K и Q4_K_L, а Q4_K_M обозначен как типовой вариант для большинства сценариев. Более сильное сжатие уменьшает требования к памяти, но может снижать качество. Лицензия — NVIDIA Open Model License; исходная модель доступна как nvidia/AceReason-Nemotron-1.1-7B.

unsloth/Qwen2.5-7B — базовая предобученная языковая модель Qwen2.5, представленная в репозитории Unsloth и основанная на Qwen/Qwen2.5-7B. Это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и 7,1 млрд параметров; веса доступны в формате safetensors. Модель предназначена для генерации и продолжения текста, а также для дальнейшего дообучения под конкретные задачи. Модель поддерживает более 29 языков, включая китайский, английский, русский, французский, испанский, немецкий, японский и арабский. Контекст составляет 131 072 токена. Среди описанных возможностей семейства — генерация длинного текста, работа с кодом, математическими задачами, таблицами и структурированными ответами, включая JSON. Это базовая модель без инструкционной настройки, поэтому в карточке не рекомендуется использовать её напрямую для диалогов; для чат-сценариев её следует дообучить. Репозиторий распространяется по лицензии Apache-2.0.

thread13/Qwen3.5-4B-llamafile — сборка модели Qwen3.5-4B в формате llamafile, разработанная автором репозитория thread13 на основе Qwen/Qwen3.5-4B. Это мультимодальная чат-модель для диалога с текстом и изображениями; её можно запускать как консольный чат или веб-сервер. Llamafile объединяет модель и исполняемые компоненты в один файл на базе llama.cpp. В карточке рекомендуются параметры контекста 16 384 токена для задач рассуждения и программирования в режиме thinking. Модель предназначена для ответов на вопросы по изображениям, обычного диалога, рассуждений и помощи с кодом. Указанный в карточке формат — GGUF BF16; размер модели — 4 млрд параметров. В README не приведена лицензия этой сборки. Веб-сервер по умолчанию пытается слушать все доступные сетевые интерфейсы; для локального доступа README рекомендует явно задавать 127.0.0.1.

Qwen3.5-9B-sdpo-react-mathcodesearch-grpo-arm-e-step29 — это дообученная модель ipfipfipf на базе Qwen/Qwen3.5-9B. Она предназначена для диалоговой работы с математическими и программными задачами, а также для многошаговых сценариев поиска с вызовом инструментов в стиле ReAct. Модель обучалась методом GRPO с SDPO; опубликован шаг 29, выбранный авторами как лучший по их кривой обучения. Это текстовая языковая модель на 9 млрд параметров с архитектурой семейства Qwen3.5; репозиторий содержит веса Safetensors и рассчитан на Transformers. Хотя конфигурация сохраняет класс Qwen3_5ForConditionalGeneration, при экспорте удалена башня зрения базовой модели, поэтому изображения модель не принимает. README приводит результаты на математических и кодовых тестах, однако ограничивает их сравнительную интерпретацию: для AMO-Bench часть ответов обрезалась из-за лимита генерации в 16 384 токена, а качество может снижаться при продолжении обучения после шага 29. Лицензия — Apache-2.0.

Jonandrop/Qwen3.6-27B-MTPLX-Optimized-Speed-Vision — мультимодальная модель семейства Qwen, собранная разработчиком Jonandrop на основе Qwen/Qwen3.6-27B и ускоренной версии Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed. Она предназначена для диалогов, программирования и анализа изображений; README также заявляет обработку видео, но описанный интерфейс подтверждает только текстовый и графический ввод. Модель использует архитектуру Qwen3_5ForConditionalGeneration и рассчитана на запуск через MLX и MTPLX на Apple Silicon с многотокенным предсказанием для ускорения генерации. Текстовая часть и MTP-компоненты квантизованы, а восстановленная башня зрения хранится в BF16. В описанном сценарии модель принимает текст и изображения и генерирует текстовые ответы, включая код. README приводит замеры скорости на Apple M5 Pro, но уточняет, что это ориентировочные результаты на небольшом наборе запросов. Репозиторий распространяется по лицензии Apache-2.0. Для запуска описан совместимый с OpenAI API сервер MTPLX.

Карточка модели spinochenza/Qwen3.6-35B-A3B-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/Qwen3.6-35B-A3B-uncensored-heretic, поэтому описание составлено по ней. llmfan46/Qwen3.6-35B-A3B-uncensored-heretic — мультимодальная чат-модель независимого автора, созданная на основе Qwen/Qwen3.6-35B-A3B. Это вариант с ослабленным отказом на запросы: в карточке приведено сравнение, где доля отказов составляет 10 из 100 против 83 из 100 у исходной модели. Модель предназначена для диалога, анализа изображений и сценариев агентного программирования с вызовом инструментов. Архитектура Qwen3.5 MoE содержит 35 млрд параметров, из которых активируется около 3 млрд; README также описывает языковую модель с визуальным энкодером и 262 144 токена нативного контекста, расширяемого до 1 010 000. Указаны возможности сохранения рассуждений в истории диалога и результаты тестирования MMLU, но эти сведения не гарантируют качество на конкретных задачах. Модель принимает текст и изображения и выдаёт текст. Файлы представлены в формате safetensors, библиотека для работы — Transformers. Лицензия Apache-2.0. Поскольку модель специально снижает число отказов, она может отвечать на запросы, которые исходная модель отклоняет; ответы следует проверять, особенно в чувствительных сценариях.