II.3Рефакторинг, миграция и модернизация

QuantFactory/Phi-3-mini-128k-instruct-GGUF — это квантизированная версия языковой модели microsoft/Phi-3-mini-128k-instruct, разработанной Microsoft. Модель содержит 3,8 млрд параметров, поддерживает контекст до 128 тысяч токенов и предназначена для генерации текста в формате инструкций. Она обучалась на синтетических и отфильтрованных общедоступных данных с акцентом на качество и рассуждения, а после базового обучения прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и соблюдения требований безопасности. Модель ориентирована на англоязычные коммерческие и исследовательские сценарии, включая работу в условиях ограниченных ресурсов и требований к задержке, а также задачи, связанные с рассуждениями, программированием, математикой, логикой и обработкой длинного контекста. К сильным сторонам относятся компактный размер, высокая производительность среди моделей с менее чем 13 млрд параметров и большой контекст. Ограничения включают поддержку английского языка в заявленных сценариях, возможные ошибки и необходимость отдельно проверять точность, безопасность, справедливость и соответствие требованиям законодательства, особенно в чувствительных и высокорисковых применениях. Модель распространяется по лицензии MIT.

Qwen/Qwen1.5-32B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это бета-версия Qwen2: плотная авторегрессионная языковая модель на архитектуре Transformer, предназначенная для диалогов и генерации текста. В этой версии 31,7 млрд параметров; контекст — до 32 768 токенов. Модель обучена на больших массивах данных и адаптирована для общения. Семейство поддерживает несколько естественных языков, а токенизатор рассчитан на работу с разными языками и кодом; в карточке модели отдельно отмечен английский. Для варианта 32B применяются Group Query Attention, а также SwiGLU и смещение в проекциях QKV. Модель работает через Transformers и формат safetensors; для загрузки README рекомендует transformers версии 4.37.0 или новее. Модель подходит для чат-ботов, ответов на вопросы и свободной генерации текста. При переключении между языками или нестабильном качестве генерации README советует использовать параметры из generation_config.json. Лицензия в метаданных указана как other, поэтому конкретные условия использования следует сверить с файлами репозитория.

Qwen1.5-32B-Chat-GPTQ-Int4 — чат-модель из серии Qwen, разработанная командой Qwen. Это decoder-only языковая модель на архитектуре Transformer, дообученная с применением supervised fine-tuning и direct preference optimization для диалогового взаимодействия и генерации текста. Она предназначена для создания виртуальных ассистентов, ответов на вопросы, ведения диалогов и других сценариев text-generation. Модель содержит 32 млрд параметров и предоставляется в формате GPTQ с 4-битным квантованием, что снижает требования к памяти по сравнению с полноразмерной версией. Для неё заявлена поддержка контекста до 32K токенов, мультиязычность и работа с естественными языками и кодом; в метаданных README явно указан английский язык. Архитектура включает SwiGLU, bias в QKV и group query attention для версии 32B. Модель поддерживает стандартный интерфейс Transformers без необходимости использовать trust_remote_code. К сильным сторонам относятся чатовая настройка, улучшенная работа с предпочтениями пользователей, большой контекст и более экономичное размещение благодаря Int4-квантованию. Ограничения включают beta-статус семейства, возможные проблемы при переключении между языками и необходимость подбора рекомендованных параметров генерации. README временно не рекомендует развёртывание этой версии через vLLM и советует использовать AWQ-модель. Для загрузки рекомендуется transformers версии 4.37.0 или новее. Лицензия указана как tongyi-qianwen; применяются условия лицензии, опубликованной разработчиками.

QuantTrio/Qwen3.5-9B-AWQ — квантованная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen. Репозиторий содержит веса в формате, совместимом с Transformers и сервером инференса vLLM; квантование выполнено методом, не использующим обучающие данные. README не уточняет состав команды, выполнившей квантование. Модель предназначена для генерации и понимания текста и изображений, рассуждений, программирования, агентских сценариев и вызова инструментов. Это каузальная языковая модель с vision-энкодером, поддерживающая 201 язык и диалект. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; модель содержит около 9 млрд параметров, 32 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Размер файлов модели составляет около 12 ГиБ. Ключевое преимущество — сочетание мультимодальности, длинного контекста и сниженных требований к памяти благодаря формату AWQ, что делает модель подходящей для локального и серверного инференса. Ограничения включают зависимость от актуальных версий vLLM и Transformers, необходимость CUDA 12.8 и возможные проблемы совместимости или настройки среды; количественные результаты бенчмарков в предоставленных данных отсутствуют. Модель распространяется по лицензии Apache-2.0.

Mungert/Qwen3.5-9B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-9B, опубликованная Mungert и основанная на Qwen/Qwen3.5-9B-Base. Модель предназначена для генерации и понимания текста и изображений, включая рассуждения, программирование, работу с агентами и визуальное понимание. Она совместима с llama.cpp и экосистемой инструментов, поддерживающих формат GGUF. Модель содержит около 9 млрд параметров и объединяет языковую модель с vision encoder. Архитектура сочетает Gated Delta Networks, разреженную Mixture-of-Experts и Gated Attention; языковая часть включает 32 слоя, скрытую размерность 4096 и промежуточную размерность feed-forward-блоков 12288. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Особенность этой сборки — модифицированная квантизация GGUF: для отдельных важных слоёв вручную повышается точность сверх стандартной конфигурации IMatrix. Это увеличивает размер файла, но, по заявлению автора, может улучшать точность при низкой разрядности, особенно для моделей с MoE. Конкретные результаты тестирования данной сборки и доступные варианты квантизации в README не приведены. Модель распространяется по лицензии Apache-2.0.

barrydeen/Qwen3.8-27B-AWQ-4bit — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем barrydeen. Модель предназначена для генерации текста и обработки изображений с текстом, включая диалоговые сценарии, работу с кодом, арифметикой, инструментами и рассуждениями. Модель имеет гибридную архитектуру Qwen3_5ForConditionalGeneration с 27 млрд параметров. Из 64 декодерных слоёв 16 используют полноценное внимание, а 48 — Gated DeltaNet. Линейные слои квантизированы методом AWQ в формате W4A16 с асимметричной схемой и размером группы 128; чувствительные компоненты, включая vision tower, Gated DeltaNet и MTP head, сохранены в BF16. Размер модели составляет около 27,8 ГБ вместо 55,6 ГБ в BF16. Заявлена поддержка контекста до 131 072 токенов при использовании vLLM, а также MTP-спекулятивного декодирования. Сильные стороны модели — существенное снижение требований к памяти при сохранении чувствительных компонентов в исходной точности, поддержка мультимодальности, инструментальных вызовов и высокая измеренная скорость генерации 85–95 токенов в секунду на двух RTX 3090. Ограничения включают отсутствие формального набора бенчмарков, калибровку только на текстовых данных и последовательностях длиной до 1024 токенов, поэтому качество на более длинных контекстах и мультимодальных данных отдельно не подтверждено. Для MTP требуется тензорный, а не конвейерный параллелизм. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwen3.8-Flash-Next-MLX-Serve-iQ-MLX-3.3bpw — это квантованный пакет модели Qwen3.8-Flash-Next, разработанной Qwen и адаптированной пользователем ddalcu для запуска через mlx-serve на компьютерах Mac с 64 ГБ памяти. Модель предназначена для генерации текста, работы с агентами, кодом, прозой и математическими задачами, а также поддерживает обработку изображений и видео благодаря встроенной vision tower. Доступен формат вызова инструментов Qwen3.8 с XML-синтаксисом; режим рассуждений включён по умолчанию и может быть отключён. Пакет использует экспериментальную архитектуру Qwen4 с MoE, gated residual streams, n-gram embedding и Qwen Sparse Attention. Полный исходный чекпойнт включает около 180 млрд параметров: 125 млрд параметров основного ствола, 51 млрд параметров n-gram-таблицы и 4 млрд параметров MTP-головы. В данном варианте веса квантованы примерно до 3,3 бит на параметр с imatrix-калибровкой. Заявлена нативная длина контекста до 262 тысяч токенов, а для 64-ГБ Mac рекомендован размер контекста 65 536 токенов. Пакет занимает около 52 ГБ оперативной памяти; измеренная скорость на M4 Max составляет примерно 52,6 токена в секунду при декодировании и 762 токена в секунду при предварительной обработке. Главное преимущество — возможность разместить крупную мультимодальную MoE-модель на Mac с 64 ГБ памяти при сохранении около 99% вероятностной массы более тяжёлого варианта mixed-4-8bit. Ограничения связаны с потерями качества из-за агрессивной квантизации, требованиями к памяти и специфической инфраструктурой MLX. N-gram-таблица объёмом 32 ГБ подгружается через отображение файла и при холодном кэше может замедлять обработку длинного первого запроса. Для использования требуется mlx-serve и macOS с настройкой лимита GPU-памяти. Лицензия указана как qwen-community-1.0.

Sinythos 5.5 — это готовый к запуску вариант Qwen3-30B-A3B-Thinking-2507, подготовленный HTPQoo и распространяемый в формате GGUF для LM Studio, Jan, Atomic Chat и llama.cpp. Это модель MoE с 30 млрд параметров, из которых активны 3,3 млрд на токен; README сообщает, что все 579 тензоров побайтно совпадают с квантованной сборкой UD-Q4_K_XL базовой модели. Изменены встроенный шаблон чата и системная директива с шестью правилами поведения, поэтому модель не является обученной с нуля или дообученной версией. Модель предназначена для диалогов и генерации текста, включая рассуждения, помощь с программированием и агентские сценарии с внешними инструментами, выполнением кода и повторной проверкой ответа. Встроенная директива ориентирует ответы на язык пользователя; в метаданных отмечены итальянский, английский и многоязычность. Для применения в llama.cpp требуется включить обработку шаблона через `--jinja`; без неё пользовательские инструкции из шаблона не применяются. README указывает файл размером 17,7 ГБ и возможность запуска на CPU при достаточном объёме RAM. Веса распространяются по лицензии Apache 2.0, унаследованной от Qwen; для кода runtime указана MIT. Для полной реализации агентского сценария требуются runtime и инструменты, которые предоставляет приложение, а не только файл модели.

Yi-1.5-6B-Chat — диалоговая языковая модель от 01.AI, основанная на архитектуре Llama и содержащая 5,8 млрд параметров. Модель предназначена для генерации ответов в чате, следования инструкциям, понимания текста, рассуждений, решения математических задач и помощи с программированием. Семейство Yi-1.5 прошло дополнительное предварительное обучение на 500 млрд токенов и тонкую настройку на 3 млн примеров; карточка конкретной модели подтверждает контекст 4096 токенов. Модель работает с текстом и выдаёт текст. README отмечает улучшения в программировании, математике, рассуждениях и следовании инструкциям, а также способности к пониманию языка, здравому смыслу и чтению. Лицензия — Apache 2.0. README не приводит отдельные оценки качества именно версии 6B; результаты больших вариантов семейства нельзя напрямую переносить на неё.

airoboros-c34b-2.2.1 — экспериментальная языковая модель jondurbin, дообученная на синтетических инструкционных данных набора airoboros-2.2.1. Это плотная авторегрессионная модель семейства Llama на 33,5 млрд параметров с контекстом до 16 384 токенов; опубликована в формате PyTorch под лицензией Llama 2. Модель предназначена для выполнения инструкций, ответов на вопросы с опорой на предоставленный контекст, суммаризации, написания текстов и кода. В README также описаны генерация структурированных аргументов для вызова функций и составление планов выполнения задач, однако для вызова инструментов требуется отдельная система, которая обработает такой план. Для диалога используется шаблон с метками USER и ASSISTANT. В сравнении с airoboros-c34b-2.2 в этой версии обновлены примеры письма, добавлены более длинные блоки контекста, удалены данные ролевых игр и снижена интенсивность снятия цензуры; обучение проводилось в пять эпох. README характеризует модель как универсальную, но ориентированную прежде всего на следование инструкциям, а не на непринуждённый чат. Автор предупреждает, что без настроенных критериев остановки модель может продолжить ответ от имени пользователя; для вопросов по контексту советует явно просить не придумывать ответ при нехватке сведений.

airoboros-l2-13b-2.2 — экспериментальная текстовая модель jondurbin, основанная на архитектуре Llama и дообученная на версии 2.2 набора airoboros, состоящей преимущественно из синтетических данных. Модель содержит около 12,9 млрд параметров, принимает текст и рассчитана на контекст до 4096 токенов. Для диалога используется формат с отдельными строками system, USER и ASSISTANT; в большинстве примеров применялся системный промпт «A chat.». Модель ориентирована прежде всего на выполнение инструкций, а не на непринуждённый чат или ролевую игру. Она подходит для ответов на вопросы по предоставленному контексту, генерации текста и кода, задач с вариантами ответа, структурированного вывода в JSON или YAML и составления планов выполнения задач с инструментами. Вариант «clean» не включает данные для снятия выравнивания; при этом автор отмечает, что поведение можно переопределять системным промптом. Для остановки генерации рекомендуется настроить критерии завершения на маркер USER:. Модель распространяется по лицензии Llama 2.

Bonsai-27B-gguf — компактная 1-битная версия языковой модели класса 27B, разработанная Prism ML на базе Qwen3.6-27B. Модель предназначена для генерации текста, диалогов, рассуждений, решения математических задач, программирования и агентских сценариев с локальным запуском через llama.cpp на CPU, CUDA или Metal. Также предусмотрена мультимодальная обработка изображений через отдельную vision tower, однако основной режим — текстовый. Модель использует гибридную архитектуру с примерно 75% linear attention и 25% full attention, SwiGLU, RoPE и RMSNorm. Она содержит около 27,3 млрд бинарных языковых весов и vision tower примерно на 0,46 млрд параметров. Контекстное окно составляет до 262 тысяч токенов; KV-кэш квантизован до 4 бит. Формат GGUF Q1_0_g128 использует веса со значениями −1 и +1 и групповым масштабированием FP16, обеспечивая эффективные 1,125 бита на вес и размер около 3,9 ГБ вместо примерно 54 ГБ у FP16. В комплект входит слой DSpark для speculative decoding, заявлено ускорение декодирования до 1,37 раза на CUDA. Сильные стороны модели — очень малый размер, возможность запуска 27B-класса на обычных ноутбуках и одиночных GPU, сохранение рассуждений и агентского поведения при экстремальном сжатии, а также длинный контекст. Ограничения связаны с агрессивной 1-битной квантизацией: заявленное качество составляет около 90% от FP16, а результаты зависят от аппаратной платформы и поддержки специализированных ядер. Для обработки изображений требуется дополнительный пакет mmproj объёмом около 0,63 ГБ. Модель распространяется по лицензии Apache 2.0.

casperhansen/deepseek-r1-distill-qwen-7b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Qwen-7B, опубликованная пользователем casperhansen. Исходную модель разработала DeepSeek; она создана на базе Qwen2.5-7B и дообучена на синтетических данных, сгенерированных DeepSeek-R1, для усиления способностей к рассуждению. Модель предназначена для текстовой генерации, диалогов и задач, требующих пошагового рассуждения, включая математику, программирование и ответы на вопросы. Это decoder-only модель архитектуры Qwen2ForCausalLM примерно с 7 млрд параметров, 28 слоями, 28 attention heads и контекстом до 131072 токенов. Она работает только с текстом; сведения о гарантированном наборе поддерживаемых языков в карточке этой версии не указаны. Ключевое преимущество версии casperhansen — снижение требований к памяти благодаря 4-битной AWQ-квантизации с group size 128 и размеру файлов около 5,58 ГБ, что упрощает локальный запуск. Ограничения включают возможную потерю качества из-за квантизации, зависимость результатов от используемого inference-движка и промпта, а также отсутствие в карточке подробных бенчмарков, описания безопасности и заявленных гарантий качества для разных языков. Репозиторий распространяется по лицензии MIT; для производных моделей также следует учитывать условия лицензии исходной модели Qwen.

Dolphin 2.9 Llama 3 8B — чат-модель, созданная Eric Hartford, Lucas Atkins, Fernando Fernandes и Cognitive Computations на основе Meta Llama 3 8B. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров; она дообучена на всех параметрах в формате ChatML. Контекст базовой модели составляет 8192 токена, а дообучение проводилось с длиной последовательности 4096 токенов. Модель предназначена для диалогов и выполнения инструкций, включая генерацию кода, математические задачи, начальные агентные сценарии и вызов функций. В обучении использовались наборы данных для общения, инструкций, кода и задач; основным языком модели является английский. Она ориентирована на высокую готовность выполнять запросы, поэтому перед предоставлением пользователям разработчики рекомендуют добавить собственный слой выравнивания и безопасности. README указывает, что в обучающих данных есть дефект, из-за которого модель может чрезмерно упоминать системное сообщение; авторы советуют явно запретить это в системной инструкции. Модель распространяется по лицензии Meta Llama 3 Community License Agreement; разрешено коммерческое использование при соблюдении условий этой лицензии. В репозитории указаны веса Safetensors.

MoonRide/gemma-4-26B-A4B-it-heretic-ara-GGUF — GGUF-сборка инструкционной мультимодальной модели Gemma 4 26B A4B, разработанной Google DeepMind и модифицированной MoonRide. Это версия с уменьшенным количеством отказов, полученная из google/gemma-4-26B-A4B-it методом Heretic v1.2.0 с использованием Arbitrary-Rank Ablation (ARA) и сохранением row-norm. Модель предназначена для генерации текста, рассуждений, программирования, работы с агентными сценариями и анализа изображений при локальном запуске через совместимые движки, включая llama.cpp. Модель относится к архитектуре Mixture-of-Experts с 26B общих параметров и 4B эффективных активных параметров; для семейства Gemma 4 заявлена поддержка контекста до 256K токенов, более 140 языков, текстового и графического ввода с генерацией текста. Семейство использует гибридное внимание со скользящим локальным окном и глобальными слоями, что помогает обрабатывать длинный контекст при сниженных затратах памяти. Доступны различные GGUF-квантизации, включая рекомендуемые Q3_K_M размером около 13,3 ГБ и IQ3_M_L размером около 12,6 ГБ. Главная особенность этой версии — существенно сниженная склонность к отказам: в приведённом тесте она отказала в 12 из 100 случаев против 100 из 100 у исходной модели; при этом KL divergence относительно оригинала составляет 0,0513. Такое изменение может быть полезно для исследовательских и экспериментальных сценариев, но одновременно означает более слабые встроенные ограничения безопасности. Для загрузки README рекомендует llama.cpp b8751 или новее. Лицензия указана как Apache 2.0; условия лицензии Gemma 4 могут содержать дополнительные положения.

p-e-w опубликовал вариант Gemma 4 E2B Instruct с изменённым ограничением на генерацию: в карточке модель помечена как uncensored, decensored и abliterated. Это компактная плотная модель семейства Gemma 4 для условной генерации; её исходная архитектура использует сочетание локального скользящего и глобального внимания. В репозитории указаны веса safetensors и лицензия Apache-2.0. Модель предназначена для диалогов и генерации текста, рассуждений, помощи с кодом и мультимодального понимания. Gemma 4 E2B поддерживает обработку текста, изображений и аудио, включая распознавание речи и перевод речи в текст; семейство также заявляет анализ видео, вызов инструментов и контекст до 128 тысяч токенов для E2B. В карточке этой конкретной версии приведены теги any-to-any и image-text-to-text, но отдельные характеристики обучения и проверки именно варианта heretic-ara не описаны. Семейство Gemma 4 заявляет поддержку более 35 языков, однако конкретный перечень языков для этой сборки не приведён. Возможны фактические ошибки, предвзятость и трудности с неоднозначными либо сложными запросами; пометка uncensored указывает на ослабление ограничений, поэтому ответы могут включать нежелательный или вредный контент. Лицензия репозитория — Apache-2.0.

GLM-4.7-Flash-Razor-17B-A3B-E32of64 — текстовая диалоговая MoE-модель на архитектуре GLM-4-MoE-Lite, полученная из GLM-4.7-Flash удалением методом RAZOR половины маршрутизируемых экспертов в каждом MoE-слое. В модели сохранено 32 из 64 экспертов; обучающие обновления и восстановительное дообучение не применялись. Репозиторий указывает 17 млрд параметров, а метаданные Hugging Face — 4,1 млрд; фактический размер параметров поэтому расходится между источниками. Активно около 3 млрд параметров на токен. Модель предназначена для диалоговой генерации текста и сценариев, унаследованных от GLM-4.7-Flash, включая рассуждения и программирование. Она принимает текст и выдаёт текст, поддерживает контекст до 202 752 токенов и распространяется в формате safetensors с весами bfloat16; для запуска нужна версия Transformers с реализацией glm4_moe_lite. Экспертное прореживание примерно вдвое сокращает объём хранения экспертов, при этом вычисления на токен остаются практически неизменными. Изменения генерации возможны: могут отличаться разнообразие, форматирование и поведение при завершении ответа, даже если точность задач в целом сохраняется. Модель выпущена под лицензией MIT.

Nemotron 3 Nano 30B-A3B GGUF — квантованный вариант NVIDIA Nemotron 3 Nano 30B-A3B, подготовленный BatiAI для локального запуска на компьютерах Mac. Это гибридная языковая модель NemotronH с архитектурой Mamba и attention и смесью экспертов: в README указаны 30 млрд параметров, 128 экспертов и 8 активных на токен. Для выполнения используется llama.cpp; доступны варианты IQ3_XXS, IQ4_XS и Q5_K_M с разными требованиями к памяти. Модель предназначена для диалогов, рассуждений, программирования и агентных сценариев, включая работу с инструментами и структурированными ответами. README описывает её как рассчитанную на длинный контекст с линейным масштабированием гибридной архитектуры и приводит тесты на Mac с Apple Silicon. В метаданных указана поддержка английского, корейского, японского и китайского языков; сведения базовой модели каталога также упоминают шесть языков. Репозиторий содержит квантованные GGUF-веса, хотя метаданные форматов обозначают их как «GGUF BF16». Лицензия — NVIDIA Open Model License, названная в README коммерчески ориентированной; перед использованием следует проверить её условия для конкретного применения. Производительность и качество зависят от выбранной квантизации и доступной памяти.

NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 — квантизированная FP8-версия большой языковой модели NVIDIA Nemotron-Nano-3-30B-A3B, разработанная NVIDIA Corporation с нуля. Модель предназначена для генерации текста, диалогов, решения задач с рассуждением, следования инструкциям, работы с кодом и математикой, а также сценариев tool-calling. В карточке также заявлены задачи text-to-text, image-to-text и reasoning, однако подробности о мультимодальных возможностях не приведены. Модель использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE, а также 6 attention-слоёв. Всего модель содержит около 30 млрд параметров, из которых 3,5 млрд активируются для каждого токена. Каждый MoE-слой включает 128 экспертов и одного общего эксперта, при этом для токена активируются 6 экспертов. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский языки; также указано улучшение с использованием Qwen. Размер контекста в предоставленных данных не указан. Модель объединяет режимы с рассуждением и без него. По умолчанию она может сначала формировать reasoning trace, а затем итоговый ответ; рассуждение можно отключить через настройку chat template, что немного снижает точность на сложных запросах. К сильным сторонам относятся сочетание высокой общей ёмкости с меньшим числом активных параметров, поддержка нескольких языков и специализированных сценариев, включая reasoning и tool-calling. Ограничениями являются необходимость совместимого инференсного стека и отсутствие в карточке подробных результатов бенчмарков, сведений о контекстном окне и детального описания заявленной image-to-text функциональности. Модель распространяется по NVIDIA Open Model License. Она валидирована в RHOAI 3.0, RHAIIS 3.2.5 и vLLM 0.11.2.

OpenHermes-4.6-Dolphin-Mistral — объединённая языковая модель, созданная методом SLERP с помощью mergekit на основе cognitivecomputations/dolphin-2.1-mistral-7b и teknium/OpenHermes-2.5-Mistral-7B. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров; она предназначена для диалогового взаимодействия и генерации текста. Поддерживает контекст до 32 768 токенов и распространяется в формате Safetensors для использования с Transformers. Лицензия в предоставленных данных не указана.

Phi-3-Small-8K-Instruct — компактная языковая модель Microsoft из семейства Phi-3 с плотной архитектурой и примерно 8,2 млрд параметров. Она дообучена с помощью supervised fine-tuning и direct preference optimization для следования инструкциям и диалогового взаимодействия; доступна в формате safetensors и распространяется по лицензии MIT. Модель предназначена для генерации текста в чат-системах и приложениях общего назначения, особенно в условиях ограниченных вычислительных ресурсов или требований к низкой задержке. В карточке отмечены сильные стороны в рассуждениях, математике, логике и коде. Контекст составляет до 8192 токенов; основное внимание при обучении уделено английскому языку, хотя модель помечена как многоязычная. Как и другие языковые модели, она может выдавать неверную или устаревшую информацию, предвзятые либо оскорбительные ответы. Для языков помимо английского качество может быть ниже; сгенерированный код и ответы для чувствительных областей требуют проверки. Карточка не рекомендует использовать модель в высокорисковых сценариях без дополнительных оценок и мер защиты.

unsloth/Phi-4-mini-instruct-unsloth-bnb-4bit — это квантованная 4-битная версия Phi-4-mini-instruct, разработанной Microsoft, с исправлениями и оптимизациями от Unsloth. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, решения математических задач, программирования и других задач обработки естественного языка. В README заявлена поддержка мультиязычных сценариев и контекста до 128K токенов. Модель построена на данных, включающих синтетические примеры и отфильтрованные общедоступные веб-источники, с акцентом на качественные данные для рассуждений. Для Phi-4-mini-instruct указано применение supervised fine-tuning и direct preference optimization, направленных на точное следование инструкциям и повышение безопасности. Версия Unsloth исправляет обработку padding и EOS-токенов, шаблон чата и unk_token, а также использует селективное динамическое 4-битное квантование, призванное лучше сохранять точность по сравнению со стандартным 4-битным форматом. К сильным сторонам относятся небольшой размер относительно более крупных моделей семейства Phi-4, длинный контекст, поддержка диалогов, кода и математики, а также сниженные требования к памяти благодаря квантованию. Ограничения включают возможную потерю качества из-за 4-битного представления, отсутствие в предоставленных данных точных сведений о размере модели и перечне поддерживаемых языков, а также текстовую, а не мультимодальную специализацию. В карточке указана лицензия MIT, унаследованная от microsoft/Phi-4-mini-instruct.

RedHatAI/phi-4-quantized.w8a8 — квантизированная версия языковой модели phi-4, разработанной Microsoft. Модель подготовлена Red Hat совместно с Neural Magic и предназначена для генерации текста, диалоговых приложений, задач рассуждений, логики, математики и программирования, преимущественно на английском языке. Она принимает текст и генерирует текст, а архитектура указана как Phi3ForCausalLM. Модель использует INT8-квантизацию весов и активаций. Квантизация линейных операторов в трансформерных блоках примерно вдвое снижает требования к памяти GPU и размер модели на диске, а также может увеличить пропускную способность матричных вычислений примерно в два раза. Для весов применяется симметричная статическая поканальная схема, для активаций — симметричная динамическая потокенная схема; используются методы SmoothQuant и GPTQ через библиотеку llm-compressor. В README приведён пример развёртывания с vLLM и максимальной длиной контекста 32768 токенов в конфигурации сервера. Модель подходит для сред с ограниченными ресурсами и сценариев, чувствительных к задержке, а также как компонент генеративных AI-систем. Ограничения включают преимущественную ориентацию на английский язык, возможные типичные ошибки языковых моделей и отсутствие оценки для всех прикладных сценариев. Перед использованием в критически важных или высокорисковых задачах необходимо отдельно проверять точность, безопасность и справедливость результатов. Модель распространяется по лицензии MIT и валидирована для RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5.

ZeroXClem-Qwen3-4B-Hermes-Axion-Pro — плотная языковая модель на базе Qwen3, созданная ZeroXClem Team слиянием нескольких моделей методом Model Stock через MergeKit. В состав слияния входят bunnycore/Qwen3-4B-Pro, ertghiu256/Qwen3-4b-tcomanr-merge-v2.2, ertghiu256/Qwen3-4B-Thinking-2507-Hermes-3 и Qwen/Qwen3-4B-Thinking-2507. Модель содержит 3,7 млрд параметров, использует архитектуру Qwen3ForCausalLM и формат safetensors; заявленная длина контекста — 262 144 токена. Модель предназначена для диалогового взаимодействия, многошагового рассуждения, решения задач, творческого письма и ролевых сценариев, а также генерации и отладки кода. Карточка заявляет поддержку режима thinking и настройку поведения с учётом безопасности; для LM Studio рекомендуется стандартный шаблон Jinja. Основной язык в метаданных — английский. Модель доступна по лицензии Apache 2.0 с учётом лицензий исходных моделей.

P4tchFake/Qwen3.5-9B-Gemini-3.1-Pro-Reasoning-Distill — текстовая генеративная модель, дообученная на базе Qwen3.5-9B с использованием supervised fine-tuning, LoRA и дистилляции рассуждений из Gemini 3.1, Gemini 3.0 Pro и Qwen3.5-27B. Модель ориентирована на структурированное аналитическое поведение и более организованный Chain-of-Thought. В README указаны английский, китайский и корейский языки; архитектура описана как Dense, размер базовой модели — 9B параметров, однако размер контекста не указан. Модель предназначена для сложных многошаговых задач, требующих декомпозиции, планирования, абстрагирования, отслеживания ограничений и анализа компромиссов. Заявлены широкие области применения, включая математику и логику, программирование и системный анализ, безопасность и adversarial reasoning, физику, инженерию, право, философию, медицину, финансы, химию и прикладные социальные системы. Среди сильных сторон отмечаются структурированное рассуждение, более плотные и последовательные аналитические ответы, междисциплинарный охват и компактный размер. Из-за дистилляции и специализированного дообучения поведение модели может отличаться от исходной Qwen3.5-9B: возможны изменения в обобщающей способности и частичное забывание отдельных сведений предварительного обучения. Поэтому модель рекомендуется оценивать на собственных задачах перед применением в продуктивных сценариях. Лицензия — Apache-2.0.

Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-Llama — модель от oktayd, распространяемая в формате GGUF для запуска через llama.cpp. Это локальный мультимодальный conversational-модельный вариант с поддержкой работы с текстом и изображениями, включая скриншоты, документы, диаграммы и сцены. Модель ориентирована на ответы на вопросы, объяснение научных и рабочих тем, программирование и отладку, работу с инструментами и агентскими сценариями, анализ визуальных данных, написание текстов, ролевое общение и настройку стиля диалога. Модель относится к семейству Qwen3.6-35B-A3B и использует архитектуру Mixture of Experts с примерно 35 млрд параметров всего и около 3 млрд активных параметров на токен; конфигурация выбирает 8 из 256 маршрутизируемых экспертов. Заявленный нативный контекст составляет 262 144 токена, однако для рекомендуемого запуска указан профиль на 131 072 токена. Доступны квантованные GGUF-варианты разных размеров, а исходная BF16-версия сохраняет vision- и MTP-тензоры. Поддержка языков подробно не указана, но в обучающих материалах присутствуют многоязычные подписи. Сильные стороны модели — сочетание текстовых, программных, инструментальных и визуальных сценариев, относительно экономичная по вычислениям MoE-архитектура и возможность локального запуска. При этом общий объём параметров требует значительных ресурсов хранения и памяти даже при активации только части экспертов. Модель может ошибаться или повторяться, её ответы требуют проверки, а заявленные возможности не являются гарантией высокой точности. В README также указана аблитерированная, uncensored-направленность и наличие материалов для взрослой тематики, поэтому модель подходит не для всех аудиторий. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-FP8-MTP — мультимодальная модель на базе JonathanColetti/Qwen3.8-27B-Uncensored, опубликованная пользователем pramoths. Репозиторий содержит FP8-квантизацию и сохраняет vision tower и рабочую MTP-голову для speculative decoding. Модель относится к семейству Qwen3.8 и поддерживает текстовые и визуальные задачи; заявленные языки — английский, китайский и тайский. Модель предназначена для генерации текста и кода, извлечения информации, анализа изображений и таблиц, а также ускоренного инференса через vLLM и MTP. Размер исходной модели — 27B параметров, веса занимают около 30 ГБ. Контекст поддерживается до 262 144 токенов. Основные матричные операции квантизированы в FP8 с блоками 128×128 и форматом E4M3, тогда как нормализации, рекуррентные компоненты, vision tower, lm_head, embed_tokens и некоторые части MTP сохранены в BF16. По приведённым измерениям, модель близка к официальной Qwen3.8-27B-FP8 по точности на задачах извлечения, программирования и анализа изображений; скорость достигает 132 токенов в секунду при одном запросе и 1 373 токенов в секунду при конкуренции 16. Уровень принятия спекулятивных токенов MTP составляет около 52%. Модель изменена в сторону отсутствия стандартных отказов, поэтому её поведение отличается от официальной версии. Для эффективной работы необходимы GPU с поддержкой FP8 tensor cores, например Ada Lovelace, Hopper или Blackwell; на Ampere совместимость FP8-пути не проверена, а видеокарты с 24 ГБ памяти недостаточны для запуска на одной карте. Для длинного контекста на 47–48 ГБ VRAM требуется FP8 KV-кэш. Указана лицензия Apache-2.0.

Ring-mini-2.0 — диалоговая языковая модель InclusionAI на архитектуре Mixture of Experts (MoE), основанная на Ling 2.0. Модель дообучена с применением SFT, обучения с проверкой результатов (RLVR) и RLHF; метаданные указывают 1,2 млрд параметров, тогда как README сообщает 16,8 млрд общих и 1,4 млрд активируемых параметров. В метаданных заявлена длина контекста 32 768 токенов, а README — поддержка до 128 тысяч токенов с YaRN. Модель предназначена для генерации текста и диалогов, включая сложные рассуждения, логические и математические задачи, а также генерацию кода. Разреженная MoE-архитектура рассчитана на эффективный инференс; README приводит показатели скорости на оборудовании H20, которые зависят от конфигурации развертывания. Подтверждённого списка поддерживаемых естественных языков в предоставленных данных нет. Модель распространяется по лицензии MIT. Заявленные в README результаты на бенчмарках и скорость инференса не являются гарантией качества или производительности в конкретной среде.

XVERSE-65B-Chat — диалоговая версия модели XVERSE-65B, разработанная компанией 元象 (XVERSE). Это плотная авторегрессионная языковая модель на архитектуре Transformer с 65,6 млрд параметров и контекстом до 16 384 токенов. Модель выровнена для диалоговой генерации; в обучающих данных уделялось внимание программированию, математике, ролевому общению, вызову инструментов, ответам на вопросы, генерации текста, безопасности, логическому рассуждению и пониманию языка. Модель предназначена для диалогов, ответов на вопросы, генерации текста, программирования и математики. В карточке приведён пример структурированного вызова инструмента поиска отеля, а также примеры общения на китайском и английском языках; модель заявлена как многоязычная. Для работы доступны веса в формате PyTorch и интеграция через Transformers. README предупреждает, что ответы могут быть неточными, предвзятыми или оскорбительными, и рекомендует проводить проверки безопасности перед развёртыванием. Исходный код распространяется по Apache-2.0; для весов действует отдельное соглашение, которое допускает академические исследования и бесплатное коммерческое использование.

InternScience/Agents-A1-4B-Q8_0-GGUF — квантованная версия Agents-A1-4B, разработанная командой InternScience и предназначенная для локального запуска в формате GGUF с квантованием Q8_0. Модель относится к классу агентных языковых моделей и ориентирована на работу в связке с инструментами и внешними источниками данных. Модель предназначена для многошагового поиска, инженерных и научных задач, следования сложным инструкциям, профессиональных вопросов, планирования и вызова инструментов. Она умеет разбивать сложные задачи на последовательность действий, учитывать промежуточные результаты и взаимодействовать с API, интерпретаторами кода, поисковыми системами и другими инструментами. Базовая версия Agents-A1-4B является плотной моделью примерно на 4 млрд параметров; заявлена поддержка текстовой генерации, function calling и агентных сценариев. Языки и максимальная длина контекста в README не указаны. К сильным сторонам относятся агентное рассуждение, работа с длинными горизонтами задач, инструментами, научной и профессиональной информацией, а также высокая эффективность по сравнению с более крупными моделями. Ограничения этой конкретной GGUF-сборки, требования к оборудованию, совместимые рантаймы и возможное влияние квантования на качество отдельно не описаны. Модель распространяется по лицензии Apache-2.0.