II.3Рефакторинг, миграция и модернизация

unsloth/inkling-GGUF — это GGUF-версия открытой мультимодальной модели Inkling, разработанной Thinking Machines и опубликованной в формате GGUF командой Unsloth. Модель предназначена для локального запуска, исследований, дообучения и интеграции в сторонние продукты. Inkling принимает текст, изображения и аудио, а генерирует текст. Она рассчитана на разработку AI-приложений, включая агентные и инструментальные системы, ассистентов программиста, чат-ботов, retrieval-augmented generation, следование инструкциям и универсальное мультимодальное общение. Поддерживаются английский язык, другие языки в многоязычном режиме, а также несколько языков программирования. Архитектура представляет собой авторегрессионный decoder-only Transformer из 66 слоёв с разреженной Mixture-of-Experts: всего 975B параметров, из которых активно 41B; для каждого токена выбираются 6 из 256 экспертов и используются 2 общих эксперта. Внимание сочетает локальные и глобальные слои. Изображения и видео обрабатываются иерархическим patch-энкодером, аудио — дискретными токенами, после чего модальности проецируются в общее скрытое пространство. Поддерживаются BF16 и NVFP4. Для оптимальной работы рекомендуются изображения размером от 40 до 4096 пикселей по каждой стороне и WAV-аудио с частотой 16 кГц длительностью менее 20 минут. Сильные стороны модели — сочетание текстовых, визуальных и аудиовходов, масштабная MoE-архитектура и пригодность для локального развертывания через совместимые инструменты. Ограничения включают исключительно текстовый вывод, очень большой общий размер и высокие требования к вычислительным ресурсам; точное окно контекста в README не указано. Модель распространяется по лицензии Apache 2.0; также указано наличие отдельной политики допустимого использования.

Ling-2.5-1T — открытая большая языковая модель семейства Ling, разработанная Inclusive Intelligence. Это модель для генерации текста и диалогов, следования инструкциям, рассуждений и работы в агентных сценариях с вызовом инструментов. В репозитории указаны архитектура Mixture of Experts на базе Bailing Hybrid и класс BailingMoeV2_5ForCausalLM; метаданные сообщают 59 млрд параметров, а README заявляет 1 трлн общих и 63 млрд активных параметров. Модель распространяется в формате Safetensors и поддерживает контекст до 131 072 токенов согласно метаданным; README описывает расширение контекста до 1 млн токенов с YaRN. Гибридная архитектура линейного внимания рассчитана на высокую пропускную способность, в том числе при длинных контекстах. Модель предназначена для чат-ботов, сложных запросов и интеграции с агентными платформами; разработчики заявляют улучшения рассуждений и следования инструкциям относительно предыдущей версии. README отмечает, что при сложных агентных взаимодействиях и длительном выполнении задач модель пока уступает передовым системам. Лицензия — MIT. Языки, на которых модель специально обучена или которые поддерживает, в предоставленных данных не названы.

Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная в формате GGUF инструкционная языковая модель семейства Llama 3.1, разработанная Meta. Версия GGUF подготовлена bartowski на основе llama.cpp и предназначена для локального запуска, в частности через LM Studio. Модель поддерживает генерацию текста и диалоговые сценарии, включая работу с инструкциями и многоязычными запросами на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Модель содержит около 8 миллиардов параметров и имеет контекстное окно до 128 000 токенов. Она обучалась на 15 триллионах токенов, включая 25 миллионов синтетически созданных примеров. К сильным сторонам относятся улучшенная производительность по сравнению с предыдущими моделями Llama 3 и развитые возможности для многоязычных задач. При этом модель может генерировать неточную, вредную или неподходящую информацию, а качество и скорость работы зависят от используемой квантизации и локального оборудования. Для работы в LM Studio требуется версия 0.2.29 или новее и шаблон запроса Llama 3. Модель распространяется по лицензии Llama 3.1. README не уточняет условия коммерческого использования и конкретные ограничения лицензии, поэтому перед применением необходимо ознакомиться с её полным текстом.

RedHatAI/Meta-Llama-3.1-8B-Instruct-quantized.w8a16 — это квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Модель предназначена для коммерческого и исследовательского использования в сценариях диалогового ассистента и генерации текста. Она поддерживает текстовый ввод и вывод, а также английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель использует архитектуру Meta-Llama-3 и содержит около 8 миллиардов параметров. Веса линейных операторов внутри блоков трансформера квантизированы в INT8 по схеме W8A16 с применением симметричной поканальной квантизации и алгоритма GPTQ; выходной слой lm_head не квантизирован. Это примерно вдвое уменьшает размер модели на диске и требования к GPU-памяти по сравнению с 16-битной версией. Модель оптимизирована для эффективного развёртывания с использованием vLLM; в примере конфигурации указан максимальный размер контекста 8192 токена. По заявленным оценкам, квантизация сохраняет качество в пределах 1% от исходной модели на MMLU, ARC-Challenge, GSM-8K, Hellaswag, Winogrande и TruthfulQA. Основные ограничения связаны с меньшим размером и возможными особенностями качества 8-битной квантизации по сравнению с полной версией, а также с тем, что модель предназначена прежде всего для текстовых, а не мультимодальных задач. Модель распространяется по лицензии Llama 3.1; использование не должно нарушать применимое законодательство и требования экспортного контроля.

Qwen2-1.5B-Instruct-GPTQ-Int4 — инструкционно дообученная языковая модель из семейства Qwen2, разработанная командой Qwen. Она предназначена для диалоговых сценариев и генерации текста: ответов на вопросы, кратких объяснений, работы с естественным языком и кодом. Модель относится к классу decoder-only Transformer и содержит 1,5 млрд параметров; версия GPTQ-Int4 использует 4-битное квантование для снижения требований к памяти при инференсе. Поддерживаются текстовые входы и выходы, а контекстное окно в README не указано. В архитектуре заявлены активация SwiGLU, bias в QKV-проекциях и group query attention. Токенизатор адаптирован для нескольких естественных языков и языков программирования, однако в метаданных README явно указан английский язык. Модель предварительно обучалась на большом объёме данных, а затем дообучалась с помощью supervised fine-tuning и direct preference optimization; заявлены возможности в понимании и генерации текста, многоязычности, программировании, математике и рассуждениях. README не приводит точных результатов тестов и не описывает специфические ограничения качества квантированной версии; для запуска рекомендуются актуальные версии transformers, autogptq или vLLM. Лицензия — Apache 2.0.

bunnycore/Qwen-2.5-7B-R1-Stock — слитая с помощью mergekit методом Model Stock языковая модель на архитектуре Qwen2. В основу объединения легла Qwen/Qwen2.5-7B-Instruct; также использованы DeepSeek-R1-Distill-Qwen-7B и модель Qwen-2.5-7b-rp-lora на базе Qwen2.5-7B-Instruct. Модель содержит 7,1 млрд параметров, работает через Transformers, распространяется в формате safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции и задачи, где полезны возможности включённых базовых моделей. Доступна на английском языке; метаданные также указывают интерфейс вызова инструментов. Лицензия и специальные ограничения применения в предоставленных данных не описаны.

Salamandra 7B Instruct — модель семейства Salamandra, разработанного Barcelona Supercomputing Center (BSC), для генерации текста и диалогового общения. Это decoder-only трансформер с архитектурой Llama, дообученный следовать инструкциям; в метаданных указано 6,7 млрд параметров, а карточка описывает семейство как предварительно обученное с нуля на 12,875 трлн токенов. Модель принимает текст и выдаёт текст, поддерживает контекст до 8192 токенов и предназначена для работы на европейских языках и с кодом. Инструкционная версия подходит для использования в качестве многоязычного помощника, генерации текста и ответов на запросы; базовую модель также можно дообучать под специализированные сценарии. Salamandra обучалась на 35 европейских языках и коде, а среди языков в метаданных указаны, в частности, болгарский, каталанский, чешский, датский, немецкий, греческий, английский, испанский, финский, французский, хорватский, венгерский, итальянский, литовский, латышский, нидерландский, польский, португальский, русский и украинский. Лицензия Apache 2.0 допускает коммерческое и исследовательское использование. Это ранняя proof-of-concept версия с предварительной настройкой инструкций, без RLHF-фильтрации чувствительных тем. Модель может выдавать вредный или неподходящий контент; оценки также выявили социальные и когнитивные смещения, поэтому для прикладных систем необходимы отдельная проверка и настройка безопасности.

Spark-X2.5-4B Community Quants — набор GGUF-квантизаций модели Spark-X2.5-4B, разработанной XHToken и опубликованной сообществом. Модель предназначена для генерации текста, диалоговых и агентских сценариев с использованием инструментов, включая работу с файлами, терминалом, памятью и выполнением кода. Доступны варианты для видеокарт с 4, 8, 12 и 16 ГБ памяти, рассчитанные на полностью GPU-резидентный запуск через llama.cpp. Базовая модель содержит около 4,1 млрд параметров и использует гибридное внимание: соотношение слоёв sliding-window и full attention составляет 3:1. Заявлен нативный контекст до 1 млн токенов, однако на потребительских видеокартах практический предел определяется объёмом KV-кэша и существенно ниже. Квантизации используют importance matrix, рассчитанную на мультиязычном тексте. Варианты включают Q6_K, Q5_K_M, а также смешанные Q3_K_M и Q4_K_M; размер файлов составляет примерно от 2,0 до 3,2 ГБ. Модель поддерживает режим рассуждений, формат вызова инструментов и мультиязычные данные, но точный перечень языков в README не указан. Сильными сторонами являются компактный размер, высокая эффективность использования VRAM, поддержка длинного контекста и близкое к эталонному качество у вариантов Q6_K и Q5_K_M. Более компактные варианты позволяют запускать модель на видеокартах с 4–8 ГБ памяти, но заметно уступают по показателям perplexity и демонстрируют более высокую вероятность пропуска требуемых вызовов инструментов. Для запуска требуется форк llama.cpp от XHToken, поскольку архитектура spark2_5 пока отсутствует в upstream-версии. Модель распространяется по лицензии Apache-2.0.

Trillion-7B-preview — предварительная версия языковой модели, представленная командой TrillionLabs. Это плотная авторегрессионная модель семейства Llama с архитектурой Transformer Decoder, RoPE, SwiGLU и RMSNorm; в README указано 7,76 млрд параметров, 32 слоя и контекст 4096 токенов. Модель прошла предварительное обучение и последующее обучение для диалогов и выполнения инструкций. Модель предназначена для генерации текста, общения, ответов на вопросы, рассуждений и помощи с кодом. Разработчики заявляют поддержку английского, корейского, японского и китайского языков и отмечают особенно сильные результаты на корейских тестах. В опубликованных оценках модель показывает конкурентные результаты, однако качество зависит от задачи и языка. Это предварительный выпуск без комплексных механизмов безопасности; сведения модели ограничены данными до августа 2023 года, а для языков помимо английского, корейского, японского и китайского возможно снижение качества. Лицензия репозитория — Apache-2.0.

kathisacutie/DeepSeek-V3.2 — текстовая генеративная модель на архитектуре DeepSeek V3.2, представленная как дообучение deepseek-ai/DeepSeek-V3.2-Exp-Base. В карточке заявлены эффективное рассуждение и работа в агентных сценариях, включая взаимодействие с инструментами. Модель использует механизм разреженного внимания DeepSeek Sparse Attention, рассчитанный на длинный контекст; размер указан как 37,6 млрд параметров, контекст — до 163 840 токенов. Модель предназначена для генерации текста, решения задач, требующих многошагового рассуждения, и сценариев, где агент использует инструменты. Для работы с сообщениями предусмотрен обновлённый формат чата с поддержкой вызова инструментов и режима рассуждения с инструментами; README отмечает, что шаблон Jinja не приложен. Репозиторий содержит веса в формате safetensors с FP8. Лицензия — MIT. README предупреждает, что парсер вывода рассчитан только на корректно сформированные строки и не исправляет ошибочный формат, поэтому для практического применения требуется надёжная обработка ошибок. Заявления об олимпиадных результатах и сравнении с другими моделями приведены авторами карточки и здесь не подтверждаются независимой оценкой.

DeepSeek-V4-Flash-0731-REAP37-native-MLX — это MLX-конверсия модели DeepSeek-V4-Flash-0731, разработанной командой DeepSeek. Модель предназначена для генерации текста, диалоговых приложений, агентских сценариев и вызова инструментов через формат DSML. Она работает только с текстом и не содержит компонентов для обработки изображений. Модель использует архитектуру deepseek_v4 с механизмом внимания HISA, hyper-connections и маршрутизацией экспертов: в 40 слоях применяется обучаемая маршрутизация, а в первых трёх — hash-routing. Из исходных 256 экспертов в каждом слое сохранено 163, что соответствует сокращению примерно на 36,7%. Размер модели на диске составляет около 96 ГБ против примерно 155 ГБ у исходного варианта с 304 млрд параметров. Сохранённая точность является штатной для исходных весов — дополнительное квантование не применялось; выжившие эксперты побитово совпадают с исходным checkpoint. Главное преимущество модели — уменьшенный размер при сохранении исходной 4-битной точности оставшихся весов, а также поддержка нативного вызова инструментов DSML. Модель рассчитана на запуск в экосистеме MLX и тестировалась с oMLX; также доступна через mlx_vlm. Ограничения включают отсутствие независимого сравнения с полной моделью на стандартных бенчмарках, поэтому качество следует проверять на собственных задачах. Лицензия — MIT, унаследованная от базовой модели.

unsloth/GLM-4-9B-0414-GGUF — GGUF-квантизированная версия языковой модели GLM-4-9B-0414, подготовленная Unsloth на базе модели THUDM. Модель предназначена для локального текстового общения и генерации текста, включая выполнение инструкций, программирование, математическое и общее рассуждение, создание отчётов и работу в ресурсно-ограниченных средах. Она поддерживает китайский и английский языки и относится к классу text-generation. Модель содержит 9 миллиардов параметров; точная архитектура, длина контекста, доступные варианты квантования и поддерживаемые дополнительные модальности в представленном README не указаны. Формат GGUF ориентирован на локальный запуск, в частности через llama.cpp; для корректной обработки системного промпта рекомендуется использовать параметр --jinja. Заявленные сильные стороны исходной GLM-Z1-9B-0414 включают математическое рассуждение, выполнение общих задач и баланс между эффективностью и качеством при небольших требованиях к ресурсам. Ограничения, результаты конкретных бенчмарков и требования к оборудованию не приведены. Лицензия — MIT.

K-EXAONE-236B-A23B-NVFP4A16 — сборка модели K-EXAONE, разработанной LG AI Research и дополнительно квантизированной компанией FuriosaAI. Это авторегрессионная языковая модель-трансформер с архитектурой Mixture-of-Experts (ExaoneMoE), предназначенная для генерации текста, многоязычного диалога и задач, требующих рассуждений. Модель поддерживает корейский, английский, испанский, немецкий, японский и вьетнамский языки, а также режимы с рассуждением и без него. Модель содержит 236 млрд параметров, из которых 23 млрд активируются для каждого токена; используется 128 экспертов, 8 активных экспертов и 1 общий эксперт. Архитектура сочетает чередующиеся слои sliding-window и глобального внимания. Веса квантизированы в формате NVFP4, а активации и KV-кэш сохраняются в 16-битной точности. Поддерживаются вызов инструментов и OpenAI-совместимый API. Для штатного запуска FuriosaAI предусмотрены Furiosa LLM и ускорители FuriosaAI RNGD; конфигурация запуска использует четыре карты RNGD. К сильным сторонам относятся большой масштаб, мультиязычность, поддержка рассуждений и инструментального вызова, а к ограничениям — необходимость специализированной аппаратной конфигурации для запуска через Furiosa LLM и потенциальные компромиссы, связанные с 4-битной квантизацией. NVFP4A16 также заявлен как совместимый с vLLM, SGLang и Transformers. Модель распространяется по лицензии K-EXAONE AI Model License; в карточке она обозначена как лицензия other.

LFM2.5-8B-A1B-ThinkingCap-GGUF — GGUF-сборка модели LFM 2.5 8B ThinkingCap, основанная на весах Liquid AI LFM 2.5 8B A1B и аблитерированной версии huihui-ai. Модель дообучена osk-arr00 с применением Supervised Fine-Tuning (SFT) и Direct Preference Optimization (DPO) и ориентирована на рассуждения, генерацию текста, структурированные ответы и tool-calling. Заявлена поддержка английского и испанского языков. Архитектура представляет собой гибридную модель с 36 слоями одномерных коротких свёрток и MoE-основой на 32 эксперта. Всего модель содержит около 8,47 млрд параметров, из которых примерно 1,2 млрд активны на каждый токен. В репозитории доступны варианты GGUF от BF16 до Q4, включая специализированные APEX и ROCmFPX-квантизации для AMD Strix Halo с архитектурой RDNA 3.5 и gfx1151, а также версии для llama.cpp, Vulkan, CPU и CUDA. Указана поддержка глобального контекста до 256K токенов в серверном сценарии, однако точные ограничения зависят от сборки и конфигурации. Сильными сторонами являются ориентация на reasoning, детерминированные структурированные ответы, англо- и испаноязычная генерация, широкий выбор квантизаций и оптимизация для AMD Strix Halo. Ограничения включают зависимость производительности от аппаратной платформы, рантайма, квантизации и параметров запуска; приведённые показатели относятся к AMD Ryzen AI Max 385 с 64 ГБ LPDDR5X и не гарантируют аналогичную скорость на других системах. Лицензия обозначена как lfm1.0; конкретные условия следует уточнять в приложенном файле лицензии.

aifeifei798/Meta-Llama-3.1-8B-Instruct — мультиязычная инструктивная языковая модель, разработанная Meta на архитектуре Llama 3.1. Это авторегрессионный трансформер с 7,5 млрд параметров и механизмом Grouped-Query Attention; репозиторий содержит веса в формате safetensors. Модель принимает и генерирует текст, настроена на диалог с помощью дообучения по инструкциям и обучения с обратной связью от людей. Контекстное окно — до 131 072 токенов. Модель предназначена для диалоговых помощников, ответов на запросы и других задач генерации текста. В карточке заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; метаданные также включают китайский, корейский и японский. Возможен интерфейс вызова инструментов, но его интеграцию и безопасность должен обеспечивать разработчик приложения. Условия использования определяет пользовательская лицензия Meta Llama 3.1 Community License; действуют её ограничения и Acceptable Use Policy.

MiniCPM5-1B-OptiQ-4bit — квантизированная версия языковой модели openbmb/MiniCPM5-1B, подготовленная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска на устройствах Apple Silicon через MLX, включая диалоговые приложения, переписывание и суммаризацию текста, генерацию кода, математические задачи, многошаговое рассуждение, планирование и сценарии с инструментами. Поддерживаются английский и китайский языки, текстовая генерация и длинный контекст, однако точный размер контекста в README не указан. Модель содержит около 1,08 млрд параметров и использует архитектуру Llama с гибридным режимом рассуждения. Доступны быстрый режим без рассуждений и режим с блоком <think> для математики, кода и сложных многошаговых задач. Квантизация OptiQ использует чувствительную к слоям смешанную точность: 4- и 8-битные веса, среднее значение 5,81 бит на вес. Размер модели составляет около 875 МБ, что примерно в 2,4 раза меньше версии в формате bfloat16. Сильными сторонами являются компактность, возможность локальной работы без облака, улучшенное по сравнению с равномерной 4-битной квантизацией сохранение качества, а также хорошие результаты в IFEval и HumanEval для модели такого размера. Ограничения включают слабые результаты в GSM8K и BFCL в режиме без рассуждений; заявленные бенчмарки не отражают полностью возможности режима thinking. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Mistral-7B-Instruct-v0.3-GPTQ-4bit — это квантизированная версия инструкционной языковой модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI и опубликованной в каталоге RedHatAI. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая ответы на вопросы, рассуждения, решение математических задач и работу с типовыми тестовыми запросами. Она работает с текстовыми данными; сведения о поддерживаемых языках и размере контекста в README не указаны. В модели применена весовая квантизация GPTQ до 4 бит с group_size=128. Указано, что квантизация обеспечивает восстановление 99,75% точности относительно неквантизированной версии. Средняя точность на наборе тестов Open LLM Leaderboard составляет 65,05%; приведены результаты для ARC, MMLU, HellaSwag, Winogrande, GSM8K и TruthfulQA. Сильными сторонами являются снижение требований к памяти и возможность оптимизированного инференса с использованием Marlin mixed-precision kernels в vLLM. К ограничениям относятся потенциальная потеря качества по сравнению с полной точностью и отсутствие в README подробностей о фактических требованиях к оборудованию, языках и контексте. Модель распространяется по лицензии Apache-2.0. README также указывает готовность к использованию в vLLM в качестве сервера инференса.

Moxie — специализированная большая языковая модель и агент, разработанные Moxiegen Business Group. Модель демонстрирует собственный Moxiegen Method — алгоритмический подход к устранению избыточности в весах. Доступна через Moxie Desktop и Moxie Cloud, а также может работать локально в вариантах light, standard и full. Модель основана на оптимизированной transformer-архитектуре и использует методы удаления избыточных весов. Согласно README, Lossless Pointer-Based Weight Mapping позволяет сопоставлять одинаковые числовые значения с единой ссылкой без потери точности вычислений FP32. В основе возможностей заявлены дистиллированные компоненты моделей Qwen для программирования и математики, GLM для длинного контекста и следования инструкциям, а также Gemma для быстрой обработки запросов и автоматизации. Поддерживаемый язык — английский. Точный размер модели и длина контекстного окна не указаны. Moxie предназначена для настольной автоматизации, выполнения shell-команд, работы с файлами, анализа данных в форматах CSV, Excel, Word и SQLite, оркестрации многошаговых задач, поиска в интернете, обработки документов и создания или анализа текстового, графического, видео- и аудиоконтента. Сильными сторонами заявлены низкие требования к GPU, высокая скорость и возможность гибридной работы с переносом сложных вычислений в облако. Ограничения включают зависимость от Moxie Desktop и Moxie Cloud для части функций, а также отсутствие подтверждённых независимых оценок качества и производительности. Весы модели и inference engine являются проприетарными и принадлежат Moxiegen. Использование предназначено для работы в Moxie Desktop в соответствии с пользовательским соглашением и политикой конфиденциальности на сайте Moxiegen; лицензия обозначена как other.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель NVIDIA для чата, рассуждений и генерации текста. Это эталонные веса BF16 модели с гибридной архитектурой Mixture-of-Experts: слои Mamba-2 чередуются со слоями MoE и отдельными слоями Attention. Всего модель содержит 30 млрд параметров, из которых активно задействуются 3 млрд; также используются слои Multi-Token Prediction. Модель предназначена прежде всего для дообучения, адаптации к предметным областям и задачам, оценки и создания производных квантованных вариантов. Её можно применять как основу для чат-ботов, систем RAG и агентных приложений; карточка рекомендует для прямого развёртывания оптимизированный релиз NVFP4. В карточке заявлен контекст до 1 млн токенов, при этом на одной H100 80 ГБ BF16 проверен до 256 тыс. токенов из-за ограничений памяти. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский, японский и китайский. В метаданных указано 1,9 млрд параметров, что расходится с README, где заявлены 30 млрд всего и 3 млрд активных. Метаданные указывают лицензию other, а README сообщает о готовности к коммерческому использованию; конкретные условия лицензии следует сверять с файлами репозитория.

Qwen2.5-14B-Instruct-MLX-4bit — это 4-битная MLX-квантизация инструкционно дообученной языковой модели Qwen2.5-14B-Instruct. Исходную модель разработала команда Qwen, а квантизацию предоставил bartowski на основе mlx-examples. Модель предназначена для запуска на компьютерах Mac с Apple Silicon и использования в сценариях генерации текста и диалогового взаимодействия. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов, ориентирована на работу со структурированными данными и их генерацию. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Квантизация снижает требования к памяти, но README не содержит количественных оценок производительности и качества, поэтому её сильные стороны и ограничения относительно полной версии нельзя точно сравнить. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может генерировать неточную, вредную или неподходящую информацию, поэтому результаты требуют проверки.

GestaltLabs/Qwen3.6-35B-A3B-NSC-ACE-SABER-GGUF — набор квантованных сборок модели GestaltLabs/Qwen3.6-35B-A3B-NSC-ACE-SABER в формате GGUF для запуска через llama.cpp и совместимые среды. Модель основана на Qwen/Qwen3.6-35B-A3B и имеет конфигурацию на 35B параметров с обозначением A3B; точные архитектурные детали в карточке не раскрыты. Указан английский язык. Репозиторий также содержит компоненты для мультимодальной работы с изображениями и видео, включая visual tower sidecar, поэтому модель предназначена для текстовой генерации и сценариев image-text-to-text при наличии поддержки со стороны используемого runtime. Основные сценарии применения — диалоговые приложения, локальный inference, агентные системы и вызов инструментов. NSC-ACE ориентирован на более стабильный выбор функций, заполнение аргументов и снижение повторяющихся циклов вызова инструментов, а SABER использован как этап калибровки. На исходной safetensors-модели показатель tool-call rate в проверке BFCL составил 95%, точность имён функций — 95%, точность значений обязательных аргументов — 83,54%, а exact required-call accuracy — 77,50%; эти результаты не гарантируются для каждой квантованной версии. В примерах запуска используется контекст 32768 токенов, но максимальный размер контекста явно не указан. Доступны варианты от F16 и Q8_0 до Q2_K. F16, Q8_0, Q6_K и Q5_K_M лучше сохраняют качество, тогда как Q4_K_M предназначен для более ограниченных систем, а Q3 и Q2 требуют компромиссов по качеству, форматированию, точности аргументов и калибровке отказов. Метрики HarmBench-300 и KLD приведены для исходной модели до квантования, поэтому квантованные файлы следует проверять отдельно. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная модель на базе Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF. Она предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео, а также задач с длинным контекстом. Aggressive-профиль ориентирован на прямые ответы без выраженного поведения отказа и с минимальным вступлением в сложных запросах. Модель представляет собой плотную языковую модель на 27 млрд параметров с vision encoder: 64 слоями, скрытым размером 5120, размером FFN 17408, словарём на 248 320 токенов, 48 слоями Gated DeltaNet и 16 слоями gated attention. Поддерживаются английский, китайский и другие языки. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. В текстовых GGUF сохранён встроенный MTP/NextN, а отдельный профиль HauhauCS FastMTP 32K предназначен для ускорения генерации; для обработки изображений и видео требуется отдельный BF16 vision projector. Сильными сторонами являются мультимодальность, большой контекст, широкий набор квантованных вариантов и потенциальное ускорение за счёт MTP. Ограничения включают необходимость значительных аппаратных ресурсов для моделей размером до 31,46 ГБ, зависимость мультимодального ввода от отдельного проектора и возможное снижение надёжности в критически важных длинноконтекстных агентских сценариях из-за Aggressive-профиля. Модель распространяется по лицензии Apache-2.0.

NVIDIA Qwen3-8B FP8 — квантизированная версия авторегрессионной языковой модели Qwen3-8B, разработанной Alibaba и подготовленной с помощью NVIDIA TensorRT Model Optimizer. Модель предназначена для генерации текста и может использоваться в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель построена на архитектуре Transformers и содержит около 8,2 млрд параметров. Она работает с текстовыми последовательностями на входе и генерирует текст на выходе; поддерживаемая длина контекста достигает 131K токенов. Квантизация FP8 применяется к весам и активациям линейных операторов внутри трансформерных блоков, что ориентировано на эффективный инференс. Языки и мультимодальные возможности в карточке не указаны. Модель подготовлена для TensorRT-LLM и оптимизирована для NVIDIA GPU, в частности совместима с микроархитектурой NVIDIA Blackwell; предпочтительная операционная система — Linux. Указанное тестирование проводилось на NVIDIA B200. Ограничения качества, рисков и применимости зависят от исходной Qwen3-8B и конкретного сценария использования; разработчикам рекомендуется самостоятельно оценивать модель для целевой отрасли и задач. Использование разрешено для коммерческих и некоммерческих целей по лицензии Apache 2.0.

SpydazWeb AI — дообученная языковая модель Leroy Dyer для диалогов, генерации текста и работы в сценариях с планированием и агентным взаимодействием. Она основана на SpydazWeb_AI_ChatQA_005/006 и использует плотную архитектуру Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для ответов на вопросы, составления сводок, генерации и объяснения кода, перевода, выявления сущностей и тем, а также ролевых диалогов. В README также заявлены сценарии RAG, планирования и вызова функций; карточка упоминает обучающие данные из OpenHermes, SlimOrca, Cosmopedia, CulturaX и других наборов. Заявления автора о широких знаниях и точности не являются независимой оценкой качества. Модель принимает текст и генерирует текст. В тегах указаны английский, испанский, каталонский, хинди, суахили, игбо, сомалийский, коса, зулу, хауса, акан, африкаанс, бамбара и сунданский языки; README описывает многоязычное обучение, но не подтверждает одинаковое качество для всех перечисленных языков. Лицензия — Apache-2.0. Модель обозначена как uncensored и предназначена в том числе для ролевых диалогов; медицинские ответы могут быть ненадёжными и требуют проверки специалистом.

airoboros-3b-3p0 — экспериментальная языковая модель на архитектуре StableLM Epoch, разработанная jondurbin и обученная на наборе синтетических данных airoboros-3.0. Это плотная причинная языковая модель с 2,7 млрд параметров и контекстом до 4096 токенов; она принимает текст и генерирует текст. Для диалога используется формат Llama 2 Chat. Модель общего назначения с акцентом на следование инструкциям. Она предназначена для ответов на вопросы по заданному контексту, суммаризации, программирования, математических рассуждений с формированием MathJSON, многоходового диалога, генерации аргументов функций и планов выполнения задач. Для расчётов MathJSON предполагает последующую обработку формулы внешним вычислительным механизмом. Модель выпущена под лицензией CC BY-SA 4.0.

airoboros-l2-70b-2.2.1 — экспериментальная языковая модель автора jondurbin, основанная на Llama 2 и дообученная на преимущественно синтетических данных Airoboros 2.2.1. Это обновлённая версия airoboros-l2-70b-2.2: в ней заново сгенерированы ответы для письма, добавлены более длинные контекстные блоки, удалены примеры ролевой игры, смягчена степень снятия ограничений и проведено четыре эпохи обучения. Модель предназначена для выполнения инструкций и генерации текста общего назначения, включая ответы на вопросы по заданному контексту, суммаризацию, написание текстов и помощь с кодом. Архитектура — плотная LlamaForCausalLM примерно на 68,7 млрд параметров; поддерживает контекст до 4096 токенов. Карточка также описывает генерацию аргументов функций и планов выполнения, но для реального вызова инструментов требуется внешняя система. Для диалога используется текстовый формат с метками USER и ASSISTANT. В карточке указана лицензия Llama 2. Автор предупреждает, что квантование Q4_0 работает некорректно; также советует настроить остановку генерации на маркере USER, чтобы модель не продолжала диалог от имени собеседника.

Это текстовая конверсия Apertus 1.5 8B от автора andreasmartin на основе swiss-ai/Apertus-v1.5-8B, разработанной Swiss AI Initiative при участии ETH Zurich, EPFL и CSCS. Модель представлена в формате ApertusForCausalLM и содержит около 8,05 млрд параметров. Она предназначена для генерации текста, диалогов, RAG и агентных сценариев; поддерживает режим рассуждений и вызов инструментов. Контекстное окно составляет 262 тыс. токенов. Модель загружается через Transformers 4.56 и новее без fork и trust_remote_code; доступны интеграции с Unsloth, vLLM, llama.cpp/GGUF, MLX и LM Studio. Веса языковой основы скопированы побитово из исходного чекпойнта, а 200 строк LM-head для специальных токенов добавлены со средними начальными значениями и не обучались. В этой версии удалены мультимодальные компоненты: изображения и аудио на входе не поддерживаются, для них нужен исходный чекпойнт. Полное сравнение логитов с исходной моделью не проводилось. Лицензия — Apache 2.0.

DeepHermes 3 Mistral 24B Preview — языковая модель Nous Research, дообученная на базе Mistral-Small-24B-Base-2501. Это предварительная версия гибридной модели, объединяющей обычный режим ответов и режим рассуждений, который включается системным сообщением. Модель предназначена для диалогов, следования инструкциям, решения задач с рассуждениями и вызова функций; также поддерживает структурированные ответы в формате JSON. Модель имеет плотную архитектуру MistralForCausalLM и 23,4 млрд параметров. Она принимает текст и генерирует текст, поддерживает контекст длиной до 32 768 токенов. В карточке указан английский язык. Модель доступна под лицензией Apache-2.0. Это preview-релиз с ранними возможностями рассуждения, дистиллированными из R1; авторы предупреждают о возможных особенностях и ошибках. Для сложных задач модель может генерировать длинные цепочки рассуждений, поэтому может потребоваться увеличить лимит выходных токенов.

Это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Qwen-14B, разработанной deepseek-ai. Квантизацию выполнил bartowski на основе llama.cpp release b4514; модель распространяется в рамках программы Community Model от LM Studio, которое не является её создателем или владельцем. Модель предназначена для генерации текста с акцентом на рассуждения и задачи, требующие пошагового анализа. Она дистиллирована из reasoning-модели DeepSeek-R1 и настроена для работы с chain-of-thought. Формат GGUF ориентирован на запуск через совместимое программное обеспечение, включая llama.cpp и LM Studio. Заявленная длина контекста составляет 128k токенов. В README не указаны точный вариант архитектуры Qwen, поддерживаемые языки, конкретные модальности, параметры выбранного уровня квантизации или результаты бенчмарков. Лицензия также не указана, поэтому условия использования следует уточнять в документации исходной модели и конкретного файла GGUF. Как и другие языковые модели, она может генерировать неточные, вредные или вводящие в заблуждение ответы.

DFM Mimir v1.5 — это инструкционно настроенная разговорная языковая модель на архитектуре HRM-Text XL с PrefixLM, разработанная Danish Foundation Models. Это продолжение датской и английской линейки Mimir: модель дообучена на последующих смесях данных до финального EMA-чекпойнта 10-й эпохи и не обучалась заново с нуля. В репозитории представлены BF16-веса для инференса; число параметров по README составляет около 1,787 млрд, а нативный контекст — 4096 токенов. Модель предназначена для диалогов и следования инструкциям на датском и английском языках, в том числе для математических и программных задач, а также сценариев с инструментами. Для запуска требуется среда Transformers или vLLM с поддержкой HRM-Text и PrefixLM attention; обычный causal-only декодер не является эквивалентной средой. Модель распространяется по лицензии Apache-2.0. Модель может галлюцинировать, ошибаться в коде и рассуждениях, нарушать требуемый формат и воспроизводить социальные предубеждения; её надёжность для критически важных решений не гарантируется. Выводы бенчмарков зависят от шаблона, токенизатора и настроек оценки, а сведения о безопасности и запоминании для предыдущей версии не подтверждают свойства v1.5.