II.3Рефакторинг, миграция и модернизация

BinxNet/gemma-4-26B-A4B-it-heretic — мультимодальная разговорная модель BinxNet на базе Google Gemma 4 26B A4B. Это дообученная версия с изменениями, обозначенными автором как heretic, uncensored и decensored; подробности этих изменений в карточке не описаны. Модель принимает текст и изображения и предназначена для диалогов, рассуждений, генерации и исправления кода, а также визуального анализа. Архитектура Gemma 4 использует чередование локального скользящего и глобального внимания. Для исходной Gemma 4 26B A4B заявлен контекст до 256K токенов; отдельное значение для этой версии в карточке не приведено. Семейство Gemma 4 поддерживает более 35 языков, но карточка этой производной версии не уточняет языковое покрытие отдельно. Визуальные сценарии включают распознавание текста, разбор документов, понимание диаграмм и интерфейсов, а также анализ последовательностей видеокадров. Карточка указывает формат safetensors и библиотеку Transformers. Возможны фактические ошибки, предвзятость, трудности с языковыми нюансами и сложными открытыми задачами. Лицензия — Apache-2.0.

GKA-primed-HQwen3-32B-Reasoner — гибридная причинная языковая модель, созданная Amazon на основе Qwen3-32B с помощью конвейера Priming. В ней 32 слоя Attention и 32 слоя Gated KalmaNet (GKA): GKA — рекуррентный слой типа модели пространства состояний, который решает задачу онлайн-регрессии и использует постоянный объём памяти при линейной по длине последовательности вычислительной стоимости. Модель содержит 29,7 млрд параметров и принимает контекст до 128 тысяч токенов. Модель предназначена для диалогов и рассуждений в длинном контексте: решения математических и научных задач, программирования, следования инструкциям и вызова инструментов. Режим рассуждений можно включать и отключать. По заявлению авторов, гибридная архитектура ускоряет генерацию до двух раз на длинном контексте и сокращает расход памяти на KV-кэш; опубликованные тесты показывают близкое к базовой Qwen3-32B или более высокое качество на большинстве перечисленных задач, но более низкий результат на SciCode. Модель доступна в формате safetensors, точность bfloat16, по лицензии Apache 2.0.

Hermes-4.3-36B-GGUF — языковая модель для генерации текста, разработанная Nous Research на основе ByteDance-Seed/Seed-OSS-36B-Base. Она предназначена для диалогов, рассуждений, решения математических и логических задач, программирования, STEM-сценариев, творческого письма, ролевого общения, вызова функций и работы со структурированными ответами. Модель имеет размер 36 млрд параметров и поддерживает гибридный режим с рассуждением: при необходимости она формирует сегменты <think>...</think>, а также может работать без явного рассуждения. В обучении использовался посттренировочный корпус примерно из 5 млн примеров и 60 млрд токенов. Hermes 4.3 ориентирована на соблюдение схем JSON, исправление некорректных структурированных объектов, управляемость и широкий спектр форматов вывода. В README заявлен английский язык; размер контекстного окна и полный перечень поддерживаемых языков не указаны. К сильным сторонам относятся улучшенные результаты в математике, коде, логике, STEM и следовании инструкциям, а также поддержка function calling, tool use и structured outputs. Ограничения модели включают отсутствие в представленном README сведений о конкретной GGUF-квантизации, требованиях к оборудованию и размере контекста. Результаты на SimpleQA заметно ниже других приведённых показателей, поэтому фактические ответы следует проверять. Модель распространяется по лицензии Apache-2.0.

Ling-1T — базовая языковая модель серии Ling 2.0, разработанная командой InclusionAI. Это причинная MoE-модель с архитектурой BailingMoeV2: в README заявлены 1 трлн параметров всего и около 50 млрд активных параметров на токен, тогда как метаданные Hugging Face указывают 49,6 млрд параметров. Модель обучена более чем на 20 трлн токенов и предназначена для генерации текста, диалога, сложных рассуждений, программирования и работы с инструментами. Для репозитория указаны контекст 32 768 токенов и формат safetensors; в README для Ling-1T-base заявлена поддержка до 128 тыс. токенов, поэтому длина контекста может зависеть от варианта модели. Модель рассчитана на многоязычный текст и показывает заявленные разработчиками возможности в математике, логике, написании кода и создании интерфейсов. Архитектура MoE активирует лишь часть параметров для каждого токена; также описаны MTP-слои и обучение с использованием FP8. Модель принимает текст и генерирует текст; визуальные задачи в README относятся к визуальному рассуждению и генерации интерфейсного кода, но поддержка изображений в метаданных не указана. README отмечает ограничения в многоходовом взаимодействии, долговременной памяти и использовании инструментов, а также возможные отклонения от инструкций и путаницу ролей. Модель распространяется по лицензии MIT.

NVIDIA Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct — языковая модель на архитектуре Llama 3.1 с 7,5 млрд параметров, дообученная для диалогов и работы с очень длинным контекстом. Она использует продолженное предобучение и донастройку на инструкциях; базовая модель — meta-llama/Llama-3.1-8B-Instruct. Модель предназначена для генерации ответов и анализа длинных текстовых последовательностей, включая большие документы и составные запросы. Заявленное окно контекста — до 4 млн токенов. Обучение на инструкциях охватывало общие задачи, математику и программирование. Карточка описывает английский язык; метаданные указывают тег en. Модель работает с текстом и доступна в формате safetensors для Transformers; также указаны чат-возможности и интерфейс вызова инструментов. По данным карточки, модель сохраняет конкурентные результаты на стандартных тестах и улучшает обработку сверхдлинного контекста. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование. Результаты и качество на конкретных сценариях могут отличаться; объём контекста сам по себе не гарантирует точное извлечение всей информации из длинного ввода.

RedHatAI/Meta-Llama-3.1-70B-Instruct-quantized.w4a16 — квантованная версия Meta-Llama-3.1-70B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая autoregressive-модель для генерации текста и ассистентского диалога, предназначенная прежде всего для коммерческого и исследовательского использования на английском языке. Возможные сценарии включают чат-ассистентов, ответы на инструкции, генерацию текста, решение математических задач и помощь в программировании. Модель имеет архитектуру Meta-Llama-3 и содержит 70 млрд параметров в исходной версии. Веса линейных операторов в трансформерных блоках квантованы в формат INT4 по схеме W4A16 с симметричной групповой квантизацией для групп по 128 параметров; для квантования применён алгоритм GPTQ. Это сокращает объём хранения и требования к памяти GPU примерно на 75% по сравнению с 16-битной версией. Модель работает с текстом на входе и выходе, а в README заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, хотя официальное назначение ограничено английским. Указанная длина контекста при развёртывании — до 8192 токенов. К сильным сторонам относятся существенное снижение требований к памяти и высокая близость качества к неквантованной модели: заявлены результаты восстановления 100% для Arena-Hard, 99,4% для OpenLLM v1, 97,4% для OpenLLM v2, 101,0% для HumanEval pass@1 и 99,2% для HumanEval+ pass@1. Ограничения включают возможную потерю точности из-за INT4-квантования, ориентацию на английский язык и отсутствие мультимодальности. Для эффективного развёртывания рекомендуется backend vLLM, включая режим OpenAI-compatible serving. Модель распространяется по лицензии Llama3.1; применяются ограничения исходной лицензии, включая запрет использования с нарушением законодательства.

Карточка модели ISTA-DASLab/Meta-Llama-3-8B-Instruct на Hugging Face совпадает с карточкой kuotient/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. kuotient/Meta-Llama-3-8B-Instruct — чат-модель, разработанная Meta на основе семейства Llama 3. Это авторегрессионная плотная трансформерная модель класса LlamaForCausalLM с примерно 7,5 млрд параметров и механизмом Grouped-Query Attention. Она принимает текст и генерирует текст или код; версия с инструкционной настройкой предназначена для диалогов и работы в роли помощника. Модель рассчитана прежде всего на английский язык, а её контекстное окно составляет 8192 токена. Модель подходит для диалоговых помощников, ответов на вопросы, генерации и редактирования текста и кода. Инструкционные варианты Llama 3 настроены с помощью supervised fine-tuning и обучения с обратной связью от людей для повышения полезности и безопасности. Модель статична и обучена на офлайн-данных. Для использования действует специальная коммерческая лицензия Meta Llama 3; необходимо соблюдать её условия и политику допустимого использования.

Meta-Llama-3-8B-Instruct-iMat-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для диалоговых сценариев и задач генерации текста и кода, включая использование в качестве ассистента. Вариант подготовлен с помощью llama.cpp и доступен в наборах K- и IQ-квантов от Q6_K до IQ1_S. Модель представляет собой авторегрессионный языковой трансформер с оптимизированной архитектурой и Grouped-Query Attention (GQA), содержит около 8 млрд параметров и поддерживает контекст до 8 тысяч токенов. Она принимает только текст и генерирует текст или код. Обучение включает предварительное обучение, supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Основной язык — английский; применение для других языков обозначено как выходящее за рамки исходного назначения, хотя дополнительное дообучение возможно при соблюдении условий лицензии. Ключевые преимущества этого варианта — поддержка локального запуска через llama.cpp, наличие множества уровней квантования и использование importance matrix для снижения потерь качества при квантовании. Исправлены настройки токенизатора и EOS-токена для корректной работы инструкционного режима, однако для новых квантов требуется совместимая версия llama.cpp с соответствующими исправлениями и шаблоном чата Llama 3. Модель является статичной и обучена на офлайн-данных; дата отсечения знаний — март 2023 года. Использование регулируется пользовательской лицензией Meta Llama 3 и Acceptable Use Policy.

Ministral-8B-Instruct-2410 — инструктивно дообученная языковая модель компании Mistral AI для локального запуска, вычислений на устройствах и периферийных системах. Это плотный трансформер семейства Mistral с примерно 8 млрд параметров; модель поддерживает диалог и вызов функций. В карточке заявлено окно контекста до 128 тыс. токенов, но метаданные каталога указывают 32 768 токенов, а README уточняет, что vLLM ограничивает контекст 32 тыс. токенов; полный размер окна доступен при использовании Mistral Inference. Модель рассчитана на генерацию ответов по инструкциям, диалог, программирование, математические задачи и вызов функций. Она обучена на значительной доле многоязычных и программных данных; заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Рекомендуемая библиотека для инференса — vLLM. Модель распространяется по Mistral Research License; для коммерческого использования README предлагает обратиться к Mistral AI за коммерческой лицензией. Для запуска на одном GPU требуется 24 ГБ видеопамяти. Качество ответов и многоязычные возможности зависят от языка и задачи.

Mistral-Large-218B-Instruct — плотная языковая модель на 217,7 млрд параметров из семейства Mistral, созданная автором репозитория путём слияния исходной Mistral Large 2. Модель предназначена для генерации текста и диалоговых сценариев. Она поддерживает несколько естественных языков, а также обучена на более чем 80 языках программирования; заявленное контекстное окно — 128 тыс. токенов. Для запуска нужны значительные вычислительные ресурсы: в карточке рекомендованы восемь ускорителей H100 с суммарно 640 ГБ памяти либо распределённый запуск на нескольких машинах. Лицензия Mistral Research License разрешает использование и модификацию для исследований и некоммерческих целей. Автор описывает модель как экспериментальную тестовую сборку; встроенных механизмов модерации нет, ответы могут отражать предвзятость обучающих данных и требуют проверки в чувствительных сценариях.

Muse-Glimmer-30B-GGUF — набор GGUF-квантованных сборок модели Muse Glimmer-30B, разработанной Meta Superintelligence Lab и опубликованной пользователем NANI-Nithin. Это плотный причинно-следственный трансформер примерно на 30 млрд параметров с отдельным модулем восприятия для обработки изображений и текста; модель генерирует текст и предназначена для запуска через llama.cpp на локальном оборудовании. Репозиторий содержит варианты от BF16/F16 до экспериментальных низкобитных квантов, включая рекомендуемый Q4_K_M размером 15,77 ГБ, а также отдельный vision projector для работы с изображениями. Модель ориентирована на агентские сценарии: выполнение многошаговых задач, написание и отладку кода, работу с инструментами через схемные вызовы функций, планирование, восстановление после ошибок и длительные многоходовые взаимодействия. Она принимает интерливированные текст и изображения, включая скриншоты, графики и документы, с поддержкой до 4096 визуальных токенов на изображение. Заявлена поддержка более 100 языков и управляемого уровня рассуждений low, medium, high и xhigh. Среди сильных сторон — мультимодальность, агентские возможности и развитое многошаговое рассуждение; качество зависит от выбранного уровня квантования, а экстремальные варианты могут заметно снижать точность. DFlash-декодер для ускорения генерации в этот репозиторий не входит, а GGUF-сборки предназначены для llama.cpp и не загружаются стандартным способом через vLLM, SGLang или transformers. Модель и сборки распространяются по лицензии Apache-2.0. Для обработки изображений требуется отдельно скачать и подключить файл vision projector; объём памяти и дискового пространства зависит от выбранной версии квантования.

Карточка модели luganoquant/Nex-N2.5-mini на Hugging Face совпадает с карточкой nex-agi/Nex-N2.5-mini, поэтому описание составлено по ней. Nex-N2.5-mini — разговорная модель семейства агентных моделей Nex-N2.5 от Nex-AGI, основанная на архитектуре Qwen3.5 MoE. Она предназначена для длительных многошаговых задач: работы с компьютером и браузером, выполнения и проверки программ, а также научной и офисной работы. Модель использует визуальную обратную связь для восприятия интерфейсов, проверки результатов и продолжения действий; поддерживает режимы рассуждения и вызов функций. Для запуска автор приводит конфигурацию на двух ускорителях H100 и рекомендует параметры генерации temperature 0.7, top_p 0.95 и top_k 40. В метаданных указаны Transformers и формат safetensors; лицензия — Apache-2.0. README описывает мультимодальные возможности семейства и отдельно позиционирует Nex-N2.5-Max как текстовую модель, поэтому точные размер, контекст и перечень входов и выходов именно mini по этим данным установить нельзя.

Карточка модели SAIFIINDUSTRIES/Nex-N2.5-mini на Hugging Face совпадает с карточкой nex-agi/Nex-N2.5-mini, поэтому описание составлено по ней. Nex-N2.5-mini — разговорная модель семейства агентных моделей Nex-N2.5 от Nex-AGI, основанная на архитектуре Qwen3.5 MoE. Она предназначена для длительных многошаговых задач: работы с компьютером и браузером, выполнения и проверки программ, а также научной и офисной работы. Модель использует визуальную обратную связь для восприятия интерфейсов, проверки результатов и продолжения действий; поддерживает режимы рассуждения и вызов функций. Для запуска автор приводит конфигурацию на двух ускорителях H100 и рекомендует параметры генерации temperature 0.7, top_p 0.95 и top_k 40. В метаданных указаны Transformers и формат safetensors; лицензия — Apache-2.0. README описывает мультимодальные возможности семейства и отдельно позиционирует Nex-N2.5-Max как текстовую модель, поэтому точные размер, контекст и перечень входов и выходов именно mini по этим данным установить нельзя.

OpenChat-3.5-0106-128k — диалоговая языковая модель OpenChat, созданная на основе дообученной Mistral-7B-v0.1. Она содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и предназначена для генерации ответов в чате, программирования, общих задач и математических рассуждений. Поддерживает контекст до 131 072 токенов; в README также описан режим оценивания ответов, обозначенный как экспериментальный. Модель рассчитана на текстовый ввод и генерацию текста. README приводит результаты бенчмарков по коду и математике, но не описывает поддерживаемые естественные языки. Веса опубликованы в формате safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache-2.0.

Qwen3.5-9B-DeepSeek-V4-Flash — плотная мультимодальная модель на 9 млрд параметров, дообученная Jackrong методом дистилляции на данных DeepSeek-V4-Distill-8000x. Она построена на базе unsloth/Qwen3.5-9B и предназначена для диалогов, структурированных рассуждений, многошагового решения задач и рабочих процессов с вызовом инструментов. Архитектура поддерживает обработку изображений и текста; заявлена поддержка английского, китайского, корейского, японского, испанского и русского языков. Модель рассчитана на эффективный инференс и может применяться для программирования, математических и STEM-задач, анализа изображений и агентных сценариев. В карточке приведены рекомендации по генерации: temperature от 0,7 до 1,0 и top_p 0,95; для строгих задач программирования предлагается более низкая температура. Модель распространяется по лицензии Apache-2.0. Оценка в README описана как раннее контролируемое сравнение квантованной версии Q5_K_M с базовой Qwen3.5-9B, поэтому заявления о качестве следует считать предварительными. Ограничения включают возможные затруднения с редкими знаниями, чрезмерно длинные рассуждения на простые запросы и возможное ухудшение некоторых аспектов выравнивания безопасности.

Richard Young выпустил эту версию Qwen3.6-27B, обработанную методом abliteration с помощью Heretic v1.4.0, чтобы снизить частоту отказов. Это плотная модель Qwen с 27 млрд параметров, причинной языковой моделью и визуальным энкодером; карточка описывает её как мультимодальную разговорную модель с поддержкой зрения. Веса опубликованы в формате Safetensors и совместимы с Transformers и указанными в README движками инференса. Модель предназначена для диалога, анализа изображений, программирования и агентных сценариев с использованием инструментов. Она поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. В сравнении с исходной Qwen3.6-27B в README указаны 38 отказов из 100 против 91 из 100 и KL-дивергенция 0,0254. Это может означать более редкие отказы, но не гарантирует точность или безопасность ответов. Лицензия — Apache-2.0.

Mia-AiLab/Qwen3.8-27B-EXL3-3.5bpw — это текстовая генеративная модель на основе Qwen/Qwen3.8-27B, разработанная Mia-AiLab и представленная в формате EXL3 для запуска через exllamav3. Модель предназначена для генерации текста, программирования и задач математического и логического рассуждения, включая сценарии с длинным контекстом. Вариант использует workload-калибровку на самостоятельно сгенерированном наборе из 622 515 токенов с кодом и рассуждениями, что, по данным автора, улучшает принятие токенов при speculative decoding и поведение на целевых задачах по сравнению с общей калибровкой. Это плотная модель размером 27B с гибридной архитектурой: 48 слоёв gated-deltanet с рекуррентным состоянием и 16 слоёв full attention с KV-кэшем. Средняя точность квантования составляет 3,5 bpw, веса занимают около 14,2 ГБ; эмбеддинги и lm_head сохранены в не-квантованном формате. Модель поддерживает нативный контекст до 262 144 токенов, а через YaRN доступно расширение до 1 048 576 токенов, однако качество за пределами 262 тысяч токенов ограничено. Это текстовая модель без vision tower; конкретный набор поддерживаемых языков в README не указан. К сильным сторонам относятся небольшое потребление видеопамяти для модели такого размера, эффективная работа с длинным контекстом, встроенная MTP-голова для speculative decoding и возможность применения FP8 или NVFP4 KV-кэша в расширенной версии exllamav3. На видеокарте с 24 ГБ памяти заявлена возможность разместить веса и полный нативный контекст при использовании NVFP4 KV-кэша. Ограничения включают зависимость от exllamav3, необходимость специализированного aarch64-порта на DGX Spark/GB10 и использование форка exllamav3 для некоторых функций KV-кэша и DFlash2. Модель распространяется по лицензии Apache-2.0.

Qwen-7B-Chat — диалоговая языковая модель семейства Qwen, разработанная Alibaba Cloud на основе предварительно обученной Qwen-7B с применением методов выравнивания. Это плотная Transformer-модель с архитектурой QWenLMHeadModel; в карточке указано 11,4 млрд параметров и контекст до 8192 токенов. Она предназначена для многоходового общения, ответов на вопросы, работы с кодом, математическими задачами и вызова внешних инструментов. Модель обучена на китайских, английских и других данных; токенизатор на основе tiktoken использует словарь примерно из 150 тысяч токенов, оптимизированный для китайского, английского и кода. README сообщает результаты оценок на C-Eval, MMLU, GSM8K и HumanEval, но они не гарантируют качество в конкретном применении. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

Qwopus3.8-27B-GGUF — это набор GGUF-квантизаций модели Qwopus3.8-27B, опубликованный nom666. Модель создана как весовое слияние Qwen3.8-27B с компонентами Qwopus3.6-27B-v2, содержащими дистиллированный стиль рассуждений Opus. Базовую модель разработала команда Qwen, а исходный вклад в дистилляцию Qwopus принадлежит Jackrong. Это не дообучение с градиентами, а арифметическое слияние весов. Модель предназначена прежде всего для генерации текста, инструкционного взаимодействия, программирования и агентских циклов, особенно в режиме без рассуждений. Она сохраняет архитектуру Qwen3.8: 64 слоя, скрытое представление размером 5120, гибридную архитектуру GDN и full attention, словарь примерно на 248 тысяч токенов, контекст до 262 144 токенов и встроенную MTP-голову для speculative decoding. Экспорт в формате nextn позволяет использовать спекулятивное декодирование через llama.cpp. Доступны варианты с 4- и 8-битной квантизацией размером примерно от 16 до 27 ГБ. Сильные стороны модели — высокая эффективность по числу токенов, улучшенное следование инструкциям в non-thinking режиме и совместимость с быстрым локальным обслуживанием через llama.cpp. В приведённых тестах 4-битная версия набрала 37 из 38 заданий в наборе instruct/code/math, а в thinking-режиме сопоставила базовую модель на сложном наборе, используя примерно на 45% меньше токенов рассуждений. Ограничения включают меньшую стабильность на самых сложных задачах в режиме рассуждений и риск превышения жёсткого лимита токенов; для таких сценариев базовая Qwen3.8 может быть предпочтительнее. Лицензия — Apache-2.0.

Smaug-Qwen2-72B-Instruct — диалоговая языковая модель, созданная Abacus.AI как дообученная версия Qwen2-72B-Instruct. Она генерирует текст и предназначена для общения, ответов на вопросы, решения сложных задач на рассуждение и помощи с кодом. Модель имеет плотную архитектуру Qwen2ForCausalLM, около 71,5 млрд параметров и контекстное окно до 32 768 токенов; принимает текст и выдаёт текст. В карточке указана поддержка английского языка. В README приведены сравнительные результаты на BBH, LiveCodeBench, Arena-Hard и MT-Bench: Smaug превосходит исходную Qwen2-72B-Instruct в отдельных оценках, включая BBH и LiveCodeBench, но уступает ей по среднему результату MT-Bench. Это экспериментальные бенчмарки, поэтому они не гарантируют качество для конкретных задач. Модель распространяется в формате safetensors; лицензия указана как other, поэтому условия использования следует проверить в карточке модели и у базовой модели.

Tess-v2.5.2-Qwen2-72B — языковая модель для диалоговой генерации текста, созданная Мигелем Тиссерой (Migel Tissera) в серии Tess. Это плотная модель Qwen2 с 71,5 млрд параметров и контекстом до 131 072 токенов; она принимает текст и обучена следовать формату диалога ChatML. Модель дообучена на Qwen2-72B с использованием набора Tess-v2.5 из 300 тысяч синтетических примеров по широкому кругу тем, включая программирование, математику, STEM, бизнес, историю, общественные науки и искусство. Автор указывает на улучшения в рассуждениях, программировании и математике. Модель может поддерживать беседу и задавать уточняющие вопросы; чтобы отключить их, в системной инструкции можно попросить не задавать дополнительных вопросов. Обучение проводилось без RLHF и DPO. Модель подходит для диалоговых помощников, объяснений, рассуждений и помощи с кодом. Она может выдавать неточные, вводящие в заблуждение, предвзятые или оскорбительные ответы; результаты следует проверять. Автор характеризует модель как uncensored. Лицензия в метаданных обозначена как other, конкретные условия использования следует проверять в репозитории.

Tri-21B — авторская причинная языковая модель компании Trillion Labs для диалогов и генерации текста. Она предназначена для повседневного общения, ответов на вопросы, рассуждений, математических задач и генерации кода. По данным карточки, модель использует декодерный Transformer с RoPE, SwiGLU, RMSNorm и GQA, содержит 20,73 млрд параметров и имеет контекстное окно 8 192 токена. Модель обучалась на 2,3 трлн токенов; разработчики сообщают об улучшениях в обучении с подкреплением и настройке данных для рассуждений. Tri-21B оптимизирована для английского, корейского и японского языков. В README приведены результаты тестов на знания, рассуждения, программирование, математику и следование инструкциям. Эти результаты заявлены разработчиком и зависят от условий оценки. Для других языков качество может снижаться; знания ограничены данными примерно до февраля 2025 года. Модель распространяется под лицензией с обозначением «other»; конкретные условия следует проверять на странице репозитория Hugging Face.

Apriel-1.5-15b-Thinker-GGUF — это GGUF-квантизированная версия мультимодальной reasoning-модели Apriel-1.5-15b-Thinker, разработанной ServiceNow AI в рамках серии Apriel SLM. Модель предназначена для генерации текста, решения математических, научных и логических задач, программирования, работы с корпоративными сценариями и анализа изображений. Вариант GGUF создан с использованием llama.cpp; в процессе конвертации применялся подход с повышением точности отдельных важных слоёв для улучшения качества при заданном уровне квантизации. Модель содержит 15 млрд параметров и поддерживает текстовые и визуальные входные данные. Она обучалась на текстах, связанных с математикой, программированием, научными и логическими задачами, а также на мультимодальных данных для понимания изображений, создания подписей и работы с чередующимися изображениями и текстом. Постобучение включало текстовый SFT более чем на 2 млн высококачественных примеров; reinforcement learning не применялся. Заявлены результаты 52 балла в Artificial Analysis, 68 в Tau2 Bench Telecom и 62 в IFBench. Модель рассчитана на размещение на одной GPU и по умолчанию выполняет расширенное рассуждение, что может повышать точность, но увеличивает расход токенов и время ответа. К ограничениям относятся повышенная ресурсоёмкость вывода из-за подробного рассуждения, возможная зависимость качества от выбранного GGUF-квантизированного варианта и отсутствие image SFT и RL в процессе обучения. Лицензия модели — MIT.

DeepSeek-V4-Flash-Vision-Exp-GGUF — текстовая GGUF-квантизация базовой модели DeepSeek-V4-Flash-Vision-Exp, разработанная qtum на основе модели DeepSeek AI. Она предназначена для генерации и обработки текста, рассуждений, программирования, ответов на вопросы и развертывания через llama.cpp или совместимые инструменты. Входные изображения не поддерживаются, поскольку vision encoder в этот выпуск не включен. Модель использует MoE-архитектуру DeepSeek-V4 с 256 экспертами и маршрутизацией top-6; заявленный общий размер составляет около 2,1 трлн параметров, из которых 50,4 млрд активны при одном проходе. Контекст — до 128K токенов, языки — английский и китайский. Доступны семь уровней квантизации от Q3_K_M до IQ1_S: варианты Q3_K_M–Q2_K ориентированы на использование с минимальной потерей качества, а IQ1_M и IQ1_S обеспечивают максимальное сжатие, но заметно снижают качество. Размер файлов составляет примерно 59–130 ГБ, а требования к видеопамяти — около 61–135 ГБ, поэтому для запуска требуется мощное GPU-оборудование и загрузка всех частей многотомной модели. Модель распространяется по лицензии MIT.

Falcon3-Mamba-7B-Instruct — инструктивная языковая модель из семейства Falcon3, разработанная Technology Innovation Institute. Она предназначена для диалогов и выполнения инструкций, а также для задач рассуждения, понимания языка, программирования и математики. Модель дообучена на базе tiiuae/Falcon3-Mamba-7B-Base и использует архитектуру Mamba1 с причинным декодером: 64 блока, ширина 4096 и словарь из 65 тысяч токенов. Контекст — до 32 тысяч токенов. Обучение включало продолжение предобучения на данных из веба, кода и STEM, а также последующее обучение на примерах диалогов, STEM, кода и безопасности. Основной язык обучения — английский. Модель рассчитана на генерацию ответов и кода по запросу. Разработчик сообщает о сильных результатах для рассуждений, следования инструкциям, понимания языка, кода и математики по сравнению с сопоставимыми моделями SSM на момент выпуска. Репозиторий содержит веса в формате safetensors. Лицензия — TII Falcon-LLM License 2.0; перед использованием следует учитывать её условия.

FreedomAISVR/Gemma-4-12B-it-NVFP4-GGUF — квантованная в формате NVFP4 версия инструкционной модели Google Gemma 4 12B-it. Это плотный трансформер-декодер Gemma4ForCausalLM с 12,08 млрд параметров, предназначенный для диалога, следования инструкциям, рассуждений, программирования и мультимодального понимания. Модель рассчитана на запуск на видеокартах NVIDIA Blackwell, включая RTX 50 серии; репозиторий содержит GGUF-веса с заявленным размером файла 6,5 ГБ. Карточка приводит результаты на RTX 5060 Ti и рекомендует контекст до 256 тыс. токенов с соответствующими настройками KV-кэша. NVFP4 использует 4-битное представление весов с масштабированием по группам; автор отмечает, что на потребительских GPU скорость декодирования ограничена ядрами, а тензорные ядра FP4 в первую очередь ускоряют обработку входного контекста. Метаданные указывают диалоговую возможность, английский язык и задачу text-generation; описание базовой модели сообщает о понимании изображений, видео и аудио, но карточка этой квантованной версии не описывает точный мультимодальный интерфейс. Лицензия — Apache-2.0.

Gemma-4-21B — разреженная мультимодальная модель семейства Gemma 4, подготовленная 0xSero на основе google/gemma-4-26b-a4b-it. Авторы удалили 20% экспертов Mixture-of-Experts с помощью метода REAP от Cerebras: осталось 103 эксперта на слой, из которых активируются 8 на каждом токене. Всего в модели около 21,34 млрд параметров, формат весов — BF16; активное число параметров на токен осталось около 4 млрд. Модель предназначена для диалоговой генерации текста, рассуждений, программирования, математики и работы с изображениями. В архитектуре 30 трансформерных слоёв с чередованием скользящего и полного внимания; заявленное окно контекста — 262 144 токена. Модель поддерживает режим внутреннего рассуждения с разделением каналов thought и response. Карточка приводит результаты ограниченных сравнительных оценок, в которых качество генерации в целом было близко к исходной модели, но на отдельных задачах отмечалось заметное снижение точности. Для запуска указаны Transformers и vLLM; пример настройки vLLM ограничивает контекст 16 384 токенами. Лицензия — Gemma. Поддержка изображений указана в README, хотя основной pipeline-тег модели — text-generation.

GLM-4.6-Derestricted-v3 — текстовая диалоговая модель Arli AI, созданная на основе GLM-4.6 от Zhipu AI. Разработчики применили к базовой модели метод Norm-Preserving Biprojected Abliteration, чтобы убрать поведение отказа, стараясь сохранить рассуждения и другие способности исходной модели. Это модификация весов, а не отдельная архитектура; в репозитории указаны 23,4 млрд параметров, семейство GLM-4 MoE и формат safetensors. Модель предназначена для генерации диалоговых ответов, рассуждений, написания кода и агентных сценариев. Унаследованный от GLM-4.6 контекст составляет 202 752 токена; исходная карточка также описывает поддержку использования инструментов. В карточке заявлено, что удаление отказов позволяет сохранить или улучшить рассуждения, однако независимых подтверждений этих заявлений не приведено. Модель принимает текст и генерирует текст. Лицензия — MIT. Языки явно не перечислены; исходная GLM-4.6 описана как модель для текста и кода, но конкретный набор естественных языков не указан.

unsloth/llama-3-8b-bnb-4bit — это 4-битная квантованная версия 8-миллиардной языковой модели Llama 3, подготовленная Unsloth на базе Meta-Llama-3-8B. Исходную модель разработала Meta. Она предназначена для генерации текста и кода, диалоговых сценариев, текстового автодополнения и последующего дообучения на пользовательских наборах данных. Модель принимает только текст и генерирует текст или код. В основе лежит авторегрессионная архитектура оптимизированного Transformer; заявлены Grouped-Query Attention и контекстное окно 8 тысяч токенов. Модель обучалась на смеси общедоступных онлайн-данных; дата отсечения знаний — март 2023 года. Квантование до 4 бит снижает требования к памяти и делает модель более удобной для локального запуска и тонкой настройки, однако может уменьшать качество по сравнению с полноточной версией. Модель не поддерживает изображения и другие модальности, а качество ответов зависит от исходной Llama 3 и конкретного сценария использования. В README указана лицензия Llama 3 (license: llama3).

cafepm/Muse-Glimmer-30B-Q3Q4-GGUF — квантованная GGUF-сборка мультимодальной модели Muse Glimmer, подготовленная исследовательской командой TNT.Chat в рамках проекта LOCAL AI. В основе — meta-models/Muse-Glimmer-30B; исходная архитектура представляет собой плотный каузальный трансформер с энкодером восприятия и примерно 29,6 млрд параметров. В этой сборке около 20% весов хранятся в 4-битном формате Q4_K, остальные — в 3-битном Q3_K, чтобы уменьшить размер модели и требования к памяти. Репозиторий также содержит mmproj в формате BF16. Модель предназначена для локальных агентных сценариев: многошагового планирования, вызова инструментов, программирования и анализа изображений, включая скриншоты, графики и документы. Она принимает текст и изображения и генерирует текст; аудио не поддерживается. В README указано, что тестирование проводилось на внутреннем наборе из 51 вопроса, поэтому приведённые оценки не заменяют проверку на задачах конкретного применения. Возможны неточные, предвзятые или нежелательные ответы; для внедрения рекомендованы дополнительные защитные механизмы. Лицензия — Apache 2.0.