II.3Рефакторинг, миграция и модернизация

Карточка модели genevaquant/Hermes-4.3-36B на Hugging Face совпадает с карточкой NousResearch/Hermes-4.3-36B, поэтому описание составлено по ней. Hermes 4.3 36B — языковая модель для диалогов и следования инструкциям, разработанная Nous Research на основе ByteDance-Seed/Seed-OSS-36B-Base. Это плотная архитектура Seed OSS с 31,7 млрд параметров и контекстом до 524 288 токенов; модель распространяется в формате safetensors и рассчитана прежде всего на английский язык. Модель предназначена для рассуждений и ответов общего назначения, включая задачи по математике, программированию, STEM, логике и творческому письму. Она поддерживает гибридный режим рассуждений, вызов инструментов, а также формирование структурированных ответов и JSON по заданной схеме. Для диалогов используется шаблон чата Hermes на основе формата Llama 3. По описанию разработчика, при дообучении использовался корпус примерно из 5 млн примеров и 60 млрд токенов, с акцентом на проверяемые цепочки рассуждений и точное соблюдение формата. Модель выпущена под лицензией Apache-2.0. Для запуска на сервере с несколькими GPU разработчик рекомендует движки инференса вроде SGLang или vLLM; качество и скорость зависят от настроек и аппаратного обеспечения.

K2-Horizon-MoVA-36B-A4B-oQ4e — это MLX-конверсия и 4-битная смешанно-точная квантизированная версия модели IFM/K2-Horizon-MoVA-36B-A4B, разработанной командой IFM. Модель предназначена для генерации текста, рассуждений, ответов на научные вопросы, программирования, извлечения информации, структурированного вывода и агентских сценариев с вызовом инструментов и использованием терминала. Архитектура модели основана на разреженной Mixture-of-Experts и механизме внимания Mixture-of-Values (MoVA). Всего модель содержит 36 млрд параметров, из которых при обработке активны около 4 млрд. Заявлена поддержка контекста до 512 тысяч токенов. Это reasoning-модель; для наилучших результатов рекомендуется использовать высокий уровень усилий рассуждения. Данные о поддерживаемых языках и мультимодальных возможностях в README не указаны, поэтому модель следует рассматривать как текстовую. Сильными сторонами являются качество рассуждений, структурированный вывод, надёжность вызова инструментов и применение в локальных агентских конвейерах. По приведённым сравнениям модель превосходит Qwen 3.6 35B A3B в большинстве тестов, но уступает ему по скорости генерации: производительность ограничена большим общим размером модели, несмотря на небольшое число активных параметров. Для запуска требуется MLX-совместимая среда; при использовании oMLX необходима версия 0.6.4 или новее с патчем поддержки K2-Horizon. Модель распространяется по лицензии Apache-2.0, как и исходная модель.

unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Meta Llama 3.1 8B, подготовленная с использованием Unsloth. Модель разработана Meta и предназначена для генерации текста и кода, диалоговых сценариев, ответов на инструкции и других задач обработки текста. Она работает только с текстовыми данными на входе и выдаёт текст или код. Модель построена на авторегрессионной оптимизированной архитектуре Transformer, использует Grouped-Query Attention (GQA) и содержит около 8 млрд параметров. Заявленная длина контекста составляет 128 тысяч токенов. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Instruction-тюнинг выполнен с применением supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности ответов. 4-битное представление снижает требования к памяти и может быть удобно для локального запуска и инференса на доступном оборудовании, однако потенциально ограничивает точность по сравнению с полноразмерными вариантами. Модель является статической и обучена на офлайн-данных; дата отсечения знаний — декабрь 2023 года. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License.

Карточка модели Darth-Coder/my-model3-8b-it на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

WhiskyAKM/Nemotron-3.5-Lightning-30B-A3B-GGUF — это набор моделей в формате GGUF, созданный на основе NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 и разработанный NVIDIA Corporation. Файлы были конвертированы и квантизированы с помощью llama.cpp и предназначены для локального запуска и генерации текста, включая программирование, рассуждения, задачи общего назначения и агентские сценарии. Модель использует гибридную архитектуру Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE, а также отдельными слоями Attention. Всего модель содержит 30 млрд параметров, из которых активно используется около 3 млрд. Поддерживаются английский, испанский, французский, немецкий, итальянский и японский языки, а также языки программирования. Заявлена длина контекста до 1 млн токенов при нативном значении по умолчанию 256 тыс. токенов. Доступны режимы рассуждения с включением и отключением через chat template, а также методы ускорения генерации DSpark, DFlash и MTP. Сильными сторонами модели являются высокая вычислительная эффективность MoE-архитектуры, поддержка длинного контекста, многоязычность и несколько вариантов квантизации — от BF16 до 4-битных форматов. Качество, скорость и требования к памяти зависят от выбранного файла; более компактные варианты экономичнее, но могут уступать полноточной версии по качеству. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная. Распространение и коммерческое использование регулируются лицензией OpenMDW License Agreement версии 1.1.

Это конвертированная для MLX и Apple Silicon версия NVIDIA Nemotron 3.5 Lightning 30B-A3B-NVFP4. Её подготовил автор репозитория Sawfwair на основе официального чекпойнта NVIDIA; это детерминированная конверсия, а не оригинальная раскладка TensorRT-LLM или vLLM. Модель предназначена для диалогов, рассуждений, следования инструкциям и генерации кода, а также для чат-ботов, RAG-систем и агентных приложений. Архитектура — гибридная MoE с чередованием слоёв Mamba-2 и MoE, отдельными слоями Attention и компонентами Multi-Token Prediction. В официальной карточке указано 30 млрд параметров, из которых активно около 3 млрд; репозиторные метаданные для этого артефакта указывают 1,9 млрд параметров. Контекст модели достигает 1 048 576 токенов. Она принимает текст и генерирует текст; заявлена поддержка английского, испанского, французского, немецкого, итальянского и японского языков, а также задач программирования. Вариант MLX рассчитан на запуск на Apple Silicon. README характеризует исходную модель как пригодную для коммерческого использования, но метаданные этой конверсии указывают лицензию «other»; перед коммерческим внедрением следует проверить условия исходной модели и артефакта. Показатели тестов в README измерены NVIDIA для официального NVFP4-чекпойнта и не являются отдельной оценкой этой конверсии.

NeuralNet-Hub Qwen3.6-35B-A3B-Uncensored-NVFP4 — мультимодальная модель для работы с текстом и изображениями, созданная на основе Qwen/Qwen3.6-35B-A3B. Модель доработана с помощью supervised fine-tuning и abliteration, а затем квантована в формате NVFP4. В README указано, что исходная модель относится к архитектуре mixture-of-experts (MoE); обозначение 35B-A3B является частью её идентификатора. Разработчик квантованной версии — NeuralNet-Hub, а базовая модель разработана командой Qwen. Модель предназначена для диалогов, генерации и анализа текста, программирования, исследовательских и образовательных задач, создания контента, кибербезопасности, а также анализа изображений с текстовым запросом. Поддерживаются thinking и instruct-режимы, OpenAI-совместимый Chat API, автоматический выбор инструментов и вызовы инструментов с парсером qwen3_coder. Для развёртывания рекомендуется vLLM; заявленная максимальная длина контекста в конфигурации составляет 262144 токена. Ключевое преимущество — сочетание мультимодальности, длинного контекста, режима рассуждений и NVFP4-квантизации, ориентированной на высокую эффективность на GPU NVIDIA Blackwell. При этом формат NVFP4 несовместим с GPU архитектур Ampere, Ada Lovelace и Hopper. Из-за fine-tuning и abliteration модель позиционируется как неограниченная и может отвечать на темы, которые стандартные модели обычно отклоняют; это снижает встроенные ограничения безопасности и требует дополнительного контроля при использовании. Модель распространяется по лицензии Apache 2.0.

ISTA-DASLab/Qwen3.8-27B-3Bit-GSQ — это квантованная версия Qwen/Qwen3.8-27B, опубликованная ISTA-DASLab и созданная с применением метода GSQ (Gumbel-Softmax Quantization). Модель предназначена для рассуждений, программирования, научных и общих текстовых задач, многоязычного понимания, обработки длинного контекста и агентских сценариев. В контрольную выборку для квантования также входили математические, кодовые, научные, мультиязычные и длинноконтекстные данные. Веса transformer-корпуса квантованы до 3 бит с размером группы 128. Слой эмбеддингов и LM head квантованы отдельно до 4 бит методом RTN с размером группы 64 для сохранения качества вывода и эмбеддингов. Контрольная точность на AIME 2025 составила 100%, а на GPQA Diamond — 91,41% в одном прогоне; авторы предупреждают о значительной вариативности таких результатов. Чекпойнт поддерживает vision-компоненты, однако они не калибровались на мультимодальных данных, поэтому качество работы с изображениями может быть ограничено. Размер составляет около 11,83 ГБ с vision-компонентами и 10,90 ГБ в text-only режиме. Для сервинга через vLLM требуется версия 0.27.1 и специальный патч для поддержки квантованных embedding-весов. Спекулятивное декодирование не поддерживается: компоненты MTP удалены из опубликованного чекпойнта. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next — открытая по весам мультимодальная модель семейства Qwen, представленная как первый релиз архитектуры Qwen4-экспериментального семейства. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, работы с изображениями и агентных сценариев, включая задачи программирования и длительные рабочие процессы. В карточке описаны возможности вызова инструментов и режим рассуждения, включённый по умолчанию. Модель имеет разреженную MoE-архитектуру: 125 млрд параметров, из которых активируются 6 млрд, дополнительно 51 млрд параметров приходится на n-граммные эмбеддинги и 4 млрд — на MTP. Архитектура сочетает Gated DeltaNet и Qwen Sparse Attention, а также использует Gated Residual. Контекстное окно составляет 262 144 токена и может расширяться до 1 000 000 токенов. В карточке приведены оценки на агентных, программных и визуально-языковых бенчмарках, однако таблицы результатов и таблица языков опущены. Разработчик позиционирует модель для API-интеграции и рекомендует этот способ использования. Репозиторий содержит веса Safetensors; лицензия указана как other, поэтому условия использования следует уточнить в материалах разработчика. В предоставленных данных нет списка поддерживаемых языков и конкретных ограничений по качеству или применению.

AIArchiveInfo/Seed-OSS-36B-Instruct — побитовая архивная копия модели Seed-OSS-36B-Instruct, разработанной командой ByteDance Seed. Согласно карточке, веса скопированы без обучения и изменений; модель предназначена для диалогов, рассуждений, задач общего назначения и сценариев с использованием инструментов. Это плотная причинная языковая модель семейства Seed-OSS с архитектурой RoPE, GQA, RMSNorm и SwiGLU. В метаданных указано 31,7 млрд параметров и контекст до 524 288 токенов; README округляет размер семейства до 36 млрд. Модель оптимизирована для международного применения, поддерживает управление бюджетом рассуждений и рассчитана на длинный контекст. Лицензия — Apache-2.0.

Seed-OSS-36B-Instruct — диалоговая плотная языковая модель команды ByteDance Seed. Репозиторий unsloth содержит производную версию модели ByteDance-Seed/Seed-OSS-36B-Instruct; архитектура использует причинную генерацию, RoPE, GQA, RMSNorm и SwiGLU. Метаданные указывают 31,7 млрд параметров и контекст до 524 288 токенов. Модель предназначена для диалогов, генерации текста, рассуждений и агентных сценариев с вызовом инструментов. Можно задавать бюджет рассуждений, чтобы управлять длиной внутреннего анализа и расходом вычислений. В README заявлена оптимизация для международных сценариев, но конкретный перечень поддерживаемых языков не приведён. Модель распространяется по лицензии Apache-2.0. Для инференса в README описаны Transformers и vLLM; рекомендуется температура 1,1 и top_p 0,95. Качество ответов зависит от задачи и настроек генерации, а использование длинного контекста увеличивает вычислительные затраты.

T-pro-it-2.0 — плотная языковая модель семейства Qwen3, разработанная t-tech на базе Qwen/Qwen3-32B с продолженным предобучением и этапами выравнивания. Модель содержит 29,7 млрд параметров, рассчитана на генерацию текста и диалог; в карточке заявлена поддержка русского языка и контекст до 40 960 токенов по метаданным. README указывает нативную длину контекста 32 768 токенов. Модель предназначена для русскоязычных запросов общего назначения, включая рассуждения, ответы на вопросы и программирование. Обучение включало 40 млрд токенов инструкционных данных, около 500 тыс. примеров для supervised fine-tuning и около 100 тыс. примеров preference tuning; предусмотрены режимы с рассуждением и без него. В README приведено сравнение с Qwen 3 32B и другими моделями на русскоязычных бенчмарках. Для инференса рекомендован SGLang; настройки генерации предлагается выбирать с учётом режима и сложности запроса. Модель распространяется по лицензии Apache-2.0. Разработчики предупреждают, что перед промышленным или коммерческим применением необходимы дополнительная проверка, обучение и контроль ответов.

WizardLM-2 8x22B — многоязычная языковая модель с архитектурой Mixture of Experts, разработанная WizardLM в Microsoft AI. Это версия для генерации текста и диалогов; в карточке указаны сценарии сложного общения, рассуждений, работы с кодом, математикой и агентных задач. По README модель основана на mistral-community/Mixtral-8x22B-v0.1 и содержит 141 млрд параметров; метаданные классифицируют её как Mixtral MoE с 22B параметров и контекстом до 65 536 токенов. Модель обучалась с использованием синтетической системы подготовки данных и поддерживает многоязычное применение. В репозитории указаны веса safetensors и лицензия Apache-2.0. Заявления о сравнительном качестве приведены разработчиками по их оценкам и не гарантируют результат на иных задачах.

Calcium-Opus-14B-Elite3 — диалоговая языковая модель на базе Qwen2.5-14B-Instruct, дообученная разработчиком на данных для пошагового рассуждения. Это плотная архитектура Qwen2 с 14 млрд параметров, предназначенная для генерации текста, следования инструкциям и решения многоэтапных задач, включая математику и программирование. Модель принимает текст и формирует текстовые ответы; поддерживает контекст до 131 072 токенов и, по карточке, генерацию ответов длиной более 8 тысяч токенов. Карточка заявляет поддержку более 29 языков, включая английский, русский, китайский, французский, испанский, немецкий, японский и арабский. Среди описанных сильных сторон — структурированные ответы, в том числе JSON, работа с таблицами, кодом и математическими задачами. Модель доступна в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Карточка предупреждает о возможных ошибках и повторениях в длинных или творческих ответах, неодинаковом качестве между языками и отсутствии актуальных сведений о событиях после обучения; для работы с длинным контекстом нужны значительные вычислительные ресурсы.

Карточка модели ApocalypseParty/G4-31B-SFT-v5-2-seed1337 на Hugging Face совпадает с карточкой ApocalypseParty/G4-31B-SFT-v6-2, поэтому описание составлено по ней. ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

coder3101/gemma-4-12B-it-heretic — мультимодальная инструкционная модель на базе Google Gemma 4 12B IT. Это дообученная версия с маркировками heretic, uncensored и decensored; автор README описывает семейство Gemma 4 как модель для рассуждений, диалога, агентных сценариев, программирования и анализа мультимодальных данных. Архитектура — плотная Gemma4UnifiedForConditionalGeneration с гибридным вниманием: локальные скользящие окна чередуются с глобальным вниманием. Модель принимает текст, изображения, видео и аудио и генерирует текст. Для семейства заявлены распознавание объектов, OCR, извлечение данных из документов, понимание интерфейсов и графиков, анализ видеокадров, распознавание речи и перевод речи в текст; также поддерживаются вызовы инструментов. README указывает поддержку более 35 языков на уровне модели семейства, но не перечисляет их по отдельности. Для версии 12B заявлен контекст до 256 тысяч токенов. Модель подходит для диалоговых помощников, программирования, анализа документов и изображений, транскрибации речи и мультимодальных агентных сценариев. Возможны фактические ошибки, трудности с неоднозначностью и сложными открытыми задачами, а также смещения из обучающих данных; маркировка uncensored указывает на ослабление ограничений безопасности, но конкретные изменения и оценки в README не описаны. Лицензия — Apache-2.0.

Это зеркальная копия Gemma 4 E2B IT от Google DeepMind, подготовленная chibifire. Модель прошла обучение с учётом квантизации Q4_0 (QAT), а в репозитории хранятся полут точные веса в формате safetensors вместе с токенизатором, шаблоном диалога и конфигурациями обработки и генерации. Она основана на плотной архитектуре Gemma 4 и предназначена для локального вывода и дальнейшего преобразования весов. Модель принимает текстовые и мультимодальные запросы и формирует ответы в диалоговом режиме; базовая Gemma 4 E2B IT поддерживает анализ изображений и аудио наряду с текстом. Обучение QAT рассчитано на сохранение качества при последующем хранении весов в Q4_0, хотя данная копия содержит полут точные, а не квантизованные веса. Для загрузки README рекомендует Transformers. Лицензия репозитория — Apache 2.0.

Карточка модели Terom/gemma-4-E2B-it-qat-q4_0-unquantized на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

coder3101 представил дообученную мультимодальную модель на базе Google Gemma 4 E2B-it. Она предназначена для диалогов, рассуждений, генерации и исправления кода, анализа изображений и выполнения задач с инструментами. Архитектура — плотная Gemma4ForConditionalGeneration; модель работает с текстом и изображениями. В карточке семейства также заявлена обработка аудио и видео, однако поддержка этих возможностей именно этой производной версии не подтверждена. Модель подходит для чат-ботов, суммаризации, извлечения сведений из изображений и документов, распознавания текста и помощи с программированием. Для Gemma 4 E2B указано контекстное окно до 128 тысяч токенов; семейство поддерживает более 35 языков. Производная опубликована в формате safetensors по лицензии Apache 2.0. Возможны фактические ошибки, предвзятость и трудности с неоднозначными или сложными запросами. В названии и тегах версии заявлены uncensored/abliterated характеристики, но README не описывает метод изменения поведения или его последствия.

GLM-4.7-Flash-GGUF — это GGUF-версия модели GLM-4.7-Flash, подготовленная Unsloth на основе модели Z.ai. Это языковая модель для генерации текста с архитектурой MoE: 30 млрд параметров, из которых при обработке активируется около 3 млрд. Модель поддерживает английский и китайский языки; размер контекста в README не указан. Модель предназначена для общего диалога, рассуждений, программирования, агентских сценариев, вызова инструментов и локального развертывания. Заявлены сильные результаты на задачах математического и научного рассуждения, программирования, веб-поиска и взаимодействия с инструментами. Для локального запуска указана поддержка llama.cpp, vLLM, SGLang и Transformers; также допускается дообучение через Unsloth. Ключевое преимущество модели — сочетание высокой заявленной производительности с относительно компактным числом активных параметров, что делает её подходящей для более эффективного развертывания по сравнению с плотными моделями сопоставимого общего размера. Ограничения включают необходимость использовать актуальные версии некоторых фреймворков, а для GGUF-файлов — корректные параметры генерации; в README отдельно рекомендуется отключить repeat penalty и учитывать настройки temperature, top-p и min-p. Модель распространяется по лицензии MIT.

GLM-4-9B-Chat — диалоговая языковая модель семейства GLM, выпущенная Zhipu AI. Репозиторий содержит версию в формате Transformers и safetensors; модель насчитывает 8,8 млрд параметров и рассчитана на генерацию текста в многораундовом чате. Модель подходит для ответов на вопросы, рассуждений, задач по математике и коду, а также для сценариев с вызовом инструментов и длинными документами. Заявленная длина контекста — до 128K токенов. Поддерживаются китайский и английский; автор также заявляет поддержку 26 языков. README сообщает о результатах тестов на задачах семантики, математики, рассуждений, кода и знаний, но не приводит полных данных для некоторых сравнительных таблиц. Это дообученная версия THUDM/glm-4-9b-chat. Для загрузки весов требуется transformers версии 4.46.0 или новее: репозиторий несовместим с более старыми версиями. Лицензия указана как other, поэтому условия использования следует уточнить в материалах репозитория.

GLM-5.3-Flash-GGUF — это квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной командой GLM-5 компании Z.ai; данный вариант опубликован в формате GGUF организацией zurichquants. Модель предназначена для генерации текста, программирования, решения сложных задач, работы с инструментами и агентских сценариев. Она поддерживает английский и китайский языки, а также текстовые и визуальные входные данные. Базовая модель содержит 320 млрд параметров, из которых при обработке активируется около 18 млрд. В архитектуре используются гибридное сочетание разреженного и линейного внимания, а также Manifold-Constrained Hyper-Connections, что направлено на снижение стоимости работы с длинным контекстом при сохранении точности. Модель обучалась на мультимодальном корпусе объёмом около 30 трлн токенов. В README не указаны точный размер контекста для этого GGUF-варианта и конкретный уровень квантизации, поэтому требования к памяти и производительность зависят от файла сборки. К сильным сторонам относятся высокая эффективность благодаря разреженной активации параметров, поддержка длинного контекста, мультимодальность и заявленная конкурентоспособность в задачах программирования и автономных агентов. Для локального запуска рекомендуется использовать совместимые версии llama.cpp или Unsloth Desktop; поддержка может зависеть от реализации. Модель и её базовая версия распространяются по лицензии MIT.

cinnybun02/heretic-e2b-fp16 — мультимодальная производная Gemma 4 E2B IT, представленная в формате Safetensors и доступная по лицензии Apache-2.0. По метаданным, она дообучена на google/gemma-4-E2B-it. README описывает семейство Gemma 4 и указывает, что вариант E2B рассчитан на локальное развёртывание, включая устройства с ограниченными ресурсами. Модель предназначена для диалогов, рассуждений, генерации и редактирования кода, а также анализа изображений, видео и аудио. Она поддерживает распознавание речи и перевод речи в текст; семейство также умеет разбирать документы и PDF, распознавать текст на изображениях, анализировать графики и интерфейсы и вызывать инструменты. Для E2B заявлено контекстное окно до 128 тысяч токенов; семейство поддерживает более 35 языков. В README репозиторий помечен как uncensored/decensored/abliterated, но конкретные методы изменения базовой модели не описаны. Возможные ограничения включают фактические ошибки, зависимость качества от формулировки запроса и контекста, а также трудности с языковыми нюансами и сложными открытыми задачами. Следует учитывать возможные смещения и риск генерации вводящего в заблуждение контента.

Hermes 3 Llama 3.1 405B FP8 — языковая модель общего назначения от Nous Research, дообученная на основе Meta Llama 3.1 405B. Это плотная авторегрессионная модель семейства Llama с 403,7 млрд параметров и контекстом до 131 072 токенов. Данная версия квантизована в FP8 методом NeuralMagic и предназначена для запуска через vLLM; по данным карточки, для неё требуется около 430 ГБ видеопамяти. Модель предназначена для диалогового ассистента, следования инструкциям, рассуждений, ролевого общения, генерации кода и работы с длинным контекстом. Она поддерживает формат диалога ChatML, вызов функций и структурированный вывод JSON, позволяя интегрировать её в агентные сценарии и приложения с инструментами. Основной язык, подтверждённый карточкой, — английский. Модель выдаёт конкурентные результаты относительно инструкционных моделей Llama 3.1, но качество зависит от задачи и сценария. Это текстовая модель, поэтому она не принимает изображения или аудио. FP8-вариант требует значительных ресурсов для запуска и совместим с vLLM. Лицензия — Llama 3; применяются её условия использования.

JoyAI-LLM Flash-Base — базовая языковая модель семейства JoyAI-LLM Flash, представленная в карточке модели как разработанная для высокопроизводительных приложений с низкой задержкой и стоимостью запросов. Это плотная архитектура DeepseekV3ForCausalLM по метаданным; README описывает модель как смесь экспертов (MoE) с 48 млрд параметров всего и 3 млрд активируемых параметров, тогда как метаданные указывают общий размер 2,7 млрд параметров. Модель предназначена для генерации текста, рассуждений, работы со знаниями и кодом, а также сценариев с использованием инструментов и автономным решением задач. README сообщает об обучении с оптимизатором Muon и о варианте с MTP, который, по заявлению авторов, повышает пропускную способность в 1,3–1,7 раза относительно версии без MTP. Поддерживаемые языки по тегам карточки — китайский и английский; контекстное окно составляет 131 072 токена. В репозитории указаны веса safetensors. Лицензия в предоставленных данных не указана.

bullerwins/Meta-Llama-3.1-8B-Instruct-GGUF — GGUF-квантизированная версия инструкционной модели Meta-Llama-3.1-8B-Instruct, разработанной Meta. Это авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer; инструкционная настройка выполнена с использованием supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческого и исследовательского применения, включая создание синтетических данных и дистилляцию. Она работает только с текстом на входе и выходе, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Размер модели — 8B параметров, контекст — до 128K токенов, используется Grouped-Query Attention. Ключевые преимущества — мультиязычность, поддержка длинного контекста и локального запуска через совместимые инструменты llama.cpp. Эта версия требует llama.cpp 5e2727f или более новой из-за исправлений токенизатора и RoPE. Модель является статичной и обучена на офлайн-данных с отсечкой знаний в декабре 2023 года, поэтому не обладает актуальными знаниями без внешних источников. Качество и потребление ресурсов зависят от выбранного уровня GGUF-квантизации, который в README не указан. Распространяется по коммерческой лицензии Llama 3.1 Community License; использование также ограничено применимыми законами, Acceptable Use Policy и условиями лицензии.

grimjim/mistralai-Mistral-Nemo-Instruct-2407 — инструктивно дообученная языковая модель на базе Mistral Nemo, разработанной совместно Mistral AI и NVIDIA. Она предназначена для диалога, следования инструкциям, генерации текста и вызова инструментов. Модель использует плотную архитектуру Transformer семейства Mistral с 40 слоями, GQA и 12,1 млрд параметров; контекстное окно составляет 131 072 токена. Доступны веса в формате Safetensors. Модель рассчитана на многоязычные задачи, включая английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский; обучающие данные также включают код. Подходит для чат-ботов, помощников и генерации ответов по инструкциям. Выпускается по лицензии Apache 2.0. В карточке разработчика модель названа демонстрацией возможностей базовой модели; встроенных механизмов модерации нет.

RedHatAI/Mistral-Small-24B-Instruct-2501-quantized.w8a8 — квантизированная INT8-версия Mistral-Small-24B-Instruct-2501, разработанная Red Hat совместно с Neural Magic. Модель предназначена для генерации текста и поддерживает текстовые и визуальные входные данные с текстовым выводом. Заявленные сценарии включают диалоговых агентов с быстрым откликом, вызов функций с низкой задержкой, программирование, математическое рассуждение, анализ длинных документов, визуальное понимание, локальный инференс и специализированные решения после дообучения. Модель имеет архитектуру Mistral3ForConditionalGeneration и содержит 24 млрд параметров в базовой версии. Веса и активации линейных операторов в трансформерных блоках квантизированы до INT8: для весов используется статическая симметричная поканальная схема, для активаций — динамическая симметричная потокенная схема. При заявленных характеристиках это примерно вдвое снижает требования к памяти GPU и размер файлов весов, а также может увеличить производительность матричных умножений примерно в два раза. Квантизация выполнена с использованием SmoothQuant и GPTQ через библиотеку llm-compressor. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Модель валидирована с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4; в документации приведён контекст до 32768 токенов. Ограничения включают возможное снижение точности из-за квантизации и запрет использования с нарушением применимых законов и в неподдерживаемых языках. Лицензия — Apache 2.0.

RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w8a8 — это квантизированная версия инструкционной мультимодальной модели Mistral-Small-3.1-24B-Instruct-2503, разработанная Red Hat совместно с Neural Magic на базе модели Mistral AI. Архитектура обозначена как Mistral3ForConditionalGeneration. Модель принимает текст и изображения и генерирует текст; заявлена поддержка языков, включая английский, французский, немецкий, испанский, итальянский, португальский, хинди, арабский, китайский, японский, корейский, русский, украинский и другие языки из указанного перечня. Модель предназначена для быстрых диалоговых агентов, вызова функций с низкой задержкой, программирования, математического рассуждения, анализа длинных документов и визуального понимания. Она также подходит для локального развертывания, включая сценарии обработки чувствительных данных, и для адаптации под предметные области посредством дообучения. Максимальный контекст в README явно не указан, однако в примере развертывания используется ограничение 32768 токенов. Веса и активации линейных операторов в трансформерных блоках квантизированы в INT8. Для весов применяется статическая симметричная поканальная схема, для активаций — динамическая симметричная потокенная схема; используются методы SmoothQuant и GPTQ. По данным README, это примерно вдвое снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных умножений. Компромиссом являются возможные потери точности по сравнению с исходной моделью, при этом конкретные результаты бенчмарков не приведены. Модель распространяется по лицензии Apache 2.0 и валидирована с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4.

Motif-3-NVFP4 — это NVFP4-квантизированный вариант большой авторегрессионной языковой модели Motif 3, разработанной компанией Motif Technologies. Модель предназначена для генерации текста общего назначения, мультиязычных задач, программирования, математического рассуждения, работы с длинными контекстами и агентных сценариев с использованием инструментов. Указанные языки — английский и корейский. Модель построена на декодерной архитектуре Mixture-of-Experts с примерно 314 млрд параметров, из которых около 13,2 млрд активируются для каждого токена. Она содержит 53 слоя, включая 2 плотных и 51 MoE-слой, 384 маршрутизируемых эксперта с выбором 8 экспертов на токен и одного общего эксперта. Используются Grouped Differential Latent Attention, модифицированные manifold-constrained hyper-connections, Expert-Specific PolyNorm и Multi-Token Prediction для self-speculative decoding. Нативная длина контекста составляет 262 144 токена, размер словаря — 220 160. Квантизация NVFP4 уменьшает требования к памяти и ориентирована на эффективное развертывание на GPU класса NVIDIA Blackwell. Сильными сторонами модели заявлены работа с длинным контекстом, агентное и инструментальное взаимодействие, а также конкурентные результаты в задачах программирования, математики и общих знаний. По приведённым тестам, NVFP4-версия в среднем почти не уступает варианту Block-FP8 по точности, однако фактическая производительность может зависеть от оборудования и настроек инференса. Ограничения включают высокую общую ёмкость модели, необходимость совместимого NVFP4-оборудования и отсутствие в этой карточке полного описания базовой модели и подробностей оценки. Модель распространяется по лицензии MIT.