I.1Поиск и навигация по информации

dbirks/Qwen3.8-27B-NVFP4-AutoRound — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, подготовленная с помощью Intel AutoRound и упакованная в формате compressed-tensors для развертывания через vLLM. Модель предназначена для генерации и обработки текста, а также сохраняет архитектурные компоненты исходной мультимодальной модели, включая vision tower, хотя квантизация применяется только к языковому декодеру. В основе лежит гибридная архитектура из 64 слоёв: 48 слоёв GatedDeltaNet с линейным вниманием и 16 слоёв полного внимания, с поддержкой контекста до 262 тысяч токенов. Основная часть линейных слоёв языкового декодера сжата до NVFP4 W4A4: квантизируются веса и входные активации с группами размера 16. Проекции управления рекуррентностью, vision tower, MTP head и lm_head оставлены в BF16 для сохранения качества. Модель поддерживает английский язык; размер файла составляет около 20,6 ГБ против примерно 52 ГБ у BF16-версии. Сильная сторона модели — существенное снижение требований к памяти при сохранении качества, близкого к базовой BF16-модели: в приведённых тестах результаты GSM8K, HumanEval и MMLU-Pro находятся в пределах доверительных интервалов базовой версии. Модель в первую очередь рассчитана на GPU NVIDIA Blackwell с поддержкой FP4 tensor cores (SM100/SM120). На Ada и Hopper полноценного ускорения нет, возможен откат к более медленному режиму Marlin; для таких GPU рекомендуется родственная W4A16-версия. Лицензия — Apache-2.0.

Qwen3.8-27B-NVFP4-BUDGET-GGUF — производная версия модели Qwen3.8-27B, подготовленная автором репозитория esatapedico на основе квантованной сборки Unsloth. Это плотная модель с 27 млрд параметров, гибридной архитектурой Gated DeltaNet и Gated Attention и контекстом до 262 144 токенов. Репозиторий содержит две компактные сборки GGUF: BUDGET и STARVED; в обеих удалена голова MTP для спекулятивного декодирования, а выходная проекция и эмбеддинги токенов квантованы до малых типов. Модель предназначена для диалогов и генерации текста, а при подключении совместимого проектора mmproj-BF16.gguf также принимает изображения и видео. Сборки рассчитаны на запуск через llama.cpp на видеокартах Blackwell с 16 ГБ памяти: BUDGET занимает 14,72 ГБ, STARVED — 14,59 ГБ. Автор приводит ориентировочные результаты одного запуска на RTX 5070 Ti и предупреждает, что компактное квантование снижает точность; заявленный образный ввод требует отдельного проектора, а для работы нужны свежая версия llama.cpp и поддержка NVFP4 и sm_120. Модель распространяется по лицензии Apache-2.0. Это конверсия и дополнительное квантование/уплотнение производной сборки; веса не обучались и не дообучались автором репозитория.

aquaduck/Qwen3.8-Flash-Next-GGUF — это квантизированная версия каузальной языковой модели Qwen3.8-Flash-Next, разработанной командой Qwen и Alibaba Cloud. Репозиторий поддерживается Aquaduck и содержит GGUF-представление UD-Q3_K_XL, а также пакеты слоёв для поэтапной или многонодовой загрузки. Это не дообученная модель и не новый запуск обучения, а упаковка и квантизация исходных весов. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты, в частности llama.cpp, а также staged loading через экосистему Aquaduck Arc. Заявлены мультиязычная поддержка, контекст до 262 144 токенов и около 180 млрд параметров. Архитектура включает 48 слоёв, GQA с 24 Q- и 2 KV-головами и скрытое измерение 2560. К преимуществам относятся большой контекст, мультиязычность, возможность локального запуска в формате GGUF и поддержка поэтапной загрузки для распределённых конфигураций. Ограничения связаны с крупным размером модели и снижением качества по сравнению с более точными версиями из-за квантизации UD-Q3_K_XL. Отдельные shard-файлы не являются полноценной моделью и не предназначены для прямого запуска в стандартном llama.cpp. Лицензия указана как other и наследуется от базовой модели; необходимо соблюдать условия лицензии и рекомендации исходной карточки модели.

Vontra/Qwen3.8-Flash-Next-MLX-8bit-MTP — конверсия модели Qwen/Qwen3.8-Flash-Next, подготовленная Vontra для Apple Silicon в формате MLX safetensors. Модель предназначена для мультимодальных сценариев с обработкой текста и изображений, включая чат и использование через OpenAI-совместимый API при наличии совместимого runtime. Архитектура представляет собой vision-language модель с разреженной mixture-of-experts архитектурой Qwen4Exp и причинным языковым моделированием. Всего языковая часть содержит около 125 млрд параметров, из которых активно используется около 6 млрд; дополнительно заявлены 51 млрд параметров в hashed bigram/trigram embedding и 4 млрд параметров в блоке native MTP. Модель поддерживает контекст до 262 144 токенов. Применяется равномерная 8-битная affine-квантизация с group size 32, тогда как мультимодальные модули и маршрутизаторы MoE сохранены в BF16. Native MTP включает один draft-блок Qwen4Exp для speculative decoding. Сильными сторонами являются уменьшенный по сравнению с BF16-вариантом объём весов, поддержка длинного контекста и потенциальное ускорение генерации с MTP: в приведённом тесте на Apple M3 Studio скорость выросла с 20,07 до 24,90 токена в секунду. Ограничения включают размер весов около 202,951 ГБ, необходимость runtime с явной поддержкой qwen4_exp и native MTP, а также зависимость поддержки изображений от версий MLX-VLM и oMLX. Приведённые показатели относятся только к генерации текста и могут меняться в зависимости от оборудования и условий запуска. Модель распространяется по Qwen Community License 1.0. Языки, точный перечень разрешённых сценариев и дополнительные ограничения лицензии в README не описаны.

Qwerus-7B — языковая модель на 7,1 млрд параметров, созданная mlabonne слиянием моделей PRIME-RL/Eurus-2-7B-PRIME и Qwen/Qwen2.5-7B-Instruct методом DARE-TIES. Она предназначена для диалогов и генерации текста, в том числе для задач рассуждения и решения математических задач. Модель основана на архитектуре Qwen2, принимает текст и выдаёт текст; заявленный контекст составляет 131 072 токена. В метаданных также указана возможность работы через интерфейс вызова инструментов. Карточка приводит результаты оценки на AIME 2024 и MATH-500; в этих тестах Qwerus-7B показала более низкие значения, чем Qwen2.5-7B-Instruct. Поддерживаются китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Модель распространяется под лицензией MIT.

Swift-Qwen3.8-27B-FP8 — независимая общественная FP8-квантизация модели ukisai/Swift-Qwen3.8-27b, не являющаяся официальным релизом UkisAI. Модель предназначена для диалоговых, reasoning- и мультимодальных сценариев, а также высокопроизводительного инференса через SGLang с поддержкой speculative decoding. Указанный pipeline относится к задачам image-text-to-text, однако мультимодальная работа именно этой квантизированной версии отдельно не тестировалась. Модель использует архитектуру Qwen3_5ForConditionalGeneration, формат compressed-tensors и схему FP8_BLOCK с блоками весов 128×128 и динамическим FP8 для активаций. Размер исходного чекпойнта составляет около 29 ГБ, заявленная длина контекста — 262 144 токена. Сохранены native MTP-компоненты; поддерживаются нативный NEXTN/MTP и внешняя модель-черновик DFlash2. Квантизация выполнена из BF16-версии с помощью llmcompressor 0.13.0, при этом несовместимые с блочной схемой компоненты, включая часть embedding- и normalization-модулей, сохранены без принудительной квантизации. Сильная сторона модели — снижение требований к видеопамяти при сохранении высокой производительности. В локальном тесте на NVIDIA RTX PRO 6000 Blackwell 96 GB скорость составила 50,45 токена в секунду без speculative decoding, 103,38 с native NEXTN/MTP и 132,62 с DFlash2 на фиксированной генерации. Эти результаты относятся к конкретной конфигурации и не являются стандартизированным бенчмарком; качество, языки и универсальная мультимодальная производительность отдельно не раскрыты. Для запуска проверены CUDA Linux, SGLang и одиночный GPU с TP=1. Модель распространяется по лицензии swift-open-license-1.0.

Swift-Qwen3.8-27B-NVFP4 — квантизированная мультимодальная модель UkisAI, производная от Swift-Qwen3.8-27B, которая, в свою очередь, основана на Qwen3.8-27B. Модель предназначена для задач рассуждения и обработки текста и изображений; в карточке указана поддержка сценариев image-text-to-text. Архитектура, компоненты зрения, токенизатор и веса BF16 для MTP сохранены от исходной модели. Модель использует смешанную точность NVIDIA Model Optimizer: основные MLP-проекции и lm_head представлены в NVFP4 с размером блока 16, крупные проекции DeltaNet и полнослойного внимания — в FP8 E4M3, а embeddings, нормализации, свёртки, компоненты зрения и MTP — в BF16. Размер чекпойнта составляет примерно 21,945 ГБ. Квантизация снижает требования к памяти под веса и оставляет больше памяти для KV-кэша, при этом точность KV-кэша не изменена. Сильными сторонами являются сохранение мультимодальных компонентов и MTP, документированная калибровка и совместимость с vLLM 0.28.0 при наличии загрузчика для смешанных ModelOpt-чекпойнтов. Ограничения включают необходимость соответствующего программного стека и оборудования; модель проверялась на GPU H100. Языки и размер контекстного окна в предоставленных данных не указаны. Доступ к модели ограничен, а лицензия обозначена как swift-open-license-1.0; также указана возможность корпоративного лицензирования.

Vulture-40B — многоязычная причинно-следственная языковая модель с архитектурой decoder-only, разработанная Virtual Interactive (VILM) на основе Falcon-40B компании TII. Модель продолжительно предобучена на корпусе из новостных статей и страниц Wikipedia объёмом 80 ГБ на 12 языках, а затем дообучена на многоязычном инструкционном наборе по методике Alpaca. В метаданных указаны 65 млрд параметров и формат safetensors. Модель предназначена для генерации текста и диалоговых ответов, а также может применяться для вопросов и ответов, классификации текста и токенов. Поддерживаемые языки: английский, немецкий, испанский, французский, португальский, русский, итальянский, вьетнамский, индонезийский, китайский, японский и корейский. Для запуска в полной точности bfloat16 требуется около четырёх ускорителей A100 80 ГБ или эквивалентные ресурсы. Разработчики предупреждают о стереотипах и предубеждениях, унаследованных из веб-корпусов, и рекомендуют оценивать риски, настраивать модель под конкретные задачи и применять защитные меры перед использованием в продуктивной среде. Лицензия — Apache-2.0.

Arcee-SuperNova-v1 — текстовая модель Arcee AI для диалогов и выполнения инструкций. В основе лежит Llama-3.1-70B-Instruct; модель объединяет дистиллированную версию Llama-3.1-405B-Instruct, вариант, дообученный на синтетических данных Evol-Kit, и вариант, оптимизированный с помощью Direct Preference Optimization (DPO). В метаданных указаны архитектура LlamaForCausalLM, 69,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для ответов на разнообразные запросы, следования инструкциям, математических задач и использования как основы для дальнейшего обучения с подкреплением на основе человеческой обратной связи. Поддерживает генерацию текста и диалоговый сценарий; в метаданных также заявлен интерфейс вызова инструментов. Для использования указана лицензия Llama 3. Карточка описывает объединение нескольких подходов к обучению, но не приводит количественных оценок качества или результатов сравнительных тестов.

ArlowGPT-8B — англоязычная инструкционно настроенная текстовая модель, созданная на основе Meta Llama 3.1 8B Instruct и дообученная разработчиком на наборе инструкций в течение 10 эпох. Модель предназначена для диалогов, генерации текста, ответов на вопросы, суммаризации и анализа документов. По метаданным, это плотная архитектура Llama с 7,5 млрд параметров, класс LlamaForCausalLM, контекст до 131 072 токенов; поддерживаются чат и интерфейс вызова инструментов. Заявленные сценарии включают многошаговые диалоги, создание профессиональных и творческих текстов, объяснения и синтез информации. Карточка также заявляет области права, медицины и финансов, однако не приводит подтверждений специализированной отраслевой подготовки. Основной язык в метаданных — английский. Модель использует библиотеку Transformers и формат safetensors; лицензия — Llama 3.1. Для запуска нужны значительные вычислительные ресурсы, а качество ответов зависит от запроса и не гарантирует фактическую точность.

Карточка модели cpral/Bielik-PL-Minitron-7B-v3.0-Instruct-ungated на Hugging Face совпадает с карточкой speakleash/Bielik-PL-Minitron-7B-v3.0-Instruct, поэтому описание составлено по ней. Bielik-PL-Minitron-7B-v3.0-Instruct — генеративная языковая модель SpeakLeash и ACK Cyfronet AGH с архитектурой causal decoder-only и 7,35 млрд параметров. Это дообученная и сжатая версия Bielik-11B-v3-Base-20250730: модель прошла структурное прореживание и дистилляцию, затем настройку на следование инструкциям и выравнивание предпочтений. Для диалога используется шаблон ChatML. Модель предназначена для генерации ответов и выполнения языковых задач на польском и других европейских языках. Она обучалась на корпусе из 32 европейских языков с особым акцентом на польский; README сообщает о сохранении около 90% производительности исходной модели и ускорении вывода до 50% после сжатия. Лицензия Apache 2.0. Модель может выдавать фактически неверные, предвзятые или оскорбительные ответы; встроенных механизмов модерации нет, поэтому результаты следует проверять, а для сценариев с требованиями к модерации нужны внешние меры контроля.

Citaman/command-r-26-layer — слитая методом SLERP языковая модель на архитектуре Cohere, созданная с помощью mergekit на основе Citaman/command-r-27-layer. В карточке указано 23,5 млрд параметров, формат safetensors и контекстное окно 8192 токена. Модель предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Данных о поддерживаемых естественных языках нет, поэтому языковую специализацию определить нельзя. Репозиторий использует лицензию, унаследованную от базовой модели, но сведения о её условиях в предоставленных данных отсутствуют.

Citaman/command-r-29-layer — языковая модель Cohere для генерации текста и диалогов. Она создана автором репозитория с помощью mergekit: веса модели Citaman/command-r-30-layer объединены методом SLERP с разными срезами слоёв, а итоговые веса сохранены в формате safetensors. Модель имеет плотную архитектуру CohereForCausalLM, около 25,9 млрд параметров и контекст до 8192 токенов. Метаданные указывают на поддержку чата и интерфейса вызова инструментов; основная задача в карточке Hugging Face — text-generation. Лицензия в предоставленных данных не указана. Характеристики языковой поддержки и качество модели на конкретных задачах не описаны, поэтому их нельзя надёжно оценить по карточке.

Command R+ (08-2024) — обновлённая версия языковой модели Command R+, разработанная Cohere. Она предназначена для генерации текста и диалоговых сценариев. В README отмечены примерно на 50% более высокая пропускная способность и на 25% меньшая задержка по сравнению с предыдущей версией при сохранении аппаратных требований. Предоставленные сведения не описывают размер модели, контекст, поддерживаемые языки или условия лицензии. Поэтому эти характеристики нельзя надёжно указать.

Lambent/Eidolon-v3.1-14B — объединённая разговорная языковая модель, созданная разработчиком Lambent с помощью mergekit из Lambent/Eidolon-v3-14B-wyrd и Lambent/Eidolon-v3-14B-abliterated. В README указано, что слияние линейное, с равными весами; работа также проверяла восстановление словаря до дополненного размера. Модель построена на архитектуре Qwen2, содержит 14 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Вариант abliterated описан в каталоге как модель с уменьшенным количеством отказов. README характеризует компонент wyrd как вмешательство, связанное с направлением креативности, однако не приводит количественной оценки качества. Репозиторий содержит веса Safetensors для использования с Transformers. Лицензия в предоставленных данных не указана.

EuroLLM-9B-Instruct — многоязычная языковая модель с 9 млрд параметров, разработанная Unbabel, Instituto Superior Técnico, Instituto de Telecomunicações, University of Edinburgh и партнёрами. Она создана на базе EuroLLM-9B и дополнительно настроена на выполнение инструкций с использованием EuroBlocks, набора данных для следования общим инструкциям и машинного перевода. Модель использует плотную архитектуру Transformer с grouped-query attention, RMSNorm, SwiGLU и RoPE; длина последовательности при обучении составляет 4096 токенов. Модель предназначена для генерации текста, диалогов, выполнения инструкций и перевода между языками. Она обучена для работы с языками ЕС и рядом дополнительных языков, включая русский, арабский, китайский, японский, корейский и хинди. Репозиторий содержит веса в формате Safetensors и использует библиотеку Transformers. Лицензия — Apache 2.0. Карточка сообщает о конкурентных результатах на многоязычных и англоязычных бенчмарках, однако модель не выравнивалась по предпочтениям людей. Она может выдавать галлюцинации, вредоносный контент и фактические ошибки.

Gemma 3 12B IT — мультимодальная instruction-tuned модель Google, представленная в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Квантизацию выполнил bartowski на основе llama.cpp; исходная модель — google/gemma-3-12b-it. Модель предназначена для генерации текста и понимания изображений. Поддерживаемые сценарии включают ответы на вопросы, суммаризацию, рассуждения и другие задачи обработки текста с учётом визуального контекста. Заявлена длина контекста до 128 000 токенов и максимальная длина вывода 8192 токена. Изображения обрабатываются в разрешении 896 × 896. Поддержка конкретных языков в README не указана. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, большой контекст и возможность локального запуска в экосистеме llama.cpp. Ограничениями являются зависимость от совместимого runtime, требование llama.cpp версии 1.19.0 или более новой beta-версии, а также возможные компромиссы качества и скорости, связанные с квантизацией GGUF. Модель может выдавать неточные, вредные или неподходящие ответы. Для доступа к Gemma на Hugging Face требуется принять лицензию Google. В README указана лицензия Gemma; дополнительные условия её использования следует учитывать перед развёртыванием модели.

onnx-community/gemma-3-270m-it-ONNX — ONNX-версия инструкционно дообученной модели Google Gemma 3 270M, разработанной Google DeepMind и предназначенной для запуска через Transformers.js. Модель генерирует текст по запросам, отвечает на вопросы, суммирует документы, выполняет рассуждения и может анализировать изображения с выдачей текстового ответа. Модель относится к компактному семейству Gemma 3 и имеет 270 миллионов параметров. Она поддерживает текстовые и, согласно карточке семейства Gemma 3, визуальные входы, при этом выходом является текст. Для вариантов 270M заявлен контекст до 32K токенов на запрос; модель ориентирована на работу более чем со 140 языками. Небольшой размер подходит для развёртывания на ноутбуках, настольных компьютерах и в собственной облачной инфраструктуре с ограниченными ресурсами. Сильными сторонами являются компактность, возможность локального запуска, инструкционное поведение и поддержка широкого набора текстовых задач. Ограничения включают меньший размер и, вероятно, более ограниченные возможности по сравнению с крупными вариантами Gemma 3; конкретные показатели качества и требования к аппаратному обеспечению в карточке не приведены. Модель распространяется на условиях лицензии Gemma; перед использованием необходимо ознакомиться с соответствующими Terms of Use.

Gemma-3-27b-it-GGUF — квантизированная GGUF-версия мультимодальной инструкционной модели Gemma 3 27B IT, разработанной Google и квантизированной Second State Inc. Модель предназначена для диалоговых приложений и сценариев image-text-to-text: обработки текстовых запросов, а при использовании файла mmproj — анализа изображений вместе с текстом. Для запуска в LlamaEdge требуется версия v0.18.5 или новее и шаблон prompt gemma-3. Модель содержит 27 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также F16; размеры файлов составляют примерно от 10,5 до 30 ГБ, не считая разбиения F16 на два файла. Рекомендуемыми вариантами названы Q4_K_M, Q5_K_M и Q5_K_S, поскольку они обеспечивают баланс размера и качества или небольшие потери качества. Для обработки изображений требуется отдельный mmproj-файл; изображения должны быть нормализованы до 896×896 пикселей и представлены как 256 токенов каждое. Основные сильные стороны — большой контекст, поддержка текста и изображений, широкий выбор уровней квантования и возможность локального запуска через LlamaEdge. Ограничения включают значительные требования к дисковому пространству и вычислительным ресурсам, а при низких уровнях квантования — существенное снижение качества. README не указывает поддерживаемые языки и конкретную архитектуру. Модель распространяется по лицензии Gemma.

Vontra/GLM-5.3-Flash-MLX-4bit-MTP — MLX-конверсия модели GLM-5.3-Flash от Z.ai, подготовленная для Apple Silicon. Это мультимодальная sparse MoE-модель архитектуры glm5_next с поддержкой текста и изображений, рассчитанная на работу с английским и китайским языками. Модель распространяется в формате MLX safetensors и сохраняет оригинальные токенизатор, chat template, мультимодальный процессор и настройки генерации. Модель предназначена для локальной генерации текста и обработки изображений в совместимых окружениях MLX и MLX-VLM. Она использует гибридное линейное и разреженное внимание, manifold-constrained hyper-connections и встроенный блок предсказания следующего токена для speculative decoding (native MTP). Заявленный контекст составляет до 1 048 576 токенов. Квантование выполнено методом weight-only post-training quantization: основные подходящие матрицы переведены в 4-bit с group size 64, тогда как vision encoder, projector, embeddings, output head и часть служебных тензоров сохранены в исходной или совместимой точности. К сильным сторонам относятся мультимодальность, очень длинный контекст, поддержка sparse MoE, оптимизация под Apple Silicon и существенное уменьшение размера весов по сравнению с полноточной моделью. Репозиторий занимает около 181,7 ГБ, поэтому для запуска требуется значительный объём объединённой памяти. Native MTP требует специальной интеграции GLM5 Next в runtime; проверена работа с oMLX 0.6.3rc3, MLX 0.32.0 и MLX-VLM 0.6.3 с соответствующей поддержкой. Старые или стандартные сборки без этой интеграции могут работать только без MTP либо не поддерживать модель. Приведённый тест на Apple M3 Ultra показал около 6,27 токена в секунду при отключённом MTP, но фактическая производительность зависит от нагрузки и окружения. Лицензия — MIT.

GLM-5.3-Flash NVFP4 B200 hybrid — это квантизированная версия GLM-5.3-Flash, разработанная tiyuvta и собранная из исходной BF16-версии zai-org. Модель предназначена для генерации текста, диалоговых сценариев, агентных задач и вызова инструментов. В карточке указаны английский и китайский языки, а также поддержка conversational и tool-calling сценариев. Базовый пайплайн — text-generation, формат хранения — safetensors. Модель использует гибридную, а не равномерную 4-битную квантизацию и рассчитана на NVIDIA B200 с архитектурой sm_100. Основной объём весов экспертов MoE, shared-экспертов и некоторых плотных MLP представлен в NVFP4; отдельные линейные слои — в FP8, маршрутизатор — в FP32, а чувствительные компоненты, включая часть attention, нормализации, embeddings и lm_head, сохранены в BF16. Объём модели составляет около 189,1 ГБ в 19 safetensors-фрагментах. Токенизатор унаследован от GLM-5.3-Flash. Сильной стороной модели является специализированная гибридная схема точности, ориентированная на производительность tensor cores NVIDIA B200 при сохранении более высокой точности для отдельных компонентов. Однако это экспериментальная сборка: она ещё не прошла заявленные проверки kernel-check, argmax-margin и vendor-default decode, не является готовым serving pin, не поддерживает заявленную совместимость с NVIDIA RTX PRO 6000 и не должна использоваться как drop-in замена другой версии. Кроме того, в checkpoint отсутствует activation scale plane для W4A4 tensor-core serving, поэтому веса нельзя автоматически считать готовой W4A4-моделью. Лицензия — MIT.

Nickyang/Hy3-RAZOR-226B-A21B-E144of192 — диалоговая языковая модель Tencent Hy3, в которой методом RAZOR без дообучения удалена четверть маршрутизируемых экспертов. В каждом MoE-слое сохранено 144 из 192 экспертов; README указывает 226 млрд параметров и около 21 млрд активных параметров на токен. Метаданные каталога приводят 16,6 млрд параметров, поэтому размер модели в источниках расходится. Модель предназначена для генерации текста и диалогов; базовая Hy3 также позиционируется для рассуждений, агентных сценариев и задач продуктивности. Контекстное окно — 262 144 токена. Веса доступны в формате safetensors, тип точности — bfloat16; для запуска нужна версия Transformers с нативной реализацией hy_v3. RAZOR выбирает экспертов по оценке того, насколько их функцию могут заменить оставшиеся эксперты. Веса не проходили восстановительное обучение, а калибровка проводилась на конечном многодоменном корпусе RazorCal. Использование разреженной MoE-архитектуры сохраняет около 21 млрд активных параметров на токен, но удаление экспертов является потерей информации: ответы могут отличаться по разнообразию, форматированию и поведению завершения даже при сохранении точности на отдельных задачах. Лицензия — Apache-2.0.

Jupiter-N-120B — дообученная Locai Labs языковая модель на базе NVIDIA Nemotron-3-Super-120B-A12B. Она предназначена для диалога, следования инструкциям, агентных задач и работы с терминальными сценариями; дообучение усиливает эти возможности и добавляет поддержку валлийского языка и культурную привязку к Великобритании. Модель использует гибридную архитектуру Nemotron-H/LatentMoE с Mamba-2, MoE и attention, а также Multi-Token Prediction. В карточке указано 6,6 млрд параметров, а для базовой модели — 120 млрд параметров, из которых активны 12 млрд. Контекст — до 262 144 токенов. Основные языки карточки — английский, французский, испанский, итальянский, немецкий, японский и китайский; README отдельно отмечает добавленную поддержку валлийского. Модель подходит для задач, где нужны следование сложным инструкциям, агентные действия и терминальные траектории, а также ответы с учётом британского культурного контекста. Лицензия указана как other; условия следует проверять в карточке и материалах модели. Валлийские ответы не прошли обширную проверку носителями языка, культурная привязка не подтверждена человеческой оценкой, а валлийские тесты основаны на адаптированных англоязычных бенчмарках.

SteelStorage/L3.1-Meta-In-15B — объединённая плотная языковая модель семейства Llama, созданная с помощью mergekit методом passthrough на основе NousResearch/Meta-Llama-3.1-8B-Instruct. Репозиторий содержит веса в формате safetensors; размер модели — 14,5 млрд параметров, контекстное окно — до 131 072 токенов. Модель предназначена для генерации текста и диалогов, включая ответы на инструкции и запросы в чат-сценариях. В метаданных заявлена поддержка text-generation и возможности chat; базовая модель описана как многоязычная инструктивная модель Llama 3.1. Карточка не приводит результатов оценки качества, поэтому фактические сильные стороны сверх характеристик базовой модели подтвердить нельзя. Лицензия в предоставленных данных не указана.

wanlige/li-14b-v0.4-slerp0.1 — объединённая модель генерации текста семейства Qwen2, созданная с помощью mergekit методом SLERP из wanlige/li-14b-v0.4 и sthenno-com/miscii-14b-0218. Модель содержит 14 млрд параметров, использует архитектуру Qwen2ForCausalLM и рассчитана на контекст до 32 768 токенов. Модель подходит для диалогов и генерации текста; в метаданных также указана поддержка интерфейса вызова инструментов. README приводит результаты оценивания на Open LLM Leaderboard, включая IFEval и BBH, но не описывает специализированные области применения или точный перечень поддерживаемых языков. Файлы представлены в формате safetensors и предназначены для использования с Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

nm-testing/Llama-3.2-1B-Instruct-FP8-KV — тестовый вариант Meta Llama 3.2 1B Instruct, опубликованный организацией nm-testing на Hugging Face. Он основан на авторегрессионной языковой модели Meta с оптимизированной архитектурой Transformer, дообученной с помощью supervised fine-tuning и reinforcement learning from human feedback для полезного и безопасного диалога. Репозиторий не содержит отдельной карточки модели, поэтому сведения о назначении и характеристиках частично унаследованы от базовой модели Meta Llama 3.2 1B Instruct. Модель предназначена для генерации текста, многоязычного диалога, ассистентских и агентных сценариев, включая извлечение знаний, суммаризацию, переписывание запросов и работу локально при ограниченных вычислительных ресурсах. Базовая модель содержит около 1,23 млрд параметров, поддерживает текст на входе и выходе, Grouped-Query Attention и контекст до 128 тысяч токенов; официально заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В данном варианте веса представлены в BF16, а KV-cache использует формат FP8 E4M3, что может снижать потребление памяти и ускорять инференс, но способно приводить к численной погрешности. Основное ограничение — это тестовый чекпойнт, предназначенный прежде всего для проверки инфраструктуры квантования и инференса, а не отдельная модель с собственной оценкой качества. Для использования применяются условия Llama 3.2 Community License Meta, включая требования Acceptable Use Policy и специальные условия распространения.

Poro 2 70B Instruct — разговорная модель с открытыми весами, разработанная совместно AMD Silo AI, группой TurkuNLP Университета Турку и High Performance Language Technologies (HPLT). Она дообучена методами SFT и DPO на базе Poro 2 70B Base, продолжавшей предобучение на основе Llama 3.1 70B. Модель имеет плотную архитектуру LlamaForCausalLM, около 69,5 млрд параметров и контекст до 8192 токенов. Модель предназначена для диалогов и выполнения инструкций на финском и английском языках. Она подходит для ответов на вопросы, создания текстов, образовательных и клиентских помощников, а также перевода между финским и английским. В карточке отмечены дополнительные способности к программированию и математике и интерфейс для вызова инструментов. Оценки в карточке показывают сильные результаты на финских задачах следования инструкциям при сохранении хороших результатов на английском. Модель может ошибаться, воспроизводить предубеждения обучающих данных или выдавать неподходящий и спорный контент; её навыки на языках помимо финского и английского ограничены. Лицензия — Llama 3.3 Community License.

Это BF16-версия модели Kimi-K2-Thinking, подготовленная автором DevQuasar-2 из исходной INT4-модели moonshotai/Kimi-K2-Thinking с помощью собственного скрипта деквантизации, вдохновлённого скриптом для DeepSeek V3. В метаданных архитектура обозначена как dense, с классом DeepseekV3ForCausalLM; заявлено 37,9 млрд параметров и контекст до 262 144 токенов. Модель предназначена для диалоговой генерации текста.

NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4 GGUF — это форматированный для GGUF и llama.cpp вариант модели NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4. Это не переобучение, а побитно точная конвертация исходного контрольного пункта с сохранением NVFP4-весов экспертов; модель предназначена для генерации текста и локального запуска, особенно на GPU NVIDIA Blackwell с поддержкой FP4 tensor cores. Модель использует гибридную архитектуру Mamba-2, Mixture-of-Experts и attention: всего около 30 млрд параметров, из которых примерно 3 млрд активны для каждого токена. Она содержит 52 слоя, включая 6 слоёв с полноценным attention, 128 маршрутизируемых экспертов, из которых активны 6, и одного общего эксперта. Нативная длина контекста составляет 1 048 576 токенов; благодаря фиксированному состоянию Mamba-2 и MoE полный контекст заявлен как доступный на одной видеокарте с 24 ГБ памяти. Поддерживаются английский, испанский, французский, немецкий, итальянский и японский языки. Сильные стороны модели — очень длинный контекст, экономичное число активных параметров, сохранение исходных NVFP4-весов без повторного квантования и возможность использования дополнительной MTP-головы для speculative decoding. MTP-голова может повысить скорость примерно на 7% на быстрых GPU и на величину порядка десятков процентов на более медленном оборудовании, но требует дополнительной памяти и не улучшает качество вывода. Ограничения включают зависимость от совместимого оборудования и llama.cpp, а также потери запаса по контексту при использовании MTP-головы на GPU с 24 ГБ. В README приведены ориентировочные результаты: 79,2% на MMLU-Pro, 70,7% на IFBench и 26,7% на terminal-bench 2.0; авторы отмечают малые выборки и заметную вариативность результатов. Модель распространяется по лицензии OpenMDW License Agreement версии 1.1, унаследованной от базовой модели. Материалы модели принадлежат NVIDIA Corporation и аффилированным лицам; при использовании следует указывать NVIDIA как разработчика исходной модели и NVFP4-экспорта. Репакет не аффилирован с NVIDIA и не предоставляет прав на её товарные знаки.

Ornith-1.5-35B-A3B-Abliterated — вариант модели ornith-ai/Ornith-1.5-35B-A3B, подготовленный разработчиком alztrk. В модели выполнено удаление направлений отказа из активаций скрытых состояний, после чего опубликованы checkpoint Safetensors и набор динамических квантованных сборок GGUF. Модель предназначена для диалоговой генерации текста и запуска через совместимые инструменты, включая llama.cpp и Ollama. Архитектура основана на MoE с 35,8 млрд параметров, из которых около 3,1 млрд активны на токен; в ней 256 экспертов и 40 гибридных слоёв с линейным вниманием DeltaNet и полным вниманием. Родной контекст составляет 262 144 токена. В репозитории есть варианты GGUF Q3_K_M, Q4_K_M и Q5_K_M с динамической квантовкой, а также полноточные веса Safetensors. Метаданные указывают английский, турецкий и китайский языки, а также интерфейс вызова инструментов. Удаление отказов делает модель менее склонной отклонять запросы, но само по себе не гарантирует корректность ответов или безопасное использование. Квантованные варианты требуют меньше памяти, чем полноточные веса, при этом квантование может снижать точность. Лицензия репозитория — Apache-2.0.