I.11Классификация, ранжирование и сопоставление

MaziyarPanahi/Llama-3-11B-Instruct-v0.1-GGUF — набор квантованных файлов модели в формате GGUF, подготовленный разработчиком MaziyarPanahi на основе MaziyarPanahi/Llama-3-11B-Instruct-v0.1. Модель предназначена для генерации текста и использования в диалоговых сценариях, включая запуск через совместимые инструменты, такие как llama.cpp. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством работы. Модель относится к семейству Llama 3 и требует использования соответствующего шаблона промпта с управляющими токенами Llama 3. В README не указаны поддерживаемые языки, размер контекста, точная архитектура базовой модели, результаты оценки, лицензия и ограничения использования.

Это объединённая модель генерации текста семейства Llama 3.1, созданная с помощью mergekit путём линейного слияния unsloth/Meta-Llama-3.1-8B и unsloth/Meta-Llama-3.1-8B-Instruct. В модели около 7,5 млрд параметров; она построена на архитектуре LlamaForCausalLM и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для генерации текста и диалогового взаимодействия. Контекстное окно составляет до 131 072 токенов; в метаданных также отмечен интерфейс вызова инструментов. Карточка не уточняет языковой охват и отдельные области применения, поэтому модель следует рассматривать как универсальную. Лицензия в предоставленных данных не указана. Качество слияния и сравнительные результаты не описаны; возможности вызова инструментов обозначают наличие интерфейса и не гарантируют надёжность выполнения каждого вызова.

Карточка модели minpeter/Llama-3.2-1B-AlternateTokenizer-chatml на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B, поэтому описание составлено по ней. Meta Llama 3.2 1B — авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer. Это предварительно обученная многоязычная модель с примерно 1,23 млрд параметров; она принимает и генерирует текст, а также может работать с кодом. В карточке указаны контекст до 128 тысяч токенов, Grouped-Query Attention и обучение на смеси общедоступных данных. Модель предназначена для генерации текста и адаптации к различным задачам обработки естественного языка. Её можно использовать для черновиков и продолжения текста, перефразирования запросов, краткого изложения и диалоговых приложений после соответствующей настройки. Разработчик — Meta; модель доступна через библиотеку Transformers в формате safetensors. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Это предварительно обученная модель, а не версия, настроенная специально для диалога; качество и безопасность ответов следует проверять и при необходимости адаптировать для конкретного применения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

Llama3-70B-EnSecAI-Ru-Chat — чат-модель EnSec AI, полученная дообучением Meta Llama 3.1 70B на открытых наборах SFT и DPO. Она предназначена для диалога и генерации текста с упором на понимание и ответы на русском языке. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 69,5 млрд параметров и поддерживает контекст до 8192 токенов; в репозитории представлены веса safetensors для Transformers. Карточка сообщает о результатах выше исходной Llama 3 70B Instruct на бенчмарке MERA и о меньшем числе переключений с русского на английский во внутренней оценке. Модель подходит для русскоязычных диалоговых помощников, ответов на вопросы и генерации текста. Она также поддерживает английский язык, однако основной акцент дообучения — русский. Лицензия — Llama 3.1 Community License (llama3); следует учитывать её условия при использовании и распространении.

Llama-3-8B-Instruct-80K-QLoRA-Merged — диалоговая языковая модель семейства Llama 3, созданная namespace-Pt на основе Meta-Llama-3-8B-Instruct. Контекст модели расширен примерно до 80 тысяч токенов с помощью QLoRA и обучения на синтетических длинных примерах, после чего веса объединены с исходной инструкционной моделью. Архитектура — плотная авторегрессионная LlamaForCausalLM; в репозитории представлены веса Safetensors, размер модели — 7,5 млрд параметров. Модель предназначена для генерации ответов и работы с длинными текстами: поиска сведений в больших документах, ответов по нескольким источникам, суммаризации и задач с большим контекстом. README приводит результаты оценок на LongBench, InfiniteBench и тесте Needle-in-a-Haystack; это бенчмарки, а не гарантия качества для конкретных данных. Модель принимает текст и генерирует текст. Язык оценки в README — английский; поддержка других языков не установлена предоставленными данными. Лицензия репозитория указана как MIT. Модель сохраняет ограничения базовой Llama и может ошибаться, особенно при обработке длинного контекста; фактическое поведение зависит от используемой конфигурации и максимальной длины генерации.

Llama3-ChatQA-1.5-70B-GGUF — это квантизированная версия языковой модели Llama3-ChatQA-1.5-70B, первоначально разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF и предназначена для локального запуска средствами, совместимыми с llama.cpp. Модель относится к классу text-generation и ориентирована на диалоговые сценарии, ответы на вопросы и работу с предоставленным контекстом. В README указан английский язык. Рекомендуемый формат запроса включает системную инструкцию, контекст, вопросы пользователя и ответы ассистента, что делает модель подходящей для контекстного вопросно-ответного взаимодействия. Размер исходной модели составляет 70 млрд параметров. Доступны варианты квантизации от Q8_0 до IQ1_S, объёмом примерно от 15,34 до 74,97 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M обозначены как рекомендуемые и обеспечивают компромисс между качеством и требованиями к памяти; более компактные варианты снижают качество, но подходят для систем с ограниченными ресурсами. Длина контекста и другие архитектурные характеристики в README не указаны. Модель лицензирована по лицензии llama3. Для запуска требуется достаточно оперативной или видеопамяти в зависимости от выбранного варианта квантизации; наиболее качественные версии требуют значительных ресурсов. README не содержит сведений о мультимодальности, поддерживаемых языках помимо английского, результатах бенчмарков или дополнительных ограничениях использования.

Llama-3-Chinese-8B-Instruct-v3 — диалоговая языковая модель семейства Llama, опубликованная HFL. Это инструкционная модель на архитектуре LlamaForCausalLM с 7,5 млрд параметров и контекстом до 8192 токенов. По карточке, она создана на основе объединения трёх моделей: hfl/Llama-3-Chinese-8B-Instruct, hfl/Llama-3-Chinese-8B-Instruct-v2 и meta-llama/Meta-Llama-3-8B-Instruct. Модель предназначена для диалогов, ответов на вопросы и генерации текста. Заявлены китайский и английский языки; поддержка чата указана в метаданных. Репозиторий содержит веса safetensors. Использование регулируется лицензией Apache-2.0 в метаданных; README также требует соблюдать лицензионные условия исходной Meta Llama 3.

Llama-3-Swallow-8B-Instruct-v0.1 — диалоговая языковая модель команды Swallow-LLM из Токийского технологического института и AIST, созданная на основе семейства Meta Llama 3. Модель прошла продолжительное предобучение с добавлением японских текстов, а инструктивная версия — дообучение на примерах инструкций и настройку Chat Vector. Архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, длина контекста — 8192 токена; веса опубликованы в safetensors и предназначены для Transformers. Модель рассчитана на диалог и генерацию текста на японском и английском языках. Возможные сценарии включают ответы на вопросы, следование инструкциям, суммаризацию, перевод между японским и английским, рассуждения и генерацию кода. В README приведены результаты оценки на японских и английских бенчмарках, но отдельные строки таблиц для этой модели здесь не представлены, поэтому конкретный уровень качества по ним оценить нельзя. Разработчики предупреждают, что модель находится на раннем этапе разработки и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Llama 3; условия использования определяются её положениями.

LLamaPhi3 — языковая модель семейства Llama, созданная bunnycore путём объединения частей двух моделей с помощью Mergekit: Dolphin-2.9.1-Phi-3-Kensho-4.5B-abliterated-v3 и HyperLlama-3.1-8B. В конфигурации указаны метод passthrough и формат весов bfloat16. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Репозиторий содержит веса Safetensors, а заявленный контекст составляет 131072 токена. Модель насчитывает 6,2 млрд параметров. Лицензия — Apache-2.0. Карточка не описывает языковую специализацию или подробные ограничения качества, поэтому их нельзя надёжно уточнить.

Lumi-v2-llm-jp-4-8b — японско-английская чат-модель, разработанная SousiOmine на основе llm-jp/llm-jp-4-8b-base. Модель с архитектурой Llama и 7,8 млрд параметров прошла SFT на примерно 1,7 млрд токенов данных с шаблоном ChatML; веса доступны в формате safetensors для Transformers. Контекст модели составляет 65 536 токенов. Модель предназначена для диалоговой генерации текста, следования инструкциям и задач рассуждения на японском и английском языках. В обучающие данные вошли открытые наборы для рассуждений, мультиязычных инструкций, научных вопросов и агентного поведения, а также собственные данные разработчика для вопросов и ответов по коду на японском. Лицензия модели — Apache-2.0. Качество ответов зависит от запроса и тематики; карточка не приводит сравнительных оценок или подробных гарантий качества. Лицензии и условия использования отдельных обучающих наборов различаются и требуют проверки по их карточкам.

Maverick-v1.0 — объединённая языковая модель, созданная с помощью mergekit на основе Mistral-7B-Instruct-v0.2 и включающая Kunoichi-DPO-v2-7B и NeuralOmniWestBeaglake-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов, предназначенная для генерации текста и диалогового общения. Модель опубликована в формате safetensors и использует библиотеку Transformers. Объединение выполнено методом task arithmetic. Модель может применяться для ответов в чате, написания и продолжения текста, а также других сценариев генерации на естественном языке. Репозиторий распространяется по лицензии Apache-2.0; сведения о конкретной языковой специализации и оценках качества в предоставленных данных отсутствуют.

Meta-Llama-3.1-8B-Claude-GGUF — набор GGUF-квантизаций модели Meta-Llama-3.1-8B-Claude, базовой моделью которой указана Undi95. Квантизации подготовлены bartowski с использованием llama.cpp версии b3472 и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio; для работы используется формат промпта Llama 3 с ролями system, user и assistant. Доступны варианты от полных весов F32 размером 32,13 ГБ до низкобитных IQ2_M размером 2,95 ГБ. Рекомендуемые варианты включают Q4_K_M, Q5_K_M, Q6_K и другие; более высокие уровни квантизации обеспечивают лучшее качество, а низкие требуют меньше оперативной памяти, но могут заметно снижать качество генерации. В README не указаны архитектурные детали исходной модели, поддерживаемые языки, размер контекста, модальности или лицензия, поэтому эти характеристики нельзя достоверно определить.

jigs97022/minicpm5-2b-distilled-reasoning-gguf — квантованная версия MiniCPM5-2B с дистиллированными рассуждениями, разработанная пользователем jigs97022 на базе модели MiniCPM5-2B от OpenBMB. Модель обучена на 10 тысячах высококачественных трасс рассуждений, полученных от Qwen3.8-Max, GLM-5.2 и Kimi K3, и предназначена для генерации текста, структурированного решения математических задач, написания кода, логических головоломок и сценариев с использованием инструментов. Доступна в формате GGUF для локального запуска через llama.cpp, Ollama, LM Studio и vLLM. Модель имеет размер 2B параметров и поддерживает контекст до 4096 токенов. Предлагаются варианты квантования Q4_K_M, Q6_K и Q8_0 объёмом примерно от 1,56 до 2,68 ГБ; они ориентированы соответственно на сбалансированную работу на ноутбуках, более высокое качество на настольных системах и минимальные потери качества. Сильными сторонами являются компактность, возможность локального CPU/GPU-инференса и специализация на пошаговом рассуждении. Ограничения включают меньший объём обучающих данных по сравнению с полноразмерными вариантами, возможное снижение качества на редких случаях, ограниченное контекстное окно, базу знаний примерно до 2024 года и склонность к подробным внутренним рассуждениям. Модель распространяется по лицензии Apache-2.0, однако для коммерческого использования рекомендуется отдельно проверить лицензию набора данных для дистилляции.

Mini_synatra_7b_03-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и Minirecord/Mini_synatra_7b_03 методом SLERP. Модель основана на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров; файлы представлены в формате safetensors. Модель предназначена для генерации текста и ответов на инструкции в диалоговом формате. Контекст составляет до 32 768 токенов. В карточке не описаны специализированные предметные области или отдельные мультимодальные возможности; вход и выход — текст. Модель выпущена под лицензией Apache-2.0. Карточка не приводит сравнительных оценок качества или подробностей о поддерживаемых языках, поэтому пригодность для конкретного языка или узкой задачи следует проверять отдельно.

Это GGUF-квантизированная версия языковой модели Magistral-Small-2509, разработанной Mistral AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты с разной точностью и размером: от BF16 объёмом 47,15 ГБ до IQ3 и Q3 объёмом около 10–13 ГБ, а также более качественные Q4, Q5, Q6 и Q8. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5, Q6 и другие версии, отмеченные автором как рекомендуемые. Более компактные квантизации экономят оперативную память, но могут заметнее снижать качество; низкобитные варианты подходят при ограниченных ресурсах с соответствующими компромиссами. README не содержит сведений об архитектуре исходной модели, числе параметров, поддерживаемых языках, модальностях, размере контекста, формате промпта или лицензии. Поэтому эти характеристики и условия юридического использования по представленным данным определить нельзя.

Mistral-Nemo-12B-ArliAI-RPMax-v1.1-GGUF — это набор GGUF-квантизированных файлов модели Mistral-Nemo-12B-ArliAI-RPMax-v1.1, разработанной ArliAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться, в частности, в LM Studio с шаблоном запроса <s>[INST]{prompt}[/INST]. Доступны варианты от исходных весов F16 размером 24,50 ГБ до более компактных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ4_XS/IQ3_M; размеры файлов варьируются примерно от 5,72 до 24,50 ГБ. Старшие варианты квантизации обеспечивают качество, близкое к исходному, а младшие подходят для систем с ограниченным объёмом оперативной памяти, но могут заметно уступать в качестве. Отдельные варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. В README не указаны модальности, языки и размер контекста. Распространение заявлено по лицензии Apache-2.0.

Unsloth/Mistral-Nemo-Instruct-2407-GGUF — это GGUF-версия инструкционной модели Mistral Nemo, опубликованная Unsloth. Модель предназначена для запуска в совместимых средах, поддерживающих формат GGUF, а также для диалоговых сценариев, генерации текста и выполнения инструкций. В README указано, что она связана с экосистемой Transformers и поддерживает английский язык. Из доступных данных следует, что модель относится к семейству Mistral Nemo и имеет размер 12B параметров, однако сведения о точной архитектуре, максимальном контексте, модальностях и конкретных вариантах квантования отсутствуют. Формат GGUF удобен для локального инференса и последующей работы с оптимизированными представлениями модели, но характеристики скорости и потребления памяти зависят от используемого варианта файла и программного окружения. Модель может быть полезна для локальных чат-ботов, ассистентов и экспериментов с дообучением: README описывает инструменты Unsloth для более быстрого fine-tuning с меньшим потреблением памяти и экспортом в GGUF. При этом заявленные ускорение и экономия памяти относятся к процессу дообучения в Unsloth, а не обязательно к инференсу этой конкретной модели. Лицензия — Apache-2.0.

Mixtral-8x22B-v0.1 — базовая генеративная языковая модель семейства Mixtral, разработанная Mistral AI. В этом репозитории размещена конвертированная в формат Transformers версия весов, загруженная сообществом; автор README рекомендует использовать актуальные веса в организации Mistral AI. Модель построена на разреженной архитектуре смеси экспертов (MoE) и предназначена для генерации текста и использования как основа для прикладных решений. Контекст составляет до 65 536 токенов. Карточка указывает поддержку английского, французского, итальянского, немецкого и испанского языков. Для запуска предусмотрены Transformers, а также варианты вычислений в пониженной точности. Это базовая предварительно обученная модель, а не версия Instruct; для диалоговых приложений может потребоваться дополнительная настройка. В README отмечено отсутствие встроенных механизмов модерации. Лицензия — Apache 2.0.

Moonlight-16B-A3B — предобученная языковая модель Moonshot AI для генерации текста и диалогового общения. Она построена на архитектуре Mixture-of-Experts: содержит около 16 млрд параметров, из которых при генерации активируется около 3 млрд. В метаданных указаны 2,7 млрд параметров; README приводит округлённые значения 16B и 3B для общей и активируемой частей модели. Модель обучена на 5,7 трлн токенов с оптимизатором Muon и рассчитана на контекст до 8K токенов. Её можно использовать для диалоговых приложений, генерации и продолжения текста. Авторы сообщают о сравнительных результатах на бенчмарках и публикуют исследовательские чекпойнты; заявленные преимущества обучения относятся к их экспериментам и не гарантируют превосходства на любой прикладной задаче. Модель распространяется под лицензией MIT. Для работы авторы рекомендуют Python 3.10, PyTorch 2.1 или новее и Transformers 4.48.2.

Это BF16-версия модели Kimi-K2-Thinking, подготовленная автором DevQuasar-2 из исходной INT4-модели moonshotai/Kimi-K2-Thinking с помощью собственного скрипта деквантизации, вдохновлённого скриптом для DeepSeek V3. В метаданных архитектура обозначена как dense, с классом DeepseekV3ForCausalLM; заявлено 37,9 млрд параметров и контекст до 262 144 токенов. Модель предназначена для диалоговой генерации текста.

zelk12/MT1-Max-Merge_02012025163610-gemma-2-9B — объединённая языковая модель Gemma 2, созданная автором репозитория с помощью mergekit методом SLERP из двух моделей: zelk12/MT1-Max-Merge_02012025163610-MAB-gemma-2-9B и zelk12/MT1-Max-Merge_02012025163610-GMMMUI-gemma-2-9B. Модель с архитектурой Gemma2ForCausalLM и 9 млрд параметров предназначена для генерации текста и диалогового общения; принимает текст и выдаёт текст. Контекст — до 8192 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Язык модели отдельно не заявлен. Модель распространяется по лицензии Gemma.

Nemotron OCR v2 — мультиязычная модель распознавания текста на изображениях из коллекции NVIDIA NeMo Retriever. Она объединяет детектор текстовых областей на базе RegNetX-8GF, трансформерный распознаватель и модуль анализа связей между областями, который определяет группировку элементов, порядок чтения и структуру макета. Доступны варианты для английского языка и для нескольких языков; мультиязычный вариант поддерживает английский, китайский, японский, корейский и русский. Модель предназначена для OCR документов и изображений реальных сцен, включая многострочный и многоблочный текст, таблицы, графики и инфографику. На вход принимает RGB-изображения, на выходе формирует распознанный текст, рамки областей и оценки уверенности. Её можно использовать для извлечения текста в поисковых и RAG-системах и приложениях, которым нужен анализ содержимого изображений. По описанию NVIDIA, модель рассчитана на производственное и коммерческое применение. Лицензия NVIDIA Open Model License Agreement; в README также упоминается Apache 2.0.

M4-ai neural-chat-mini-v2.2-1.8B — языковая модель-ассистент на архитектуре Qwen2, дообученная на tau-1.8B с помощью SFT и DPOP. Модель содержит 1,5 млрд параметров, принимает текст и рассчитана на диалоговое использование; заявленная длина контекста — 32 768 токенов. Модель предназначена для ответов на вопросы и других общих задач ассистента, включая рассуждения, математику, программирование и написание текстов. В обучающую смесь вошли наборы данных для диалогов, кода, математики и естественных наук. В карточке заявлены английский и, возможно, китайский языки; метаданные указывают английский. Разработчик указывает лицензию tongyi-qianwen; метаданные классифицируют лицензию как other. В карточке отмечены риски предвзятости и ограничения, а результаты оценивания ещё не опубликованы. Рекомендации по ответственному использованию требуют дополнительной проработки.

NeuralSoTa-7b-v0.1 — объединённая языковая модель Kukedlc на архитектуре Mistral с 7,1 млрд параметров. Она создана методом Model Stock с помощью mergekit на основе mistralai/Mistral-7B-v0.1 и объединяет веса Dolphin 2.8 Mistral 7B v02, WizardLM-2-7B и Starling-LM-7B-beta. Модель предназначена для генерации текста на основе текстовых запросов; её можно применять для диалогов, ответов на вопросы и написания текстов. Контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors, библиотека для работы — Transformers. Лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия языковой модели Hermes-4-405B, разработанной NousResearch и подготовленной пользователем bartowski. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты на его основе. В основе лежит модель размером 405 млрд параметров; README не содержит подробностей об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна. Доступны варианты квантизации от Q8_0 до Q2_K и IQ2/IQ3/IQ4, рассчитанные на компромисс между качеством, требованиями к памяти и скоростью инференса. Для квантизации использовался llama.cpp с imatrix и калибровочными наборами данных. Наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, однако даже компактные варианты требуют значительного объёма памяти. Сильной стороной являются высокое качество старших вариантов квантизации и возможность локального запуска в экосистеме llama.cpp. Ограничения — очень крупный размер файлов, снижение качества у низкобитных вариантов и отсутствие указанного формата промпта: README рекомендует уточнять его на странице исходной модели. Лицензия в предоставленных данных не указана.

NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4 GGUF — это форматированный для GGUF и llama.cpp вариант модели NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4. Это не переобучение, а побитно точная конвертация исходного контрольного пункта с сохранением NVFP4-весов экспертов; модель предназначена для генерации текста и локального запуска, особенно на GPU NVIDIA Blackwell с поддержкой FP4 tensor cores. Модель использует гибридную архитектуру Mamba-2, Mixture-of-Experts и attention: всего около 30 млрд параметров, из которых примерно 3 млрд активны для каждого токена. Она содержит 52 слоя, включая 6 слоёв с полноценным attention, 128 маршрутизируемых экспертов, из которых активны 6, и одного общего эксперта. Нативная длина контекста составляет 1 048 576 токенов; благодаря фиксированному состоянию Mamba-2 и MoE полный контекст заявлен как доступный на одной видеокарте с 24 ГБ памяти. Поддерживаются английский, испанский, французский, немецкий, итальянский и японский языки. Сильные стороны модели — очень длинный контекст, экономичное число активных параметров, сохранение исходных NVFP4-весов без повторного квантования и возможность использования дополнительной MTP-головы для speculative decoding. MTP-голова может повысить скорость примерно на 7% на быстрых GPU и на величину порядка десятков процентов на более медленном оборудовании, но требует дополнительной памяти и не улучшает качество вывода. Ограничения включают зависимость от совместимого оборудования и llama.cpp, а также потери запаса по контексту при использовании MTP-головы на GPU с 24 ГБ. В README приведены ориентировочные результаты: 79,2% на MMLU-Pro, 70,7% на IFBench и 26,7% на terminal-bench 2.0; авторы отмечают малые выборки и заметную вариативность результатов. Модель распространяется по лицензии OpenMDW License Agreement версии 1.1, унаследованной от базовой модели. Материалы модели принадлежат NVIDIA Corporation и аффилированным лицам; при использовании следует указывать NVIDIA как разработчика исходной модели и NVFP4-экспорта. Репакет не аффилирован с NVIDIA и не предоставляет прав на её товарные знаки.

Это GGUF-квантизированная версия языковой модели NVIDIA Nemotron-3-Super-120B-A12B, разработанной NVIDIA и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Доступны варианты квантования Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и Q3_K с размером файлов примерно от 64,65 до 128,47 ГБ; более высокие уровни квантования обычно обеспечивают лучшее качество, но требуют больше памяти. Для запуска может потребоваться актуальная версия используемого программного обеспечения с поддержкой модели. В основе лежит NVIDIA-Nemotron-3-Super-120B-A12B-BF16; по метаданным модель использует архитектурные подходы Latent MoE и MTP, однако точные параметры архитектуры и размер контекста в README не указаны. Заявлены английский, французский, испанский, итальянский, немецкий, японский и китайский языки. Сильной стороной является возможность локального инференса в различных форматах GGUF и выбора компромисса между качеством и требованиями к памяти; ограничениями остаются очень большой объём файлов, высокие требования к оперативной или видеопамяти и возможное снижение качества на низких уровнях квантования. Лицензия указана как NVIDIA Open Model License; условия следует уточнять по официальной лицензии NVIDIA.

NVIDIA-Nemotron-Labs-3-Elastic-12B-A2B-NVFP4 — квантованная версия на NVFP4 семейства эластичных языковых моделей NVIDIA Nemotron 3, представленная в карточке как 3-в-1 чекпойнт с вариантами 30B, 23B и 12B. В основе лежит NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; архитектура родительской модели сочетает слои Mamba-2, Attention и Mixture-of-Experts. Метаданные указывают 946,5 млн параметров, а README описывает вложенный вариант 12B с 2,0 млрд активных параметров; эти сведения относятся к разным представлениям и не совпадают. Модель предназначена для генерации текста в диалоге и задач рассуждения. Эластичная структура позволяет извлекать варианты меньшего размера из общего набора весов; README описывает также квантизацию NVFP4 с дистилляцией с учителем и использование через Transformers и vLLM. Указан контекст 262 144 токена. Поддерживаются английский, немецкий, испанский, французский, итальянский и японский языки. README заявляет готовность к коммерческому использованию, но метаданные указывают лицензию «other», поэтому конкретные условия следует сверить с лицензией в репозитории. Карточка содержит несоответствия в названии и числе параметров: README описывает 30B A3B NVFP4 чекпойнт, тогда как идентификатор и метаданные относятся к 12B A2B NVFP4.

Это GGUF-квантизированная версия языковой модели OpenReasoning-Nemotron-7B, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель относится к классу текстовых генеративных моделей и имеет размер 7B параметров. Доступны варианты от исходных BF16-весов до квантизаций Q8, Q6, Q5, Q4, Q3 и IQ-семейств; размер файлов составляет примерно от 3,55 до 15,24 ГБ. Более высокие уровни квантизации обычно сохраняют лучшее качество, тогда как варианты Q3 и Q2 рассчитаны на системы с ограниченным объёмом оперативной памяти. Для работы используется chat-шаблон с ролями system, user и assistant. Сильная сторона репозитория — широкий выбор вариантов GGUF для разного баланса качества, размера и производительности, включая варианты, оптимизированные для отдельных сценариев CPU и Apple Silicon. Ограничения, максимальная длина контекста, поддерживаемые языки, конкретные архитектурные особенности исходной модели и результаты бенчмарков в README не указаны. Лицензия также не указана, поэтому условия использования следует уточнять в документации исходной модели NVIDIA и соответствующего репозитория.

OmegaW10 — слитая с помощью mergekit методом SLERP языковая модель на архитектуре Mistral. Она объединяет ClaudioItaly/TopEvolutionWiz и Eric111/Yarn-Mistral-7b-128k-DPO; репозиторий содержит веса в формате safetensors, указанный размер — 7,1 млрд параметров, нативный контекст — 32 768 токенов. Модель предназначена для генерации текста, в том числе диалогов и развёрнутых ответов на вопросы.