II.4Отладка, тестирование и качество ПО

Это GGUF-представление NVIDIA Nemotron 3.5 Lightning — гибридной языковой модели NVIDIA с архитектурой Mixture-of-Experts, слоями Mamba-2 и выборочными слоями Attention. Модель содержит 30 млрд параметров, из которых при генерации активны около 3 млрд; контекст достигает 1 млн токенов, а на одной H100 — 256 тыс. токенов. В карточке представлены варианты F16, Q4_K_M и Q5_K_M; метаданные также указывают GGUF BF16. Модель предназначена для диалога и генерации текста, включая задачи с кодом, математикой, наукой, вызовом инструментов и структурированными ответами. Она поддерживает настраиваемый режим рассуждений и английский, испанский, французский, немецкий, итальянский и японский языки. Контрольные результаты в README показывают конкурентный уровень, но уступание более крупным моделям NVIDIA в большинстве приведённых агентных задач программирования и рассуждений. Этот чекпойнт описан как полноточечная основа для дальнейшей настройки, адаптации и выпуска квантованных вариантов; для непосредственного развёртывания NVIDIA рекомендует сопутствующий NVFP4-вариант. Репозиторий заявлен под лицензией OpenMDW-1.1.

OpenChat-3.5-0106 Gemma — диалоговая языковая модель OpenChat, дообученная методом C-RLFT на данных OpenChat-3.5-0106 на базе Gemma. Это плотная архитектура Gemma для генерации текста, в том числе ответов в диалоге; заявленный размер в метаданных — 8,2 млрд параметров, контекст — до 8192 токенов. README приводит результаты тестов по программированию, математике, общим знаниям и диалоговому качеству. Модель предназначена для чат-ботов, ответов на вопросы, написания и преобразования текста, а также задач рассуждения и генерации кода. Для развертывания авторы рекомендуют OpenChat с OpenAI-совместимым сервером на базе vLLM. README указывает лицензию Apache 2.0, тогда как метаданные Hugging Face содержат значение «other»; условия распространения стоит сверить с файлами лицензии репозитория. Модель может выдумывать факты и выдавать вредные, предвзятые или небезопасные ответы, поэтому важные результаты нужно проверять, а для безопасных сценариев нужна дополнительная модерация.

unsloth/phi-4-GGUF — это конвертированная в формат GGUF версия модели Phi-4, разработанной Microsoft Research и основанной на microsoft/phi-4. Unsloth адаптировала модель под архитектуру Llama, чтобы упростить использование и дообучение, а также внесла исправления, связанные с Phi-4. Модель распространяется для запуска через llama.cpp и других совместимых инструментов. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических задач и программирования. Это плотный decoder-only Transformer на 14 млрд параметров с текстовым вводом, оптимизированным для запросов в чат-формате. Заявленная длина контекста составляет 16K токенов, основной язык — английский. В репозитории доступны варианты квантования GGUF, включая phi-4-Q2_K_L.gguf, что позволяет запускать модель с различными компромиссами между качеством, скоростью и требованиями к памяти. Сильными сторонами модели являются ориентация на качественные данные, развитое рассуждение, точное следование инструкциям и поддержка сценариев дообучения. Ограничения включают текстовую модальность, преимущественную ориентацию на английский язык, ограничение контекста в 16K токенов и возможные потери качества, зависящие от выбранного уровня квантования. Модель распространяется по лицензии MIT.

Qwen3-30B-A3B-FP8-block — квантизированная версия языковой модели Qwen3-30B-A3B, разработанная Red Hat. Это текстовая модель для генерации текста, диалоговых сценариев, решения задач общего характера и программирования. Модель построена на архитектуре Qwen3MoeForCausalLM и работает с текстом на входе и выходе; сведения о поддерживаемых языках и максимальной длине контекста в карточке не указаны. В модели применена FP8-квантизация весов и активаций линейных операторов внутри трансформерных блоков с пок блочной квантизацией весов и динамической токен-ориентированной квантизацией активаций. Квантизация снижает представление параметров с 16 до 8 бит и примерно на 50% уменьшает размер модели на диске и требования к видеопамяти. Исходная модель имеет обозначение 30B-A3B; более подробные сведения о числе активных параметров и конфигурации MoE в README не приведены. По результатам оценки на OpenLLM и наборах для генерации кода FP8-версия сохраняет близкую к исходной точность: средний результат OpenLLM V1 составил 73,52 против 73,75 у исходной модели. Основные преимущества — снижение требований к памяти и возможность развертывания через vLLM, включая использование tensor parallelism. Ограничения — возможная потеря точности из-за квантизации, отсутствие данных о языковом покрытии и контексте, а также необходимость совместимой инфраструктуры для эффективного запуска. Модель распространяется по лицензии Apache-2.0.

Tolu49ja/Qwen3-4B-Instruct-2507-heretic — производная чат-модель семейства Qwen3, созданная на основе Qwen/Qwen3-4B-Instruct-2507 методом abliteration, направленным на снижение частоты отказов. В приведённом сравнении доля отказов снизилась с 99 до 21 из 100 запросов; KL-дивергенция относительно исходной модели составляет 0,43. Репозиторий содержит веса safetensors для Transformers, лицензия — Apache-2.0. Модель предназначена для генерации ответов по инструкциям, рассуждений, работы с математическими и научными вопросами, кодом и инструментами, а также для задач на длинном контексте. Это плотная причинная языковая модель с 3,7 млрд параметров и контекстом до 262 144 токенов; README указывает, что она работает в режиме без пошагового рассуждения. Заявлена поддержка нескольких языков, но конкретные языки не перечислены. Меньшая частота отказов может быть полезна для запросов, которые исходная модель отклоняет, однако приведённая оценка основана на тесте из 100 запросов и не характеризует все сценарии. Как и другие языковые модели, она может ошибаться, а ответы требуют проверки; применение в чувствительных областях требует дополнительной оценки.

Davidmg0815/Qwen3.8-27B-MTP-GGUF — это GGUF-конверсия модели Qwen/Qwen3.8-27B, опубликованная Davidmg0815 и собранная из оригинальных BF16-весов. Репозиторий предназначен для запуска через llama.cpp и содержит отдельную MTP-модель для speculative decoding, благодаря чему Multi-Token Prediction можно использовать в llama-server. Модель рассчитана на текстовые и мультимодальные сценарии: диалог, рассуждения, генерацию и анализ текста, программирование, структурированный вывод, а также обработку изображений и видео при использовании отдельного vision/video-проектора. В метаданных указаны немецкий и английский языки. Доступны целевая модель в вариантах Q8_0 размером 27,3 ГБ и Q6_K размером 21,0 ГБ, отдельный MTP-draft размером около 3,0 ГБ и мультимодальный проектор F16 размером около 0,9 ГБ. Заявлен контекст до 262 144 токенов; в тестовой конфигурации использовался KV-cache q8_0. Сильная сторона сборки — эффективное speculative decoding: на трёх RTX 3080 по 20 ГБ MTP увеличивал скорость до 2,79 раза для рассуждений и примерно в 1,7 раза для обычного связного текста. В тестах указаны результаты 98,0% на MATH-500 и 88,4–90,2% на HumanEval+. При этом выигрыш от MTP сильно зависит от типа текста: для предсказуемых последовательностей он выше, а для творческого текста и кода ниже. Q8_0 ориентирован на максимальное сохранение качества, тогда как Q6_K быстрее и требует меньше памяти; различия в качестве между ними в приведённых тестах не обнаружены. Для работы MTP необходимы совместимые целевая и draft-модели и llama.cpp с соответствующими параметрами. Лицензия — Apache-2.0.

Карточка модели nurdich/Qwen3.8-9B-Distill-uncensored-heretic на Hugging Face совпадает с карточкой petruhonk/Qwen3.8-9B-Distill-uncensored-heretic, поэтому описание составлено по ней. Qwen3.8-9B-Distill-uncensored-heretic — текстовая генеративная модель автора @ptruha, опубликованная в рамках проекта Empero. Это полно-параметрическое дообучение Qwen/Qwen3.5-9B: модель-дистиллят обучена методом SFT на примерно 70 тысячах отфильтрованных трасс рассуждений учителя Qwen3.8 2.4T A95B. Веса содержат около 9 млрд параметров и распространяются в формате Safetensors; карточка указывает архитектуру Qwen3.5 и нативный контекст 262 144 токена. Модель предназначена для диалога, рассуждений, математики, программирования, следования инструкциям и вызова инструментов. В README приведены результаты GSM8K и MMLU; автор сообщает о низкой частоте отказов в собственном тесте, однако эти результаты не являются независимой оценкой. Дообучение было текстовым, поэтому унаследованные от мультимодальной базовой модели возможности работы с изображениями не оценивались. Для запуска требуется актуальная версия Transformers с поддержкой Qwen3.5 и CUDA-совместимыми компонентами; без них внимание может работать медленно и потреблять больше памяти. Лицензия — Apache-2.0.

XVERSE-13B-Chat — диалоговая версия языковой модели XVERSE-13B, разработанной компанией Shenzhen Yuanxiang Technology. Это плотная авторегрессионная модель с архитектурой Decoder-only Transformer и 13,2 млрд параметров, предназначенная для генерации ответов и ведения многоходовых бесед. Она поддерживает контекст до 8192 токенов. Модель подходит для вопросов и ответов, суммаризации, рассуждений и помощи с программированием. В README заявлена поддержка более 40 языков, включая китайский, английский, русский и испанский; особенно сильные результаты разработчик отмечает для китайского и английского. Модель использует токенизатор BPE с размером словаря 100 534 токена. Модель может выдавать неточные, предвзятые или оскорбительные ответы, поэтому результаты следует проверять, а перед внедрением проводить тестирование безопасности для конкретного сценария. Лицензия Apache-2.0.

Zrald выпускает GGUF-квантование модели Qwen3.8-27B в профиле zraldv1-ba, ориентированном на баланс размера и качества. Репозиторий содержит файл весов объёмом 14,46 GiB; в README заявлено сохранение 99,12% точности относительно исходной модели. Модель рассчитана на диалоги, генерацию текста, программирование и задачи рассуждения; метаданные указывают поддержку чата. Базовая модель Qwen описана в каталоге как мультимодальная, однако для этой сборки явно заявлены только текстовые сценарии. README сообщает о тестировании на AMD Instinct MI300X, скорости обработки промптов 1 103,4 токена/с и генерации 64,7 токена/с, а также рекомендует не менее 16 ГБ VRAM. Эти показатели приведены разработчиком и могут зависеть от оборудования и конфигурации. Модель распространяется под лицензией Apache-2.0.

ZYR3.1MoE (ZV1.1MeO) — текстовая генеративная модель с многоагентной архитектурой и маршрутизацией Mixture-of-Experts. В README разработчик явно не указан; модель опубликована под идентификатором zyr-AGENT/ZYR3.1MoE. Это объединённая самостоятельная версия с весами, токенизатором и chat template, без необходимости загружать отдельные адаптеры или компоненты. Размер весов составляет около 18 ГБ в пяти safetensors-фрагментах. Модель предназначена для сложных рабочих запросов: планирования, декомпозиции задач, программирования, математических рассуждений, исследования, проверки фактов, критики, обзора, оптимизации и координации компьютерных операций. Её поведение имитирует работу оркестрационной команды из 11 специализированных агентов, которыми управляют уровни ATP, ACN и MeO. Простые вопросы обрабатываются напрямую, а практические запросы могут запускать цикл планирования, распределения ролей и проверки результата. Ключевая особенность — обученное многоагентное поведение поверх одной объединённой модели; ATP и ACN являются внешними runtime-компонентами, а не отдельными нейронными весами. README не указывает точный размер базовой модели, максимальную длину контекста, поддерживаемые языки или мультимодальные возможности, поэтому подтверждённой является только работа с текстовой генерацией. Сгенерированные моделью отчёты о тестах могут быть симулированными и не заменяют реальные внешние результаты выполнения. Для надёжной работы рекомендуется GPU с объёмом памяти от 24 ГБ; поддержка 4-битной квантизации для гибридной архитектуры не гарантируется. Лицензия обозначена как other, но её конкретные условия в README не приведены.

CyberNeurova-GLM-5.3-Flash-BF16 — дообученная CyberNeurova мультимодальная разговорная модель на базе zai-org/GLM-5.3-Flash. Это разреженная MoE-модель с 321 млрд параметров, из которых около 18 млрд активны на токен; она принимает текст и изображения и формирует текстовые ответы. Заявлены контекст до 1 048 576 токенов, многоязычная работа, рассуждения с явной цепочкой размышлений, вызов инструментов, программирование и ответы на общие вопросы. Модель настроена на прямые ответы с уменьшенным количеством встроенных отказов; стиль можно задавать системным промптом. Сборка BF16 предназначена для GPU с поддержкой BF16 и может служить основой для дальнейшего дообучения. Для запуска в README приведена инструкция с использованием специального образа vLLM и параметра доверия удалённому коду. Лицензия — MIT. Карточка заявляет сохранение способностей к рассуждениям, программированию и общим знаниям, однако независимые оценки качества не приведены. Большой размер модели предъявляет значительные требования к ресурсам, а уменьшенное число отказов требует осторожной настройки и контроля применения.

llmfan46/gemma-4-12B-it-uncensored-heretic-NVFP4-GGUF — квантизированная в формате GGUF версия Gemma 4 12B Instruct, доработанная в варианте uncensored/heretic. Карточка описывает семейство Gemma 4 как мультимодальное; эта сборка предназначена для диалогового использования через llama.cpp, LM Studio, Ollama и другие инструменты с поддержкой GGUF. Архитектура семейства сочетает локальное скользящее и глобальное внимание. Для 12B указано контекстное окно до 256K токенов. Модель предназначена для диалога, рассуждений, генерации и исправления кода, суммаризации, ответов на вопросы по тексту и анализа изображений, видео и аудио. Семейство поддерживает более 35 языков; для версии 12B заявлены распознавание речи и перевод речи в текст на нескольких языках. Сборка имеет метку uncensored, однако карточка не описывает отдельные процедуры её дообучения или снятия ограничений. Указана лицензия Apache-2.0. Качество ответов зависит от формулировки запроса и обучающих данных; возможны фактические ошибки, предвзятость и трудности с нюансами языка или сложными открытыми задачами. Заявленные возможности семейства не подтверждают отдельно поведение именно этой GGUF-сборки во всех режимах.

EmanuelOverride/gemma-4-19b-a4b-it-REAP-heretic-APEX-GGUF — это GGUF-квантизированная версия Gemma 4 19B-A4B-it REAP, созданная на основе модели coder3101/gemma-4-19b-a4b-it-REAP-heretic. В основе лежит Gemma 4 от Google, подвергнутая 30% pruning экспертов методом Cerebras REAP, а затем декензурированная с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation. Репозиторий поддерживает текстовую генерацию и ориентирован на англоязычные сценарии. Модель использует mixture-of-experts архитектуру: около 19,02 млрд общих параметров, примерно 4 млрд активных параметров на токен, 90 экспертов на слой и 8 активируемых экспертов на токен. Удаление 38 из 128 экспертов на слой уменьшает общий размер модели примерно на 31%, при этом число активных параметров на токен сохраняется. README не указывает размер контекстного окна и полный перечень поддерживаемых модальностей; по имеющимся данным, модель предназначена для работы с текстом, включая программирование, рассуждения, математику, научные и биомедицинские вопросы, tool calling и агентные сценарии. Главная особенность версии GGUF — пользовательские APEX-квантизации с неравномерным распределением точности: маршрутизаторы и важные общие эксперты сохраняются в более высокой точности, а более сильное сжатие применяется к менее значимым тензорам средних слоёв. Доступны варианты от i-Mini размером около 8,7 ГиБ и 3,94 BPW до i-Balanced размером около 13,9 ГиБ и 6,30 BPW, а также промежуточные профили. Это позволяет выбирать баланс между размером, потреблением памяти и качеством, однако фактическая производительность зависит от оборудования и выбранной квантизации. По заявленным тестам, декензурированная версия значительно реже отказывается отвечать: 6 отказов из 100 против 94 у исходной модели, при KL divergence 0,029. Ограничениями являются возможная потеря качества из-за pruning, декензурирования и квантизации, а также отсутствие подробных данных о контексте и комплексных бенчмарках. Указана лицензия Gemma; условия применения следует проверять по лицензии исходной модели и требованиям Google.

trohrbaugh/gemma-4-31b-it-heretic-ara — разговорная мультимодальная модель на архитектуре Gemma 4, размещённая пользователем trohrbaugh. По метаданным она работает через Transformers и принимает изображения вместе с текстом, поддерживая диалог и визуальное понимание. README описывает семейство Gemma 4: его модели предназначены для рассуждений, агентных сценариев, программирования и мультимодальных задач; модель 31B относится к варианту с контекстом до 256K токенов. В описании семейства указаны гибридное внимание с локальными и глобальными слоями, распознавание текста и документов на изображениях, понимание графиков и интерфейсов, а также вызов функций. Аудиовозможности README относит только к версиям E2B и E4B. Метка heretic и теги uncensored, decensored и abliterated указывают на модификацию, нацеленную на ослабление отказов, однако README не объясняет точную методику или проверенные характеристики именно этой сборки. Семейство Gemma 4 поддерживает более 35 языков, но конкретный список языков этой модели не приведён. Лицензия репозитория — Apache-2.0. Как и другие генеративные модели, она может выдавать фактические ошибки, отражать смещения обучающих данных и хуже справляться с неоднозначными или сложными запросами.

noctrex/GLM-4.5-Air-Derestricted-MXFP4_MOE-GGUF — это GGUF-квантизация MXFP4_MOE модели GLM-4.5-Air-Derestricted, созданной Arli AI на основе GLM-4.5-Air. Вариант Derestricted модифицирован методом Norm-Preserving Biprojected Abliteration для уменьшения отказов при сохранении рассуждений исходной модели; заявления о качестве в карточке основаны на бенчмарках автора. Модель предназначена для генерации текста в диалогах, решения задач с рассуждениями, программирования и сценариев интеллектуальных агентов. Базовая GLM-4.5-Air — гибридная MoE-модель с 106 млрд параметров, из которых активны 12 млрд, и режимами рассуждения и быстрого ответа. README описывает семейство GLM-4.5-Air, но не приводит отдельных параметров контекста или списка языков для этого GGUF-репозитория. Исходная карточка указывает лицензию MIT для моделей GLM-4.5 и GLM-4.5-Air; отдельные условия распространения производного варианта и GGUF-квантизации в предоставленных данных не описаны.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ4e — мультимодальная версия модели GLM-5.3-Flash, подготовленная Solstice-AI для Apple Silicon и библиотеки MLX. Исходная архитектура разработана Zhipu AI / ZAI, некensored-веса предоставлены dealignai. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также понимания изображений и видео. Заявлена поддержка английского и китайского языков. Модель имеет 320 млрд общих параметров в разреженной MoE-архитектуре с 288 экспертами, из которых около 18 млрд активируются для каждого токена. Используется смешанная квантизация oQ4e примерно на 4,6 бит на вес: основные веса представлены в 4-битном формате, отдельные критически важные компоненты защищены 8-битным или полным BF16/FP32-представлением. Vision Tower ViT и мультимодальный выравниватель сохранены в BF16. Заявлено нативное контекстное окно до 1 048 576 токенов и поддержка спекулятивного декодирования с drafter DFlash2. Сильными сторонами модели являются большой контекст, мультимодальное понимание изображений и видео, разреженная архитектура и оптимизация под чипы Apple M2, M3, M4 и M5. К ограничениям относятся высокая общая ёмкость модели, требовательность к памяти и совместимость с конкретным программным стеком MLX и аппаратной платформой; фактическая производительность зависит от конфигурации устройства. В README модель описана как uncensored, поэтому её ответы могут не включать стандартные механизмы отказа по чувствительным запросам. Указанная лицензия — MIT.

Hercules-Qwen1.5-14B — разговорная языковая модель, разработанная M4-ai и дообученная на 700 тысячах примеров Hercules-v4 от Qwen1.5-14B. Она предназначена для работы в роли универсального ассистента: отвечает на вопросы, помогает с математикой и программированием, поддерживает вызов функций и ролевые диалоги. Архитектура — плотная Qwen2ForCausalLM с 13,4 млрд параметров; модель рассчитана на контекст до 32 768 токенов и распространяется в формате safetensors. В карточке заявлена поддержка английского и, возможно, китайского языков. Обучение проводилось в bf16 с длиной последовательности 1024; оценка качества в карточке не приведена. Лицензия указана как tongyi-qianwen license, а метаданные классифицируют лицензию как other. Разработчик предупреждает о рисках, смещениях и ограничениях модели.

MLX-версия модели K2-Horizon-3.7B от IFM, подготовленная сообществом mlx-community для компьютеров Apple с Apple Silicon. Это плотная авторегрессионная языковая модель с 3,7 млрд параметров и контекстом 524 288 токенов, предназначенная для генерации текста и диалогов. Сборка использует веса bf16 без квантизации и формат safetensors; размер на диске — около 10,1 ГБ. Модель подходит для ответов на вопросы, рассуждений, программирования и агентных сценариев в приложениях на базе MLX. Реализация архитектуры K2-Horizon поставляется вместе с репозиторием, поскольку поддержка этой архитектуры в mlx-lm может зависеть от версии библиотеки. Для запуска требуется mlx-lm; в некоторых версиях необходимо разрешить загрузку удалённого кода. Длинный контекст требует значительной дополнительной памяти для KV-кэша. Конвертация сверялась с реализацией IFM на PyTorch. Лицензия — Apache-2.0.

IFM/K2-Horizon-7B-GGUF — это GGUF-версия модели K2-Horizon-7B, разработанной IFM. Репозиторий предназначен для запуска модели с помощью llama.cpp и содержит тензоры в исходной точности BF16, метаданные токенизатора и совместимый с llama.cpp шаблон чата. Модель представляет собой плотную decoder-only архитектуру среднего размера в семействе K2-Horizon, с 7B параметров в основном ядре и контекстным окном на 524 288 токенов. Она ориентирована на генерацию текста, агентские сценарии, программирование, задачи с длинным контекстом и рассуждения. В README указан английский язык. Модель оценивается на математических, инженерных, кодировочных и long-context-бенчмарках; среди заявленных характеристик — результат 70,6 на SWE-bench Verified и 73,3 на HMMT Feb 2026. К сильным сторонам относятся большое нативное контекстное окно, открытость обучающих данных, рецепта, кода обучения и ресурсов оценки, а также наличие промежуточных чекпойнтов. Для запуска требуется версия llama.cpp с поддержкой архитектуры K2 Horizon; на момент публикации такая поддержка находилась в разработке, а совместимая ветка доступна в форке MBZUAI-IFM. Модель распространяется по лицензии Apache-2.0.

Карточка модели Pq234/Kimi-VL-A3B-Instruct на Hugging Face совпадает с карточкой moonshotai/Kimi-VL-A3B-Instruct, поэтому описание составлено по ней. Kimi-VL-A3B-Instruct — открытая мультимодальная модель Moonshot AI для понимания изображений, видео и текста. Она объединяет языковую модель с архитектурой Mixture-of-Experts, визуальный энкодер MoonViT с обработкой изображений в исходном разрешении и MLP-проектор. Всего модель содержит 16 млрд параметров, при генерации активирует около 3 млрд; контекстное окно — 128 тыс. токенов. Модель предназначена для диалогов с визуальными данными, распознавания текста на изображениях, анализа длинных документов и видео, понимания нескольких изображений и выполнения агентных задач по скриншотам. Поддерживает ввод текста, изображений и видео и выдаёт текстовые ответы. В README приведены результаты на задачах OCR, визуального понимания и взаимодействия с агентами; для сложных рассуждений, включая математику, разработчики рекомендуют вариант Kimi-VL-A3B-Thinking. Модель распространяется по лицензии MIT. Для запуска доступны веса в формате safetensors и библиотека Transformers. README рекомендует температуру 0,2 для Instruct-варианта. Указанные результаты основаны на бенчмарках разработчиков; качество может зависеть от задачи и настроек инференса.

Ling-3.0-flash-VL-fp4 — нативная мультимодальная модель, разработанная командой InclusionAI. Она предназначена для анализа изображений и видео, визуального понимания документов, схем, графиков и интерфейсов, многошагового рассуждения с опорой на визуальные данные, проверки информации, планирования и выполнения действий в реальных и агентных сценариях. Модель поддерживает режим рассуждения, включённый по умолчанию, а также задачи взаимодействия с веб- и программными интерфейсами. Модель имеет 124 млрд общих параметров, из которых 5,5 млрд активируются для каждого токена, что повышает эффективность инференса. Архитектура включает визуальный ViT-энкодер, двухслойный MLP-проектор, VideoRoPE для учёта пространственных и временных позиций, 42-слойный гибридный языковой backbone с чередованием слоёв KDA и Gated MLA в соотношении 5:1, а также разреженную MoE-архитектуру. Поддерживаются текст, изображения и видео; заявленное контекстное окно достигает 256K токенов. Для видео предусмотрены сценарии локализации событий, ответов на вопросы по длинным роликам и редактирования видеоклипов. К сильным сторонам относятся объединение восприятия, рассуждения, планирования, действий и проверки, работа со сложными визуальными структурами и высокая эффективность за счёт MoE. В Artificial Analysis Intelligence Index v4.1.1 модель получила 42 балла, что на 4 балла выше базовой Ling-3.0-flash. README не содержит подробных сведений о языках, конкретных ограничениях качества или системных требованиях вне отдельных конфигураций запуска. Модель распространяется по лицензии MIT.

Карточка модели ByteResearch/Llama-3-8B-Instruct на Hugging Face совпадает с карточкой kuotient/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. kuotient/Meta-Llama-3-8B-Instruct — чат-модель, разработанная Meta на основе семейства Llama 3. Это авторегрессионная плотная трансформерная модель класса LlamaForCausalLM с примерно 7,5 млрд параметров и механизмом Grouped-Query Attention. Она принимает текст и генерирует текст или код; версия с инструкционной настройкой предназначена для диалогов и работы в роли помощника. Модель рассчитана прежде всего на английский язык, а её контекстное окно составляет 8192 токена. Модель подходит для диалоговых помощников, ответов на вопросы, генерации и редактирования текста и кода. Инструкционные варианты Llama 3 настроены с помощью supervised fine-tuning и обучения с обратной связью от людей для повышения полезности и безопасности. Модель статична и обучена на офлайн-данных. Для использования действует специальная коммерческая лицензия Meta Llama 3; необходимо соблюдать её условия и политику допустимого использования.

Llama 3 Tulu 2 70B — большая языковая модель-помощник, разработанная AllenAI и дообученная на базе Meta Llama 3 70B. Она обучалась на смеси общедоступных, синтетических и созданных людьми данных, включая набор инструкций и диалогов Tulu V2. Модель содержит 69,5 млрд параметров, использует архитектуру Llama с плотной causal language model и принимает текст для генерации текста. Заявленная основная языковая ориентация — английский; родной контекст составляет 2048 токенов. Модель предназначена для диалогов с помощником, выполнения инструкций, ответов на вопросы, рассуждений и генерации кода. В карточке приведены результаты тестирования на MMLU, GSM8k, BBH, TyDiQA и HumanEval, однако они не гарантируют качество в конкретном приложении. По сведениям README, модель не проходила этап RLHF для согласования безопасных ответов и может выдавать проблемный контент, особенно по соответствующему запросу. Лицензия репозитория — Apache 2.0.

MaziyarPanahi/Meta-Llama-3-70B-Instruct-GGUF — это набор квантованных сборок Meta-Llama-3-70B-Instruct в формате GGUF, подготовленный и опубликованный MaziyarPanahi на основе модели Meta. Исходная модель разработана Meta и предназначена для диалоговых сценариев, коммерческого и исследовательского использования на английском языке. Модель содержит около 70 млрд параметров и построена на авторегрессионной архитектуре оптимизированного Transformer с Grouped-Query Attention (GQA). Она принимает только текст и генерирует текст и код, поддерживает контекст до 8 тысяч токенов и была обучена на смеси общедоступных онлайн-данных объёмом более 15 трлн токенов. Инструкционная версия дополнительно оптимизирована с помощью supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Главное преимущество репозитория — наличие вариантов квантования от 2 до 8 бит, а также 16-битной версии, что позволяет запускать модель с различными требованиями к памяти и производительности. При этом более сильное квантование может снижать качество по сравнению с исходными весами, а запуск 70-миллиардной модели всё равно требует значительных вычислительных ресурсов. Модель ориентирована прежде всего на английский язык; использование для других языков обозначено как выходящее за предполагаемую область применения, хотя разработчикам разрешено дообучение при соблюдении условий лицензии. Распространение регулируется специальной коммерческой лицензией Meta Llama 3 и Community License, включая Acceptable Use Policy. Это статическая модель, обученная на офлайн-данных; дата выпуска семейства — 18 апреля 2024 года.

NVIDIA MiniMax-M3-NVFP4 — квантизированная версия мультимодальной модели MiniMax-M3, подготовленная с помощью NVIDIA Model Optimizer. Это модель архитектуры Transformer с Mixture-of-Experts: всего 428 млрд параметров, из которых активно около 23 млрд на токен. Она принимает текст, изображения и видео, а также выдаёт текст; контекстное окно составляет до 1 млн токенов, видео — до 30 минут. Модель предназначена для понимания изображений и длинных видео, программирования на продолжительных задачах, диалогов с инструментами и агентных сценариев. Режим рассуждения можно переключать между углублённым и менее затратным по задержке. Квантизация NVFP4 уменьшает объём весов и требования к памяти примерно вдвое относительно 8-битной версии; в приведённых тестах показатели близки к FP8-базе. Для запуска README указывает vLLM и NVIDIA Blackwell; поддержка MiniMax-M3 NVFP4 доступна в nightly-сборке vLLM. Веса самой модели разработаны не NVIDIA, а сторонней организацией. Лицензия обозначена как other, модель разрешена для некоммерческого использования. Ответы могут быть неточными, неполными или избыточными; модель может воспроизводить токсичность и предвзятость из обучающих данных.

Nereus-7B — языковая модель на 7,1 млрд параметров от автора репозитория saucam. Это объединение моделей cognitivecomputations/dolphin-2.8-mistral-7b-v02 и NousResearch/Hermes-2-Pro-Mistral-7B методом mergekit DARE-TIES; архитектура — плотная Mistral с causal language modeling. Модель предназначена для диалогов, генерации кода и формирования структурированных ответов в JSON. Модель принимает текст и генерирует текст. В метаданных указан контекст до 32 768 токенов и лицензия Apache-2.0. README приводит результаты нескольких бенчмарков, однако они не дают гарантии качества для конкретного сценария. Языки модели и её специальные предметные области в доступных данных не определены.

Nex-N2.5-mini-GGUF — это квантизированное представление модели Nex-N2.5-mini, разработанной Nex-AGI и преобразованной в формат GGUF с использованием llama.cpp. Модель предназначена для генерации текста, программирования, агентских сценариев, вызова инструментов, работы с компьютером и мультимодальных задач. Поддерживаются английский и китайский языки. Исходная модель заявлена с контекстным окном до 262 144 токенов и может использоваться в текстовом режиме или с дополнительным vision-проектором mmproj-Nex-N2.5-mini-F16.gguf для мультимодальной обработки. Репозиторий содержит варианты квантизации от Q8_0 до IQ1_S и TQ1_0, поэтому можно выбирать между качеством, размером файлов и требованиями к памяти. Размеры файлов составляют примерно от 7,48 до 36,90 ГБ, а проектор занимает 899 МБ. Сильными сторонами являются поддержка длинного контекста, инструментов и мультимодальных сценариев, а также возможность локального запуска через llama.cpp и OpenAI-совместимый сервер. Ограничения связаны с необходимостью значительного объёма памяти, возможной потерей качества при агрессивной квантизации и зависимостью корректной работы вызова инструментов от возможностей конкретного runtime и его интеграции. Приведённые в README результаты тестов относятся к исходному семейству Nex-N2.5, а не непосредственно к этой GGUF-конверсии. Модель распространяется по лицензии Apache-2.0.

NovaMind — открытая 7-миллиардная плотная языковая модель-ассистент семейства Nova, разработанная NovaMind. Это обновлённая версия с более длительным этапом mid-training и расширенным post-training; модель предназначена для генерации текста, многошаговых рассуждений, программирования, логических задач и диалогового использования. В README также заявлены более надёжный вызов функций в многоходовых диалогах и снижение ошибок на внутренних проверках фактической точности. Авторы сообщают о результате 84,6% на GPQA Diamond и среднем расходе 26 тысяч токенов на вопрос в этой оценке; приведены также результаты по математическому, логическому и здравому рассуждению. Модель распространяется в формате PyTorch и использует класс NovaMindForCausalLM. Для локального запуска рекомендована температура 0,7; доступна также через размещённые авторами чат-интерфейс и API. Лицензия — Apache-2.0. README не приводит сведения о поддерживаемых языках и длине контекста.

NULLXES SHINRA-4B-INSTRUCT — разработанная NULLXES инструкционно дообученная плотная decoder-only Transformer-модель с архитектурой ShinraForCausalLM и 3,93 млрд параметров. Она служит языковым компонентом системы NULLXES и рассчитана на диалог, выполнение инструкций, генерацию кода и структурированных ответов, а также подготовку черновиков для агентов и инструментов. Поддерживает девять языков: английский, русский, немецкий, французский, испанский, китайский, японский, корейский и арабский. Контекст — до 32 768 токенов; README указывает, что продолжение за пределы 8 192 токенов использует экстраполяцию RoPE YaRN. Модель обучалась на текстах, коде, математике и научных материалах, а затем проходила SFT и DPO-выравнивание. Её можно применять для многоязычной генерации, помощи с программированием, следования инструкциям и выдачи JSON. Модель уступает более крупным системам в многошаговых рассуждениях и работе с редкими языками; остаточный вредоносный контент возможен. README позиционирует её для исследований и внутренней интеграции NULLXES, исключая автономные высокорисковые решения и применение без дополнительных защитных слоёв. Для загрузчиков Hugging Face требуется trust_remote_code=True. Лицензия указана как other, конкретные условия в предоставленных данных не приведены.

Это текстовая модель NVIDIA Nemotron-3.5-Lightning-30B-A3B-BF16 с изменёнными параметрами отказов: автор карточки сообщает, что после abliteration модель отказала в 1 из 100 тестовых запросов против 98 из 100 у исходной версии. Она предназначена для генерации текста, диалога и рассуждений, а также для дообучения и адаптации разработчиками. В карточке приведены результаты проверок на задачах знаний, рассуждений, программирования и использования инструментов. Модель использует гибридную архитектуру Mixture-of-Experts с Mamba-2, MoE и слоями Attention; всего в ней 30 млрд параметров, из которых активны 3 млрд. Формат весов — BF16, заявленная длина контекста в метаданных — 262 144 токена. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский. README указывает лицензию исходной модели как допускающую коммерческое использование, но метаданные этой копии обозначают лицензию как other, поэтому условия распространения и использования именно этой производной версии следует сверять с лицензией репозитория.