II.4Отладка, тестирование и качество ПО

AmberYifan/capsd-marin-8b-base-code_cap_b12000_s0 — дообученная модель семейства Llama на основе marin-community/marin-8b-base. Она содержит 7,5 млрд параметров и предназначена для генерации и продолжения текста; в метаданных также отмечена поддержка диалогового режима. Обучение проводилось на наборе capsd_marin-8b-base-n80000-opc__mix_code_cap_b12000_s0, название которого указывает на смесь данных, связанных с кодом и подписями, однако подробности датасета и результаты оценки в карточке не приведены. Модель использует плотную архитектуру LlamaForCausalLM, формат весов safetensors и контекст до 4096 токенов. Базовая marin-8b-base описана как англоязычная; отдельные языки или специализация этой производной в карточке не уточняются. Лицензия указана как other, поэтому условия использования следует сверить с файлами репозитория и правообладателем перед применением.

DheyoAI выпустила GGUF-версию модели DeepSeek-R1-Distill-Qwen-1.5B — компактной плотной языковой модели на архитектуре Qwen2 с 1,5 млрд параметров. Она предназначена для генерации текста в диалоге и решения задач, требующих рассуждений, включая математику и программирование. В README приведено сравнение вариантов квантования семейства на тестах GSM8K, GPQA Diamond, Math500 и AIME; результаты относятся к описанным вариантам и условиям оценки. Модель принимает текст и генерирует текст. Метаданные указывают контекст до 131 072 токенов и поддержку английского языка. Формат GGUF рассчитан на компактное локальное хранение и запуск совместимыми средствами. Лицензия — MIT.

Fwizzer-R1-3B-RU — русскоязычная языковая модель, разработанная автором или организацией fwizzer1. Она обучена в стиле пошаговых рассуждений DeepSeek-R1 CoT на отобранном датасете ru-deepthink-11k и предназначена для генерации текста, решения логических задач и сценариев, где требуется явное рассуждение. Модель имеет размер 3 млрд параметров и поддерживает русский и английский языки. Она доступна в формате GGUF в двух вариантах: Speed с квантизацией Q4_K_M и размером около 2,15 ГБ, а также Max с квантизацией Q8_0 и размером около 3,40 ГБ. Для локального запуска рекомендуются LM Studio или llama-cpp-python; в примере использования указан контекст 4096 токенов. Модель работает только с текстом и может выводить ход рассуждений в тегах <think>. К сильным сторонам относятся ориентация на русскоязычные задачи, поддержка пошагового рассуждения и возможность локального запуска на относительно доступном оборудовании. Вариант Speed рассчитан на ноутбуки, RTX 3050 и системы с 16 ГБ оперативной памяти, тогда как Max ориентирован на компьютеры минимум с 8 ГБ видеопамяти. Ограничения включают небольшой размер модели по сравнению с крупными LLM и отсутствие заявленных мультимодальных возможностей или расширенных характеристик контекстного окна. Модель распространяется по лицензии Apache-2.0.

Gemma 3 1B IT — компактная instruction-tuned модель семейства Gemma 3, разработанная Google. Данная версия опубликована сообществом LM Studio в формате GGUF на основе оригинальной модели google/gemma-3-1b-it; GGUF-квантизация предоставлена Google. Модель предназначена для генерации текста, включая ответы на вопросы, суммаризацию и задачи, требующие рассуждений. Она оптимизирована с помощью Quantization Aware Training для повышения качества работы в 4-битном режиме, что делает её подходящей для локального запуска при ограниченных вычислительных ресурсах. Поддерживается контекст до 32 000 токенов и максимальная длина вывода до 8 192 токенов. Ключевое ограничение — небольшой размер в 1 млрд параметров, из-за которого модель может уступать более крупным системам в сложных рассуждениях, точности и широте знаний. В README не указаны дополнительные языковые возможности и модальности, поэтому модель следует рассматривать прежде всего как текстовую. Доступ и использование регулируются лицензией Google Gemma; на Hugging Face требуется принять условия этой лицензии.

Карточка модели GodsDevProject/gemma-4-E4B-it-The-DECKARD-HERETIC-UNCENSORED-Thinking на Hugging Face совпадает с карточкой DavidAU/gemma-4-E4B-it-The-DECKARD-HERETIC-UNCENSORED-Thinking, поэтому описание составлено по ней. DavidAU разработал The-DECKARD-HERETIC-UNCENSORED-Thinking — дообученную модель Google Gemma 4 E4B Instruct с настройкой на внутренних датасетах и изменённым шаблоном чата, который по умолчанию включает режим рассуждения. Модель предназначена для диалога, творческого письма, ролевых сценариев, генерации историй и кода. Автор сообщает о поддержке текста, изображений, видео и аудио, а также контекста до 128 тысяч токенов. Gemma 4 E4B описана как модель примерно с 8 млрд параметров, из которых около 4,5 млрд активны; веса этой версии представлены в формате bfloat16 и safetensors. Карточка приводит внутренние результаты сравнения с базовой моделью, но отмечает, что статистика ещё собирается и instruct-режим иногда показывает лучшие результаты, чем thinking. Использование чата в режиме instruct требует отдельного шаблона. Лицензия — Apache 2.0.

InternVL3.5-14B — мультимодальная модель OpenGVLab из семейства InternVL3.5, представленная в архитектуре InternVLChat. Она принимает изображения и текст и формирует текстовые ответы; версия на 14 млрд параметров является дообучением OpenGVLab/InternVL3_5-14B-MPO. Модель предназначена для диалогов по изображениям и мультимодальных задач, включая визуальное рассуждение, ответы на вопросы по изображению и распознавание текста в изображениях. В семействе InternVL3.5 применяются Cascade RL для улучшения рассуждений и Visual Resolution Router для динамического выбора разрешения визуальных токенов. В README также описаны взаимодействие с графическим интерфейсом и embodied-задачи как возможности семейства. Модель распространяется в формате safetensors и использует библиотеку Transformers; лицензия — Apache-2.0. README не приводит отдельные показатели качества или длину контекста именно для версии 14B.

InternVL3.5-14B-Instruct — мультимодальная инструкцияя модель семейства InternVL3.5, разработанная OpenGVLab и дообученная на базе OpenGVLab/InternVL3_5-14B-Pretrained. Она принимает изображения вместе с текстовыми запросами и формирует текстовые ответы; подходит для диалога по изображениям, визуальных вопросов и задач рассуждения. В README описаны улучшения семейства InternVL3.5, включая Cascade RL для развития рассуждений, Visual Resolution Router для динамической настройки разрешения визуальных токенов и возможности взаимодействия с GUI и агентных сценариев. Модель относится к плотной архитектуре InternVLChat и распространяется в формате safetensors для Transformers. Репозиторий лицензирован по Apache-2.0. Карточка описывает мультиязычность, но конкретные языки не перечисляет. Указанные в README показатели ускорения и качества относятся к сравнению семейства InternVL3.5 с InternVL3 и не гарантируют такие же результаты для этой конкретной версии на любом оборудовании.

Shining Valiant 2 — разговорная языковая модель, созданная Valiant Labs на основе Meta Llama 3.2 3B Instruct и дообученная на данных разработчика. Это плотная модель семейства Llama с 3,2 млрд параметров, предназначенная для диалога и следования инструкциям; в репозитории веса представлены в формате safetensors, а нативная длина контекста составляет 131 072 токена. Модель ориентирована на технические знания и структурированные рассуждения, с акцентом на физику, химию, биологию, информатику и инженерное дело. Она также обучалась на данных для сложных рассуждений и общего чата, поэтому подходит для объяснения научных и технических тем, ответов на вопросы и помощи в обучении. В карточке указана поддержка английского языка; мультиязычность базовой модели не подтверждает, что дообученная версия одинаково хорошо работает на других языках. Модель выпущена 27 сентября 2024 года и использует лицензию Llama 3.2. Качество ответов и точность фактов не гарантированы; научные и технические ответы следует проверять, особенно перед практическим применением.

Mungert/Llama-xLAM-2-8b-fc-r-GGUF — это GGUF-версия модели Llama-xLAM-2-8b-fc-r из семейства xLAM-2, разработанного Salesforce AI Research. Модель предназначена для построения AI-агентов, которые интерпретируют намерения пользователя, планируют действия и вызывают внешние функции или инструменты. Она ориентирована на многоходовые диалоги и сценарии function calling, включая автоматизацию рабочих процессов и взаимодействие с API. Модель содержит около 8 млрд параметров, работает с текстом и поддерживает контекст до 128 тысяч токенов. В карточке указан английский язык. Данная версия сгенерирована в формате GGUF с использованием llama.cpp и включает экспериментальный подход к квантованию: отдельные важные слои переводятся на более высокую точность, что может улучшать качество при заданном уровне квантования, но увеличивает размер файла. При этом квантование в целом может снижать точность по сравнению с исходной моделью. Модель заявлена как эффективная для многоходового использования инструментов и стабильного выполнения агентских сценариев; семейство xLAM-2 демонстрирует высокие результаты на бенчмарках BFCL и τ-bench. Релиз предназначен только для исследовательских целей. Лицензия — CC BY-NC 4.0, поэтому коммерческое использование ограничено условиями лицензии.

MAMBA (2.8B) Instruct — языковая модель с архитектурой Mamba, дообученная clibrain на наборе OpenHermes для генерации текста в формате инструкций и диалога. Архитектура Mamba относится к моделям пространства состояний и использует аппаратно-ориентированную реализацию; заявленный размер в названии — 2,8 млрд параметров, тогда как метаданные указывают 6 млрд параметров. Модель предназначена для диалоговых ответов и выполнения общих инструкций, включая задачи письма, ролевого взаимодействия и программирования. OpenHermes содержит около 242 тысяч примеров, преимущественно созданных GPT-4 и собранных из открытых наборов данных. В метаданных указан английский язык и возможность использования в чате. Карточка модели обозначена как незавершённая, а результаты оценивания обещаны на будущее, поэтому опубликованных оценок качества нет. Для запуска README приводит зависимости PyTorch, Transformers и Mamba. Лицензия указана как WTFPL.

MoAI-Privacy-Filter — модель распознавания сущностей, связанных с конфиденциальностью, разработанная BCCard путём полного дообучения openai/privacy-filter. Она размечает фрагменты текста на корейском и английском языках 29 типами сущностей, используя 117 классов BIOES для границ токенов. Модель предназначена для поиска персональных и других чувствительных данных в клиентских обращениях, документах, письмах и журналах до передачи текста внешним сервисам, а также для построения типизированных фрагментов, которые приложения могут маскировать, сохранять или направлять на проверку по собственным правилам. В карточке указаны результаты строгой micro F1: 0,9824 для корейского и 0,9708 для английского на отложенной валидации; на независимом Golden Set — 0,9732 и 0,9650 соответственно. Архитектура — смесь экспертов, модель рассчитана на контекст до 131 072 токенов, однако обучающие примеры ограничены 1024 токенами. Для корректного восстановления сущностей требуется декодирование BIOES с ограничениями переходов и сопоставление смещений токенов с исходным текстом. Модель только находит и классифицирует фрагменты, но не определяет, как их обрабатывать; метки PORT и ORGANIZATION также не являются персональными данными. Оценка проводилась на синтетических данных, поэтому качество на реальных текстах, OCR-ошибках, сленге и неизвестных форматах не установлено; другие языки и области не проверялись. Лицензия — Apache-2.0.

OLMo 2 1B DPO April 2025 — языковая модель Allen Institute for AI (Ai2), предназначенная для генерации текста и диалогов. Это плотная авторегрессионная модель семейства OLMo 2 с 1,3 млрд параметров и контекстом 4096 токенов, доступная через Transformers. Модель создана на основе allenai/OLMo-2-0425-1B-SFT: после supervised fine-tuning на варианте набора Tülu 3 она прошла дополнительное обучение методом DPO. Такой вариант постобучения ориентирован на ответы в чате и широкий круг текстовых задач, включая математические вопросы, следование инструкциям и общие знания. Основной язык — английский. Модель распространяется по лицензии Apache 2.0. В карточке отмечено, что модели OLMo 2 прошли ограниченное обучение безопасности и могут выдавать проблемные ответы; автоматической фильтрации ответов нет.

Pretergeek создал экспериментальную модификацию диалоговой модели OpenChat-3.5-0106 на архитектуре Mistral. Веса расширены до 8,9 млрд параметров добавлением новых слоёв в конец модели методом passthrough, основанным на расширении блоков. По словам автора, после добавления слоёв модель не дообучалась и должна работать близко к исходной модели. Модель предназначена для диалогов и генерации текста, в том числе ответов на общие вопросы, программирования и математических рассуждений — задач, поддерживаемых базовой моделью OpenChat. Контекст составляет 8192 токена. Репозиторий содержит веса в формате Safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache-2.0. Это экспериментальная архитектурная модификация, а не подтверждённое улучшение исходной модели: автор предполагает, что дообучение добавленных слоёв может усилить рассуждения, но в опубликованной версии оно не проводилось. Оценки в README относятся к указанным бенчмаркам и сами по себе не подтверждают преимущество над базовой моделью.

Модель perplexity-ai/pii-masking-vllm — упаковка для vLLM дообученной двунаправленной модели Qwen3 от Perplexity AI для обнаружения и оценки чувствительности персональных данных в разговорном тексте. Она использует энкодер примерно на 600 млн параметров с классификатором токенов на 37 меток и отдельной головой оценки чувствительности беседы. Классификатор размечает девять категорий PII, включая имена, адреса, электронную почту, телефоны, номера счетов и секреты; BIOES-разметка декодируется алгоритмом Витерби. Контекст модели по метаданным — 32 768 токенов, однако вход поставляемого клиента ограничен 4096 токенами и обрезается при превышении этого лимита. Модель принимает текст и возвращает метки и диапазоны с найденными данными, а также оценку чувствительности текста. Репозиторий переупаковывает готовые веса для vLLM без повторного обучения и квантизации; веса энкодера сохранены в bf16, головы — в fp32. Для развёртывания из README предусмотрены vLLM, адаптер подсчёта и Docker Compose с поддержкой NVIDIA GPU. Карточка указывает английский и многоязычный охват, но не перечисляет конкретные языки. Лицензия — MIT. Возможны пропуски и ложные срабатывания, а границы найденных фрагментов могут захватывать пробелы. Пороговые значения уверенности и чувствительности следует калибровать на целевых данных; для обработки документов длиннее 4096 токенов их нужно разбивать на части.

Qwen3-4B Devin SFT (Instruct) — дообученная модель семейства Qwen3, созданная davidnichols-ops на базе Qwen/Qwen3-4B с использованием данных сессий Devin. Она предназначена для диалоговой генерации текста и сценариев агентной работы с вызовом инструментов; формат вызова инструмента задаётся JSON-объектом с именем инструмента и аргументами, например командой для shell. Модель имеет плотную архитектуру Qwen3ForCausalLM и около 3,7 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. Карточка указывает английский язык и лицензию Apache-2.0. Модель можно использовать для выполнения инструкций, разработки с помощью инструментов и работы в стиле Devin. Для ускорения вывода автор рекомендует сочетать её с черновой моделью davidnichols-ops/qwen3-0.6b-devin-draft; заявлено ускорение в 2–3 раза при спекулятивном декодировании. Качество вызова инструментов вне описанного формата и результаты на независимых задачах в карточке не оценены.

dealignai/Qwen3.8-Flash-Next-ABLITERATED-FP8 — модифицированная версия Qwen3.8-Flash-Next-FP8, разработанная dealignai на базе модели Qwen. Это текстогенерационная vision-language модель с поддержкой изображений; в описании также заявлены архитектура MoE, формат квантования FP8 и сохранённые vision tower и MTP head для multi-token prediction. Языки и размер контекстного окна в README не указаны. Модель предназначена для генерации текста, задач рассуждения и мультимодальных сценариев, где требуется обработка текста и изображений. По заявленным тестам она демонстрирует повышенную глубину рассуждений: на пяти логических головоломках получила 4 из 4 правильных ответов против 3 из 4 у базовой модели, однако это сравнение выполнено на небольшой выборке. На полном тесте MMLU результат составил 80,39% против 83,54% у базовой версии, то есть модификация сопровождается снижением общей академической точности и заметными просадками по отдельным предметам. Ключевая особенность модели — удаление отказов и защитного поведения: в тесте HarmBench заявлено отсутствие жёстких отказов и высокая готовность отвечать даже на запросы, связанные с вредоносными, незаконными, киберпреступными и дезинформационными сценариями. Поэтому модель может быть полезна для исследовательских и тестовых задач, но требует особенно строгого контроля применения и не обеспечивает встроенных ограничений безопасности. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-Uncensored-ROCmFP4-STRIX_LEAN-GGUF — квантизированная GGUF-версия модели Qwen3.8-Flash-Next, разработанная пользователем kingjones777 на основе Qwen/Qwen3.8-Flash-Next и orcarouter/Qwen3.8-Flash-Next-Uncensored. Модель предназначена для генерации текста, включая рассуждения, создание JSON, программирование и суммаризацию документов. Вариант Uncensored распространяется как исследовательский артефакт с удалённым поведением отказа и защитными ограничениями, поэтому его следует использовать осознанно и контролировать результаты. Модель использует архитектуру qwen4exp и формат GGUF с типами ROCmFP4, ориентированными на ускорение через AMD ROCm. Карточка указывает совместимость прежде всего с AMD Ryzen AI Max+ 395 и GPU gfx1151; стандартная версия llama.cpp этот файл не загружает, требуется специальная сборка ROCmFPX с поддержкой qwen4exp и ROCmFP4. Заявлена работа с контекстом до 128K в режиме speculative decoding при применении исправлений, однако размер модели, точный объём контекстного окна в обычном режиме, языки и модальности в карточке не указаны. Сильными сторонами являются аппаратно-ориентированная FP4-квантизация, поддержка speculative decoding с MTP-головой и заметное ускорение на отдельных сценариях: в приведённых измерениях прирост достигал 34% для reasoning при коротком контексте, хотя для кода и длинных документов результат зависел от настроек и иногда был хуже обычной генерации. Для запуска требуются специальная сборка, патчи и совместимое оборудование; производительность и совместимость с другими платформами не подтверждены. Лицензия указана как qwen-community-1.0, тип лицензии — other.

ssc-aln-mms-model-mix-adapt-max — модель распознавания речи на базе архитектуры wav2vec2 с выходной головой CTC, разработанная автором репозитория. По README, модель обучена с нуля на неизвестном наборе данных. Она предназначена для преобразования аудио в текст; в карточке приведены результаты оценки: CER 0,2065, WER 0,5208 и loss 1,0180. Модель содержит 1,3 млрд параметров, сохранена в формате safetensors и использует библиотеку Transformers. Язык распознавания, состав обучающих данных и условия лицензии в предоставленных материалах не раскрыты. Поэтому приведённые метрики нельзя переносить на конкретные языки или сценарии без дополнительной проверки.

Stable LM 2 12B Chat — диалоговая языковая модель Stability AI на 11,6 млрд параметров. Это авторегрессионная модель с декодерной архитектурой Transformer, дообученная следовать инструкциям и оптимизированная с помощью Direct Preference Optimization (DPO) на открытых и синтетических наборах данных. Модель предназначена для чат-приложений и отвечает на запросы на английском языке. Контекст составляет 4096 токенов. В карточке приведены результаты сравнительных тестов, включая MT-Bench и OpenLLM Leaderboard; они не гарантируют качество в конкретном сценарии. Для работы требуется Transformers версии 4.40.0 или новее. Модель может галлюцинировать и выдавать вредоносные ответы. Разработчик рекомендует проверять её в целевом сценарии и использовать классификаторы входов и выходов. Лицензия Stability AI Non-Commercial Research Community License ограничивает коммерческое использование; для коммерческих продуктов или целей нужно связаться с Stability AI.

ceyda/wav2vec2-base-760-turkish — модель распознавания речи на турецком языке, разработанная на основе ceyda/wav2vec2-base-760 и дообученная на обучающей и валидационной выборках Common Voice. Это архитектура Wav2Vec2 с CTC-декодированием, содержащая 113,3 млн параметров. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст; её можно использовать без языковой модели. Модель подходит для транскрибации турецкой речи и оценки систем распознавания на тестовой выборке Common Voice. В README приведены результаты на этой выборке: WER 22,60 и CER 6,05. Модель распространяется по лицензии Apache-2.0.

anuragshas/wav2vec2-xls-r-300m-lv-cv8-with-lm — модель автоматического распознавания латышской речи, созданная дообучением facebook/wav2vec2-xls-r-300m на датасете Mozilla Common Voice 8.0 для латышского языка. Архитектура основана на Wav2Vec2 с CTC-декодированием; в репозитории указано около 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст. На тестовой части Common Voice 8.0 в карточке приведены WER 0,1705 и результат WER 9,633 при оценке с языковой моделью; без языковой модели — 16,997. Она подходит для распознавания латышской речи в аудиозаписях и оценки качества ASR. Лицензия — Apache-2.0. Карточка содержит мало сведений о рекомендуемых условиях применения и ограничениях; приведённые метрики относятся к конкретному набору данных и не гарантируют качество на других источниках аудио.

RedHatAI/Qwen3.8-27B-NVFP4 — квантизированная версия модели Qwen3.8-27B, разработанной командой Qwen; базовая модель указана как Qwen/Qwen3.8-27B. Это плотная causal language model с vision encoder, предназначенная для генерации и анализа текста, программирования, профессиональных и исследовательских задач, многошагового планирования и агентских сценариев. Модель нативно поддерживает понимание изображений и видео, включая документы, STEM-диаграммы и длительные видеоматериалы. Модель содержит 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 000 000 токенов с применением RoPE scaling, например YaRN. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN; предусмотрены режимы рассуждения с настраиваемой глубиной, отключением thinking mode и сохранением контекста рассуждений из предыдущих сообщений. Указанная сборка использует квантизацию NVFP4/FP4, при этом lm_head квантизирован в FP8. К сильным сторонам относятся компактность для модели такого класса, поддержка текста, изображений и видео, длинного контекста, программирования и автономного выполнения сложных задач. Ограничение данной сборки заключается в совместимости: согласно README, она работает только в vLLM и не поддерживается SGLang. Для запуска и качества генерации могут потребоваться специальные параметры семплирования и значительный лимит выходных токенов. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V3 — крупная языковая модель с архитектурой Mixture-of-Experts, разработанная командой DeepSeek AI. Модель содержит 671 млрд параметров, из которых для каждого токена активируется около 37 млрд. Она предназначена для работы с естественным языком, генерации и анализа текста, программирования, решения сложных задач и сценариев, требующих развитого рассуждения. Модель доступна как открытая базовая модель, дополненная этапами supervised fine-tuning и reinforcement learning. Архитектура DeepSeek-V3 основана на Multi-head Latent Attention и DeepSeekMoE, унаследованных и развитых по сравнению с DeepSeek-V2. Среди ключевых нововведений — балансировка нагрузки без вспомогательной функции потерь и обучение с предсказанием нескольких токенов, которое также может применяться для ускорения speculative decoding. Модель предварительно обучена на 14,8 трлн разнообразных токенов; заявлена поддержка эффективного FP8-обучения. В README не указаны точная длина контекста, перечень языков и дополнительные модальности, поэтому модель следует рассматривать прежде всего как текстовую LLM. Сильными сторонами DeepSeek-V3 являются высокая заявленная производительность, эффективное использование параметров при инференсе, развитые возможности рассуждения и сравнительная экономичность обучения. Ограничения включают значительный общий размер модели и соответствующие требования к вычислительным ресурсам; конкретные характеристики инференса и результаты по отдельным задачам зависят от конфигурации и реализации. Код распространяется по лицензии MIT, а сама модель — по Model Agreement.

RedHatAI/gpt-oss-120b-essential — вариант открытой по весам модели gpt-oss-120b, разработанной OpenAI и подготовленной Red Hat AI. Это генеративная текстовая модель для диалогов, текстовой генерации, задач с рассуждением, агентских сценариев и вызова инструментов. Модель поддерживает function calling, веб-поиск, выполнение Python-кода и Structured Outputs; поддержка tool calling валидирована. Указанный язык — английский. Модель построена на архитектуре Mixture of Experts и содержит около 117 млрд параметров, из которых примерно 5,1 млрд активны при обработке запроса. Она использует посттренировочную MXFP4-квантизацию весов MoE и рассчитана на запуск на одном GPU с 80 ГБ памяти, например NVIDIA H100 или AMD MI300X. Для корректной работы требуется формат ответов harmony. В README не указана длина контекста. К сильным сторонам относятся настраиваемый уровень рассуждений — low, medium или high, возможность дообучения и пригодность для производственных и ресурсоограниченных развёртываний благодаря essential-комплектации без каталогов /Metal и /Original, уменьшающей профиль памяти. Полное предоставление цепочки рассуждений может помогать при отладке, но не предназначено для показа конечным пользователям. Модель валидирована в Red Hat OpenShift AI 2.25, Red Hat AI Inference Server 3.2.2 и vLLM 0.10.1.1. Распространяется по лицензии Apache 2.0, допускающей коммерческое использование и модификацию.

K2-Horizon-3.7B — плотная авторегрессионная языковая модель семейства K2-Horizon от IFM, представленная как небольшой вариант семейства. Это декодерная модель с архитектурой K2HorizonForCausalLM; в карточке указано 3,7 млрд параметров в названии, а в метаданных — 4,1 млрд. Модель принимает текст и предназначена для диалогов, генерации текста, рассуждений, программирования и агентных задач. Нативное контекстное окно составляет 524 288 токенов. Для запуска описана совместимость с Transformers, vLLM и SGLang; для vLLM приведены настройки вызова инструментов и парсер формата модели. Обучение включает предварительное обучение, этапы расширения контекста и постобучение. Для снижения повторяющихся бесконечных генераций выпущенная версия прошла дополнительный этап FTPO на LoRA-предпочтениях, после чего обновление было объединено с весами. Авторы сообщают об оценках на математических, кодовых, агентных и общих бенчмарках, а также об улучшении поведения при длинной генерации. Обучающие данные, рецепт, код и ресурсы оценки заявлены как открытые. Лицензия — Apache-2.0.

K2-Horizon-7B — плотная авторегрессионная языковая модель семейства K2-Horizon от IFM, предназначенная для генерации текста и диалогового взаимодействия. Модель имеет около 8 млрд параметров и поддерживает контекст до 524 288 токенов; карточка описывает её как 7B-core модель с окном контекста 512K. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Модель рассчитана на сценарии рассуждений, программирования, работы с длинным контекстом и агентных задач; README приводит результаты оценки на соответствующих бенчмарках и описывает обучение для снижения повторяющихся циклов в длинных генерациях. Доступны промежуточные контрольные точки для изучения изменений возможностей в ходе обучения, а обучающие данные, код и материалы оценки заявлены как открытые. Метаданные указывают английский язык карточки, но это не гарантирует, что модель поддерживает только английский.

casperhansen/llama-3.3-70b-instruct-awq — это AWQ-квантизированная версия языковой модели Llama 3.3 70B Instruct, разработанной Meta и подготовленной в формате AWQ с использованием AutoAWQ. Модель предназначена для многоязычного диалога, генерации текста и кода, рассуждений, решения математических задач, программирования и сценариев с использованием инструментов. Она работает только с текстом на входе и выходе. Модель построена на авторегрессионной оптимизированной архитектуре Transformer, имеет 70 миллиардов параметров, поддерживает Grouped-Query Attention (GQA) и контекст длиной до 128 тысяч токенов. Она обучена на более чем 15 триллионах токенов из общедоступных онлайн-данных, а instruction-версия дополнительно использует supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; дата отсечения знаний — декабрь 2023 года. Сильными сторонами модели являются большой контекст, многоязычность и высокие заявленные результаты в задачах следования инструкциям, программирования, математики и понимания текста. К ограничениям относятся текстовая модальность, статичный характер модели и фиксированная дата отсечения знаний; качество и безопасность ответов могут зависеть от конкретного применения и квантизации AWQ. Использование регулируется пользовательской коммерческой лицензией Llama 3.3 Community License Agreement.

Llama-3.3-Nemotron-Super-49B-v1.5 — большая языковая модель, разработанная NVIDIA как производная Meta Llama-3.3-70B-Instruct. Это reasoning-модель для диалогов, следования инструкциям, решения задач по математике, программированию и науке, а также для агентных сценариев, включая RAG и вызов инструментов. Она предназначена для разработчиков AI-агентов, чат-ботов, RAG-систем и других приложений на базе ИИ. Модель представляет собой плотный decoder-only Transformer с архитектурой, оптимизированной методом Neural Architecture Search. В отдельных блоках внимание может пропускаться или заменяться одним линейным слоем, а коэффициент расширения FFN варьируется, что уменьшает требования к памяти и повышает эффективность при сохранении качества. Модель обрабатывает только текст, поддерживает контекст до 131 072 токенов и генерирует текст. Основной язык — английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского, тайского и языков программирования. Сильные стороны модели — сочетание рассуждений, чат-взаимодействия, инструментального использования и высокой эффективности, включая возможность работы на одной GPU H200 при больших нагрузках. Ограничения включают текстовую модальность, ориентированность прежде всего на английский язык, дату отсечения предобучающих данных 2023 годом и оптимизацию под NVIDIA GPU-ускоренные системы. Модель доступна для коммерческого использования на условиях NVIDIA Open Model License с дополнительными условиями Llama 3.3 Community License Agreement.

Qwen3-4B-Instruct-2507 — плотная причинно-языковая модель семейства Qwen3, разработанная командой Qwen. Это обновлённая версия Qwen3-4B в режиме без рассуждений: модель обучена следовать инструкциям и вести диалог, а также поддерживает интерфейс вызова инструментов. В репозитории указано 4,0 млрд параметров, метаданные Hugging Face указывают 3,7 млрд; нативная длина контекста составляет 262 144 токена. Модель предназначена для генерации ответов, понимания текста, логических и математических задач, вопросов по естественным наукам, программирования и работы с инструментами. Большое окно контекста подходит для анализа длинных документов и диалогов; заявлена поддержка нескольких языков и улучшенное покрытие редких знаний. Модель принимает текст и выдаёт текст. В README отмечены улучшения следования инструкциям, рассуждений, генерации текста и работы с длинным контекстом. Модель работает только в режиме без рассуждений и не выводит блоки рассуждений. Лицензия — Apache-2.0.

NVIDIA DeepSeek-V4-Flash-nvfp4-DSpark — это квантизированная версия DeepSeek-V4-Flash, разработанная с использованием NVIDIA Model Optimizer и объединённая в одном контрольном файле с официальным модулем спекулятивного декодирования DSpark от DeepSeek. Модель не является новой самостоятельной архитектурой и не принадлежит NVIDIA: NVIDIA подготовила сборку по требованиям сторонней модели DeepSeek. Лицензия — MIT. Модель предназначена для продвинутого рассуждения, агентных приложений, использования инструментов и решения сложных задач, включая математику, разработку программного обеспечения и корпоративных AI-ассистентов. Она принимает и генерирует текст, поддерживает многоходовые диалоги, системные инструкции, структурированный JSON, вызов функций и вывод рассуждений. Доступны режимы Non-think, Think High и Think Max, а максимальная длина контекста составляет 1 миллион токенов. Архитектура основана на Transformer и Mixture-of-Experts с гибридным вниманием, включающим Compressed Sparse Attention и Heavily Compressed Attention. Основная модель содержит 284 млрд параметров, из которых активируется 13 млрд. Модуль DSpark использует черновую модель с 21 млрд параметров, примерно 1 млрд из которых активируется; он предназначен для ускорения генерации за счёт спекулятивного декодирования, причём один контрольный файл может использоваться одновременно как целевая и черновая модель. Модель оптимизирована для NVIDIA GPU, прежде всего архитектуры Blackwell, и рассчитана на работу в Linux через vLLM с поддержкой DSpark. Квантизация NVFP4 снижает требования к вычислительным ресурсам, однако совместимость и производительность зависят от поддерживаемого оборудования и программного стека. Перед эксплуатацией необходимы тестирование на данных конкретного сценария и проверка безопасности и качества результатов.