II.4Отладка, тестирование и качество ПО

Sprinter-Spb/gpt-oss-20b — размещённая пользователем версия открытой модели gpt-oss-20b от OpenAI. Это языковая модель с архитектурой Mixture of Experts и классом GptOssForCausalLM; в README для исходной модели указаны 21 млрд параметров и 3,6 млрд активных параметров, а метаданные этой карточки сообщают 1,6 млрд параметров. Модель ориентирована на диалог, рассуждения, агентные сценарии и задачи разработчиков. Она принимает текст в формате Harmony, поддерживает вызов функций и настройку уровня рассуждений; заявленная длина контекста — 131 072 токена. Модель рассчитана на более низкую задержку и локальное использование; README указывает, что вариант gpt-oss-20b с MXFP4 может работать в пределах 16 ГБ памяти. Среди сценариев — ответы на вопросы, генерация текста и кода, использование инструментов и структурированный вывод. Карточка описывает семейство как тонко настраиваемое, но не сообщает о специальном дообучении этой версии Sprinter-Spb. Модель распространяется по лицензии Apache-2.0. Для корректной работы требуется формат Harmony; README также предупреждает, что цепочку рассуждений не следует показывать конечным пользователям.

FastFlowLM/GPT-OSS-20B-NPU2 — текстовая генеративная модель на базе openai/gpt-oss-20b, разработанной OpenAI. Она предназначена для задач рассуждения, универсальной генерации текста, локального и специализированного применения, а также агентских сценариев для разработчиков, включая вызов функций, веб-б browsing, выполнение Python-кода и Structured Outputs. Модель относится к серии open-weight gpt-oss-20b: заявлено 21 млрд параметров, из которых 3,6 млрд активны при инференсе. Используется архитектура MoE с постобучением весов в формате MXFP4; модель рассчитана на работу примерно в пределах 16 ГБ памяти. Поддерживается настраиваемый уровень рассуждения — low, medium или high, а также дообучение. Формат входа и ответа должен соответствовать harmony response format, иначе модель может работать некорректно. README не содержит подтвержденных сведений о языках, размере контекста и мультимодальных возможностях; по указанному pipeline_tag модель предназначена для генерации текста. Сильными сторонами являются относительно низкие требования к памяти, возможность локального запуска, настраиваемый баланс качества рассуждений и задержки, а также пригодность для кастомизации и агентских приложений. К ограничениям относятся обязательное использование harmony response format и то, что цепочку рассуждений не рекомендуется показывать конечным пользователям. Модель распространяется по лицензии Apache 2.0, допускающей свободное использование, модификацию и коммерческое развертывание.

Hy4 preview — крупная языковая модель нового поколения, разработанная командой Tencent Hy. Это текстовая генеративная модель с архитектурой Mixture-of-Experts (MoE), предназначенная для решения сложных задач программной инженерии, анализа документов и данных, подготовки документов, таблиц и презентаций, разработки игр, научных исследований и многошаговых рабочих процессов. Модель содержит 770 млрд параметров, из которых 49 млрд активируются для каждого токена. Архитектура включает 78 слоёв, 256 маршрутизируемых экспертов и одного общего эксперта; для каждого токена выбираются 8 маршрутизируемых экспертов. Используются Gated DeepSeek Sparse Attention, механизм повторного использования разреженных индексов IndexCache и четыре residual-потока iHC. Контекстное окно составляет 1 млн токенов, размер словаря — 120 832 токена. В модель также встроен слой MTP для speculative decoding. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильные стороны Hy4 preview — высокая вычислительная ёмкость, большой контекст и специализация на длительных задачах, включая разработку ПО, анализ разрозненной информации, создание игровых прототипов и научное рассуждение. Ограничения связаны со статусом ранней preview-версии: авторы отмечают наличие нерешённых проблем, включая склонность тратить больше времени, чем необходимо, на сложные задачи и чрезмерно перепроверять результаты. Модель распространяется по лицензии Apache 2.0.

Inkling-NVFP4 — квантованная версия мультимодальной модели Inkling, разработанная Thinking Machines. Это универсальная авторегрессионная модель для разработчиков, создающих AI-приложения: агентные и инструментальные системы, ассистенты программирования, чат-боты и решения с retrieval-augmented generation. Она также подходит для диалогов общего назначения, следования инструкциям и других текстовых и мультимодальных задач. Модель распространяется с открытыми весами для исследований, дообучения и интеграции в сторонние продукты. Архитектура представляет собой decoder-only transformer из 66 слоёв с разреженным Mixture-of-Experts: для каждого токена выбираются 6 из 256 экспертов, а ещё 2 общих эксперта активны постоянно. Внимание сочетает локальные и глобальные слои. Модель принимает текст, изображения и аудио, объединяя их в общем скрытом пространстве; изображения и видео обрабатываются иерархическим patch-энкодером, аудио — через дискретное токенизирование. Всего заявлено 975 млрд параметров, из них 41 млрд активны для отдельного токена. Версия поддерживает числовой формат NVFP4, а базовая модель также доступна в BF16. На вход подаются UTF-8-текст, изображения в пиксельных форматах и WAV-аудио с частотой 16 кГц; для оптимальной работы рекомендуются изображения размером от 40 до 4096 пикселей по каждой стороне и аудио длительностью менее 20 минут. На выходе модель генерирует UTF-8-текст. Основной язык — английский, при этом заявлены общие мультиязычные возможности и поддержка нескольких языков программирования. К ограничениям относятся отсутствие подробных данных о длине контекста в представленном README и потенциальные требования к вычислительным ресурсам из-за большого общего числа параметров, несмотря на разреженную активацию и квантование. Модель распространяется по лицензии Apache 2.0; также действует отдельная политика допустимого использования Thinking Machines.

Llama-3.1-Nemotron-Nano-4B-v1.1 — языковая модель NVIDIA на базе nvidia/Llama-3.1-Minitron-4B-Width-Base, созданной из Llama 3.1 8B методом сжатия. Это плотный декодерный Transformer семейства Llama с 3,9 млрд параметров, дообученный для рассуждений, общения по инструкциям, математики, программирования, работы с RAG и вызова инструментов. Модель рассчитана на текстовый ввод и вывод, поддерживает контекст до 131 072 токенов и может запускаться локально на одной RTX GPU. Модель предназначена для чат-ботов, AI-агентов и приложений, которым нужны ответы на вопросы, следование инструкциям и многошаговые рассуждения. Режим рассуждений управляется системным промптом; для вызова инструментов предусмотрены шаблон чата и парсер для vLLM. Основной язык — английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. В карточке указана возможность коммерческого использования; лицензия обозначена как other, поэтому перед внедрением следует ознакомиться с условиями лицензии репозитория. Результаты зависят от формата запроса и настроек декодирования; опубликованные оценки получены при длине последовательности 32K и не гарантируют такого же качества на всех задачах или при использовании полного контекста.

YOYO-AI/Qwen3-30B-A3B-YOYO-V6 — объединённая модель YOYO-AI, созданная методом YOYO-Fusion V2 с фиксированной опорной точкой на базе instruction-модели. В слиянии использованы Qwen3-30B-A3B-Base, Qwen3-30B-A3B-Instruct-2507, Qwen3-30B-A3B-Thinking-2507 и Qwen3-Coder-30B-A3B-Instruct. Архитектура — Qwen3 MoE для генерации текста; метаданные указывают 2,6 млрд параметров и формат safetensors с точностью bfloat16. Модель предназначена для диалога, выполнения инструкций, генерации текста и взаимодействия с инструментами. Заявленная длина контекста — 262 144 токена; README также упоминает 1 010 000 токенов, но не поясняет условия для такого значения. Указаны английский и китайский языки. Рекомендованные параметры генерации: температура 0,7, TopP 0,8 и TopK 20. Лицензия — Apache-2.0.

YashasviMantha/Qwen3-4B-Instruct-2507-heretic — версия Qwen3-4B-Instruct-2507, созданная с помощью Heretic v1.4.0. Это плотная причинно-языковая модель примерно на 3,7 млрд параметров для генерации текста в диалоговом и инструктивном режиме. Она принимает текст и генерирует текст; поддерживает многоязычные запросы, работу с кодом и инструментами, а также контекст до 262 144 токенов. Модель использует только режим без рассуждений (non-thinking). Модель предназначена для ответов на вопросы, следования инструкциям, логических и математических задач, написания и разбора кода, а также работы с длинными документами и инструментами. Это декensored-версия исходной модели: в приведённом сравнении она отказала в 16 из 100 запросов, тогда как исходная — в 100 из 100; это может означать ослабленные ограничения на ответы. Доступны веса в формате safetensors, библиотека Transformers и лицензия Apache-2.0.

p-e-w/Qwen3-4B-Instruct-2507-heretic-v4 — разговорная языковая модель на архитектуре Qwen3, созданная на основе Qwen3-4B-Instruct-2507. Модель с примерно 3,7 млрд параметров предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, математики, программирования, ответов на вопросы и работы с инструментами. Вариант heretic получен методом abliteration: в README указано, что в тесте отказов он отказал в 9 случаях из 100, тогда как исходная модель отказала во всех 100. Модель работает только в non-thinking mode и поддерживает контекст до 262 144 токенов. README заявляет улучшения исходной Qwen3-4B-Instruct-2507 в многоязычных задачах, понимании длинного контекста и использовании инструментов; эти характеристики относятся к описанной в карточке базовой модели. Модель принимает текст и генерирует текст. Лицензия — Apache-2.0.

Карточка модели textclf/Qwen3.5-397B-A17B-TQ-4bit на Hugging Face совпадает с карточкой Qwen/Qwen3.5-397B-A17B, поэтому описание составлено по ней. Qwen3.5-397B-A17B — мультимодальная модель семейства Qwen от Alibaba, предназначенная для диалогов, рассуждений, работы с изображениями и видео, программирования и использования инструментов. Это постобученная причинная языковая модель с визуальным энкодером, гибридной архитектурой Gated Delta Networks и разреженной Mixture-of-Experts: всего 397 млрд параметров, из которых активируются 17 млрд. В модели 60 слоёв и 512 экспертов; одновременно задействуются 10 маршрутизируемых и один общий эксперт. Модель принимает текст, изображения и видео, а её основными результатами являются текстовые ответы и вызовы инструментов. Она поддерживает 201 язык и диалект. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. По умолчанию включён режим рассуждений; доступны интеграции с Transformers, vLLM, SGLang и KTransformers. Модель подходит для мультимодальных помощников, анализа визуального содержимого, сложных вопросов, программирования и агентных сценариев с вызовом инструментов. Эффективность вывода и пропускная способность зависят от используемого фреймворка и его версии. Веса и конфигурации опубликованы в формате Transformers/Safetensors под лицензией Apache-2.0.

FreedomAISVR/Qwen3.5-9B-MTP-MXFP4-GGUF — мультимодальная модель семейства Qwen, представленная в формате GGUF с квантизацией MXFP4. Репозиторий содержит веса модели размером 5,18 ГБ и мультимодальный проектор SigLIP в формате F16 размером 875 МБ. Указаны 32 трансформерных блока, гибридная архитектура с attention, FFN и SSM, дополнительная голова Multi-Token Prediction и контекст до 262 144 токенов. Модель предназначена для генерации текста на нескольких языках, понимания изображений и видео, рассуждений и вызова инструментов. Вариант из карточки включает режим рассуждений по умолчанию; его можно отключить параметром генерации. В метаданных базовой моделью указана Qwen/Qwen3.5-9B; лицензия — Apache-2.0. Квантизация уменьшает требования к хранению и вычислениям, но может влиять на точность относительно исходных весов.

unsloth/Qwen3.6-35B-A3B-UD-MLX-4bit — 4-битная MLX-версия открытой мультимодальной модели Qwen3.6-35B-A3B. Модель разработана командой Qwen, а данная адаптация опубликована Unsloth. Это авторегрессионная языковая модель с vision encoder, предназначенная для генерации текста, анализа изображений, программирования и агентных сценариев. Модель имеет 35 млрд параметров, из которых 3 млрд активируются при обработке запроса. Архитектура сочетает Mixture of Experts с 256 экспертами, Gated DeltaNet и Gated Attention; содержит 40 слоёв и скрытое измерение 2048. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживаются текстовая и визуальная модальности, однако конкретный набор языков в README не указан. К сильным сторонам относятся улучшенная работа с кодированием, репозиториями и frontend-задачами, поддержка сохранения контекста рассуждений между сообщениями и улучшенный вызов инструментов, включая вложенные объекты. 4-битное представление снижает требования к памяти и подходит для запуска через MLX, но может уступать полноразмерным вариантам по точности, а производительность зависит от совместимого оборудования и программного окружения. Модель распространяется по лицензии Apache-2.0.

Deritak/Qwen3.8-Flash-Next-heretic-2-ROCMFP4 — размещённая пользователем сборка Qwen3.8-Flash-Next, причинной языковой модели с визуальным энкодером. README описывает гибридную архитектуру с Gated DeltaNet, Qwen Sparse Attention, Mixture of Experts и n-граммными эмбеддингами: заявлены 125 млрд параметров, из которых активируются 6 млрд, а также отдельные параметры эмбеддингов и слой multi-token prediction. Модель принимает текст и изображения и предназначена для диалогов, задач с длинным контекстом и агентных сценариев, включая работу с кодом и офисными приложениями. В README указан контекст 262 144 токена с возможностью расширения до 1 000 000. Автор репозитория сообщает о проблеме с встроенной квантизацией MTP и рекомендует её не использовать; приведённые замеры скорости относятся к AMD AI Max+ PRO 395. Метаданные указывают GGUF и GGUF BF16, но лицензию обозначают только как other, поэтому точные условия использования по доступным сведениям определить нельзя.

Smaug-Llama-3-70B-Instruct-32K — большая языковая модель Abacus.AI для диалогов и генерации текста, основанная на Meta Llama 3 70B Instruct. Это плотная авторегрессионная архитектура Llama с 69,5 млрд параметров и контекстом до 32 768 токенов. Версия 32K использует PoSE и перенос LoRA-адаптера; формат репозитория — safetensors, модель предназначена для работы с Transformers и сохраняет формат промптов Llama 3 70B Instruct. Модель подходит для диалоговых ассистентов, ответов на вопросы, решения математических задач и помощи с кодом. В README приведены результаты отдельных тестов, однако авторы отмечают, что на оценку Arena-Hard влияет многословность ответов; часть результатов бенчмарков отсутствует или помечена как предварительная. Модель распространяется по лицензии Llama 3 (llama3), условия которой следует учитывать при использовании и распространении.

Apollo-1-8B — инструкция-дообученная языковая модель, разработанная Noema Research на базе Qwen3-8B. Это плотный decoder-only трансформер примерно на 7,6 млрд параметров для генерации текста, диалога, рассуждений, выполнения инструкций и написания кода; модель поддерживает интерфейс вызова инструментов. Заявленная длина контекста — до 40 960 токенов по метаданным Hugging Face. Модель предназначена для многошагового решения задач, разговорных помощников, обучения и помощи в разработке программного обеспечения. В карточке заявлена поддержка множества языков, включая английский, русский и другие европейские и азиатские языки. Репозиторий содержит веса в формате Safetensors. В README указана лицензия anvdl-1.0, тогда как метаданные классифицируют лицензию как other. Карточка сообщает об улучшенном следовании инструкциям и рассуждениях относительно Apollo-1-4B, но полный отчет о тестировании ещё не опубликован. Модель может ошибаться, особенно в специализированных областях, чувствительна к формулировке запроса и уступает более крупным моделям на особенно сложных задачах. Для критически важных решений требуется проверка человеком.

Bagel 7B v0.5 — разговорная языковая модель, созданная Jon Durbin на основе дообучения Mistral-7B-v0.2 на наборе данных Bagel v0.5. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; в репозитории веса представлены в формате Safetensors. Модель предназначена для диалога и широкого круга инструктивных задач: ответов на вопросы, рассуждений, суммаризации, написания текстов, программирования и работы с контекстом. Обучающие данные охватывают математику, естественные науки, код, чтение с пониманием, ролевые диалоги, SQL, вызов функций и другие сценарии. Карточка указывает четыре варианта форматирования запросов, включая Vicuna, Llama 2, Alpaca и модифицированный ChatML; шаблон по умолчанию использует формат Llama 2. Модель работает с текстом и генерирует текст. Лицензия — Apache-2.0. Качество ответов зависит от задачи и формата запроса; модель может ошибаться в фактах и коде, а состав обучающих данных включает токсичный и потенциально незаконный контент. Для безопасного применения следует проверять результаты и учитывать особенности данных и ограничений исходной Mistral-7B-v0.2.

ERNIE-4.5-21B-A3B-Thinking — текстовая модель семейства ERNIE от Baidu для генерации ответов с расширенным пошаговым рассуждением. Она предназначена для сложных задач логики, математики, естественных наук, программирования, генерации текста и академических вопросов, а также умеет использовать инструменты в поддерживаемом интерфейсе вызова инструментов. Модель построена на архитектуре Mixture of Experts: всего 21 млрд параметров, из которых для каждого токена активируется около 3 млрд. В конфигурации 28 слоёв и контекст до 131 072 токенов. Модель принимает и выдаёт текст; в карточке указана поддержка английского и китайского языков. Для запуска доступны веса safetensors и интеграция с Transformers; лицензия — Apache-2.0. Увеличенная длина рассуждений предназначена для сложных запросов, но может приводить к более длинным ответам и повышенным затратам на генерацию. Карточка заявляет улучшение качества рассуждений и работы с длинным контекстом, однако не приводит численных результатов бенчмарков.

win10/EVA-Instruct-QwQ-32B-Preview — объединённая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES. В качестве основы использована ParasiticRogue/EVA-Instruct-32B-v2, в объединение также вошла Qwen/QwQ-32B-Preview. Модель содержит 32 млрд параметров и рассчитана на генерацию текста в диалоговом формате; заявленная длина контекста — 131 072 токена. Модель подходит для диалоговых ответов, генерации текста, математических рассуждений и программирования. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers; метаданные также отмечают интерфейс вызова инструментов. Сведения о лицензии в предоставленных данных отсутствуют.

coder3101/gemma-4-31B-it-qat-q4_0-unquantized-heretic — производная мультимодальная модель семейства Gemma 4, дообученная на google/gemma-4-31B-it-qat-q4_0-unquantized. Она предназначена для диалогов и анализа изображений: может отвечать на вопросы по визуальному содержимому, разбирать документы и PDF, распознавать текст и объекты на изображениях, понимать графики и интерфейсы, а также помогать с кодом и текстовыми задачами. Архитектура — плотная Gemma4ForConditionalGeneration с гибридным вниманием; исходная модель поддерживает контекст до 256K токенов. Модель рассчитана на ввод текста и изображений и генерацию текста; аудиовозможности README относит к другим размерам Gemma 4. Вариант помечен как uncensored, decensored и abliterated, поэтому его поведение в ответах может отличаться от базовой модели. Карточка также предупреждает о возможных ошибках и устаревших фактах, трудностях с нюансами языка и сложными открытыми задачами, а также о смещениях из обучающих данных. Репозиторий использует safetensors и библиотеку Transformers; лицензия — Apache-2.0.

unsloth/gemma-4-E4B-it-MLX-8bit — это 8-битная MLX-версия instruction-tuned модели Gemma 4 E4B, разработанной Google DeepMind и подготовленной Unsloth для локального запуска. Модель относится к семейству открытых мультимодальных моделей Gemma 4 и предназначена для выполнения инструкций, генерации текста, рассуждений, программирования и агентских сценариев с поддержкой function calling. Модель использует плотную архитектуру с примерно 4,5 млрд эффективных параметров и 8 млрд параметров с учётом embedding-слоёв, 42 слоями и словарём размером 262 тысячи токенов. Она принимает текстовые и визуальные данные, а также аудио; генерирует текст. Для обработки контекста применяется гибридный механизм внимания с локальным sliding window размером 512 токенов и глобальным вниманием. Контекстное окно E4B составляет до 128 тысяч токенов, а мультиязычная поддержка охватывает более 140 языков. К сильным сторонам относятся мультимодальность, развитые возможности рассуждения и программирования, поддержка системных промптов и эффективное локальное выполнение на устройствах с ограниченными ресурсами. 8-битное представление снижает требования к памяти, но может сопровождаться некоторой потерей точности по сравнению с полноточными версиями. README не приводит подробных результатов бенчмарков, требований к оборудованию или перечня поддерживаемых аудио- и видеоформатов. Модель распространяется по лицензии Apache 2.0.

GLM-5.3-Flash-FP8 — это FP8-квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанная командой GLM-5; базовая модель опубликована организацией zai-org. Модель предназначена для генерации текста, программирования, агентских сценариев, работы с инструментами и задач, требующих обработки текста и изображений. В карточке указаны поддержка английского и китайского языков, интеграция с Transformers и лицензия MIT. Модель имеет 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса. Она использует гибридную архитектуру со sparse attention и linear attention, рассчитанную на снижение стоимости обслуживания длинного контекста при сохранении точности, а также Manifold-Constrained Hyper-Connections. Обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. В оценках использовались контексты до 300 000 токенов, а для отдельных тестов — до 1 млн токенов; это параметры конкретных оценочных конфигураций, а не обязательно гарантированный лимит модели. К сильным сторонам относятся высокая эффективность за счёт малого числа активных параметров, мультимодальность, возможности в программировании и агентских задачах, а также поддержка локального развёртывания через SGLang, vLLM, TokenSpeed и KTransformers. Ограничения именно FP8-версии, включая требования к аппаратному обеспечению, точность чисел и возможные отличия от базовой модели, в README не описаны.

mlx-community/gpt-oss-20b-OptiQ-4bit — это квантизированная MLX-версия языковой модели openai/gpt-oss-20b, подготовленная проектом mlx-optiq для локального запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста, рассуждений, решения математических задач, следования инструкциям, вызова функций, программирования и поиска информации в длинном контексте. Заявленный язык — английский. В основе лежит 24-слойная MoE-архитектура с 32 экспертами, из которых 4 активируются для каждого токена, а также с attention sinks. Используется чувствительная к слоям смешанная квантизация: 33 слоя представлены в 4-битном формате, 88 — в 8-битном; итоговая точность составляет 5,03 бита на вес. Размер модели на диске — около 11 ГБ, в оперативной памяти при работе требуется примерно 11,6 ГБ. Модель поддерживает reasoning_effort со значениями low, medium и high и формат ответов harmony с каналами analysis и final. По приведённым тестам модель заметно превосходит равномерную 4-битную квантизацию на MMLU, GSM8K, IFEval, BFCL, HumanEval и HashHop, особенно в задачах многошагового извлечения из длинного контекста. Ограничения включают отсутствие квантизации KV-cache и зависимость от экосистемы MLX и Apple Silicon; README также указывает, что модель является квантизацией только весов. Распространяется по лицензии Apache-2.0.

Hermes 3 — большая языковая модель Nous Research для диалогов и задач общего назначения. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, дообученная на основе meta-llama/Meta-Llama-3.1-8B. Она принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Карточка указывает английский язык. Модель предназначена для многошаговых диалогов, следования инструкциям, рассуждений, ролевых сценариев, генерации кода и работы в качестве ассистента. ChatML поддерживает структурированные беседы, а обучение охватывает вызов инструментов и выдачу структурированного JSON. Качество может различаться по задачам; результаты в карточке характеризуются как конкурентные моделям Llama 3.1 Instruct, с разными сильными и слабыми сторонами. Для использования необходимо соблюдать лицензию Llama 3. Показатели в карточке не гарантируют качество в конкретном приложении; вызовы инструментов требуют разбора и выполнения со стороны внешнего кода.

QuantFactory/INTELLECT-1-Instruct-GGUF — квантизированная версия инструкционной языковой модели PrimeIntellect/INTELLECT-1-Instruct, созданная QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста, выполнения инструкций, работы с кодом, математическими задачами и общими текстовыми запросами. Основной заявленный язык — английский; модель относится к модальности text-to-text и поддерживает только текстовые данные. Модель содержит около 10 млрд параметров, 42 слоя, 32 attention heads, hidden size 4096, словарь размером 128256 токенов и контекст длиной до 8192 токенов. Базовая INTELLECT-1 обучалась с нуля на 1 трлн токенов английского текста и кода, а затем прошла post-training и instruction tuning на наборах данных для общего следования инструкциям, программирования, математики, агентных сценариев и многоязычных данных. Предобучение выполнялось распределённо сообществом Prime Intellect и партнёров на базе framework prime и алгоритма DiLoCo. Ключевое преимущество этой версии — формат GGUF и квантизация, позволяющие запускать модель через совместимые инструменты llama.cpp с меньшими требованиями к памяти по сравнению с полной версией. Однако конкретный уровень качества, скорость и потребление памяти зависят от выбранного варианта квантизации. Контекст ограничен 8192 токенами, а качество для языков, отличных от английского, в README подробно не охарактеризовано. Для исходной модели требуется добавлять BOS-токен в начало каждого примера, иначе производительность может снизиться; применимость этого требования при использовании GGUF зависит от используемого рантайма и шаблона. Лицензия — Apache 2.0.

unsloth/Llama-3.1-8B-unsloth-bnb-4bit — это 4-битная версия языковой модели Llama 3.1 с 8 млрд параметров, подготовленная Unsloth на основе базовой модели Meta Llama 3.1 8B. Модель работает с текстом на входе и генерирует многоязычный текст и программный код. Архитектура — авторегрессионный Transformer с поддержкой Grouped-Query Attention (GQA), контекстное окно — до 128 тысяч токенов. Модель обучена на смеси общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. В README явно указан английский язык, при этом семейство Llama 3.1 описано как многоязычное. Модель предназначена для генерации текста и кода, диалоговых сценариев, дообучения под прикладные задачи и запуска в условиях ограниченных вычислительных ресурсов. 4-битное представление снижает требования к памяти по сравнению с полноразмерной версией и подходит для локального инференса и последующего fine-tuning, однако может сопровождаться компромиссами по точности и качеству генерации. README не содержит детальных результатов бенчмарков или характеристик аппаратных требований. Использование регулируется лицензией Llama 3.1; дополнительных условий для версии Unsloth в README не указано.

Llama-3.1-Nemotron-Nano-4B-v1.1 — компактная плотная авторегрессионная языковая модель на архитектуре Llama, размещённая в репозитории Unsloth и основанная на NVIDIA Llama-3.1-Nemotron-Nano-4B-v1.1. Это дообученный чекпойнт примерно на 3,9 млрд параметров, созданный для диалога, следования инструкциям и рассуждений; в обучении использовались SFT и этапы обучения с подкреплением для математики, кода, работы с инструментами и предпочтений в чате. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Модель предназначена для локального запуска на одном GPU и для создания чат-ботов, агентных систем и приложений RAG. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, а также задач с кодом. Карточка сообщает, что модель готова к коммерческому использованию, однако метаданные обозначают лицензию только как other и не раскрывают её условия, поэтому перед использованием следует проверить лицензионные условия репозитория. В README приведены результаты на отдельных бенчмарках; они получены при контексте до 32 тыс. токенов и не гарантируют аналогичного качества в других сценариях.

Llama-3.1-Nemotron-Nano-8B-v1 — языковая модель NVIDIA, дообученная на основе Meta Llama-3.1-8B-Instruct. Это плотный авторегрессионный Transformer с архитектурой Llama и примерно 7,5 млрд параметров; модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Модель предназначена для диалогов, следования инструкциям и рассуждений, включая задачи по математике и программированию. Её можно применять в чат-ботах, агентных системах и RAG-сценариях; заявлен баланс качества и вычислительной эффективности, включая запуск на одной RTX GPU. Основной язык — английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского. В README описано многоэтапное дообучение с SFT и обучением с подкреплением, в том числе для математических задач, кода, рассуждений, диалогов и вызова инструментов. Модель заявлена как готовая к коммерческому использованию, однако в метаданных лицензия обозначена как «other», поэтому перед внедрением следует проверить условия лицензии на странице репозитория. Результаты зависят от режима рассуждений и настроек генерации; приведённые в карточке оценки измерялись при длине последовательности 32K токенов, а не на полном контексте.

MiniMax-M3-MXFP8 — квантованная в формате MXFP8 версия нативной мультимодальной модели MiniMax-M3, разработанная компанией MiniMax AI. Модель предназначена для работы с текстом, изображениями и видео, а также для агентских сценариев, программирования и задач, требующих длительного взаимодействия с контекстом. Поддерживается контекст до 1 миллиона токенов. Модель использует разреженное внимание MiniMax Sparse Attention (MSA), уменьшающее вычислительные затраты и объём памяти по сравнению с GQA при сохранении качества. Общий размер составляет около 428 млрд параметров, из которых активируется примерно 23 млрд, что указывает на разреженную MoE-архитектуру. Доступны режимы рассуждений enabled, adaptive и disabled: они позволяют выбирать между постоянным рассуждением, его автоматическим включением при необходимости и минимизацией задержки. К сильным сторонам относятся нативное объединение текстовой, визуальной и видеомодальностей, эффективная работа с миллионным контекстом, а также ориентация на сложные агентские и кодировочные задачи. Ограничения связаны с очень большим общим размером модели и соответствующими требованиями к инфраструктуре; конкретные поддерживаемые языки и подробные аппаратные требования в README не указаны. Модель распространяется по лицензии MiniMax Community License, обозначенной как license: other.

Ministral-8B-Instruct-2410 — инструктивно дообученная языковая модель компании Mistral AI для локального запуска, вычислений на устройствах и периферийных системах. Это плотный трансформер семейства Mistral с примерно 8 млрд параметров; модель поддерживает диалог и вызов функций. В карточке заявлено окно контекста до 128 тыс. токенов, но метаданные каталога указывают 32 768 токенов, а README уточняет, что vLLM ограничивает контекст 32 тыс. токенов; полный размер окна доступен при использовании Mistral Inference. Модель рассчитана на генерацию ответов по инструкциям, диалог, программирование, математические задачи и вызов функций. Она обучена на значительной доле многоязычных и программных данных; заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Рекомендуемая библиотека для инференса — vLLM. Модель распространяется по Mistral Research License; для коммерческого использования README предлагает обратиться к Mistral AI за коммерческой лицензией. Для запуска на одном GPU требуется 24 ГБ видеопамяти. Качество ответов и многоязычные возможности зависят от языка и задачи.

Locutusque/Orca-2-13b-SFT-v6 — плотная языковая модель семейства LLaMA, созданная полным дообучением microsoft/Orca-2-13b на наборах инструкций и диалогов, включая No Robots, EverythingLM, Capybara, Pure-Dove, LessWrong-Amplify-Instruct, Verified-Camel, Guanaco и OpenAssistant. Модель содержит 12,9 млрд параметров, использует архитектуру LlamaForCausalLM, распространяется в формате safetensors и рассчитана на контекст до 4096 токенов. Для запросов применяется шаблон ChatML. Модель предназначена для генерации ответов на инструкции и вопросы, рассуждений, суммаризации и программирования. В README приведены результаты оценивания на бенчмарках AI2 Reasoning Challenge и HellaSwag, а также значение test loss на Verified-Camel; эти показатели характеризуют отдельные тесты и не гарантируют качество во всех сценариях. В метаданных отмечена поддержка английского, французского, испанского, хинди и китайского языков. Использование регулируется лицензией Microsoft Research; перед применением следует учитывать её условия.

unsloth/Phi-4-mini-instruct-bnb-4bit — это 4-битно квантованная версия Phi-4-mini-instruct, разработанная Unsloth на базе модели Microsoft Phi-4-mini-instruct. Модель предназначена для генерации текста, диалогов и выполнения инструкций, включая задачи программирования, математики, рассуждений и NLP. Она поддерживает мультиязычное применение и относится к семейству Phi-4. Модель имеет контекст длиной до 128K токенов и оптимизирована для запуска при сниженных требованиях к памяти благодаря формату 4-bit. В версии Unsloth исправлены проблемы с padding и EOS-токенами, шаблоном чата и unk-токеном; также заявлено использование Dynamic Quants, которые должны обеспечивать более высокую точность по сравнению со стандартным 4-битным квантованием. Базовая модель обучалась на синтетических данных и отфильтрованных общедоступных веб-источниках, а затем проходила supervised fine-tuning и direct preference optimization. Сильные стороны модели — компактность, большой контекст, поддержка инструкций, диалогов, кода и математических задач, а также исправления, повышающие корректность инференса. Ограничения включают снижение точности по сравнению с полноразмерной или менее квантованной версией и отсутствие в предоставленных данных подробностей об архитектуре, точном числе параметров и перечне языков. Модель распространяется по лицензии MIT.