II.1Анализ требований и архитектура ПО

Карточка модели ModelCloud/Llama3.2-1B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

RedHatAI/Llama-3.3-70B-Instruct-NVFP4 — это квантизированная версия Meta-Llama-3.3-70B-Instruct, разработанная RedHatAI. Модель предназначена для коммерческого и исследовательского использования в сценариях ассистентского диалога и генерации текста. Она принимает текстовые входные данные и генерирует текстовые ответы. Модель использует архитектуру Meta-Llama-3.3 и содержит 70B параметров согласно идентификатору и базовой модели. Веса и активации линейных операторов в блоках Transformer квантизированы в формат FP4 по схеме NVFP4 с использованием LLM Compressor. Это уменьшает объём хранения и требования к памяти GPU примерно на 75% по сравнению с представлением с 16 битами на параметр. Модель подготовлена для инференса с vLLM версии 0.9.1 и выше; в README приведён сценарий развёртывания на двух GPU. Размер контекста и точные характеристики производительности не указаны. К сильным сторонам относятся существенно сниженные требования к дисковой и GPU-памяти, а также сохранение назначения исходной instruct-модели для чат-сценариев. Ограничением является возможная потеря качества из-за квантизации; README сообщает о проведённых оценках, но приведённые результаты в предоставленных данных неполны. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако указания по области применения ограничивают использование английским языком. Модель распространяется по лицензии llama3.3.

DavidAU представляет дообученную 7,5-миллиардную модель Llama 3.3 8B Instruct для диалогов, следования инструкциям и генерации текста с режимом рассуждений. Она обучена в течение трёх эпох на наборе TeichAI/claude-4.5-opus-high-reasoning-250x; автор описывает её как гибрид instruct/thinking. Модель использует архитектуру LlamaForCausalLM, принимает текст и поддерживает контекст до 131 072 токенов. В карточке перечислены английский, русский, французский, немецкий, испанский, итальянский, португальский, китайский, японский и корейский языки. Модель предназначена для ответов на вопросы с подробными объяснениями, творческого письма, сюжетов и ролевых диалогов. Режим рассуждений может включаться по формулировке запроса; README отмечает, что поведение зависит от параметров генерации, а низкобитные квантизации могут ухудшать рассуждения и их активацию. Модель поставляется в safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Автор утверждает, что исходная версия Llama 3.3 8B не была публично выпущена; происхождение базовых весов в README описано не вполне ясно, тогда как метаданные указывают базовую модель allura-forge/Llama-3.3-8B-Instruct.

Llama-Deepsync-1B — дообученная PrithivMLmods модель на базе Meta Llama 3.2 1B Instruct для генерации текста и диалогов. Это авторегрессионный трансформер семейства Llama с плотной архитектурой, примерно 1,2 млрд параметров и контекстом до 131 072 токенов. Репозиторий содержит веса SafeTensors; модель можно запускать через Transformers. Модель предназначена для ответов на сложные запросы с логическим рассуждением, решения задач по математике, генерации и объяснения кода, творческого письма и создания структурированных ответов, включая JSON. В README также заявлена поддержка многоязычного общения и генерации длинных текстов. Метаданные указывают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки; более широкое заявление README о 29 языках не подкреплено их перечнем в метаданных. Лицензия — CreativeML OpenRAIL-M.

UKzExecution/LlamaExecutor-8B-3.0.5 — диалоговая языковая модель, созданная слиянием моделей Meta с помощью mergekit. В основе лежит Meta-Llama-3.1-8B-Instruct; в слияние также включена Meta-Llama-3-8B-Instruct. Использован метод task arithmetic с нормализацией и int8-маской. Модель содержит 7,5 млрд параметров, построена на архитектуре Llama и предназначена для генерации текста и диалоговых ответов, включая работу через интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Её нативный контекст составляет 131 072 токена. Карточка приводит результаты оценок IFEval и BBH, однако этих данных недостаточно для выводов о качестве в конкретных пользовательских сценариях. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.

llm-jp-4.1-32b-a3b-thinking — языковая модель семейства LLM-jp-4.1, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это трансформерная MoE-модель для генерации текста и диалогов; в ней 32 млрд общих параметров, из которых активируются около 3,8 млрд. Контекст составляет 65 536 токенов. Модель обучалась на 11,7 трлн токенов, а версия thinking прошла дообучение с контролируемой настройкой и выравниванием предпочтений DPO. Модель предназначена для диалоговых ассистентов и задач общего назначения: ответов на вопросы, рассуждений, математики, научных вопросов, программирования и перевода между японским и английским языками. Карточка указывает поддержку английского и японского; модель принимает текст и генерирует текст. Чат-шаблон совместим с форматом OpenAI Harmony, но для токенизации следует использовать комплектный токенизатор: токенизатор отличается от ожидаемого библиотекой openai-harmony. Разработчик характеризует релиз как модель для исследований и разработок и не рекомендует напрямую использовать её в производственных сервисах. Ответы могут быть неточными, неподходящими или нежелательными, поэтому модель следует оценивать для конкретного применения. Лицензия — Apache-2.0.

Megrez2-3x7B-A3B-Preview — предварительная версия языковой модели от Infinigence на архитектуре Mixture-of-Experts (MoE). Модель обучена на 5 трлн токенов; в карточке указано 3×7 млрд параметров, из которых активируются 3 млрд. Метаданные каталога указывают 2,7 млрд параметров. Модель принимает текстовые запросы и генерирует текст, в том числе в диалоговом режиме; заявлена длина контекста 163 840 токенов. Модель предназначена для генерации ответов и диалогов, а также для задач рассуждения и работы с агентами; разработчик описывает её как компактную модель с MoE, сочетающую сильные стороны экспертной и плотной архитектур. Доступны веса в формате safetensors, поддерживаются Transformers, vLLM и SGLang. Для инференса рекомендуется Transformers версии 4.52.4 или новее. Модель распространяется по лицензии Apache-2.0. Это preview-релиз: разработчик сообщает, что будущая официальная версия будет обучена на большем объёме данных и получит улучшенные способности к рассуждению и агентной работе. README не приводит численные результаты бенчмарков, поэтому качество для конкретных сценариев следует оценивать отдельно.

Карточка модели jknottllm/Meta-Llama-3-8B-Instruct-FineTuned на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

Minotaur 13B Fixed — инструктивно дообученная языковая модель OpenAccess AI Collective на базе LLaMA-13B. Версия Fixed исправляет ошибку первого выпуска, из-за которой часть обучающих наборов не попала в обучение. Модель содержит 12,9 млрд параметров, использует плотную архитектуру LLaMA и принимает текстовые запросы; указанное окно контекста — 2048 токенов. Модель рассчитана на диалог в формате USER:/ASSISTANT: и генерирует текстовые ответы. Модель предназначена для следования инструкциям, ответов на вопросы, объяснений и задач по математике и естественным наукам, краткого пересказа, ролевого диалога, сочинения текстов и кода. Для дообучения использовались открытые наборы данных, включая WizardLM, Alpaca-CoT, GPTeacher и наборы по математике, физике, химии и биологии. Лицензия — Apache-2.0. Модель не проходила выравнивание с человеческими предпочтениями методами вроде RLHF и может выдавать проблемные ответы, особенно при соответствующих запросах. Это дообученная модель, поэтому применимы также ограничения базовой LLaMA-13B.

Mistral-10.7B-Instruct-v0.2 — плотная языковая модель семейства Mistral с примерно 10,6 млрд параметров, созданная увеличением глубины модели mistralai/Mistral-7B-Instruct-v0.2. Она предназначена для диалоговой генерации текста и может использоваться как замена исходной 7-миллиардной версии или как основа для дальнейшего дообучения. Модель принимает текст и генерирует текст; заявленное контекстное окно составляет 32 768 токенов. Модель опубликована под лицензией Apache 2.0. В карточке не описаны языковое покрытие и результаты сравнительных оценок, поэтому её качество для конкретных языков и задач следует проверять отдельно.

EasierAI/Mistral-NeMo-12B — набор GGUF-квантизованных версий Mistral-Nemo-Instruct-2407, опубликованный с указанием quantized_by: bartowski и предназначенный для запуска через llama.cpp и LM Studio. Модель относится к классу генеративных текстовых моделей и поддерживает формат диалоговых запросов с шаблоном <s>[INST]{prompt}[/INST]. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях, включая чат и другие задачи обработки текста. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Архитектура, точное число параметров и размер контекста в предоставленных данных не указаны; идентификатор 12B присутствует только в названии репозитория. Доступны варианты от F16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ3/IQ4, что позволяет выбирать между качеством генерации и требованиями к оперативной памяти. Квантизация выполнена с использованием imatrix и llama.cpp; некоторые варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. Более сильное сжатие уменьшает потребление памяти, но может снижать качество. Лицензия — Apache-2.0.

JANGQ-AI/Mistral-Small-4-119B-A6B-JANG_2L — версия Mistral Small 4, подготовленная Jinho Jang с использованием открытого метода адаптивного квантования JANG и предназначенная для запуска на Apple Silicon через MLX. В README указаны архитектура Mistral Small 4 с MLA attention, 128 MoE-экспертами и визуальным энкодером Pixtral; размер модели — 119 млрд параметров, из которых активны около 6 млрд на токен. Репозиторий содержит веса safetensors, а вариант JANG_2L использует смешанную разрядность около 2,14 бита. Модель предназначена для диалогов и генерации текста, включая рассуждения, ответы на вопросы, математические задачи и написание кода. Она также принимает изображения для визуального анализа; README указывает максимальное разрешение 1540 пикселей и режим рассуждений с тегами [THINK]. Заявлены размер файлов около 30 ГБ и пиковое потребление памяти около 40 ГБ, поэтому автор рекомендует Mac с 48 ГБ объединённой памяти и MLX Studio для поддержки JANG. В метаданных указана лицензия Apache-2.0 и связь с базовой моделью mistralai/Mistral-Small-4-119B-2603. Заявления README о скорости и результатах MMLU являются результатами автора; они не описывают независимую оценку качества. Сильное квантование может влиять на точность, а для запуска нужны совместимая среда MLX и достаточно памяти.

Sakalti/mont-xl-agi — языковая модель для генерации текста, созданная слиянием моделей с помощью mergekit и метода SLERP. В неё вошли allknowingroger/Qwen2.5-42B-AGI и Qwen/Qwen2.5-0.5B-Instruct; в метаданных также указан Qwen2 как семейство архитектуры и класс Qwen2ForCausalLM. Модель содержит 747,4 млн параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для диалогов, выполнения инструкций и генерации текста. Метаданные отмечают интерфейс для вызова инструментов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Сведения о лицензии и поддерживаемых естественных языках отсутствуют в предоставленной карточке и метаданных.

TheDrummer выпустил Temitoku x Mitekuto — языковую модель для генерации текста и диалогов, созданную с помощью mergekit методом passthrough на основе unsloth/Mistral-Small-Instruct-2409. Модель использует плотную архитектуру MistralForCausalLM и содержит 38,8 млрд параметров; заявленная длина контекста — до 131 072 токенов. Она работает через библиотеку Transformers и распространяется в формате safetensors. Модель подходит для диалогового общения, генерации текста и сценариев с интерфейсом вызова инструментов. README указывает на объединение предварительно обученных языковых моделей, но перечисляет только одну базовую модель. Лицензия в предоставленных данных не указана.

FreedomAISVR/Muse-Glimmer-30B-NVFP4-GGUF — квантованная сборка Muse-Glimmer-30B от Meta в формате GGUF для локального запуска через llama.cpp. Это плотный причинный трансформер с интегрированным визуальным энкодером; базовая модель насчитывает 27,8 млрд параметров и принимает изображения, в том числе снимки экрана, диаграммы и документы. Контекст достигает 131 тыс. токенов. Сборка использует NVIDIA NVFP4: 4-битные значения E2M1 с масштабированием E4M3 на группы из 16 значений; размер файла — 15,6 ГБ. Модель предназначена для генерации текста и диалогов, а также анализа изображений при локальном инференсе. Для работы с изображениями README рекомендует llama-mtmd-cli или llama-server с mmproj. Проверенная конфигурация использует llama.cpp 1647+ с поддержкой CUDA и видеокарту NVIDIA с 16 ГБ видеопамяти; NVFP4 рассчитан на GPU NVIDIA Blackwell, например RTX 50-й серии. В README приведены результаты на RTX 5060 Ti 16 ГБ: 80,2 токена/с обработки входа и 8,7 токена/с генерации. README указывает лицензию Apache 2.0 для базовой модели. Среди ограничений — требования к совместимому GPU и CUDA-ядрам; отключение рассуждений через конфигурацию не гарантируется, поэтому автор рекомендует параметр --reasoning off при запуске.

Nemotron-Elastic-12B — языковая модель NVIDIA, полученная постобучением NVIDIA-Nemotron-Nano-12B-v2 и предназначенная для исследований и разработки. Это гибридная архитектура Mamba-2 и MLP с четырьмя слоями Attention, содержащая 12 млрд параметров и позволяющая извлекать из общего набора весов вложенные варианты на 6 и 9 млрд параметров без отдельных циклов обучения. Модель принимает текст и генерирует текст; контекст — до 128 тысяч токенов. Она предназначена для диалогов, рассуждений, математических и научных задач, а также экспериментов с адаптивным размером модели, гибридными архитектурами и сжатием. Карточка указывает поддержку английского и многоязычных возможностей; языком карточки в метаданных указан английский. Модель рассчитана на запуск с Transformers и оптимизирована для систем с GPU NVIDIA, в частности H100-80GB. Модель может давать неточные, неполные или лишние ответы, генерировать токсичный текст и проявлять социальные предубеждения; также отмечена уязвимость к атакам на выравнивание. Сгенерированный код следует проверять, а для развёртывания рекомендуется применять защитные фильтры. Лицензия указана как other; перед использованием следует проверить условия лицензирования в карточке Hugging Face.

NeoHorse-1-4B-GGUF — GGUF-версии примерно 4-миллиардной причинной языковой модели NeoHorse-1-4B, разработанной TokenRhythm на базе Qwen3.5-4B. Модель дообучалась для текстовых агентных сценариев, использования инструментов, программирования, рассуждений и следования инструкциям. Это текстовая модель без заявленной поддержки изображений или других мультимодальных данных. Репозиторий предназначен для локального запуска через llama.cpp, Ollama и LM Studio. Доступны веса в формате BF16, а также 8-, 5- и 4-битные квантизованные варианты, которые требуют меньше дискового пространства и оперативной памяти. Архитектура описана как агентно-ориентированная причинная языковая модель; размер контекста и поддерживаемые языки в README не указаны. К сильным сторонам относятся ориентация на агентное взаимодействие и tool use, задачи программирования и instruction following, а также заявленное улучшение среднего результата на десяти бенчмарках по сравнению с Qwen3.5-4B: 64,87 против 58,94. Ограничения включают отсутствие подробных сведений о языках, контексте и характеристиках отдельных квантизаций; заявленные результаты могут зависеть от условий оценки. Модель распространяется по лицензии Apache-2.0.

NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-FP8 — языковая модель NVIDIA для диалогов, рассуждений и генерации текста. Это FP8-квантованная производная NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 на гибридной архитектуре Mamba-2, Transformer и MoE; в репозитории Transformers хранятся веса SafeTensors. В одном чекпойнте вложены варианты на 30B, 23B и 12B параметров, которые можно извлечь без дополнительного обучения. Для варианта 30B активны 3,6B параметров на токен; в меньших вариантах — 2,8B и 2,0B соответственно. Модель рассчитана на чат и задачи рассуждения; также README рекомендует её для прототипирования и описывает готовность к коммерческому применению. Она поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Контекст в метаданных — 262 144 токена; README указывает возможность увеличить контекст при использовании vLLM до 1M токенов с соответствующей настройкой. Elastic-структура позволяет выбирать компромисс между размером варианта и вычислительными затратами, а FP8-представление уменьшает требования к памяти. Модель предназначена для генерации текста и не описана как мультимодальная. Лицензия указана как other; README заявляет о готовности к коммерческому использованию, но конкретные условия лицензии следует сверять с файлами репозитория.

NVIDIA-Nemotron-Labs-Teacher-Chat — разговорная модель NVIDIA из семейства Nemotron 3 Ultra, предназначенная для многоходового диалога, генерации текстов и ответов, согласованных с предпочтениями людей. Она также выпущена как отдельная модель и используется как специализированный учитель для дистилляции Nemotron 3 Ultra. В карточке описаны дообучение на диалогах с помощью supervised fine-tuning и RLHF, а также возможность применять модель для создания обучающих данных и оценки ответов. Модель построена на гибридной архитектуре LatentMoE с чередованием слоёв Mamba-2 и Mixture of Experts и отдельными слоями внимания; для предсказания нескольких токенов используются слои MTP. Всего модель содержит 550 млрд параметров, из них 55 млрд активны. Метаданные указывают контекст 262 144 токена, тогда как README заявляет до 1 млн токенов. Поддерживаются английский, французский, испанский, итальянский, немецкий, португальский (включая бразильский), японский, корейский, хинди, китайский и арабский. По README модель допускает коммерческое и некоммерческое использование; в метаданных лицензия обозначена как other, поэтому конкретные условия следует сверить с лицензией репозитория.

NVIDIA-Nemotron-Labs-Teacher-Instruction-Following — большая языковая модель NVIDIA для точного следования инструкциям. Она предназначена как для самостоятельного применения, так и для роли модели-учителя при генерации обучающих данных и дистилляции. Модель особенно ориентирована на запросы с явными ограничениями по формату, длине, стилю и структуре ответа, включая заполнение схем и оценку соблюдения требований. Модель построена на гибридной архитектуре LatentMoE: в ней сочетаются слои Mamba-2, Mixture of Experts и отдельные слои внимания; Multi-Token Prediction поддерживает ускоренную генерацию. Всего модель содержит 550 млрд параметров, из которых 55 млрд активны. Метаданные указывают контекст 262 144 токена; README заявляет до 1 млн токенов. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, португальский и китайский языки; метаданные также перечисляют иврит и арабский. Модель принимает текстовые запросы и генерирует текст. По карточке, чекпойнт готов к коммерческому и некоммерческому использованию, однако лицензия в метаданных обозначена как other, поэтому перед использованием следует проверить условия лицензии в репозитории. Масштаб модели предполагает высокие требования к вычислительным ресурсам; README описывает многосерверное развертывание на оборудовании NVIDIA.

Occiglot-7B-FR-EN-Instruct — генеративная языковая модель с 7 млрд параметров, разработанная исследовательским коллективом Occiglot при поддержке подразделений DFKI SAINT и SLT. Это instruct-версия модели occiglot-7b-fr-en, предназначенная для диалогового взаимодействия и выполнения инструкций на английском и французском языках, а также для работы с кодом. Модель доступна в формате GGUF и распространяется по лицензии Apache 2.0. Модель построена на архитектуре авторегрессионного decoder-only Transformer, а её токенизатор унаследован от Mistral-7B-v0.1. Для дообучения использовались 160 млн дополнительных токенов мультиязычных и кодовых инструкций, включая англоязычные и франкоязычные наборы Open-Hermes-2B, Bactrian-X, AI-Society Translated, GT-Dorimiti, OASST-2 и Aya-Dataset. Обучение выполнялось с контекстом 8192 токена и шаблоном диалогов ChatML. Сильная сторона модели — специализация на английском и французском языках при сохранении возможностей генерации кода и следования инструкциям. Она может применяться для чат-ботов, ответов на вопросы, генерации и преобразования текста, а также вспомогательных задач программирования. При этом проект позиционируется как открытое исследование, а README предупреждает, что модель не проходила safety alignment и может генерировать проблемный или небезопасный контент. Результаты оценки следует интерпретировать с осторожностью, поскольку часть неанглоязычных тестов основана на машинном переводе и англоязычных запросах.

Olmo Hybrid 7B — открытая авторегрессионная языковая модель семейства OLMo, разработанная Allen Institute for AI (Ai2). Модель содержит около 6,3 млрд параметров и использует гибридную архитектуру: 75% слоёв основаны на gated DeltaNet, остальные — на многоголовом внимании. Она рассчитана на генерацию текста и поддерживает контекст до 65 536 токенов. Модель предназначена для продолжения текста, ответов на вопросы, рассуждений и генерации кода. По заявлению разработчиков, она эффективнее использует данные при предобучении, показывает улучшения на длинном контексте и снижает затраты памяти и повышает пропускную способность при инференсе на длинных последовательностях. Основной язык — английский. Модель предобучена на Dolma 3 и относится к базовым моделям OLMo Hybrid; карточка также описывает отдельные версии Think и Instruct, но этот репозиторий обозначен как Olmo Hybrid 7B. Веса доступны в формате safetensors и поддерживаются Transformers версии 5.3.0 или выше. Лицензия — Apache 2.0; разработчики рекомендуют учитывать правила ответственного использования Ai2. Модель может выдавать фактические ошибки и предвзятые или вредоносные ответы, поэтому результаты следует проверять.

OmniCorso-7B — объединённая языковая модель, опубликованная macadeliccc на Hugging Face. Она предназначена для генерации текста и диалогов в формате ChatML. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель можно применять для ведения диалогов, ответов на вопросы и рассуждений на основе текста. В README приведены результаты тестов AGIEval, GPT4All, TruthfulQA и Bigbench. Доступны варианты квантования ExLlamaV2; их таблица содержит сведения о компромиссе между качеством, размером и потреблением видеопамяти. OmniCorso-7B объединяет macadeliccc/MBX-7B-v3-DPO и mlabonne/OmniBeagle-7B. В метаданных указана лицензия CC; конкретный вариант лицензии не уточнён.

RedHatAI/OpenHermes-2.5-Mistral-7B-pruned50 — разреженная версия диалоговой модели OpenHermes-2.5-Mistral-7B, подготовленная Neural Magic для обслуживания через движок nm-vllm. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров; заявленное окно контекста — 32 768 токенов. Она принимает текстовые запросы и генерирует текстовые ответы в диалоговом режиме. Модель подходит для локального запуска чат-ассистента, ответов на вопросы, генерации текста и помощи с кодом. Репозиторий содержит веса PyTorch, оптимизированные разреживанием для высокой пропускной способности и меньшего потребления памяти при инференсе через nm-vllm. Она унаследовала возможности базовой OpenHermes-2.5-Mistral-7B, но карточка не приводит отдельной оценки качества именно разреженной версии. Лицензия в предоставленных данных не указана.

OpenHermes-2.5-Mistral-7B-x2 — объединённая модель на архитектуре Mistral, созданная IsakNordgren с помощью LazyMergekit на основе teknium/OpenHermes-2.5-Mistral-7B. В README указан метод слияния dare_ties с параметрами density 0,53 и weight 0,6; каталог характеризует базовую модель как дообученную на инструкциях и диалогах. Модель содержит 7,1 млрд параметров, использует формат safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового общения; её можно применять для ответов на вопросы, составления текстов и помощи с кодом. Данные карточки не описывают отдельные языки, поэтому нельзя определить, на каких языках она рассчитана в первую очередь. Условия лицензии в предоставленных данных не приведены.

OpenHermes-2.5-Nebula-v2-7B — объединённая модель для генерации текста и диалогов, созданная на основе teknium/OpenHermes-2.5-Mistral-7B и PulsarAI/Nebula-v2-7B-Lora. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; карточка указывает поддержку общения и обучающий датасет Open-Platypus. Модель подходит для диалоговых ответов, генерации текстов и помощи с кодом на английском языке. Репозиторий содержит веса Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Опубликованные в README результаты таблицы оценки не заполнены.

Open-Instruct Human-mix 30B — модель AllenAI на архитектуре LLaMA, дообученная на смеси созданных людьми наборов инструкций: FLAN V2, CoT, Dolly и OpenAssistant 1. Она предназначена для генерации текста в ответ на инструкции, включая общие вопросы, задачи на рассуждение и программирование. В README приведены результаты оценки на MMLU, GSM, BBH, TydiQA, Codex-Eval и AlpacaFarm. Модель содержит 32,3 млрд параметров, использует архитектуру LlamaForCausalLM и контекст до 2048 токенов. Репозиторий содержит diff весов: для использования нужна совместимая базовая LLaMA в формате Hugging Face. Модель принимает текст и генерирует текст; README описывает специальный формат входных инструкций, соблюдение которого влияет на качество генерации. Указана лицензия AI model license вместе с исходной лицензией LLaMA; условия обеих лицензий следует учитывать при использовании. Модель обучена преимущественно на англоязычных инструкционных данных, поэтому её применение на других языках не подтверждено карточкой.

OPT-IML-Max — инструкционно дообученная языковая модель семейства OPT, разработанная Meta. Она обучена на примерно 2000 задачах обработки естественного языка из восьми бенчмарков, включая Super-NaturalInstructions, FLAN и PromptSource, и предназначена для выполнения разнообразных инструкций и генерации текста. Модель использует плотную причинную архитектуру OPTForCausalLM, содержит около 1,7 млрд параметров и поддерживает контекст до 2048 токенов. Модель подходит для ответов на вопросы, суммаризации, перефразирования и других текстовых задач, сформулированных в виде инструкций. Карточка не уточняет список поддерживаемых естественных языков. Возможны фактические ошибки, токсичные высказывания и воспроизведение стереотипов; ответы требуют проверки. Лицензия указана как other, поэтому условия использования следует сверять с лицензией репозитория.

Phi-3-mini-128k-instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Phi-3-mini-128k-instruct, разработанной Microsoft. Квантизацию выполнила Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая обработку естественного языка и кода; в метаданных указан английский язык. Это текстовая, а не мультимодальная модель. Ключевая характеристика модели — контекстное окно до 128 000 токенов. Репозиторий содержит варианты с квантизацией от 2 до 8 бит, а также версию f16 размером 7,64 ГБ. Рекомендуемыми считаются Q4_K_M как сбалансированный вариант, а также Q5_K_M и Q5_K_S с меньшими потерями качества. Более компактные варианты требуют меньше памяти, но могут заметно терять в качестве; для Q2_K, Q3 и некоторых Q4-вариантов это прямо отмечено в описании. Модель может использоваться локально через совместимые инструменты GGUF и LlamaEdge; для запуска требуется LlamaEdge версии 0.12.2 или выше и шаблон запросов phi-3-chat. В README не приведены результаты тестирования, точное число параметров, требования к аппаратному обеспечению или сведения о качестве на конкретных задачах. Модель распространяется по лицензии MIT.

Phi-4-reasoning-plus-GGUF — квантизированная в формате GGUF версия модели Phi-4-reasoning-plus, разработанной Microsoft. Квантизация выполнена bartowski на основе llama.cpp. Модель предназначена для генерации текста, диалогов, программирования, математики и решения многошаговых задач, требующих логического рассуждения. Модель поддерживает контекст до 32 000 токенов и работает с текстом на английском языке. Она дообучена на базе Phi-4 и дополнительно обучалась с применением Reinforcement Learning для повышения точности. Ключевая особенность — ориентация на сложные математические и логические задачи; при этом модель в среднем генерирует примерно на 50% больше токенов, чем базовая версия. В README не указаны точный размер модели, архитектурные детали и наборы данных. Модель распространяется по лицензии MIT. GGUF и llama.cpp упрощают локальный запуск, однако конкретные требования к оборудованию зависят от выбранного уровня квантизации, который в предоставленных данных не указан. Как и другие языковые модели, она может генерировать неточные или неподходящие ответы.