II.1Анализ требований и архитектура ПО

Bonsai-27B-gguf — компактная 1-битная версия языковой модели класса 27B, разработанная Prism ML на базе Qwen3.6-27B. Модель предназначена для генерации текста, диалогов, рассуждений, решения математических задач, программирования и агентских сценариев с локальным запуском через llama.cpp на CPU, CUDA или Metal. Также предусмотрена мультимодальная обработка изображений через отдельную vision tower, однако основной режим — текстовый. Модель использует гибридную архитектуру с примерно 75% linear attention и 25% full attention, SwiGLU, RoPE и RMSNorm. Она содержит около 27,3 млрд бинарных языковых весов и vision tower примерно на 0,46 млрд параметров. Контекстное окно составляет до 262 тысяч токенов; KV-кэш квантизован до 4 бит. Формат GGUF Q1_0_g128 использует веса со значениями −1 и +1 и групповым масштабированием FP16, обеспечивая эффективные 1,125 бита на вес и размер около 3,9 ГБ вместо примерно 54 ГБ у FP16. В комплект входит слой DSpark для speculative decoding, заявлено ускорение декодирования до 1,37 раза на CUDA. Сильные стороны модели — очень малый размер, возможность запуска 27B-класса на обычных ноутбуках и одиночных GPU, сохранение рассуждений и агентского поведения при экстремальном сжатии, а также длинный контекст. Ограничения связаны с агрессивной 1-битной квантизацией: заявленное качество составляет около 90% от FP16, а результаты зависят от аппаратной платформы и поддержки специализированных ядер. Для обработки изображений требуется дополнительный пакет mmproj объёмом около 0,63 ГБ. Модель распространяется по лицензии Apache 2.0.

Citaman/command-r-11-layer — объединённая языковая модель на архитектуре Cohere, опубликованная Citaman. По карточке, модель получена методом SLERP с помощью mergekit из слоёв Citaman/command-r-12-layer, а метаданные классифицируют её как дообучение этой базовой модели. Модель содержит 11,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; поддерживает интерфейс вызова инструментов. Модель подходит для чат-ботов, генерации ответов и систем, где языковая модель взаимодействует с инструментами. Контекстное окно составляет 8192 токена. В карточке указана архитектура CohereForCausalLM и формат safetensors. Лицензия и целевые языки в предоставленных данных не указаны.

Darwin-31B-Opus — языковая модель VIDRAFT на архитектуре Gemma 4 Dense с 31 млрд параметров, созданная слиянием google/gemma-4-31B-it и TeichAI/gemma-4-31B-it-Claude-Opus-Distill с помощью Darwin V6. Модель предназначена для диалогов и задач, требующих рассуждений, включая научные вопросы, математику, программирование и анализ. Для слияния применён вариант DARE-TIES с индивидуальным подбором коэффициентов для 1 188 тензоров. Модель работает с текстом и, благодаря сохранённой мультимодальной архитектуре Gemma 4, поддерживает изображения; заявленное контекстное окно — 256 тысяч токенов. README заявляет поддержку более 140 языков, а метаданные карточки указывают английский, корейский, японский и китайский. Весовая точность — BF16, файлы опубликованы в формате safetensors. Карточка сообщает о результате 85,9% на GPQA Diamond при использовании дополнительного движка рассуждений Darwin-DELPHI; методика оценки защищена, поэтому результат нельзя считать независимой оценкой базовой модели. Лицензия — Apache-2.0.

NVIDIA DeepSeek-R1-0528-NVFP4-v2 — FP4-квантизированный вариант модели рассуждений DeepSeek-R1-0528, подготовленный с помощью NVIDIA TensorRT Model Optimizer. Это авторегрессионная языковая модель семейства DeepSeek V3 с архитектурой трансформера; в метаданных указано 37,6 млрд параметров и контекст до 163 840 токенов. Версия v2 дополнительно квантизирует модуль wo в слоях внимания по сравнению с DeepSeek-R1-0528-FP4. Модель принимает текст и генерирует текст. Она предназначена для диалогов и решения задач, в том числе многошаговых рассуждений; доступен интерфейс вызова инструментов. Квантизация весов и активаций линейных операторов снижает требования к диску и памяти GPU примерно в 1,6 раза. Для запуска README указывает TensorRT-LLM, Linux и оборудование NVIDIA Blackwell; приведённый пример развёртывания требует 8 GPU B200. Модель основана на DeepSeek-R1-0528 и, согласно README, готова к коммерческому и некоммерческому использованию; метаданные указывают лицензию MIT. Ответы могут быть неточными, неполными или избыточными, а обучающие данные могут приводить к токсичному языку и усилению социальных предубеждений.

casperhansen/deepseek-r1-distill-llama-70b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Llama-70B, опубликованная пользователем casperhansen на Hugging Face. Исходную модель разработала DeepSeek-AI: она создана на базе Llama-3.3-70B-Instruct и дообучена на примерах рассуждений, сгенерированных DeepSeek-R1. Модель предназначена для текстовой генерации, диалогов и решения задач, особенно связанных с математикой, программированием и многошаговым рассуждением. Архитектура — LlamaForCausalLM с примерно 71 млрд параметров, 80 слоями, 64 attention heads и 8 key-value heads. Репозиторий содержит веса в формате Safetensors с 4-битной AWQ-квантизацией; конфигурация указывает контекст до 131072 токенов и вычисления в bfloat16. Это текстовая, а не мультимодальная модель. Квантизация уменьшает требования к памяти и делает локальное развертывание практичнее, но может приводить к некоторой потере качества по сравнению с исходными весами; для полноценного запуска всё равно требуются значительные вычислительные ресурсы. Исходная DeepSeek-R1-Distill-Llama-70B показывает сильные результаты в математике, кодировании и задачах рассуждения, однако официальные показатели относятся к исходной, а не обязательно к данной AWQ-версии. Репозиторий производной модели указывает лицензию MIT. При этом исходная модель базируется на Llama-3.3-70B-Instruct, для которой также действуют условия лицензии Llama 3.3.

casperhansen/deepseek-r1-distill-qwen-32b-awq — это распространённая пользователем casperhansen версия DeepSeek-R1-Distill-Qwen-32B с 4-битным квантованием AWQ. Исходную модель разработала DeepSeek на базе Qwen2.5-32B от команды Qwen компании Alibaba Cloud; она дообучена на 800 тысячах образцов, отобранных с использованием DeepSeek-R1, и предназначена для генерации текста и задач, требующих рассуждений, включая математику, программирование и научные вопросы. Модель является текстовой autoregressive language model с архитектурой Qwen2ForCausalLM и примерно 32 млрд параметров. В конфигурации указаны 64 слоя, 40 attention heads, 8 key-value heads, размер скрытого состояния 5120 и максимальная длина контекста 131072 токена. Репозиторий содержит веса Safetensors в формате AWQ с 4-битными группами размера 128 и типом вычислений bfloat16. Квантование существенно уменьшает требования к памяти и подходит для локального запуска, но может снижать точность по сравнению с исходной полноразмерной моделью; конкретные результаты тестирования этой AWQ-сборки в карточке модели не приведены. Для модели casperhansen указана лицензия MIT. В карточке также отмечается, что исходная DeepSeek-R1-Distill-Qwen-32B поддерживает коммерческое использование, модификацию и создание производных работ, однако при практическом применении следует учитывать условия лицензий исходных компонентов и выбранного программного окружения.

Dolphin 2.6 Mixtral 8x7b — языковая модель для диалогов и генерации текста, разработанная Eric Hartford при спонсорской поддержке Convai. Это дообученная версия Mixtral-8x7b с архитектурой MixtralForCausalLM типа Mixture of Experts; в обучении использовались qLoRA и Axolotl, а карточка указывает 7,1 млрд параметров. Модель принимает текст и выдаёт текст, использует формат диалога ChatML и поддерживает контекст до 32 768 токенов по метаданным; автор сообщает, что дообучение проводилось на последовательностях длиной 16 тыс. токенов. Модель предназначена для диалогового помощника, написания и объяснения кода, а также ответов на общие вопросы. Автор характеризует её как особенно сильную в задачах программирования и отмечает, что она следует инструкциям; обучение охватывало наборы данных для диалогов, программирования и инструкций. Модель не проходила DPO-настройку и описана автором как uncensored и highly compliant, поэтому для публичного сервиса потребуется отдельная настройка безопасности. Лицензия — Apache 2.0.

Domyn Small v1.0 — текстовая генеративная модель с открытыми весами, разработанная компанией Domyn S.p.A. Модель построена на плотной архитектуре Nemotron с 10,7 млрд параметров, группированным запросным вниманием и контекстом 32 768 токенов; при инференсе контекст можно расширить до 131 072 токенов с помощью YaRN. Модель принимает и выдаёт текст, поддерживает режимы рассуждения с включением и выключением, а также вызов инструментов. Она предназначена для многоязычных диалогов, многошаговых задач рассуждения и агентных приложений, в том числе для задач программирования и математики. Разработчик заявляет о сопоставимой с другими моделями класса 7–10B точности на ряде тестов при меньшем расходе токенов на рассуждение. В карточке указана оптимизация для английского, итальянского, испанского, французского и немецкого языков; README также сообщает о покрытии более 50 языков. Модель основана на Italia 10B и прошла дополнительное предобучение на 503 млрд токенов. Лицензия в метаданных указана как other, тогда как README заявляет MIT; условия распространения следует сверять с файлами лицензии в репозитории. YaRN может снижать качество на запросах короче штатного контекста, а разработчик рекомендует отдельно оценивать точность, безопасность и справедливость для конкретного применения, особенно в областях высокого риска.

EngGPT2-16B-A3B — языковая модель компании Engineering Ingegneria Informatica S.p.A., обученная с нуля как открытая по весам, но проприетарно лицензируемая модель для европейских и итальянских сценариев. Она предназначена для диалогов, генерации текста, рассуждений, следования инструкциям, генерации кода и использования в инструментальных рабочих процессах. Карточка сообщает о конкурентных результатах на тестах знаний, математики, следования инструкциям и кода. Модель построена на архитектуре Transformer с разреженной смесью экспертов (MoE): около 16 млрд параметров всего и около 3 млрд активных при генерации. В ней 24 слоя, по 64 эксперта на слой, из которых для каждого токена активируются 8; также используются GQA, SwiGLU, RoPE и RMSNorm. Заявлена поддержка английского, итальянского, французского, немецкого, португальского и испанского языков; предусмотрены режимы без рассуждений, рассуждений на итальянском или английском и краткого turbo-рассуждения. Длина контекста в предоставленных данных не указана. Разработчик позиционирует модель как эффективную альтернативу плотным моделям сопоставимого масштаба для организаций и исследовательских задач; примерно четверть обучающих данных составлял итальянский язык. Модель требует Transformers версии 4.57.0 и загрузки пользовательской архитектуры через trust_remote_code=True. Лицензия указана как проприетарная, поэтому условия использования следует сверять с лицензией репозитория.

EpistemeAI/Fireball-Llama-3.1-8B-v1dpo — диалоговая языковая модель на архитектуре Llama 3.1, выпущенная EpistemeAI. Это дообученная версия unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit с 7,5 млрд параметров; она поддерживает генерацию текста, диалог и интерфейс вызова инструментов. Модель предназначена для создания чат-ассистентов, генерации ответов и интеграции с внешними инструментами. Контекстное окно составляет 131 072 токена. В карточке описано использование через Transformers и исходную кодовую базу Llama. Указаны английский и поддержка многоязычного ввода и вывода; исходная Llama 3.1 поддерживает также французский, немецкий, хинди, итальянский, португальский, испанский и тайский. Качество и безопасность ответов могут варьироваться: возможны ошибки, предвзятые или нежелательные ответы, поэтому перед развёртыванием нужны проверки для конкретного сценария. Лицензия — Apache-2.0.

unsloth/gemma-4-26B-A4B-it-NVFP4 — инструкционная мультимодальная модель семейства Gemma 4, подготовленная Unsloth на базе google/gemma-4-26B-A4B-it и разработанная Google DeepMind. Это квантованный вариант в формате NVFP4, предназначенный для эффективного запуска, в частности через vLLM на совместимом оборудовании NVIDIA. Модель принимает текст и изображения и генерирует текст. Вариант 26B A4B относится к архитектурам Mixture-of-Experts (MoE): семейство Gemma 4 позиционирует такие модели для генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев. Поддерживаются настраиваемые режимы рассуждения, нативный system prompt, вызов функций и длинный контекст; для средних моделей Gemma 4 заявлено до 256K токенов. Семейство также поддерживает более 140 языков. К сильным сторонам относятся сочетание мультимодального понимания, возможностей рассуждения и кодирования, поддержка длинного контекста и более эффективное выполнение благодаря MoE-архитектуре и NVFP4-квантизации. Ограничения включают зависимость производительности и совместимости от поддерживаемых NVFP4-ядер и аппаратного обеспечения; точные требования к памяти, показатели качества и языковые характеристики именно этого квантованного варианта в README не указаны. Модель распространяется по лицензии Apache 2.0.

MLX-квантизированная версия Gemma 4 26B A4B instruction-tuned, разработанная сообществом mlx-community на базе модели Google gemma-4-26B-A4B-it. Квантизация выполнена с помощью mlx-optiq — инструментария для локального запуска и оптимизации больших языковых моделей на Apple Silicon без PyTorch и облачных сервисов. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, выполнения инструкций, tool calling и агентских сценариев. Модель использует смешанную точность: преимущественно 4-bit, при этом чувствительные слои переведены в 8-bit. Из 325 квантизированных слоёв 246 работают в 8-bit и 79 — в 4-bit; размер группы составляет 64. Калибровка проводилась на данных из шести доменов: обычный текст, рассуждения, код, агентские задачи, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 16,4 ГБ. Поддерживается speculative decoding с отдельной моделью-драфтером Gemma 4. Сведения о длине контекста, языках и мультимодальных возможностях в README не указаны. По приведённым результатам модель превосходит стандартную равномерную 4-bit-квантизацию по MMLU, GSM8K, HumanEval и длинноконтекстному извлечению HashHop; совокупный Capability Score составляет 75,76 против 72,95. При этом на IFEval и BFCL-V3 она немного уступает равномерной 4-bit-версии, а размер на диске примерно на 1,9 ГБ больше. Для использования требуется MLX-совместимое окружение, например Apple Silicon с пакетами mlx-lm или mlx-optiq. Модель распространяется по лицензии Gemma, унаследованной от базовой модели; применяются условия Google Gemma.

Mungert/gemma-4-31B-it-GGUF — это GGUF-версия instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind и преобразованной автором Mungert с использованием llama.cpp. Модель предназначена для локального запуска задач генерации и понимания текста, программирования, рассуждений, агентных сценариев и мультимодального анализа изображений с выдачей текста. Модель имеет плотную архитектуру с примерно 30,7 млрд параметров, 60 слоями и контекстным окном до 256 тысяч токенов. Она поддерживает текст и изображения, но не аудио в варианте 31B. Gemma 4 заявлена как мультиязычная модель с поддержкой более 140 языков. В архитектуре используется гибридное внимание: локальное скользящее окно чередуется с глобальным вниманием; размер скользящего окна для 31B составляет 1024 токена. Модель поддерживает режимы рассуждений, системные инструкции и встроенный вызов функций. Главная особенность этой публикации — GGUF-квантизация, подготовленная на основе llama.cpp с выборочным повышением точности важных слоёв сверх стандартной конфигурации IMatrix. Это может улучшать точность при заданном уровне квантизации, особенно у моделей с большим числом параметров, но увеличивает размер файлов. В README нет результатов бенчмарков, конкретных вариантов квантизации или требований к оборудованию, поэтому фактические скорость, качество и потребление памяти зависят от выбранного файла и среды запуска. Лицензия — Apache 2.0.

GLM-4.6-REAP-268B-A32B-GGUF — сжатая GGUF-версия модели GLM-4.6, подготовленная Unsloth на основе варианта cerebras/GLM-4.6-REAP-268B-A32B. Модель использует метод REAP (Router-weighted Expert Activation Pruning), при котором равномерно удалено 25% экспертов исходной Mixture-of-Experts-модели. Она предназначена для генерации текста, программного кода, агентных рабочих процессов, понимания репозиториев и function calling, особенно в условиях ограниченных ресурсов, локального развертывания и академических исследований. Это разреженная causal language model с 268B параметров, из которых 32B активируются для каждого токена. Архитектура включает 92 слоя, 120 экспертов вместо исходных 160, 8 активируемых экспертов на токен и GQA с 96 головами Q и 8 головами KV. Контекстное окно составляет 202 752 токена. Заявляется сохранение почти идентичной производительности относительно полной 355B-версии при снижении требований к памяти примерно на 25%; при этом отдельные оценки для BF16-версии в README не приведены. Модель поддерживает развертывание через актуальный vLLM, а GGUF-файл содержит исправления chat template Unsloth и рассчитан на использование с параметром --jinja в llama.cpp. К преимуществам относятся однократное сжатие без дополнительного дообучения, сохранение независимого управления экспертов маршрутизатором и совместимость с vLLM без модификации исходного кода. Для запуска требуется значительный объём вычислительной памяти из-за общего размера модели, поэтому в README рекомендуется снижать максимальное число одновременно обрабатываемых последовательностей при нехватке памяти. Указана лицензия MIT.

AMAImedia/GLM-5.3-Flash-FP8-GGUF — GGUF-квантованная версия мультимодальной модели GLM-5.3-Flash, выпущенная AMAImedia в рамках платформы NOESIS. Оригинальная модель разработана организацией Z.ai; в README также указано, что проект связан с Tencent/Hy4-preview. Модель опубликована 19 сентября 2026 года под лицензией Apache 2.0. GLM-5.3-Flash предназначена для задач генерации текста, программирования, работы с длинным контекстом, агентных сценариев и анализа изображений. Это первая нативно мультимодальная модель серии GLM-5: она поддерживает текстовые и визуальные входные данные. Заявлены 320 млрд общих параметров и 18 млрд активных параметров, что указывает на разреженную архитектуру, ориентированную на снижение вычислительных затрат. В архитектуре используются sparse attention, linear attention и Manifold-Constrained Hyper-Connections (mHC). Точная длина контекста в README не указана. Модель поддерживает широкий набор языков, включая английский, русский, китайский, вьетнамский, японский, казахский и многие другие. К сильным сторонам относятся сочетание мультимодальности, агентных и кодовых возможностей с относительно небольшим числом активных параметров, а также возможность локального развёртывания через SGLang, vLLM, TokenSpeed и KTransformers. Ограничения включают отсутствие в README точных данных о длине контекста, производительности, требованиях к памяти и качестве работы на отдельных языках. Формат FP8-GGUF рассчитан на эффективное локальное использование, но совместимость и фактическая скорость зависят от выбранного рантайма и оборудования.

CoboSan/GLM-5.3-Flash-GGUF — это GGUF-версия GLM-5.3-Flash, разработанная на основе модели zai-org/GLM-5.3-Flash. Модель относится к семейству GLM-5 и предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с изображениями и текстом. В README указаны английский и китайский языки, а также поддержка нативной мультимодальности. Модель использует гибридную архитектуру со sparse attention и linear attention, а также Manifold-Constrained Hyper-Connections. Она содержит 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса, что ориентировано на снижение вычислительных затрат и стоимости работы с длинным контекстом. Обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. В оценках использовались контексты до 300 000 токенов, а для отдельных тестов — до 1 млн токенов, однако точное ограничение контекста данной GGUF-сборки в README не указано. К сильным сторонам относятся сочетание высокой заявленной производительности, эффективности разреженной активации, работы с длинным контекстом, программирования, агентских задач и мультимодального ввода. Для запуска требуется совместимое программное обеспечение, например llama.cpp с указанной поддержкой или Unsloth Desktop. README не содержит подробных сведений о конкретных уровнях квантования, системных требованиях и ограничениях качества квантованной версии. Лицензия модели — MIT.

GLM-5.3-Flash — мультимодальная модель семейства GLM-5, разработанная командой GLM-5 и представленная Z.ai. Она предназначена для генерации текста, программирования, агентских сценариев, работы с инструментами и задачами, требующими обработки изображений и текста. Модель доступна для локального развёртывания и может использоваться через API-платформу Z.ai. Модель содержит 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса. Она использует гибридную архитектуру с разреженным и линейным вниманием, а также Manifold-Constrained Hyper-Connections (mHC), что направлено на снижение стоимости обслуживания длинного контекста при сохранении точности. Обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. Заявлена поддержка английского и китайского языков; README также указывает нативную мультимодальность, но не уточняет полный перечень поддерживаемых типов входных данных и максимальный размер контекста. К сильным сторонам относятся высокая эффективность за счёт малого числа активных параметров, возможности работы с длинным контекстом, мультимодальность и производительность в задачах программирования и агентского взаимодействия. Ограничения, включая требования к аппаратному обеспечению, фактическое качество на отдельных задачах и особенности варианта NVFP4-Spark, в README не описаны. Указана лицензия MIT.

GPT-3.5 Turbo — языковая модель OpenAI для генерации и понимания естественного языка и кода. Версия v0613 предназначена для диалогов и обычного текстового дополнения. Модель подходит для чат-ботов, ответов на вопросы, написания и преобразования текста, а также помощи с кодом. Данные обучения охватывают период до сентября 2021 года. В предоставленных сведениях не указаны размер модели, длина контекста или лицензия.

NVIDIA gpt-oss-120b-Eagle3-v3 — вариант модели OpenAI gpt-oss-120b с дообученными Eagle3-модулями для ускорения спекулятивного декодирования. В карточке указана архитектура Transformer с Mixture-of-Experts и 120 млрд параметров; метаданные репозитория сообщают о 739,4 млн параметров в размещённых весах. Модель принимает текстовые последовательности и генерирует текст, поддерживает контекст до 131 072 токенов и предназначена для работы на GPU NVIDIA. Модель рассчитана на чат-ботов и AI-агентов, ответы по документам в RAG-системах, выполнение инструкций, генерацию кода и рассуждения. Eagle3 предсказывает несколько последующих токенов, а базовая модель проверяет предложенные последовательности; доступны режимы инференса TensorRT-LLM и vLLM. В README заявлено улучшение точности относительно других вариантов gpt-oss-120b-Eagle3. В README указана готовность к коммерческому и некоммерческому применению, однако метаданные обозначают лицензию как other, поэтому условия следует сверять с лицензией репозитория. Карточка также сообщает, что меры по снижению нежелательной предвзятости не указаны; для конкретных сценариев рекомендуется проверять качество и безопасность на собственных данных.

mlx-community/gpt-oss-20b-OptiQ-4bit — это квантизированная MLX-версия языковой модели openai/gpt-oss-20b, подготовленная проектом mlx-optiq для локального запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста, рассуждений, решения математических задач, следования инструкциям, вызова функций, программирования и поиска информации в длинном контексте. Заявленный язык — английский. В основе лежит 24-слойная MoE-архитектура с 32 экспертами, из которых 4 активируются для каждого токена, а также с attention sinks. Используется чувствительная к слоям смешанная квантизация: 33 слоя представлены в 4-битном формате, 88 — в 8-битном; итоговая точность составляет 5,03 бита на вес. Размер модели на диске — около 11 ГБ, в оперативной памяти при работе требуется примерно 11,6 ГБ. Модель поддерживает reasoning_effort со значениями low, medium и high и формат ответов harmony с каналами analysis и final. По приведённым тестам модель заметно превосходит равномерную 4-битную квантизацию на MMLU, GSM8K, IFEval, BFCL, HumanEval и HashHop, особенно в задачах многошагового извлечения из длинного контекста. Ограничения включают отсутствие квантизации KV-cache и зависимость от экосистемы MLX и Apple Silicon; README также указывает, что модель является квантизацией только весов. Распространяется по лицензии Apache-2.0.

Infinity-Instruct-3M-0613-Llama3-70B — диалоговая языковая модель, разработанная Beijing Academy of Artificial Intelligence (BAAI). Это плотная модель семейства Llama с 69,5 млрд параметров, дообученная методом supervised instruction tuning на наборах Infinity-Instruct-3M и Infinity-Instruct-0613 без RLHF. Она предназначена для следования инструкциям и многошагового диалога, в том числе для ответов на вопросы, задач по коду и математике. Модель принимает текст и генерирует текст, использует шаблон чата Llama 3 Instruct и имеет контекст 8192 токена. В карточке приведены результаты оценок AlpacaEval 2.0 и MT-Bench; они не гарантируют качество для конкретных запросов. Модель доступна в формате safetensors под лицензией Apache-2.0 в метаданных Hugging Face. При этом README ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение; перед использованием следует учитывать это ограничение и проверить применимые условия распространения.

Карточка модели eth-dl-rewards/internlm2-7b-mod на Hugging Face совпадает с карточкой internlm/internlm2-7b, поэтому описание составлено по ней. InternLM2-7B — плотная авторегрессионная языковая модель второго поколения InternLM, разработанная командой InternLM. Это базовая модель для продолжения текста и адаптации под прикладные задачи; README отдельно рекомендует версию internlm2 для большинства применений, а чат-версии описывает как отдельные варианты. Модель содержит 7,4 млрд параметров и поддерживает контекст до 32 768 токенов согласно метаданным. Разработчик заявляет о сильных результатах на задачах длинного контекста, рассуждений, математики и программирования, включая поиск сведений в длинных текстах. Модель принимает текст и генерирует текст; сведения о конкретных поддерживаемых естественных языках в источниках отсутствуют. Как и другие вероятностные языковые модели, InternLM2-7B может выдавать фактические ошибки, предвзятые или вредоносные ответы. Код распространяется по Apache-2.0; для весов README указывает академический доступ и возможность запросить бесплатное коммерческое разрешение, поэтому условия использования весов следует сверять с лицензией и соответствующим разрешением.

NVIDIA Kimi-K2.5-Thinking-Eagle3 — текстовая авторегрессионная модель, основанная на Moonshot AI Kimi-K2.5 и включающая Eagle3 для спекулятивного декодирования с Model Optimizer. В метаданных указаны архитектура Eagle3DeepseekV2ForCausalLM семейства Kimi-K2, 1,8 млрд параметров и контекст до 262 144 токенов. Модель предназначена для разработчиков чат-ботов, RAG-систем, AI-агентов и других приложений, а также для выполнения инструкций, диалога, генерации кода и рассуждений. Принимает текст и выдаёт текст. NVIDIA ориентирует её на системы с GPU NVIDIA; в README указаны TensorRT-LLM, Linux и совместимость с NVIDIA Blackwell. README заявляет возможность коммерческого и некоммерческого использования. Следует соблюдать NVIDIA Open Model License и условия Modified MIT License Kimi-K2.5. Для применения в конкретном сценарии нужна проверка на профильных данных; README также отмечает, что меры по снижению нежелательной предвзятости не указаны.

Ling-3.0-flash — разговорная языковая модель компании Inclusion AI для генерации текста, рассуждений и выполнения агентных задач. В README описана гибридная линейная архитектура MoE с чередованием Kimi Delta Attention и gated MLA; заявлены 124 млрд параметров всего и 5,1 млрд активных на токен. Метаданные Hugging Face указывают размер 3,5 млрд параметров, поэтому точный размер модели по источникам расходится. Модель предназначена для задач программирования, следования инструкциям, математических рассуждений, работы с длинным контекстом и агентных сценариев, включая исследование и многошаговые рабочие процессы. Заявленное контекстное окно — 262 144 токена. README сообщает о тестировании на бенчмарках для кодирования и агентов, но это не гарантирует аналогичное качество в конкретных приложениях. Модель принимает текст и генерирует текст; сведений о поддержке других модальностей нет. Лицензия — MIT.

Llama3.1-SuperDeepFuse-CrashCourse12K — мультиязычная языковая модель для диалогов и выполнения инструкций, разработанная на базе agentlans/Llama3.1-SuperDeepFuse и дообученная на 12 тысячах примеров из agentlans/crash-course. В метаданных указаны 7,5 млрд параметров, архитектура Llama с плотной моделью LlamaForCausalLM, контекст до 131 072 токенов и формат safetensors. README описывает дообучение методом LoRA с 4-битной квантизацией во время обучения. Модель предназначена для генерации ответов, следования инструкциям, рассуждений, решения математических задач и программирования. Карточка указывает на мультиязычную поддержку; конкретные языки не перечислены. README приводит результаты оценивания на IFEval и BBH и предупреждает, что ответы могут быть ошибочными и требуют проверки в критически важных сценариях. Лицензия — llama3.1, с условиями использования Llama 3.1.

Meta Llama 3.3 70B Instruct — мультиязычная генеративная языковая модель Meta для диалогов и следования инструкциям. Это авторегрессионный трансформер на 70 млрд параметров, дообученный с помощью supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей. Модель принимает и выдаёт текст, поддерживает контекст до 128 тысяч токенов и оптимизирована для диалоговых сценариев. Модель подходит для создания ассистентов, ответов на вопросы, написания и преобразования текстов, а также генерации синтетических данных. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; русский среди них не указан. Для инференса описана библиотека Transformers, а контрольные точки можно использовать с 8- и 4-битной загрузкой через bitsandbytes для снижения требований к памяти. Модель статична и обучена на офлайн-данных с отсечкой знаний в декабре 2023 года. Она не принимает изображения, аудио или видео; качество и безопасность ответов требуют оценки и мер защиты в конкретном приложении. Использование регулируется пользовательским соглашением Llama 3.3 Community License, включая его ограничения и Acceptable Use Policy.

Llama-3.3-70B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Llama 3.3 70B, разработанной Meta и подготовленной в формате GGUF сообществом lmstudio-community; в метаданных также указан quantized_by: bartowski. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие задачи обработки естественного языка. Она относится к семейству текстовых моделей и содержит около 70 миллиардов параметров. Сведения о конкретном варианте квантизации, размере контекста, поддерживаемых языках, точных модальностях и требованиях к аппаратному обеспечению в представленном README отсутствуют. Крупный размер модели потенциально обеспечивает высокое качество рассуждений и генерации, однако обычно требует значительных вычислительных ресурсов; влияние выбранной квантизации на качество и производительность здесь не уточняется. Модель распространяется по Llama 3.3 Community License от Meta. При распространении материалов или производных продуктов необходимо предоставлять текст лицензии, указывать «Built with Llama» и соблюдать применимую политику допустимого использования; для некоторых очень крупных коммерческих сервисов предусмотрены дополнительные лицензионные условия.

MiMo-V2.6-Flash-RL — мультимодальная модель Xiaomi из серии MiMo-V2.6, обученная с подкреплением для задач агентного взаимодействия и самоулучшения по обратной связи. Она предназначена для генерации текста, работы с инструментами, программирования и мультимодального понимания; обучение объединяет задачи кодирования, визуальные сценарии, агентов общего назначения и кибербезопасность. В README архитектура описана как разреженная MoE с 309 млрд общих и 15 млрд активируемых параметров, 1 млн токенов контекста, обработкой текста, изображений, видео и аудио, а также визуальным и аудиокодировщиками. Метаданные Hugging Face, однако, указывают 12 млрд параметров и архитектуру dense MiMoV2ForCausalLM в формате safetensors FP8; поэтому точный размер и тип архитектуры опубликованной версии противоречивы. Метаданные также указывают поддержку английского и китайского языков. Для развёртывания README приводит рецепты SGLang и vLLM и интерфейс вызова инструментов. Модель распространяется по лицензии MIT. README приводит результаты отдельных бенчмарков, но не задаёт гарантий качества для конкретных задач; работа с длинным контекстом и мультимодальными входами требует совместимого программного обеспечения и достаточных вычислительных ресурсов.

MiniCPM-SALA — языковая модель OpenBMB с 7,9 млрд параметров для генерации текста и диалогов. Она использует гибридную архитектуру: 25% слоёв со sparse attention InfLLM-v2 и 75% с linear attention Lightning Attention. Модель рассчитана на обработку очень длинного контекста: в карточке заявлена длина 524 288 токенов, а README описывает поддержку до миллиона токенов. Модель подходит для диалогов и задач, требующих анализа длинных документов или больших контекстов; заявлены сохранение общих способностей, включая знания, математику и программирование. Для работы через Transformers требуется CUDA 12 или новее и компиляция зависимостей. Модель распространяется по лицензии Apache-2.0. Ответы следует проверять самостоятельно.

MiniMax-M3-MXFP8 — квантованная в формате MXFP8 версия нативной мультимодальной модели MiniMax-M3, разработанная компанией MiniMax AI. Модель предназначена для работы с текстом, изображениями и видео, а также для агентских сценариев, программирования и задач, требующих длительного взаимодействия с контекстом. Поддерживается контекст до 1 миллиона токенов. Модель использует разреженное внимание MiniMax Sparse Attention (MSA), уменьшающее вычислительные затраты и объём памяти по сравнению с GQA при сохранении качества. Общий размер составляет около 428 млрд параметров, из которых активируется примерно 23 млрд, что указывает на разреженную MoE-архитектуру. Доступны режимы рассуждений enabled, adaptive и disabled: они позволяют выбирать между постоянным рассуждением, его автоматическим включением при необходимости и минимизацией задержки. К сильным сторонам относятся нативное объединение текстовой, визуальной и видеомодальностей, эффективная работа с миллионным контекстом, а также ориентация на сложные агентские и кодировочные задачи. Ограничения связаны с очень большим общим размером модели и соответствующими требованиями к инфраструктуре; конкретные поддерживаемые языки и подробные аппаратные требования в README не указаны. Модель распространяется по лицензии MiniMax Community License, обозначенной как license: other.