II.2Создание и понимание программного кода

Hunyuan-A13B-Pretrain — базовая большая языковая модель Tencent на архитектуре Mixture of Experts (MoE), предназначенная для генерации текста, рассуждений и общих языковых задач. В README для семейства Hunyuan-A13B указано 80 млрд параметров всего и 13 млрд активных параметров; метаданные именно этого репозитория указывают 3,1 млрд параметров. Карточка также описывает режимы быстрого и пошагового рассуждения, Grouped Query Attention и поддержку длинного контекста, но приводит для семейства 256 тыс. токенов, тогда как метаданные репозитория указывают нативный контекст 32 768 токенов. Модель подходит для диалоговых приложений, генерации и продолжения текста, решения задач на рассуждение, математику и код, а также для агентных сценариев с вызовом инструментов. Репозиторий содержит веса safetensors и рассчитан на работу через Transformers; для сервинга README также упоминает TensorRT-LLM, vLLM и SGLang. В README упоминаются возможности семейства и результаты варианта Instruct, которые не следует считать подтверждёнными оценками именно этого pretrain-чекпойнта. Лицензия указана как other; README ссылается на LICENSE, но конкретные условия в предоставленных данных не раскрыты.

活字3.5（Huozi 3.5）是哈尔滨工业大学社会计算与信息检索研究中心（HIT-SCIR）开发的稀疏混合专家语言模型，用于中文和英文对话、指令遵循及通用文本生成。模型基于 Chinese-Mixtral-8x7B 和活字3.0训练，并经过指令微调与模型融合；每个专家层含8个前馈网络，每次计算稀疏激活其中2个。README称模型共有46.7B параметров、推理时激тивируется около 13B; метаданные указывают 7.2B параметров. Поддерживается контекст до 32 768 токенов. Модель заявлена для работы с китайскими и английскими знаниями, математическими рассуждениями, генерацией кода, многоходовым диалогом и безопасными ответами. Доступны веса в формате safetensors, а для инференса описаны Transformers, vLLM, ModelScope, OpenAI API и преобразование в GGUF. Лицензия репозитория — Apache 2.0; для коммерческого использования авторы просят связаться с правообладателем и получить письменное разрешение. Модель может выдавать фактические ошибки, предвзятый или вредоносный контент, поэтому ответы требуют проверки. Заявления о возможностях и оценках приведены авторами; качество зависит от сценария и настройки генерации.

heretic-org/IBM-granite-4.1-8b-heretic — производная модель на базе IBM Granite-4.1-8B, созданная методом abliteration, который резко снижает склонность модели отказывать в ответах. В сравнении с исходной моделью в карточке указаны 5 отказов из 416 запросов против 409 из 416; также приведено значение KL divergence 0,0285. Это плотный decoder-only трансформер Granite с 8,4 млрд параметров и контекстом до 131 072 токенов, доступный в формате safetensors для Transformers. Модель предназначена для диалога и генерации текста: она может следовать инструкциям, отвечать на вопросы, суммировать и извлекать информацию, классифицировать текст, помогать с кодом и использовать вызов инструментов, унаследованные от Granite-4.1-8B. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; качество на других языках может отличаться от английского. Модель опубликована heretic-org под лицензией Apache 2.0. Снижение числа отказов не гарантирует точности или безопасности ответов: модель может выдавать ошибочную, предвзятую или небезопасную информацию, поэтому её следует проверять и настраивать для целевого применения.

Infinity-Instruct-3M-0613-Llama3-70B — диалоговая языковая модель, разработанная Beijing Academy of Artificial Intelligence (BAAI). Это плотная модель семейства Llama с 69,5 млрд параметров, дообученная методом supervised instruction tuning на наборах Infinity-Instruct-3M и Infinity-Instruct-0613 без RLHF. Она предназначена для следования инструкциям и многошагового диалога, в том числе для ответов на вопросы, задач по коду и математике. Модель принимает текст и генерирует текст, использует шаблон чата Llama 3 Instruct и имеет контекст 8192 токена. В карточке приведены результаты оценок AlpacaEval 2.0 и MT-Bench; они не гарантируют качество для конкретных запросов. Модель доступна в формате safetensors под лицензией Apache-2.0 в метаданных Hugging Face. При этом README ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение; перед использованием следует учитывать это ограничение и проверить применимые условия распространения.

Inkling-Small-GGUF — квантованная версия Inkling-Small, разработанного Thinking Machines и опубликованная в формате GGUF с использованием подходов Unsloth. Это мультимодальная авторегрессионная модель с открытыми весами, предназначенная для исследований, дообучения и интеграции в сторонние продукты. Модель принимает текст, изображения и аудио, а генерирует текст. Она рассчитана на диалоговые сценарии, следование инструкциям, создание AI-агентов и систем с использованием инструментов, разработку кодовых ассистентов, чат-ботов и решений с retrieval-augmented generation. Поддерживаются английский и другие языки с общими мультиязычными возможностями, а также различные языки программирования. Изображения должны быть пиксельными; рекомендуемый размер каждой стороны составляет от 40 до 4096 пикселей. Аудио подаётся в формате WAV с частотой 16 кГц, предпочтительно длительностью менее двух минут. Архитектура представляет собой 42-слойный decoder-only transformer со sparse Mixture-of-Experts: всего 276 млрд параметров, из которых для каждого токена активно около 12 млрд. Каждый токен направляется к 6 из 256 экспертов, дополнительно используются 2 общих эксперта; механизм внимания сочетает локальные и глобальные слои. Изображения обрабатываются иерархическим patch encoder, аудио — через дискретное токенизирование, после чего все модальности переводятся в общее скрытое пространство. Поддерживаются числовые форматы BF16 и NVFP4. Ограничения включают отсутствие заявленного в карточке размера контекстного окна и зависимость качества и требований к ресурсам от выбранного уровня квантования и среды запуска. Модель распространяется по лицензии Apache-2.0. Для локального запуска заявлена совместимость с SGLang, vLLM, TokenSpeed, Unsloth и Hugging Face; также доступны API и сторонние провайдеры инференса.

JiRackTernaryGemma4_26b — текстовая диалоговая модель CMSManhattan, созданная на основе Google Gemma 4 26B-A4B-it и адаптированная под тернарную архитектуру JiRack. Она предназначена для генерации текста, общения, программирования и работы с инструментами; в карточке также описаны сценарии маршрутизации и робототехники. Модель имеет архитектуру MoE: около 26 млрд параметров всего, примерно 4 млрд активны на токен, 128 экспертов с выбором top-8. Заявлен путь обучения с квантованием-aware training для тернарных весов; доступны GGUF-варианты от Q3_K_M до Q8_0 и F16, а также safetensors. Модель принимает текст и выдаёт текст. Зрительный модуль исходной Gemma 4 удалён, поэтому обработка изображений не поддерживается. Карточка указывает поддержку 14 языков: английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского. Контекстный размер не приведён. Для тегов робототехники и маршрутизации рекомендуется расширенный токенизатор CMSManhattan/GemmaRoboticsTokenizer; дополнительные 107 токенов требуют расширения эмбеддингов и обучения новых строк перед генерацией соответствующих ID. Карточка ориентирует модель на локальный запуск через CPU, GGUF, llama.cpp и Ollama и приводит оценку требований к памяти для разных квантований. Автор предупреждает, что модель не проверялась на больших контекстах, и просит не переносить на неё результаты исходной Gemma 4. Лицензия — MIT.

JoyAI-LLM Flash — среднеразмерная инструкционная языковая модель, разработанная командой JD/JDopensource. Она предназначена для генерации текста, ответов на вопросы, работы со знаниями, рассуждений, программирования, использования инструментов и автономного решения задач. Модель обучалась на 20 триллионах текстовых токенов с применением оптимизатора Muon, а затем прошла supervised fine-tuning, direct preference optimization и reinforcement learning в различных средах. Заявлена поддержка китайского и английского языков. Модель использует архитектуру Mixture-of-Experts с 48 миллиардами общих и 3 миллиардами активируемых параметров. Она содержит 40 слоёв, включая один dense-слой, 32 attention heads, 256 экспертов, из которых для каждого токена выбираются 8, и один shared expert. Используются attention-механизм MLA, активация SwiGLU, словарь примерно на 129 тысяч токенов и контекст длиной до 128K токенов. Среди заявленных особенностей — FiberPO для повышения устойчивости обучения агентов и методы совместной оптимизации обучения и инференса, обеспечивающие заявленный прирост пропускной способности в 1,3–1,7 раза относительно версии без MTP. README указывает лицензию Modified MIT. Конкретные ограничения, требования к оборудованию и условия коммерческого использования отдельно не описаны.

K-EXAONE-2.0-750B-A37B-DSpark — мультиязычная языковая модель общего назначения от LG AI Research. Это модель с архитектурой Mixture of Experts семейства EXAONE, предназначенная для генерации текста и диалогового взаимодействия. По метаданным, модель содержит 34,1 млрд параметров и поддерживает контекст до 262 144 токенов. Модель рассчитана на рассуждения, агентные сценарии, работу с кодом и поиск информации в длинном контексте. Она поддерживает корейский, английский, испанский, немецкий, японский, вьетнамский, французский, итальянский, польский и португальский языки. Для ускорения генерации README описывает speculative decoding методами MTP и DSpark; заявлено ускорение примерно в 3–5 раз. Для запуска приведены конфигурации SGLang и vLLM на двух узлах с 16 GPU NVIDIA H200, поэтому использование требует значительных вычислительных ресурсов. Модель выпущена под лицензией Apache 2.0. Она может выдавать ошибочные, устаревшие, предвзятые или неподходящие ответы; актуальность сведений не гарантируется. README также отмечает проблему генерации на NVIDIA B200 с рекомендацией отключить prefill CUDA graph до исправления.

K-EXAONE-2.0-750B-A37B-FP8 — квантизированная FP8-версия большой мультиязычной языковой модели K-EXAONE 2.0, разработанной LG AI Research. Модель предназначена для генерации текста, сложного рассуждения, агентных рабочих процессов, программирования и задач, требующих понимания длинного контекста. Она ориентирована на использование в исследовательских и производственных системах искусственного интеллекта. Модель имеет архитектуру Mixture-of-Experts (MoE): 750 млрд параметров всего, из которых 37 млрд активируются для обработки одного входа. Конфигурация включает 78 основных слоёв, 256 экспертов, одного общего эксперта и 8 активируемых экспертов. Используются 64 query-heads и 8 key-value-heads, а также комбинация глобального внимания и скользящего внимания. Заявлена поддержка десяти языков: корейского, английского, испанского, немецкого, японского, вьетнамского, французского, итальянского, польского и португальского. Точная длина контекста в представленном README не указана. К сильным сторонам относятся масштаб модели, мультиязычность, улучшенные возможности рассуждения, агентного кодирования и извлечения информации из длинного контекста, а также заявленная повышенная безопасность. Для ускорения вывода поддерживаются методы speculative decoding MTP и DSpark, которые, согласно README, могут увеличить скорость генерации примерно в 3–5 раз. Главные практические ограничения — чрезвычайно большой общий размер модели и, несмотря на MoE, высокие требования к инфраструктуре для развёртывания; конкретные требования к памяти и производительности не указаны. Модель распространяется по лицензии Apache License 2.0.

AMAImedia/Kimi-K3-MXFP-GGUF — размещённая AMAImedia квантованная GGUF-сборка модели Kimi K3, представленной Moonshot AI. В карточке указаны архитектура MoE на основе Kimi Delta Attention и Attention Residuals, 2,8 трлн параметров и контекст до 1 млн токенов. Модель принимает текст и изображения; семейство также поддерживает видео. Заявлена поддержка множества языков, включая русский, английский, китайский, вьетнамский и японский. Модель предназначена для генерации текста и мультимодальных диалогов, в том числе для программирования, рассуждений и агентной работы с длинным контекстом. Автор карточки сообщает о квантизации GGUF UD-IQ1_S; такой вариант ориентирован на локальный запуск, но требует значительных ресурсов, а производительность и качество могут зависеть от оборудования и квантизации. В карточке приведена лицензия Apache-2.0; README упоминает лицензию Kimi K3, поэтому условия для этой конкретной сборки следует сверять с файлами лицензии репозитория.

Liberated-Qwen1.5-7B — разговорная языковая модель AbacusAI и Eric Hartford, дообученная на базе Qwen/Qwen1.5-7B. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, рассчитанная на генерацию текста и диалог в формате ChatML. Базовая модель поддерживает контекст до 32 768 токенов; при дообучении использовались последовательности длиной 8 000 токенов. Модель дообучена методом qLoRA на открытых наборах данных, включая OpenHermes-2.5, Code-Feedback, CodeFeedback-Filtered-Instruction и синтетические многоходовые диалоги SystemChat. Она предназначена для ответов на запросы, ведения продолжительных диалогов и следования системным инструкциям, в том числе необычным или механическим. Также её можно использовать для генерации кода и инструкционного текста. В README указано, что при обучении не добавлялись защитные ограничения или цензура, поэтому модель может выдавать нежелательное содержание. Перед предоставлением доступа через сервис разработчик рекомендует добавить собственный слой выравнивания. Лицензия — tongyi-qianwen.

Ling-3.0-flash-int4 — текстовая генеративная модель от inclusionAI, представленная в формате int4 и распространяемая по лицензии MIT. Она предназначена для генерации текста, рассуждений, следования инструкциям, программирования, задач общего назначения, глубокого исследования и агентских рабочих процессов, включая взаимодействие с инструментами и выполнение многошаговых задач. Модель использует гибридную линейную MoE-архитектуру с чередованием 35 слоёв Kimi Delta Attention (KDA) и 7 слоёв Gated MLA в соотношении 5:1, двумя плотными слоями, 512 маршрутизируемыми и одним общим экспертом; на токен активируется 8 экспертов. Общий объём составляет 124 млрд параметров, активный — 5,1 млрд. Размер скрытого состояния — 2560, число голов внимания — 32, словарь содержит 157184 токена. Контекст обучался поэтапно от 8K до 256K токенов. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильные стороны модели — высокая вычислительная эффективность, поддержка длинного контекста, рассуждений и агентских сценариев, а также оптимизация для производственного развёртывания. Указана интеграция с иерархическим кэшированием SGLang HiCache и Mooncake, которое, по данным разработчика, снижает время до первого токена на 60–80% при длинных входах. Ограничения включают отсутствие в README подробностей о точности int4, фактических требованиях к аппаратному обеспечению, качестве на конкретных языках и результатах независимой проверки. Лицензия — MIT.

Llamaverse-3.1-8B-Instruct — плотная языковая модель семейства Llama 3.1, созданная объединением MathCoder2-Llama-3-8B и десяти специализированных моделей методом Model Stock. Она предназначена для диалоговой генерации текста и сочетает заявленные в карточке навыки математических рассуждений, программирования, биомедицинских тем, извлечения информации, повествования и ролевого общения. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст; заявленная длина контекста — 8192 токена. Модель можно применять для решения математических задач, написания и объяснения кода, создания историй и ответов на общие вопросы. Карточка также заявляет возможности в биомедицинских темах, однако предупреждает, что в важных медицинских и иных высокорисковых сценариях необходим контроль специалиста. Среди ограничений — возможные смещения и ненадёжность ответов; независимые показатели качества в карточке не приведены. Модель выпущена по лицензии Llama 3.1 Community License.

Loxa Pro — языковая модель от frameai для генерации текста и диалогового взаимодействия. Она основана на архитектуре Gemma 2, содержит 3,3 млрд параметров и принимает текстовый ввод; заявленный контекст составляет 8192 токена. Модель распространяется в формате safetensors и использует лицензию Apache-2.0. Модель предназначена для решения математических задач и объяснения решений, написания и отладки кода, ответов на общие и научные вопросы, а также помощи с повседневными текстовыми задачами. В README разработчик заявляет о методе CA (Combine Architectures), эффективности на менее мощных GPU и улучшении точности относительно Loxa-4B и Loxa-3B, однако подробности метода и результаты сравнительных оценок не приведены. Как и другие языковые модели, Loxa Pro может отражать смещения обучающих данных и выдавать фактически неверные или вводящие в заблуждение ответы; результаты следует проверять. Для запуска требуются вычислительные ресурсы, хотя модель заявлена как оптимизированная для небольших GPU.

Maba-v1-600M — причинная языковая модель семейства Maba, представленная AndrewThompson1233. Несмотря на название, модель содержит 752 млн параметров, из них 498 млн не относятся к эмбеддингам; она обучена примерно на 150 млрд токенов. Архитектура состоит из 24 слоёв: 18 слоёв линейной рекуррентной Gated DeltaNet-2 и 6 слоёв Grouped-Query Attention. Такая гибридная схема рассчитана на линейное масштабирование по длине контекста и сокращение памяти KV-кэша по сравнению с обычными трансформерами. Модель предназначена для генерации текста и диалогов, а также для задач с кодом, математикой и рассуждениями. В README приведены результаты тестирования на MMLU, GSM8K и ARC-Challenge; для этой версии двухпроходный режим инференса отключён из-за ошибки в параметре обучающего скрипта, поэтому указанные оценки относятся к обычному однопроходному инференсу. Метаданные указывают многоязычную поддержку, включая английский, русский, китайский и ряд европейских языков. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

JetBrains/Mellum2-12B-A2.5B-Instruct-GGUF-Q4_K_M — это квантизированная версия инструкционной модели Mellum2, разработанной JetBrains. Модель представлена в формате GGUF и предназначена для запуска в llama.cpp, Ollama, LM Studio и других совместимых средах, включая использование через OpenAI-совместимый API. Модель использует архитектуру Mixture-of-Experts с 64 экспертами, из которых для каждого токена активируются 8. Заявлен контекст до 131 072 токенов, поддерживается генерация текста, а в карточке указана поддержка английского языка. Квантизация Q4_K_M использует 4-битное представление и занимает около 8,1 ГБ, обеспечивая компромисс между качеством и размером. Модель ориентирована на прямые ответы без внешнего отображения цепочки рассуждений и может применяться для диалогов, генерации текста и программного кода. Основное преимущество этой версии — заметное снижение требований к дисковому пространству и памяти по сравнению с BF16 при сохранении значительной близости к исходной модели: совпадение наиболее вероятного токена составляет 87,2%, а значение KLD относительно BF16 — около 0,106 на указанном тесте Wikitext-2. Ограничением является потеря точности из-за 4-битной квантизации; приведённые метрики не заменяют полноценную оценку качества прикладных задач. Модель распространяется по лицензии Apache 2.0.

mergekit-community/mergekit-linear-pcuhyqy — плотная языковая модель на архитектуре Qwen2, созданная сообществом с помощью линейного слияния моделей в mergekit. В слияние вошли DeepSeek-R1-Distill-Qwen-32B и mergekit-community/mergekit-model_stock-czbocwb; итоговая модель содержит 32 млрд параметров и распространяется в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев. Базовая модель DeepSeek-R1-Distill-Qwen-32B ориентирована на рассуждения, математику и программирование; в метаданных также отмечен интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Данные не описывают отдельные ограничения полученного слияния или условия лицензии, поэтому их нельзя уточнить.

Это объединённая плотная языковая модель семейства Qwen2, созданная с помощью mergekit методом Model Stock на основе DeepSeek-R1-Distill-Qwen-32B. В объединение вошли ArliAI/Qwen2.5-32B-ArliAI-RPMax-v1.3, Sao10K/32B-Qwen2.5-Kunou-v1 и EVA-UNIT-01/EVA-Qwen2.5-32B-v0.2. Модель содержит 32 млрд параметров, использует архитектуру Qwen2ForCausalLM и принимает текст для генерации текста; доступны интерфейсы чата и вызова инструментов. Контекстное окно — 131 072 токена. Модель предназначена для диалоговой генерации и решения задач на основе текста. Базовая модель DeepSeek-R1-Distill-Qwen-32B описана как модель для рассуждений, математики и программирования, однако README не приводит отдельные оценки качества этого слияния. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

Mermaid-Llama-6.7B-RAG-Code-Instruct — дообученная автором TroyDoesAI плотная причинная языковая модель семейства Llama с 6,6 млрд параметров. Она предназначена для преобразования кода, инструкций и текстового контекста в текстовые ответы: Mermaid-диаграммы и графы знаний, пояснения логики Python, а также фрагменты кода. В README описаны шаблон контекста в стиле airoboros Context-Obedient и обучение с LoRA; контекст модели составляет 16 384 токена, формат весов — safetensors. Модель ориентирована на разработчиков, обучение Python, документирование кода, RAG и визуальное планирование историй и проектов посредством Mermaid-разметки. Она выдаёт текст с кодом и диаграммами Mermaid, а не готовые изображения. Автор предупреждает, что модель следует использовать как автодополнение, а не как чат-бот; README также заявляет о снижении галлюцинаций, но не приводит проверяемых результатов оценки. Лицензия — CC BY 4.0.

RedHatAI/Meta-Llama-3.1-70B-Instruct-quantized.w8a8 — квантизированная версия Meta-Llama-3.1-70B-Instruct, разработанная Neural Magic. Это авторегрессионная текстовая модель архитектуры LlamaForCausalLM, предназначенная прежде всего для диалоговых ассистентов, генерации текста и коммерческого или исследовательского использования. Поддерживаемые в карточке языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель принимает и возвращает текст; заявленный сценарий развертывания использует контекст до 8192 токенов. Модель применяет INT8-квантизацию весов и активаций с использованием GPTQ и библиотеки llm-compressor. Квантизация уменьшает требования к памяти GPU и размер файлов примерно на 50%, а также заявлено увеличение пропускной способности матричных умножений примерно в 2 раза по сравнению с представлением FP16. Линейные операторы в трансформерных блоках квантизуются по каналам для весов и динамически по токенам для активаций; отдельные компоненты, включая lm_head, не квантизуются. По результатам, приведённым в README, модель сохраняет большую часть качества исходной версии: заявлены показатели восстановления 98,8% для Arena-Hard, 99,9% для OpenLLM v1, 100,0% для OpenLLM v2, 98,7% для HumanEval pass@1 и 98,9% для HumanEval+ pass@1. Основное ограничение — возможная потеря качества из-за квантизации, а также необходимость совместимого программного обеспечения и аппаратных ресурсов; для эффективного развертывания рекомендуется vLLM, в примере используются два GPU. Модель распространяется по лицензии Llama 3.1; использование должно соответствовать применимым законам и ограничениям.

Карточка модели mattshumer/Meta-Llama-3-8B-Instruct-LongTest на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

MiniCPM5-2B GGUF — набор GGUF-квантизаций модели MiniCPM5-2B, разработанной OpenBMB и подготовленной для локального развертывания. Это плотная Llama-based модель примерно на 2 млрд параметров, предназначенная для генерации текста, программирования, рассуждений, работы с длинным контекстом и использования инструментов. Модель работает только с текстом и поддерживает английский и китайский языки. Исходная модель имеет нативный контекст до 131 072 токенов (128K). Доступны варианты квантизации Q2_K, Q3_K_M, Q4_0, Q4_K_S, Q4_K_M, Q5_K_M, Q6_K, Q8_0, IQ2_M, IQ3_M и IQ4_XS размером примерно от 0,97 до 2,68 ГБ. Файлы содержат встроенный chat template и рассчитаны на использование с актуальными сборками llama.cpp с поддержкой MiniCPM5. К сильным сторонам относятся небольшой размер, возможность локального запуска, поддержка очень длинного контекста и широкий выбор квантизаций для компромисса между качеством и требованиями к памяти. Поддержка вызова инструментов зависит от парсера и API-интеграции конкретного сервера, поэтому её необходимо проверять в целевом окружении. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-2B-OptiQ-4bit — локальная 4-битная MLX-квантизация модели openbmb/MiniCPM5-2B, разработанной OpenBMB, с использованием инструментария mlx-optiq. Это языковая модель Llama-архитектуры с 42 слоями, размером 2B параметров и контекстом до 128k токенов. Указаны английский и китайский языки. Модель предназначена для текстовой генерации, диалоговых ассистентов, перефразирования, математических и кодовых задач, многошагового рассуждения, работы с инструментами и локального запуска на устройствах Apple Silicon. Ключевая особенность — чувствительная к слоям смешанная точность: 112 из 295 линейных слоёв сохранены в 8-битном формате, остальные 183 используют 4-битное представление. Размер файла составляет около 1,84 ГБ. Доступны режимы без рассуждений для быстрых ответов и с рассуждениями для математики, планирования и многошагового кода. Модель поддерживает собственный формат tool calling, который через optiq serve преобразуется в вызовы инструментов, совместимые с OpenAI и Anthropic API. По приведённым тестам модель показывает высокие результаты в следовании инструкциям, математике, генерации кода и вызове инструментов, однако оценка извлечения информации из длинного контекста заметно ниже остальных показателей. К ограничениям относятся необходимость MLX и Apple Silicon для описанного локального сценария, зависимость качества от режима рассуждений и отсутствие заявленных мультимодальных возможностей. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

NVIDIA MiniMax-M2.5-NVFP4 — квантизированная версия авторегрессионной языковой модели MiniMax-M2.5, разработанной MiniMax и подготовленной NVIDIA с использованием Model Optimizer. NVIDIA не является разработчиком исходной модели. Модель предназначена для коммерческого и некоммерческого применения, включая AI-агентов, чат-ботов, RAG-системы и другие приложения на базе генерации текста. Модель использует архитектуру Transformers с сетевой архитектурой MiniMaxM2ForCausalLM и содержит 229 млрд параметров. Она работает с текстовыми последовательностями на входе и генерирует текст на выходе; поддерживаемый контекст составляет до 196 608 токенов. Языки явно не указаны. Квантизация весов и активаций линейных операторов внутри трансформерных блоков до формата NVFP4 уменьшает число бит на параметр с 8 до 4, а также примерно в 1,65 раза сокращает требования к дисковому пространству и видеопамяти. Модель ориентирована на развёртывание на NVIDIA GPU, прежде всего на системах с микроархитектурой Blackwell, и интегрируется с SGLang и vLLM под Linux. К сильным сторонам относятся большой контекст, поддержка задач рассуждения и программирования, а также сниженные требования к памяти благодаря квантизации. Ограничения включают зависимость от совместимого оборудования NVIDIA и необходимость дополнительного тестирования на данных конкретного сценария; характеристики исходной MiniMax-M2.5, включая детальные языковые возможности, в предоставленных данных не раскрыты. Использование регулируется NVIDIA Open Model License; дополнительно указана Modified MIT License исходной модели MiniMax-M2.5. Версия квантизации создана с использованием NVIDIA Model Optimizer 0.43.0.

hermes42/Mistral-7B-Instruct-v0.3-imatrix-GGUF — это GGUF-квантизированная версия Mistral-7B-Instruct-v0.3, разработанного командой Mistral AI. Модель представляет собой инструкционно дообученную большую языковую модель примерно на 7 млрд параметров для генерации текста и диалогового взаимодействия. Модель предназначена для следования инструкциям, чат-сценариев, ответов на вопросы, создания и обработки текста, а также задач, связанных с программным кодом. Исходная Mistral-7B-Instruct-v0.3 поддерживает function calling, использует tokenizer v3 и расширенный словарь размером 32768 токенов. Поддержка языков и размер контекстного окна в предоставленных данных не указаны. Версия в данном репозитории дополнительно обработана с помощью importance matrix на наборе group_10_merged.txt, что направлено на улучшение perplexity, и подготовлена с использованием llama.cpp. К сильным сторонам относятся компактный размер по меркам современных LLM, возможность локального запуска через совместимые инструменты GGUF и llama.cpp, инструкционное обучение и поддержка вызова функций в исходной модели. Ограничения включают отсутствие встроенных механизмов модерации, возможные потери качества из-за квантизации и отсутствие сведений о конкретном формате квантизации, контекстном окне и языковом покрытии этой сборки. Модель распространяется по лицензии Apache-2.0.

Mistral-Large-Extra — языковая модель для генерации текста, созданная автором softwareweaver с помощью mergekit на основе mistralai/Mistral-Large-Instruct-2407. В README описано объединение модели с самой собой методом passthrough: в конфигурации используются слои 0–70 и 17–87, а веса представлены в bfloat16. Модель предназначена для творческого письма, диалога и других задач генерации текста; метаданные также указывают интерфейс для вызова инструментов. Архитектура — плотная MistralForCausalLM, размер — 194,2 млрд параметров, заявленный контекст — до 131 072 токенов. Базовая модель Mistral Large Instruct поддерживает диалог, рассуждения и программирование. Лицензия в предоставленных данных не указана.

gratex/Mistral-Small-3.2-24B-Instruct-2506-W4A16-AutoRound — квантизированная версия мультимодальной instruct-модели Mistral-Small-3.2-24B-Instruct-2506 от Mistral AI. Модель поддерживает работу с текстом и изображениями благодаря vision-компоненту Pixtral и предназначена для генерации текста, ответов на инструкции, рассуждений, программирования, задач с вызовом функций и сценариев vision-language. Модель содержит около 24 млрд параметров и использует архитектуру Mistral3ForConditionalGeneration: 40 декодерных слоёв, скрытый размер 5120, GQA с 32 query- и 8 key/value-головами, а также контекст до 131 072 токенов. Vision-энкодер Pixtral включает 24 слоя с размером скрытого состояния 1024; используется обработка изображений, но поддержка видео в калибровочных данных не заявлена. Квантизация выполнена методом AutoRound 0.10.2 с оптимизацией SignRound: веса текстового декодера представлены в INT4 с group_size 128, а активации, vision tower, мультимодальный проектор, эмбеддинги, lm_head и layer norms сохранены в BF16. Главное преимущество модели — существенное снижение требований к памяти при сохранении мультимодальных возможностей и широкая совместимость формата с GPU архитектур Ampere, Ada и Blackwell, а также движками vLLM, SGLang и TensorRT-LLM. По приведённому тесту WikiText-2 perplexity составляет 7,2478 против 7,0332 у базовой BF16-модели, то есть ухудшение равно 3,05%; это указывает на умеренную потерю качества из-за 4-битной квантизации. Лицензия — Apache-2.0.

Nemotron-H-4B-Base-8K — базовая языковая модель NVIDIA для продолжения текста. Она использует гибридную архитектуру Nemotron-Hybrid на основе Mamba-2 и слоёв MLP с четырьмя слоями Attention; размер модели — 4 млрд параметров, длина контекста — до 8 тысяч токенов. Модель создана с применением прореживания и дистилляции Nemotron-H-8B-Base-8K на 380 млрд токенов. Модель принимает и генерирует текст. Она поддерживает английский, немецкий, испанский, французский, итальянский, корейский, португальский, русский, японский и китайский языки; в обучающих данных также был код. Модель подходит для дополнения текста, генерации кода, математических задач и рассуждений. Это базовая модель без обязательного формата промпта; для специализированных сценариев NVIDIA рекомендует адаптацию с помощью инструментов NeMo. Модель предназначена для исследований и разработок и оптимизирована для систем с GPU NVIDIA; в карточке указана лицензия other, конкретные условия которой следует сверить с лицензией репозитория. Возможны неточные, неполные или избыточные ответы, токсичные высказывания и усиление предвзятости из обучающих данных; модель уязвима к атакам, нарушающим выравнивание.

weathermanj/Nemotron-nano-9b-fp8 — FP8-квантованная версия языковой модели NVIDIA Nemotron Nano 9B v2, подготовленная jwjohns (Emendat.io). Модель использует гибридную архитектуру Mamba-Transformer с 8,89 млрд эффективных параметров: 27 слоёв Mamba2 и 4 слоя внимания. Веса линейных слоёв представлены в FP8 E4M3, а эмбеддинги, нормализации и смещения сохранены в BF16. Размер файлов модели составляет 9,48 ГБ; заявленная длина контекста — до 128 тысяч токенов. Модель предназначена для генерации текста и диалогов, следования инструкциям, программирования и задач с управляемым рассуждением; метаданные также указывают интерфейс вызова инструментов. Квантование сокращает размер весов относительно исходной BF16-версии, сохраняя совместимость с исходным токенизатором и архитектурой. Карточка заявляет лицензию NVIDIA Open Model License; в метаданных лицензия обозначена как other, поэтому перед использованием следует свериться с условиями исходной лицензии.

Next 32B — плотная языковая модель с архитектурой Qwen3 для генерации текста, диалога и выполнения инструкций. В карточке она представлена как разработка Lamapi; модель содержит 29,7 млрд параметров, использует формат safetensors и имеет контекстное окно 40 960 токенов. Модель предназначена для многошаговых рассуждений, анализа сложных запросов и стратегического планирования. Среди заявленных сценариев — генерация кода, работа с длинными документами, исследовательские задачи и агентные системы. README особо выделяет турецкий и английский языки; в метаданных карточки также перечислены немецкий, испанский, французский, русский, китайский, японский и корейский. Модель принимает текст и генерирует текст. README заявляет высокие результаты в рассуждениях и пригодность для корпоративных сценариев, однако не приводит проверяемых результатов бенчмарков; эти заявления следует считать заявлениями разработчика. Для запуска крупной модели потребуется существенная память GPU: в README приведены рекомендации от 24 ГБ для 4-битной квантизации и от 48 ГБ для 8-битной или FP16. Лицензия — MIT.