II.3Рефакторинг, миграция и модернизация

TopEvolution-DPO-32K — слитая языковая модель семейства Mistral, созданная сообществом mergekit-community методом SLERP на основе mergekit-community/TopEvolution и mpasila/Kunoichi-DPO-v2-Instruct-32k-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и выполнения инструкций; поддерживает контекст до 32 768 токенов. В конфигурации слияния использована V-образная кривая весов: TopEvolution задаёт вклад на входе и выходе, а Kunoichi-DPO-v2-Instruct — в средних слоях. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Языковая специализация и лицензия в предоставленных источниках не описаны.

EuroLLM-22B-Instruct-2512-GGUF — это квантизированная версия инструкционной языковой модели EuroLLM-22B-Instruct-2512, разработанной utter-project и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с инструкциями, благодаря чему может использоваться в локальных чат-ботах, ассистентах и приложениях на базе llama.cpp. Модель имеет размер 22 млрд параметров и представлена в формате GGUF с вариантами квантизации от BF16 до Q3. Доступна поддержка llama.cpp, LM Studio и других совместимых проектов. Заявлена работа с широким набором языков, включая английский, немецкий, испанский, французский, итальянский, португальский, польский, русский, китайский, японский, корейский, арабский, хинди и многие другие европейские языки. Формат prompt использует шаблон ChatML с ролями system, user и assistant. Сильными сторонами являются широкий языковой охват, возможность локального запуска и выбор между вариантами квантизации, позволяющий балансировать качество и требования к памяти. Рекомендуемыми считаются варианты Q4_K_M, Q5_K_M, Q6_K и другие близкие к ним; менее битные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут обеспечивать более низкое качество. Архитектура, размер контекста и мультимодальные возможности в README не указаны; по имеющимся данным модель является текстовой и не поддерживает изображения или другие модальности. Распространение осуществляется по лицензии Apache-2.0.

jondurbin/airoboros-dpo-70b-3.3 — экспериментальная диалоговая языковая модель, созданная на основе семейства Llama 3 и дообученная автором jondurbin на синтетических данных Airoboros и наборах для DPO. В метаданных указана плотная архитектура LlamaForCausalLM с 69,5 млрд параметров, формат safetensors и контекст до 8192 токенов. Карточка рекомендует использовать шаблон диалога Llama 3 Instruct. Модель предназначена для генерации ответов в чате, написания и продолжения историй, суммаризации и помощи с кодом. В README приведены примеры творческих и технических запросов, включая написание программ и выбор инструментов; эти примеры показывают формат взаимодействия, но не подтверждают гарантированное качество на каждой задаче. Автор называет модель экспериментальной. Метаданные связывают её с Meta-Llama-3-8B, тогда как README указывает базовую Llama 3 70B Instruct; точную базовую модель поэтому установить по этим источникам нельзя. Лицензия обозначена как other, конкретные условия использования в предоставленных данных не раскрыты.

Athene-Phi-3.5-mini-instruct-orpo-GGUF — это набор GGUF-квантизированных версий языковой модели Athene-Phi-3.5-mini-instruct-orpo, разработанной EpistemeAI и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального запуска, в том числе через llama.cpp и LM Studio. В репозитории представлены варианты от исходных весов F16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ4 с размером файлов примерно от 1,88 до 7,64 ГБ. Для взаимодействия используется формат промпта с ролями system, user и assistant. Указан английский язык; сведения о количестве параметров, максимальном контексте, архитектурных деталях и поддержке других модальностей отсутствуют. К сильным сторонам относятся широкий выбор уровней квантизации, возможность подобрать баланс между качеством, размером и требованиями к памяти, а также специальные варианты Q4 для ARM и CPU-инференса. Более компактные версии могут уступать по качеству полноразмерным и менее агрессивно квантизированным вариантам. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия языковой модели c4ai-command-r-plus, разработанной CohereForAI и подготовленной пользователем bartowski для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных inference-средах, поддерживающих формат GGUF. В README также указан специальный шаблон промпта для системных, пользовательских и ответов чат-бота. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский и арабский языки. Точные сведения об архитектуре, количестве параметров и размере контекста в карточке не приведены. Доступно несколько вариантов квантизации от Q2_K до Q5_K_M, а также IQ-квантизации; размер файлов составляет примерно от 39,49 до 73,62 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество при больших требованиях к памяти, а низкие подходят для систем с ограниченными ресурсами, но снижают качество. Сильной стороной модели является возможность локального запуска с выбором компромисса между качеством, скоростью и потреблением памяти. Q5_K_M и Q5_K_S обозначены как высококачественные рекомендуемые варианты, а некоторые I-квантизации эффективнее по соотношению размера и качества при использовании cuBLAS или rocBLAS. I-квантизации не совместимы с Vulkan и могут работать медленнее K-квантизаций на CPU и Apple Metal. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с ограничениями, включая запрет коммерческого применения.

Cotype-Nano — компактная языковая модель MTSAIR на 1,5 млрд параметров с архитектурой Qwen2. Она предназначена для диалогового взаимодействия и генерации текста при ограниченных вычислительных ресурсах; в карточке приведён пример ответа с объяснением и кодом для простого сервера FastAPI. Модель обучали в два этапа: сначала MLP-слои на математических и программных данных, затем всю модель на внутренних и открытых синтетических инструкционных наборах. Поддерживаются русский и английский языки, а длина контекста составляет 32 768 токенов. В метаданных также указана возможность интерфейса вызова инструментов. В README приведён локальный результат 30,2 в ru-llm-arena; это измерение авторов карточки, а не независимая гарантия качества. Модель распространяется в формате safetensors, для запуска в README предлагается vLLM. Лицензия обозначена как other, поэтому условия использования следует уточнить в репозитории.

Darewin-7B — языковая модель, созданная mlabonne путём слияния шести моделей семейства Mistral с помощью LazyMergekit. Она предназначена для генерации текста и диалоговых сценариев, включая рассуждения и ответы на вопросы. Модель имеет 7,1 млрд параметров, архитектуру MistralForCausalLM и контекст до 32 768 токенов; доступна в формате safetensors. В README приведены результаты Open LLM Leaderboard, включая среднее значение 71,87, результат 68,60 на AI2 Reasoning Challenge и 86,22 на HellaSwag. Модель распространяется по лицензии Apache-2.0. Языковая поддержка в предоставленной карточке не уточнена.

DatacampLlama-3.1-8B-GGUF — набор GGUF-квантизированных версий модели DatacampLlama-3.1-8B, опубликованной mlabonne. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через llama.cpp и LM Studio; в README заявлена поддержка английского языка и формат чата с ролями system, user и assistant. Модель относится к семейству Llama 3.1 и имеет размер 8B параметров. Доступны варианты от исходных весов F16 размером около 16,07 ГБ до компактных форматов Q2 и IQ3 размером примерно 3,66–4,78 ГБ, а также более качественные варианты Q4–Q8. Высокие уровни квантизации обеспечивают лучшее сохранение качества, тогда как компактные версии требуют меньше оперативной памяти, но могут заметнее уступать в качестве генерации. Отдельные варианты оптимизированы для CPU и ARM-инференса. README не указывает размер контекста, мультимодальные возможности, результаты бенчмарков или подробности обучения, поэтому модель следует рассматривать как текстовую, без подтвержденной поддержки изображений и других модальностей. Лицензия — Apache 2.0.

DeepSeek-MOE-4X8B-R1-Distill-Llama-3.1-Deep-Thinker-Uncensored-24B-GGUF — языковая модель для генерации текста, разработанная DavidAU. Она основана на объединении четырёх Llama-настроек с технологиями рассуждения DeepSeek и предназначена для общего применения, творческого письма, ролевых сценариев, мозгового штурма, решения логических задач, загадок и многошаговых проблем. Модель использует архитектуру Mixture of Experts: заявлены четыре активируемых эксперта по 8B параметров, при этом размер модели составляет около 24,9B параметров. Указана поддержка английского языка, контекст до 128K токенов и формат GGUF для локального запуска. Модель может генерировать рассуждения и варианты решений, причём их активация и глубина зависят от запроса, температуры и других параметров. Рекомендуется использовать контекст не менее 4096 токенов, температуру примерно 0–0,8 для стабильной работы и повторный штраф 1,02–1,07; для более глубоких и разнообразных рассуждений автор допускает значительно более высокую температуру. К сильным сторонам относятся выраженная способность к многошаговому решению задач, генерации идей, созданию сюжетов и относительно стабильной работе при различных настройках. Ограничениями являются возможная непредсказуемость, чрезмерно длинные или неуместные рассуждения, необходимость иногда повторно запускать генерацию, а также риск появления рассуждений в основном ответе. Модель позиционируется как uncensored и может создавать материалы для взрослых, сцены ужасов и нецензурную лексику, поэтому она подходит не для всех аудиторий. Лицензия модели — Apache-2.0. Для работы требуется шаблон чата Llama 3 Instruct, Command-R или автоматически загружаемый шаблон Jinja, содержащийся в квантизации.

DeepSeek-R1-Distill-Qwen-7B-heretic — языковая модель для генерации текста и рассуждений, разработанная пользователем saidutta69 на основе deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Вариант создан с помощью Heretic v1.4.0 методом directional ablation («abliteration»): целевые изменения весов в выходных проекциях attention и down-проекциях MLP подавляют поведение, связанное с отказами, без дополнительного fine-tuning. Заявляется, что при этом знания и способность следовать инструкциям в основном сохранены. Модель предназначена для разработчиков, которым нужна компактная reasoning-модель примерно на 7,6 млрд параметров для диалогов, генерации текста и задач, требующих рассуждений. Указан английский язык и текстовая модальность. Доступны веса BF16 и GGUF-квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0; модель можно запускать через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Для работы рекомендуется GPU с 8–12 ГБ памяти, а Q4_K_M подходит для потребительского оборудования и CPU-only или Apple Silicon при наличии достаточного объёма оперативной памяти. Размер контекста в README не указан. К сильным сторонам относятся сохранение базовых возможностей исходной модели, поддержка рассуждений и широкий выбор квантизаций для локального запуска. Ключевое ограничение и одновременно особенность — намеренное подавление отказов: модель может выполнять запросы, от которых базовая версия отказалась бы, включая потенциально небезопасные, и не содержит дополнительного слоя фильтрации. Модель распространяется на условиях deepseek-research-license, унаследованных от базовой модели.

Dolphin-Mistral-24B-Venice-Edition-heretic — диалоговая модель общего назначения, созданная на основе Mistral Small 24B Instruct 2501 и дообученная в рамках проекта Dolphin совместно с Venice.ai. Она предназначена для генерации ответов и выполнения инструкций в чат-сценариях; владелец системы задаёт системный промпт и самостоятельно настраивает стиль и правила поведения модели. Модель использует плотную архитектуру Mistral3 и содержит около 24 млрд параметров; доступна в формате safetensors и рассчитана на работу через Transformers или vLLM. В README описана как uncensored-версия для экосистемы Venice; указаны измерения KL-дивергенции и частоты отказов, но они не дают полной оценки качества. Лицензия — Apache-2.0. В README нет сведений о длине контекста и поддерживаемых языках, поэтому они здесь не уточняются. Снижение отказов не означает гарантированного отсутствия отказов или безопасного поведения: модель следует настраивать системным промптом и проверять на целевых сценариях.

bartowski/gemma-2-9b-it-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Gemma 2 9B IT, разработанной Google и подготовленной пользователем bartowski для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая локальные чат-приложения и другие задачи, где требуется выполнение инструкций. Доступны варианты от F32 до низкобитных Q2 и IQ-квантизаций объёмом примерно от 3,43 до 36,97 ГБ. Модель является текстовой и использует архитектуру Gemma 2 с примерно 9 млрд параметров. README не указывает поддерживаемые языки и размер контекста. Для работы необходимо применять специальный формат prompt с маркерами начала и конца хода; системные сообщения не поддерживаются. Квантизации с более высокой точностью сохраняют лучшее качество, а варианты Q4–Q6 предлагают компромисс между качеством и требованиями к памяти; низкобитные варианты экономичнее, но могут заметно уступать в качестве. Распространение основано на лицензии Gemma от Google. Для доступа к исходной модели на Hugging Face требуется принять условия использования Google. README не содержит подробного описания ограничений лицензии или результатов бенчмарков, поэтому качество следует оценивать с учётом выбранной квантизации и конкретного сценария применения.

GLM-5.3-Flash EXL3 K2 — общественный квантованный пакет модели GLM-5.3-Flash-BF16, подготовленный vcruz305 на основе модели Z.AI. Это текстогенерационная модель с архитектурой Glm5NextForConditionalGeneration и поддержкой английского и китайского языков. Квантование EXL3 с точностью 2 бита применяется только к маршрутизируемым MoE-экспертам; компоненты внимания, общие слои, эмбеддинги, выходная голова и vision-компоненты сохраняют исходный формат. Пакет состоит из 120 файлов safetensors и занимает около 91 ГиБ. Модель предназначена для генерации текста и сценариев инференса с большим контекстом. Заявленный максимальный выделяемый контекст составляет 131072 токена, рекомендуемый контекст обслуживания — 65536 токенов; отдельно проверено извлечение данных из реальных текстов длиной до 163479 токенов. На NVIDIA GB10 заявлена скорость 15,7–16,5 токена в секунду при контексте 8K и 14,6–15,7 токена в секунду при 64K с использованием native MTP k=2. К преимуществам относятся существенно уменьшенный размер по сравнению с полноточными весами, поддержка MoE и длинного контекста. Ограничения включают снижение точности из-за 2-битного квантования, необходимость специальной сборки vLLM с поддержкой EXL3 и Glm5Next, а также известную ошибку runtime для некоторых запросов длиной примерно от 163K до 180K токенов. Лицензия весов — MIT.

GLM-5.3-Flash-NVFP4 — это квантизированная версия модели GLM-5.3-Flash от zai-org, опубликованная пользователем tattrongvu. Модель предназначена для генерации текста, рассуждений и работы с изображениями и текстом; в карточке она классифицирована как image-text-to-text. Это reasoning-модель, рассчитанная на серверное применение с SGLang и распределённым инференсом на нескольких GPU. В основе используется MoE-архитектура с 45 основными слоями и одним дополнительным multi-token-prediction слоем. Маршрутизируемые эксперты MoE в слоях 3–45 сжаты методом NVFP4: веса представлены в 4-битном формате с группами по 16 элементов, тогда как активации остаются в bf16. В bf16 также сохранены механизмы внимания, маршрутизатор, общие эксперты, некоторые плотные MLP-слои, embeddings, lm_head и вся vision tower. Размер весов уменьшен с 328,4 до 194,6 ГБ. Данные о поддерживаемых языках и размере контекстного окна в карточке не указаны. Сильная сторона модели — значительное сокращение объёма весов при сохранении близкой к пределу формата точности реконструкции, а также единая схема квантизации всех routed experts, включая MTP-слой. В приведённых тестах модель показала 72,64% на bfcl_v4, 77% на aa_lcr и 97,62% на завершённых задачах aime26; результаты зависят от лимита генерации, настроек оценки и не являются прямым сравнением с опубликованными результатами базовой модели. Ограничения включают очень высокие требования к памяти и необходимость совместимого стека инференса; для SGLang требуется специальный образ и параметр modelopt_fp4, а поддержка vLLM в карточке обозначена как ожидаемая, но не проверенная. Лицензия — MIT.

OpenVINO/gpt-oss-20b-int4-ov — квантизированная версия языковой модели gpt-oss-20b, разработанной OpenAI. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT4 с помощью NNCF в режиме INT4_ASYM без группировки весов. Это модель для генерации текста, доступная для локального запуска через OpenVINO, Optimum Intel и OpenVINO GenAI. Модель предназначена для задач генерации текста, диалоговых приложений, построения RAG-систем и интеграции в агентские сценарии с function calling. Она совместима с OpenVINO версии 2026.0.0 и выше и Optimum Intel версии 1.27.0 и выше; в README также приведены варианты запуска на CPU и GPU через OpenVINO Model Server. Размер исходной модели составляет 20 млрд параметров согласно её идентификатору и названию базовой модели, однако сведения о контекстном окне, поддерживаемых языках и точной архитектуре не указаны. Ключевое преимущество модели — уменьшенный объём весов благодаря INT4-квантизации, что может упростить локальное развертывание и снизить требования к памяти. При этом квантизация способна влиять на качество генерации, но конкретные результаты оценки в карточке не приведены. Ограничения следует уточнять в карточке исходной модели gpt-oss-20b. Модель распространяется по лицензии Apache License 2.0.

QuantFactory/Hermes-2-Theta-Llama-3-8B-GGUF — квантованная GGUF-версия Hermes-2-Theta-Llama-3-8B, созданная с использованием llama.cpp. Исходную модель разработала Nous Research совместно с Charles Goddard из Arcee, при этом Hermes-2 Theta представляет собой экспериментальное объединение Hermes 2 Pro и Meta Llama 3 Instruct с последующим обучением с подкреплением на основе обратной связи человека (RLHF). Модель предназначена для генерации текста и диалогового взаимодействия на английском языке. Модель ориентирована на многошаговые чаты, следование системным инструкциям, генерацию структурированного JSON и вызов функций. Она использует формат промптов ChatML с ролями system, user и assistant, поддерживает chat template и совместима с подходом OpenAI к форматированию диалогов. В карточке также указано обучение на датасете teknium/OpenHermes-2.5 и наличие методов DPO, синтетических данных и дистилляции в контексте разработки. Размер исходной модели — 8B параметров; точный тип и уровень квантования, размер контекста и требования к ресурсам не указаны. Сильными сторонами являются сочетание возможностей Hermes 2 Pro и Llama 3 Instruct, поддержка управляемых диалогов, function calling и JSON-вывода. Модель описана как экспериментальная, а в карточке отсутствуют количественные результаты оценки, сведения о конкретных вариантах квантования и подробные ограничения качества, поэтому пригодность для конкретных задач следует проверять отдельно. Распространение указано по лицензии Apache 2.0.

KoarAI разработала LFM2.5-350M-Thinking-0003 как дообученную компактную гибридную языковую модель на основе LiquidAI/LFM2.5-350M. Модель с архитектурой LFM2 и примерно 443,4 млн параметров предназначена для генерации текста и диалогов с пошаговыми рассуждениями: она формирует внутренние шаги решения, а затем выдаёт итоговый ответ. Модель дообучена на примерах математических и алгоритмических рассуждений, программирования, русскоязычных диалогов, многошаговых ответов и вопросов из STEM, бизнеса и права. Заявлены контекст до 128 000 токенов и поддержка английского и русского языков. Модель рассчитана на компактное развертывание и сценарии, где нужны ответы с инструкциями, рассуждениями или вызовом инструментов; качество рассуждений и кодогенерации на малой модели может быть ограничено. Репозиторий содержит веса в формате safetensors. Указана лицензия Apache-2.0. Для локального запуска через llama.cpp и совместимые приложения автор отдельно указывает квантованные версии GGUF в другом репозитории.

unsloth/Llama-3.2-1B-bnb-4bit — 4-битная версия модели Meta Llama 3.2 с базовой моделью meta-llama/Llama-3.2-1B, подготовленная Unsloth для эффективного запуска и дообучения. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer с поддержкой библиотеки Transformers. Модель работает в режиме текст-ввод — текст-вывод и предназначена для генерации текста, диалоговых приложений, суммаризации и агентных сценариев поиска информации. Модель имеет размер 1B параметров и использует квантование bnb 4-bit, что снижает требования к памяти по сравнению с полноразмерными вариантами. Для семейства Llama 3.2 заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; модель обучалась на более широком наборе языков, однако качество для языков вне официально поддерживаемых может отличаться. Контекстное окно и другие архитектурные параметры в предоставленных данных не указаны. Сильные стороны модели — компактный размер, экономичное использование памяти и удобство последующего дообучения с помощью инструментов Unsloth. Ограничения включают статичный характер обучения на офлайн-данных, возможное снижение качества из-за 4-битного квантования и отсутствие в карточке подробных результатов бенчмарков, параметров контекста и сведений о конкретной версии дообучения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy Meta; лицензия является специальной коммерческой лицензией.

LPT-6.1 Thinking — разговорная языковая модель от LiskCell, представленная как флагман экосистемы xLYR и ассистент Deta. Модель предназначена для диалогов, творческих задач, технических вопросов и многошаговых рассуждений; в репозитории заявлена поддержка английского и иврита. В карточке указаны архитектура семейства Kimi K2.5 с классом KimiK25ForConditionalGeneration, библиотека Transformers и формат весов safetensors. Модель позиционируется как дообученная и настроенная для экосистемы xLYR; её размер и длина контекста в предоставленных данных не приведены. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория.

MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp-Mistral-7B-Instruct-v0.1 — чат-модель MaziyarPanahi, полученная слиянием методом SLERP модели Mistral-7B-Instruct-v0.1 и Weyaxi/MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в диалоге. Указанная длина контекста — 32 768 токенов; веса опубликованы в формате safetensors. Модель подходит для диалоговых запросов и генерации ответов на инструкции. В карточке не приведены отдельные оценки качества или сведения о поддерживаемых естественных языках, поэтому их нельзя надёжно уточнить. Лицензия — Apache-2.0.

DevQuasar-9/microsoft.Phi-4-mini-instruct-GGUF — это квантизированная версия модели Phi-4-mini-instruct, разработанной Microsoft. Модель предназначена для генерации текста и использования в сценариях, где требуется работа с инструкциями и текстовыми запросами. В карточке указано, что модель относится к классу text-generation и распространяется в формате GGUF, подходящем для совместимого локального запуска. Сведения о точном размере, варианте квантизации, архитектуре, длине контекста, поддерживаемых языках и дополнительных модальностях не приведены. К сильным сторонам относятся уменьшенные требования к хранению и вычислительным ресурсам по сравнению с полной версией, однако квантизация может влиять на качество ответов. Лицензия и условия использования в README не указаны.

Minitron-8B-Base — базовая большая языковая модель NVIDIA, созданная из Nemotron-4 15B. Модель с архитектурой Transformer Decoder и классом NemotronForCausalLM содержит 8,7 млрд параметров; в ней применяются Grouped-Query Attention и Rotary Position Embeddings. Контекст составляет 4096 токенов, вход и выход — текст. Модель предназначена для генерации текста и исследований и разработок на её основе: она обучалась на английских и многоязычных текстах, включая код, диалоги, статьи и веб-страницы. Корпус охватывает математику, науку, финансы и право; в продолженное обучение также включили небольшую долю данных вопросно-ответного формата и для выравнивания. NVIDIA сообщает о дистилляции после структурного прореживания Nemotron-4 15B с использованием 94 млрд токенов; в README приведены результаты оценок на MMLU, HellaSwag, Winogrande, GSM8K, ARC-C, XLSum и HumanEval. Модель может генерировать неточные, неполные, нерелевантные или повторяющиеся ответы, а также воспроизводить токсичный язык и социальные предубеждения из обучающих данных. Данные предварительного обучения имеют срез по июнь 2023 года. Лицензия указана как other; точные условия следует сверить с файлами репозитория и условиями NVIDIA. Карточка обозначает модель как предназначенную для исследований и разработки.

Это GGUF-квантизированная версия Mistral-Small-4-119B-2603, разработанной Mistral AI и опубликованной пользователем bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix. Модель предназначена для задач генерации текста и обработки изображений с текстом, а также для локального запуска через llama.cpp, LM Studio, koboldcpp, Jan AI и другие совместимые инструменты. Модель имеет размер 119 млрд параметров и поддерживает арабский, английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, японский, корейский и китайский языки. Доступны варианты квантизации от Q3 до Q8, различающиеся размером файлов и точностью; рекомендуемые варианты занимают примерно от 64 до 103 ГБ, а Q8_0 — около 126 ГБ. В README не указаны архитектурные детали и размер контекстного окна. Сильной стороной модели является возможность локального использования при сохранении высокого качества, особенно в вариантах Q5–Q6 и Q8. Ограничения связаны с большими требованиями к оперативной памяти и ресурсам, а также с неизбежной потерей качества в более агрессивных вариантах квантизации. Для Q4_1 отмечены проблемы совместимости с поздними слоями FFN_DOWN_EXPS, поэтому исправленная версия этого варианта была переопубликована. Модель распространяется по лицензии Apache-2.0.

munin-neuralbeagle-7b-density-high — текстовая генеративная модель на архитектуре Mistral с 7,1 млрд параметров, созданная командой merge-crew с помощью LazyMergekit. Согласно конфигурации, веса объединены методом dare_ties: в слиянии участвуют danish-foundation-models/munin-7b-alpha и mlabonne/NeuralBeagle14-7B с настройками density 0,7 и weight 0,6; указаны int8-маска и формат bfloat16. Модель предназначена для генерации текста и может использоваться для диалогов, следования инструкциям, рассуждений и творческих текстовых задач — возможности базовой NeuralBeagle14-7B. Контекст составляет до 32 768 токенов. Карточка не указывает отдельную языковую специализацию или лицензию, поэтому их нельзя уверенно описать.

Это квантованная сборка NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16, подготовленная FreedomAISVR в формате GGUF для запуска через llama.cpp. Модель имеет гибридную архитектуру Mamba2 и Transformer с MoE: 30 млрд параметров, около 3 млрд активных, 52 слоя, включая 23 слоя Mamba2, 23 MoE-блока и 6 слоёв внимания; в MoE используются 128 экспертов и маршрутизация к шести из них. Для Mamba2-тензоров применяется F16, остальные веса хранятся в NVFP4; для обработки изображений README также описывает отдельный файл SigLIP-проектора. Модель предназначена для генерации текста и диалоговых сценариев с рассуждением. Заявленный контекст — 262 тыс. токенов. Поддержка изображений упоминается в комплекте файлов, однако метаданные классифицируют репозиторий только как text-generation. README сообщает, что CUDA-ядра Mamba2 требуют F32 и при работе с квантованными тензорами могут переводить соответствующие слои на CPU, что снижает производительность. Лицензия указана как other, без дополнительных условий в предоставленных данных.

o1-pro — модель из серии o1 от OpenAI, обученной с применением обучения с подкреплением для решения задач, требующих рассуждений перед ответом. Вариант o1-pro использует больше вычислительных ресурсов для более глубокого обдумывания ответа. Модель предназначена для сложных задач рассуждения и подготовки ответов на запросы пользователя. Доступный фрагмент карточки не описывает архитектуру, размер, поддерживаемые языки и длину контекста, поэтому эти характеристики не приводятся. Лицензия в предоставленных данных не указана.

INTELLECT-3-GGUF — набор квантизированных версий языковой модели INTELLECT-3, разработанной Prime Intellect. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, задач рассуждения, агентских сценариев и применений, связанных с reinforcement learning и verifiers; запуск возможен через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В репозитории представлены файлы в формате GGUF с уровнями квантизации от Q8_0 до вариантов Q2 и IQ. Размеры файлов составляют примерно от 44,71 до 113,61 ГБ. Более высокие уровни, включая Q6_K, Q5_K_M и Q5_K_S, обеспечивают близкое к исходному качество, тогда как низкие уровни экономят память за счёт качества. README также отмечает архитектурную принадлежность к mixture-of-experts и поддержку английского языка, однако точные размеры модели, параметры контекста и полный набор модальностей не указаны. Модель ориентирована на локальный запуск и предлагает выбор между качеством, требованиями к памяти и скоростью инференса. Ограничениями являются значительный объём файлов даже для компактных вариантов и потенциальное снижение качества при использовании низких уровней квантизации. Распространение выполняется по лицензии MIT; базовая модель указана как PrimeIntellect/INTELLECT-3.

ProCreations_grug-27b-GGUF — это GGUF-квантизация модели grug-27b, разработанной ProCreations. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; базовая модель связана с датасетами ProCreations/grug-think-v3-10k и ProCreations/grug-think. Модель ориентирована на задачи рассуждений, экономного использования токенов, агентских сценариев и работы с инструментами. В карточке также указана модальность image-text-to-text и поддержка английского языка. Модель содержит 27 миллиардов параметров. Доступны варианты от BF16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M и более компактные форматы. Высококачественные варианты обеспечивают близкое к исходной модели качество, а менее точные требуют меньше оперативной памяти и подходят для локального запуска на ограниченных ресурсах. Файлы предназначены для использования с llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другими совместимыми инструментами. В README не указаны архитектура исходной модели, размер контекстного окна, точные мультимодальные возможности и результаты бенчмарков, поэтому их нельзя оценить по имеющимся данным. Для работы требуется приложение с поддержкой соответствующей модели и формата prompt; в качестве лицензии указана Apache-2.0.

SAIFIINDUSTRIES/Qwen2.5-14B-Instruct-1M — чат-модель для генерации текста на основе Qwen2.5-14B, опубликованная под лицензией Apache-2.0. Это плотная причинная языковая модель семейства Qwen2 с 14 млрд параметров; архитектура использует RoPE, SwiGLU, RMSNorm и групповое внимание с 40 головами Q и 8 головами KV. Модель предназначена для диалога, ответов на вопросы, использования инструментов и работы с очень длинными текстами. Контекст достигает 1 010 000 токенов, а максимальная длина генерации составляет 8192 токена. Для эффективного инференса на контексте такого размера README рекомендует специальную версию vLLM и указывает потребность не менее чем в 320 ГБ видеопамяти суммарно. Поддерживаются также короткие запросы; для контекстов свыше 262 144 токенов на обычном фреймворке возможна потеря точности. Метаданные указывают английский язык; других языков источники не подтверждают.

mlx-community/Qwen2.5-14B-Instruct-1M-bf16 — преобразованная в формат MLX версия модели Qwen/Qwen2.5-14B-Instruct-1M, подготовленная сообществом mlx-community с помощью mlx-lm 0.21.1. Это плотная авторегрессионная языковая модель семейства Qwen2 с 14 млрд параметров, предназначенная для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Контекст модели достигает 1 010 000 токенов, что позволяет работать с очень длинными текстами. Модель поддерживает английский язык; данные карточки не подтверждают поддержку других языков. Репозиторий содержит веса в формате safetensors и предназначен для использования с MLX. Лицензия Apache-2.0 допускает коммерческое использование при соблюдении её условий. Это преобразование базовой модели в другой формат, а не отдельное дообучение; фактическая производительность зависит от оборудования и используемой конфигурации MLX.