II.10Разработка и эксплуатация AI/ML-систем

AxionML Gemma-4-12B-FP8 — квантизированная версия мультимодальной модели Google Gemma-4-12B-it, разработанная AxionML для открытого использования и производительного развертывания. Модель поддерживает сценарии image-text-to-text и рассчитана на применение в задачах обработки текста, изображений и аудио, включая диалоговые приложения, рассуждения и вызовы инструментов. Точный список языков и размер контекстного окна в карточке не указаны. Модель содержит около 11,95 млрд параметров. Веса линейных слоёв преобразователя квантизированы в FP8 E4M3 по блокам 128×128 с MSE-калибровкой, активации сохраняются в BF16, а KV-кэш хранится в FP8. Мультимодальные эмбеддеры и lm_head оставлены в BF16. Размер чекпойнта составляет около 13 ГБ вместо примерно 24 ГБ у версии BF16. По данным README, такая схема сохраняет качество на GSM8K и поддерживает запуск на GPU NVIDIA Hopper и Blackwell, включая H100 и H200. Сильными сторонами являются уменьшенное потребление памяти, сохранение активаций в BF16 для защиты от потери качества и совместимость с оптимизированными средствами обслуживания SGLang и TensorRT Model Optimizer. Ограничение состоит в том, что для работы требуются совместимые версии программного обеспечения и поддерживаемое оборудование; стандартная квантизация активаций W8A8 для этой модели, согласно README, заметно ухудшает качество. Указана лицензия Apache-2.0.

ebircak/gemma-4-31B-it-4bit-W4A16-GPTQ — общественная 4-битная GPTQ-квантизация instruction-tuned мультимодальной модели Google Gemma-4-31B-it, подготовленная пользователем ebircak. Модель предназначена для генерации текста и обработки сценариев vision-language, включая работу с изображениями, диалоговые приложения, вызов инструментов и развертывание на NVIDIA GPU через vLLM. Модель использует архитектуру Gemma4ForConditionalGeneration с 60 декодерными слоями и скрытым размером 5376. Текстовый декодер и projector квантизированы в int4 по схеме GPTQ W4A16 с размером группы 128, асимметричным квантованием и активациями FP16/BF16; vision tower на базе SigLIP из 27 слоев сохранена в BF16. Контекстное окно составляет до 262 тысяч токенов. Формат — compressed-tensors, квантизация выполнена с помощью llm-compressor 0.10.0.1. Языки в карточке явно не указаны. Главное преимущество — существенное снижение требований к видеопамяти по сравнению с версией BF16: заявлено около 35 ГБ при полном контексте на NVIDIA RTX PRO 6000 с 96 ГБ VRAM. Модель оптимизирована для vLLM, поддерживает prefix caching, chunked prefill и специализированный парсинг Gemma4 для tool calling. Ограничения включают зависимость от совместимых версий CUDA и vLLM, сохранение vision tower в BF16 и возможное снижение качества из-за 4-битной квантизации; разработчик рекомендует оценивать модель для конкретных задач. Квантизация и базовая модель распространяются по лицензии Apache 2.0.

Это конвертированные в ONNX модели GigaAM v2, подготовленные для запуска через библиотеку onnx-asr. Репозиторий содержит варианты архитектуры CTC и RNN-T для автоматического распознавания речи; пример применения из карточки — транскрибация WAV-файла. Модель предназначена для распознавания русской речи по аудио. ONNX позволяет использовать её в совместимой среде выполнения, включая CPU-вариант onnx-asr. Репозиторий распространяется по лицензии MIT. Размер моделей и длина контекста в предоставленных данных не приведены.

GLiClass-small-v1.0 — компактная модель классификации последовательностей от разработчиков семейства GLiClass, вдохновлённого GLiNER. Она выполняет классификацию текста без предварительного обучения на конкретных целевых наборах данных: пользователь задаёт категории, а модель оценивает, к каким из них относится текст. Модель содержит 144 млн параметров и использует архитектуру GLiClassModel; доступны форматы Safetensors и ONNX. Модель предназначена для тематической классификации, анализа тональности и переоценки релевантности текстов в RAG-сценариях. По описанию авторов, классификация выполняется за один прямой проход, что делает модель вычислительно эффективнее cross-encoder. В карточке приведены результаты zero-shot-тестирования на нескольких наборах данных, но они не гарантируют аналогичного качества для любых категорий и языков. Указан английский язык; сведения о длине контекста не приводятся. Модель обучена на синтетических данных и распространяется под лицензией Apache-2.0; авторы отмечают возможность коммерческого применения. Для специализированных задач качество может потребовать проверки на собственных данных.

GLM-4.5-Air-Base — базовая языковая модель семейства GLM-4.5 от Zhipu AI, предназначенная для разработки интеллектуальных агентов. Серия GLM-4.5 объединяет возможности рассуждения, программирования и работы с инструментами; эта версия является базовой, а не готовой чат-моделью. В README для GLM-4.5-Air указаны 106 млрд параметров всего и 12 млрд активных параметров, однако метаданные именно этого репозитория указывают 8,5 млрд параметров. Модель генерирует текст; метаданные относят её к архитектурному семейству GLM4-MoE и указывают контекстное окно 131 072 токена. В карточке заявлены английский и китайский языки. Возможные сценарии включают дальнейшее обучение и создание агентных систем, которым нужны генерация текста, рассуждение, программирование или взаимодействие с инструментами. Лицензия MIT допускает коммерческое использование и вторичную разработку. README отдельно уточняет, что это base-модель, не предназначенная для чата без дополнительной настройки.

Hunyuan-4B-Pretrain — базовая плотная языковая модель Tencent из семейства Hunyuan. Она содержит 3,9 млрд параметров и предназначена для генерации текста и последующего дообучения под прикладные сценарии. В репозитории указаны архитектура HunYuanDenseV1ForCausalLM и поддержка Transformers. Модель поддерживает контекст до 262 144 токенов, механизм Grouped Query Attention и режимы быстрого и пошагового рассуждения. Семейство Hunyuan рассчитано на разные варианты развертывания, включая ограниченные по ресурсам среды; для инференса также описана поддержка TensorRT-LLM, vLLM и SGLang. Карточка приводит результаты бенчмарков для базовых моделей семейства, но не указывает отдельные языковые коды или лицензионные условия для этой модели.

gomyk/intent-student-L4_uniform_distilled — компактный многоязычный энкодер предложений, созданный для классификации намерений. Модель разработана на основе paraphrase-multilingual-MiniLM-L12-v2 с прореживанием слоёв и словаря, а затем дистиллирована по эмбеддингам учителя. В README указана архитектура XLM-RoBERTa с 4 слоями и размерностью скрытого представления 384; метаданные классифицируют её как BERT с 24,2 млн параметров. Данные о структуре архитектуры в источниках расходятся. Модель кодирует короткие реплики для классификации намерений и сценариев, а также поддерживает извлечение признаков и сравнение сходства предложений. Она рассчитана на 18 языков: корейский, английский, японский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, арабский, хинди, тайский, вьетнамский, индонезийский, турецкий, нидерландский и польский. Контекст — до 512 токенов. По приведённым результатам MTEB средний балл составляет 54,61%; лицензия — Apache-2.0.

InverseCoder-DS-6.7B — языковая модель для генерации кода, созданная командой авторов InverseCoder и дообученная на базе deepseek-ai/deepseek-coder-6.7b-base методом instruction tuning с использованием данных, сгенерированных самой моделью по подходу Inverse-Instruct. Это плотная decoder-only модель семейства Llama с архитектурой LlamaForCausalLM и 6,6 млрд параметров. Модель предназначена для генерации кода по инструкциям и диалоговых сценариев программирования. В обучении использованы наборы InverseCoder-DS-6.7B-Evol-Instruct-90K и Magicoder-Evol-Instruct-110K. Максимальная длина контекста — 16 384 токена; репозиторий содержит веса Safetensors для Transformers. Карточка демонстрирует запуск через text-generation и приводит arXiv-работу об InverseCoder. Лицензия указана как other, поэтому условия использования следует уточнять в репозитории. Карточка не сообщает сравнительные оценки качества; как и другие кодовые LLM, модель может генерировать ошибочный или небезопасный код.

hotchpotch разработала japanese-splade-base-v1 — японскую модель SPLADE для поиска по тексту. Она преобразует текст в разреженные векторы с лексическим расширением, подходящие для построения поискового индекса и извлечения релевантных документов. В основе — дообученная BERT-модель tohoku-nlp/bert-base-japanese-v3 с архитектурой BertForMaskedLM; модель содержит 138,4 млн параметров и обрабатывает контекст до 512 токенов. Модель предназначена для японского информационного поиска и retrieval-сценариев. В README приведены оценки на JMTEB, JaCWIR и JQaRA; для части наборов данных отмечено обучение на доменных данных, поэтому результаты на них могут не отражать качество на новых доменах. При запуске через text-embeddings-inference автор рекомендует использовать отдельный fast tokenizer. Лицензия — MIT.

KAT-Coder V2.5 Dev 35B-A3B ABLITERATED UNCENSORED PHILADELPHIA CLASS — текстовая модель Mixture of Experts, разработанная KridgeDookie на основе Kwaipilot/KAT-Coder-V2.5-Dev, относящейся к семейству Qwen3.6-35B-A3B. Модель ориентирована на генерацию кода, агентные сценарии программирования и взаимодействие с инструментами. Она поддерживает английский и китайский языки, не имеет компонента для обработки изображений и видео и работает только с текстом. Модель содержит около 35 млрд параметров в общей сложности, из которых для каждого токена активны примерно 3 млрд. Доступна исходная версия в формате BF16, а также квантованные варианты GGUF Q4_K_M, Q5_K_M и Q8_0. Заявленная максимальная длина контекста — 32 768 токенов. Полная BF16-версия занимает примерно 65 ГиБ, поэтому, несмотря на небольшое число активных параметров, требует значительно больше памяти, чем плотная модель на 3 млрд параметров. Основное отличие версии PHILADELPHIA CLASS — целевое редактирование весов для уменьшения отказов в ответах при сохранении возможностей родительской модели для программирования. Внутренние проверки показали отсутствие жёстких отказов в двух наборах тестов и прохождение 23 из 24 проверок связности, однако эти результаты не проходили независимый аудит и не гарантируют точность, качество рассуждений или надёжность использования инструментов. Модель может генерировать ошибочный, небезопасный или потенциально вредоносный код, поэтому результаты требуют проверки. Распространяется по лицензии Apache 2.0, унаследованной от родительской модели.

KAT-Coder-V2.5-Dev-REAP-205E-MTP-GGUF — это квантизированная и структурно обрезанная GGUF-версия модели Kwaipilot/KAT-Coder-V2.5-Dev, опубликованная автором gbuzhf. Модель предназначена для генерации и обработки программного кода, включая code-instruct, исправление ошибок, использование инструментов и задачи рассуждения. Заявлена поддержка английского и китайского языков; модель мультимодальность не заявлена. Это Mixture-of-Experts-модель с 205 экспертами на слой вместо исходных 256, при этом для каждого токена активируются 8 экспертов. Число параметров уменьшено примерно с 34,7 до 28,3 млрд, сохранены исходная архитектура, словарь размером 262 тысячи токенов и контекстное окно базовой модели, точный размер которого в README не указан. Обрезка выполнена методом REAP на 2,6 млн токенов собственных ответов KAT-Coder-V2.5-Dev. Дополнительно встроена MTP-голова, заимствованная из Qwen/Qwen3.6-35B-A3B; её обрезка выполнена по величине весов без калибровочных данных, поэтому является приближённой. По измерениям относительно исходной BF16-модели совпадение наиболее вероятного токена составляет около 94,6%, а рост perplexity — 3,62%; автор оценивает потерю качества как сопоставимую с хорошей 4-битной квантизацией. Эти результаты получены на текстах, близких к калибровочным данным, и могут быть оптимистичными; downstream-бенчмарки для программирования не проводились, поэтому сохранение качества на HumanEval, MBPP или SWE-bench не подтверждено. Доступны мастер-версия BF16 и несколько GGUF-вариантов квантизации, включая IQ4_XS, Q4_K_XL, Q5_K_S и Q6_K. В README указана лицензия other, без дополнительных условий.

Redis LangCache Embed Experimental — англоязычная модель Sentence Transformers, дообученная Redis на базе sentence-transformers/all-MiniLM-L6-v2 для семантического кэширования и сравнения предложений. Энкодер на архитектуре BERT преобразует предложения и абзацы в нормализованные плотные векторы размерностью 384; сходство оценивается косинусной мерой. Метаданные указывают 25,9 млн параметров и контекст до 512 токенов, а карточка модели задаёт максимальную длину последовательности 100 токенов. Модель подходит для поиска похожих запросов и ответов, семантического поиска и ранжирования пар текстов, в частности при настройке семантического кэша LangCache. Она обучена на парах предложений LangCache. Лицензия — Apache-2.0. В опубликованной оценке на тестовом наборе указаны cosine accuracy@1 0,5768 и cosine recall@1 0,5588; эти показатели относятся к описанной в карточке оценке и не гарантируют качество на других данных.

lid-neural-25.2 — модель определения языка от olaverse, дообученная на базе xlm-roberta-base как классификатор последовательностей. Она предназначена для коротких текстов длиной до 128 токенов: вопросов, поисковых запросов, сообщений чата и других коротких пользовательских вводов. Модель распознаёт 25 языков, включая русский, английский, французский, хинди, японский и зулу; размер по метаданным — 305,2 млн параметров. Данные README приводят оценку точности 98,2% на коротких текстах.

Falconsai/LightDec — модель архитектуры FalconDec, созданная Falconsai на основе дообучения jhu-clsp/ettin-encoder-150m. Это компактный неконверсационный классификатор для закрытого выбора: получает текст, код или JSON-состояние, типизированный вопрос и заданный набор вариантов, затем за один проход энкодера оценивает вероятности вариантов. Поддерживает вопросы с выбором ответа, да/нет и порядковой шкалой; генерировать текст за пределами предложенных вариантов не может. Модель предназначена для маршрутизации обращений, распознавания намерений, анализа кода, проверок в агентных системах и вспомогательных проверок защитных правил. В README указаны точность 0,725 и ECE 0,025 на тестовом наборе из 17 498 решений по 58 задачам; при пороге уверенности 0,70 модель отвечала на 56% решений с точностью 89,6%, а остальные предлагалось передавать человеку или более мощной модели. Репозиторий содержит веса safetensors и GGUF F16; лицензия — Apache-2.0. Основные ограничения — слабые результаты на арифметике, датах, сравнении таблиц и широких наборах вариантов, а также заметное падение качества на задачах, не представленных в обучающей смеси. Калибровка зависит от распределения данных, а проверки защитных правил недостаточно надёжны для использования в качестве единственного барьера; для важных решений требуется проверка на собственных данных и человеческий контроль.

Llama 2 Coder 7B — языковая модель для генерации и помощи в написании программного кода, созданная mrm8488 на базе Llama 2 Coder 7B и дообученная с использованием набора данных HuggingFaceH4/CodeAlpaca_20K. TheBloke подготовил её квантованные файлы в формате GGUF. Модель предназначена для сценариев, в которых требуется coding assistant: интерпретации инструкций пользователя и формирования решений в виде программного кода. Она относится к архитектуре Llama, имеет размер 7B параметров и поддерживает текстовую генерацию. README не указывает точный перечень языков программирования, естественных языков или размер контекстного окна. Формат GGUF подходит для локального запуска через llama.cpp и совместимые инструменты, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие решения с поддержкой CPU и GPU. Ключевое преимущество версии — доступность квантований с разной разрядностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные варианты, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Ограничения включают возможные ошибки и неполные решения в генерируемом коде, а также отсутствие в README опубликованных результатов оценки. Модель заявлена под лицензией Apache-2.0, но поскольку основана на Llama 2, также подпадает под условия лицензии Meta Llama 2; взаимодействие этих лицензий требует отдельной проверки перед использованием.

amd/Llama-3.1-8B-Instruct-FP8-KV — это FP8-квантизированная версия Meta-Llama-3.1-8B-Instruct, созданная компанией Advanced Micro Devices (AMD) с использованием инструмента Quark и калибровочных образцов из набора данных Pile. Модель предназначена для задач генерации текста и диалоговых сценариев, поддерживаемых исходной инструкционной моделью Llama 3.1, а также для эффективного развёртывания через backend vLLM. Квантизации подвергнуты все линейные слои, кроме lm_head. Веса, активации и KV-кэш представлены в формате FP8 с симметричным масштабированием на тензор. Экспорт выполняется в формате Quark safetensors, совместимом с vLLM. Для оценки потери точности использовалась perplexity на Wikitext-2: 7,2169 у исходной модели и 7,2752 у данной версии; результаты получены в режиме псевдоквантизации и могут отличаться от показателей фактического инференса. Размер модели, контекстное окно, список языков и другие архитектурные характеристики в README не указаны. Модель ориентирована на снижение требований к памяти и повышение эффективности инференса на совместимом оборудовании, однако FP8-квантизация может незначительно ухудшать качество по сравнению с исходной моделью. Для использования требуется Quark; заявлена возможность развёртывания с помощью vLLM. Лицензия указана как llama3.1, с условиями Meta для Llama 3.1 и дополнительными модификациями, защищёнными авторским правом AMD.

Карточка модели SakanaAI/Llama-3-8B-Instruct-CycleQD-CS на Hugging Face совпадает с карточкой SakanaAI/Llama-3-8B-Instruct-Coding-Expert, поэтому описание составлено по ней. Sakana AI разработала Llama-3-8B-Instruct-Coding-Expert — экспериментальную авторегрессионную языковую модель семейства Llama на 7,5 млрд параметров, основанную на Llama-3-8B-Instruct. Модель предназначена для генерации текста в диалоговом режиме и ориентирована на задачи программирования; в README указаны обучающие данные Magicoder-Evol-Instruct-110K и Magicoder-OSS-Instruct-75K. Модель принимает текст и генерирует текст. Метаданные указывают английский язык и контекст до 8192 токенов. В README модель представлена как один из экспертных компонентов набора Llama-3-CycleQD. Это экспериментальный прототип для исследований и разработки: авторы не рекомендуют коммерческое использование и развертывание в критически важных средах, а качество результатов не гарантируется. Лицензия — Meta Llama 3 Community License.

RedHatAI/Meta-Llama-3-70B-Instruct-FP8 — квантизированная версия Meta-Llama-3-70B-Instruct, разработанная Neural Magic. Это текстовая авторегрессионная модель с архитектурой Meta-Llama-3 и примерно 70 млрд параметров, предназначенная для диалоговых сценариев и работы в формате ассистента. Модель ориентирована на коммерческое и исследовательское использование на английском языке. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в FP8. Это сокращает число битов на параметр с 16 до 8, а размер на диске и требования к памяти GPU примерно на 50%. Используется симметричная поэлементно-тензорная квантизация; модель подготовлена для инференса с vLLM версии 0.5.0 и новее. В описанной конфигурации максимальная длина контекста составляла 4096 токенов. К сильным сторонам относятся снижение требований к памяти и близкие к исходной модели результаты: средний балл OpenLLM составляет 79,16 против 79,51 у неквантизированной версии. Ограничения включают специализацию на английском языке и возможное небольшое снижение точности из-за квантизации. Модель не предназначена для использования на языках, кроме английского, а также для сценариев, нарушающих применимое законодательство. Распространяется по лицензии Llama3.

hiieu дообучил Meta-Llama-3-8B-Instruct для вызова функций и генерации ответов в формате JSON. Модель построена на архитектуре Llama и содержит 7,5 млрд параметров; она принимает текст и генерирует текст. Контекст — до 8192 токенов. Карточка демонстрирует двухэтапный сценарий вызова функций, где модель сначала формирует вызов, а затем обрабатывает результат.

QuantFactory/Meta-Llama-3-8B-Instruct-function-calling-json-mode-GGUF — квантизированная версия модели hiieu/Meta-Llama-3-8B-Instruct-function-calling-json-mode, созданная с помощью llama.cpp. Исходная модель дообучена hiieu на Meta-Llama-3-8B-Instruct для вызова функций и генерации ответов в формате JSON. В README также указано использование Unsloth и библиотеки TRL при обучении. Модель предназначена для текстовой генерации, включая диалоговые сценарии, структурированные JSON-ответы и function calling. Для вызова функций используется двухэтапная схема: модель формирует запрос с именем функции и аргументами, после чего получает результат выполнения и генерирует финальный ответ. Указан английский язык. Размер модели — 8 миллиардов параметров; конкретная архитектура и размер контекста в README не уточняются, но модель основана на Meta Llama 3 Instruct. Сильной стороной модели является специализированная настройка для структурированных ответов и интеграции с внешними функциями. Ограничения включают зависимость качества function calling и JSON-генерации от корректного шаблона сообщений и необходимость двух этапов инференса для вызова функций. Лицензия в README не указана.

MiMo-V2.6-Distill-Qwen-9B-GGUF — GGUF-версия агентной модели MiMo-V2.6-Distill-Qwen-9B, разработанной Xiaomi MiMo. Модель представляет собой результат supervised fine-tuning Qwen3.5-9B на данных, сгенерированных MiMo, и предназначена для дальнейших исследований в области агентного обучения с подкреплением. Модель ориентирована на программирование, общие агентные задачи, визуальное программирование и кибербезопасность, а также поддерживает использование инструментов. Объём модели составляет 9 млрд параметров. В README указана поддержка английского языка и pipeline image-text-to-text, а наличие мультимодального проекционного файла указывает на сценарии работы с изображениями и текстом. Доступны варианты квантования от BF16 до Q3_K_L, что позволяет выбирать между качеством и требованиями к памяти; рекомендованными названы Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S и Q6_K. Сильными сторонами заявлены заметные улучшения относительно базовой Qwen3.5-9B в задачах автоматизации, кибербезопасности, работы в терминале и программирования, включая SWE-bench. Ограничения включают зависимость качества и требований к памяти от выбранного варианта квантования, а также отсутствие в README точных сведений о размере контекстного окна и подробностей о поддерживаемых языках помимо английского. Лицензия указана как other; базовая модель Qwen3.5-9B распространяется под Apache-2.0, но условия лицензирования данного репозитория требуют отдельной проверки.

MiniCheck-DeBERTa-v3-Large — англоязычная модель для проверки фактической обоснованности утверждений по исходному документу, разработанная авторами работы MiniCheck: Efficient Fact-Checking of LLMs on Grounding Documents. Это дообученная для классификации последовательностей модель DeBERTa-v3-Large с 533,8 млн параметров и контекстом 512 токенов. На вход подаются документ и отдельное утверждение; модель выдаёт бинарную метку: 1, если утверждение подтверждается документом, и 0, если нет. Модель предназначена для проверки фактов в ответах языковых моделей и оценки того, насколько отдельные предложения опираются на предоставленные источники. Авторы сообщают, что на бенчмарке LLM-AggreFact она превзошла другие специализированные фактчекеры сопоставимого размера. Обучение включало данные ANLI и синтетические примеры. Модель использует PyTorch и распространяется по лицензии MIT. Проверка выполняется на уровне предложений и требует документа-основания; модель сама по себе не подтверждает утверждения с помощью внешних источников. Авторы оценивали её на реальных утверждениях без искусственно внесённых типов ошибок, поэтому результаты на таких изменённых примерах не охарактеризованы.

Это пакет GGUF-слоёв модели Mistral-Small-3.2-24B-Instruct-2506-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого инференса. Пакет создан из unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF и сохраняет веса в виде отдельных артефактов по слоям для запуска на кластере Mesh LLM. Модель предназначена для локального диалогового инференса, в том числе на нескольких машинах, когда полный GGUF-файл трудно разместить на одном узле. Через Mesh LLM она поддерживает чат и совместимый с OpenAI интерфейс chat completions. Репозиторий содержит вариант UD-Q4_K_XL в формате GGUF layer-package; сведения об архитектуре, контекстном окне, языках и лицензии следует сверять с карточкой исходной модели.

massaindustries/modernbert-capability-classifier — дообученная модель классификации текста на базе ModernBERT-base от Answer.AI. Она оценивает текст по шести измерениям возможностей: следование инструкциям, программирование, математические рассуждения, знания о мире, планирование и агентные задачи, творческий синтез. Модель предназначена для маршрутизации запросов в семантическом роутере Brick и может служить заменой классификатору предметных областей. Архитектура — ModernBERT с линейным классификационным слоем на шесть выходов; модель выдаёт оценки от 0 до 1 для каждого измерения и поддерживает многометочную классификацию. Она обучена на massaindustries/dataset-B-modernbert-train с мягкими метками. Число параметров — 394,7 млн, максимальный контекст — 8192 токена. Для применения нужна токенизация текста; выходы представляют собой оценки классов, а не готовые ответы на запросы. Лицензия — Apache-2.0.

Jeevesh8/multiberts_seed_1_ft_4 — модель классификации текста на базе BERT/MultiBERTs, опубликованная пользователем Jeevesh8 и представленная на Hugging Face. Она предназначена для присвоения тексту одного или нескольких классов в прикладных NLP-конвейерах. Модель содержит около 136,7 млн параметров и поддерживает контекст до 512 токенов. В метаданных указаны Transformers, JAX и BERT; связанный с MultiBERTs первоисточник Google описывает семейство как набор BERT-моделей для английского языка, предназначенных для исследований устойчивости и последующей адаптации к задачам классификации. Основное преимущество — готовая адаптация BERT-представлений к классификационному сценарию и совместимость с экосистемой Hugging Face. Ограничения включают максимальную длину контекста 512 токенов и зависимость качества от данных и классов, использованных при дообучении; точная схема меток для этого варианта из доступных источников не установлена.

NeoHorse-1-9B-MERNIK-GGUF — семейство GGUF-квантизаций базовой модели TokenRhythm/NeoHorse-1-9B, подготовленное пользователем wepiqx методом MERNIK. Модель предназначена для генерации текста и кода, включая задачи программирования на Python и разработку небольших проектов. В карточке указана поддержка английского языка; по результатам тестов модель также способна генерировать русский текст и интерфейсы. Архитектура базовой модели и максимальная длина контекста не раскрыты, однако для проверки использовался контекст 8192 токена, а в рекомендациях предлагается 16384 токена. Доступны варианты размером примерно от 3,65 до 6,83 ГБ с разными уровнями квантования, включая Q2, Q4, Q8 и F16. Сильной стороной являются возможности генерации рабочего кода при существенно меньшем размере по сравнению с полноточными вариантами. В тесте HumanEval версия MERNIK-6500-Q8 показала pass@1 85,98% (141 из 164 задач), а MERNIK-5100-Q4 — 82,93%; младшая версия MERNIK-3650-Q2 достигла 23,78% и подходит преимущественно для коротких функций, но не для полноценных проектов. Результаты зависят от размера квантизации, настроек выборки и доступного контекста. Для сложных рассуждений и длинных задач рекомендуется увеличенный лимит генерации; при слишком малом бюджете модель может не раскрыть потенциал. Для запуска заявлена совместимость с llama.cpp и llama-server, включая шаблон чата Jinja. Модель распространяется по лицензии Apache-2.0. В README приведены рекомендации по параметрам генерации, включая temperature 0,6, top_p 0,95 и top_k 20 для практической работы с кодом; использование presence_penalty 1,5 не рекомендуется, поскольку оно вызывало сбои на тестовом стенде.

Это пакет слоёв GGUF для запуска NVIDIA Nemotron 3 Ultra 550B A55B в распределённой среде Mesh LLM. Его подготовила команда Mesh LLM на основе unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF; вариант UD-Q4_K_S разбивает исходную модель на артефакты по слоям для распределённого вывода на нескольких локальных машинах. Пакет предназначен для локального приватного чат-инференса и сценариев, в которых полная модель слишком велика для одного узла. Mesh LLM может обслуживать запросы через совместимый с OpenAI API, включая endpoint /v1/chat/completions. Модель принимает текст и генерирует текст; в метаданных заявлена задача text-generation и возможность chat. Репозиторий содержит layer-package в формате GGUF и ссылается на квантованный вариант UD-Q4_K_S исходной модели. Размер исходной модели — 550B параметров по её идентификатору, но точный размер пакета и длина контекста в предоставленных данных не указаны. Лицензионные условия следует сверить с карточкой исходной модели, на которую ссылается README.

OpenAgent-8b-i1-GGUF — квантованная версия языковой модели на 8 млрд параметров, созданная mradermacher на основе OrionLLM/Terminus-Qwen3-8b и обучавшаяся с использованием набора данных OrionLLM/OpenAgentInstruct. Модель ориентирована на генерацию текста, агентские сценарии, рассуждения и работу с терминалом, включая задачи, связанные с разработкой программного обеспечения и оцениванием в SWE-bench. Указан английский язык. Модель распространяется в формате GGUF и доступна в вариантах с разными уровнями квантования — от IQ1 до Q6_K. Это позволяет выбирать компромисс между размером файла, скоростью работы, требованиями к памяти и качеством: например, Q4_K_M обозначен как быстрый и рекомендуемый вариант, а Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Низкобитные варианты могут заметно уступать по качеству, тогда как более крупные варианты требуют больше ресурсов. Сведения об архитектуре, размере контекста, дополнительных модальностях и точных языковых возможностях, кроме английского, не приведены. Лицензия модели — Apache-2.0. README описывает в основном процесс квантования и доступные файлы, поэтому результаты применения, ограничения в конкретных задачах и характеристики исходной модели, не указанные явно, требуют самостоятельной проверки.

duyntnet/OpenCodeReasoning-Nemotron-1.1-7B-imatrix-GGUF — это GGUF-квантизации языковой модели OpenCodeReasoning-Nemotron-1.1-7B, разработанной NVIDIA. Модель создана на основе Qwen2.5-7B-Instruct и дообучена для пошагового рассуждения и генерации кода. Она предназначена для текстовой генерации, прежде всего для решения задач программирования и кодинга. Модель поддерживает контекст длиной до 64 тысяч токенов, работает с текстом и заявлена для английского языка. Размер базовой модели — 7B параметров; конкретные характеристики, точность и требования к ресурсам зависят от выбранного варианта квантизации GGUF. Для запуска подходят llama.cpp, KoboldCPP, text-generation-webui, Jan и LM Studio. В тестах LiveCodeBench v5 модель показала Pass@1 55,5, превысив показатели ряда других дистиллированных моделей сопоставимого размера. Сильными сторонами являются специализация на рассуждении при генерации кода, большой контекст и возможность локального запуска через распространённые inference-инструменты. Ограничения включают ориентацию преимущественно на английский язык, зависимость качества и потребления ресурсов от квантизации, а также отсутствие в README подробностей о точных параметрах отдельных GGUF-файлов. В карточке указана лицензия other; исходная модель описана как доступная для коммерческого и некоммерческого использования, однако точные условия лицензии следует уточнять отдельно.

OpenCSG-CodeLlama-34b-v0.1 — созданная сообществом OpenCSG модель генерации кода, полученная полнопараметрической донастройкой CodeLlama-34b-hf. Это плотная авторегрессионная модель семейства Llama с 33,5 млрд параметров и контекстом до 16 384 токенов; опубликованные веса представлены в формате safetensors. Модель предназначена для генерации и дополнения программного кода. Её можно применять для написания функций по описанию, продолжения фрагментов кода и решения задач программирования; в карточке указано, что обучающие данные охватывают несколько языков программирования, хотя отдельные языки не перечислены. README приводит оценку серии на HumanEval, но показанный фрагмент не содержит результатов именно версии 34B. Модель распространяется по лицензии Llama 2. Результаты генерации зависят от промпта и параметров декодирования; представленных в карточке оценок недостаточно, чтобы судить о качестве версии 34B на разных практических задачах.