II.10Разработка и эксплуатация AI/ML-систем
В разделе собраны самостоятельные задачи, где AI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
49 000 моделейsamarthramesh/gaperon-mmbert-hindi — классификатор качества текста на хинди, разработанный в рамках конвейера подготовки данных Gaperon и дообученный на базе jhu-clsp/mmBERT-base. Для входного фрагмента модель предсказывает оценки low, medium или high по шести измерениям: ясность, связность, глубина, грамматика, полезность и общая оценка. Её назначение — оценивать и фильтровать веб-тексты и корпусные примеры перед обучением других моделей. В основе лежит многоязычный энкодер ModernBERT с 306,9 млн параметров и контекстом до 8192 токенов. Представления токенов усредняются, после чего шесть отдельных линейных голов выполняют классификацию по трём классам. Модель обучалась на размеченном корпусе текстов на хинди; лицензия — MIT. На тестовых данных значения F1 по приведённым в карточке измерениям составляют примерно 0,54–0,59, поэтому оценки подходят как сигнал для фильтрации, но не как эталонная разметка. Перенос на другие языки, домены и жанры не подтверждён. Классификационные головы хранятся отдельно в heads.pt и требуют специальной загрузки; стандартный AutoModelForSequenceClassification их не загружает.
rnagabh/gemma4-vision-encoder — извлечённый из мультимодальной Gemma 4 31B компании Google DeepMind энкодер изображений на основе ViT. Он преобразует изображения в последовательности визуальных признаков размерности 1152; в архитектуре используются 27 слоёв, 2D RoPE и обучаемые позиционные эмбеддинги. Модель предназначена для извлечения признаков и построения систем компьютерного зрения, например классификаторов на основе линейного классификатора поверх эмбеддингов. В README приведён результат 94% точности линейного классификатора на CIFAR-10. Энкодер принимает изображения после предобработки через Gemma4ImageProcessor, который выполняет изменение размера, разбиение на патчи, нормализацию и формирование позиционных ID. Модель поддерживает изображения с разными соотношениями сторон и выдаёт визуальные признаки; для разделения результатов пакетной обработки нужно учитывать число soft-токенов на изображение. Это извлечённая и дообученная часть google/gemma-4-31B-it, веса BF16 в формате safetensors. Лицензия — Apache 2.0.
GLM-5.3-Flash-DFlash2 — черновая модель DFlash 2 на 1,6 млрд параметров для ускорения генерации текста базовой GLM-5.3-Flash. Это не самостоятельная языковая модель: она работает внутри сервера спекулятивного декодирования вместе с целевой моделью zai-org/GLM-5.3-Flash, которая проверяет предложенные токены. В метаданных указаны архитектура семейства Qwen3, класс DFlash2DraftModel и формат safetensors. Модель за один проход предсказывает блок токенов и сохраняет несколько кандидатов для каждой позиции; лёгкий селектор строит из них согласованную последовательность. По README, двухтактные динамические свёртки помогают сохранять качество предсказаний в конце блока. Декодирование заявлено как без потерь: жадный вывод совпадает с выводом целевой модели, а при сэмплировании сохраняется её распределение. Контекст базовой модели указан в метаданных как 1 048 576 токенов; это характеристика базовой модели, а не самостоятельный контекстный режим черновой модели. Модель предназначена для интеграции со SGLang и спекулятивного декодирования GLM-5.3-Flash. Контрольная точка опубликована 27 августа 2026 года; результаты бенчмарков, согласно README, ещё перепроверяются. Лицензия CC BY-NC-ND 4.0 ограничивает использование и распространение производной версии; перед внедрением следует проверить её условия и совместимость с лицензией базовой модели.
Gorilla 7B — авторегрессионная языковая модель на архитектуре Transformer/LLaMA, разработанная командой Gorilla LLM из UC Berkeley и дообученная на весах LLaMA. Эта версия содержит 6,6 млрд параметров и распространяется в формате PyTorch fp16; в карточке указано окно контекста 2048 токенов. Модель предназначена для вызова API по запросам на естественном языке: она генерирует синтаксически и семантически корректные вызовы функций, в том числе для API Hugging Face. Авторы описывают обучение на более чем 1600 API и подход, направленный на снижение галлюцинаций при выборе и формировании вызовов. Это специализированная модель для работы с инструментами, а не универсальный чат-ассистент. Для этой публикации README сообщает о слиянии delta-весов с последующей выгрузкой в fp16. В метаданных лицензия обозначена как other, тогда как README указывает Apache-2.0; условия лицензии следует сверять с файлами репозитория и источниками базовых весов.
Gorilla Falcon 7B HF v0 — авторегрессионная языковая модель на архитектуре Transformer, разработанная командой Gorilla LLM при UC Berkeley и дообученная на весах Falcon для работы с API Hugging Face. Она принимает запросы на естественном языке и генерирует вызовы API, помогая выбирать подходящие инструменты и формировать обращения к ним без примеров в запросе. Модель обучалась на APIBench; в метаданных указано 10,9 млрд параметров, формат PyTorch и поддержка английского языка. Лицензия — Apache-2.0. Модель предназначена для интеграции в приложения и агентные системы, которым нужно выполнять задачи через API Hugging Face, например подбирать библиотечные инструменты для генерации изображений по текстовому запросу. Её сильная сторона — специализация на вызовах API и понимании естественных запросов. Карточка описывает версию v0; в ней нет сведений о длине контекста и подробной оценке качества или ограничений, поэтому надёжность конкретных API-вызовов следует проверять в целевом сценарии.
Ray2333/gpt2-large-helpful-reward_model — модель на базе GPT-2 Large, обученная разработчиком на наборе Anthropic/hh-rlhf helpful dataset. Она предназначена для классификации ответов ассистента по полезности и может использоваться как reward model в конвейерах RLHF для оценки или отбора ответов. Модель имеет архитектуру GPT2ForSequenceClassification, принимает текст и выдаёт результат классификации. Максимальная длина контекста составляет 1024 токена. В README указана точность 0,72621 на тестовой выборке; автор отмечает, что результат близок к показателям более крупных моделей. Для инференса нужно использовать форматирование примеров, соответствующее Anthropic/hh-rlhf. Модель обучена на helpful-части датасета и отличается от reward-моделей, обученных на полном наборе. Лицензия — MIT.
Mungert/gpt-oss-safeguard-20b-GGUF — это GGUF-квантизированная версия модели gpt-oss-safeguard-20b, разработанной OpenAI и преобразованной с помощью llama.cpp. Модель предназначена для задач безопасности: классификации текстового контента по заданным пользователем политикам, фильтрации входов и выходов LLM, разметки онлайн-контента и офлайн-сценариев Trust and Safety. Модель основана на gpt-oss и использует архитектуру Mixture of Experts. Она содержит около 21 млрд параметров, из которых активно используется около 3,6 млрд, и может работать на GPU с 16 ГБ VRAM. Поддерживает настраиваемый уровень рассуждений — low, medium или high — для баланса между качеством и задержкой. Модель обучена работать в формате ответов harmony и, согласно карточке, может работать некорректно без него. Она интерпретирует текстовую политику безопасности, что позволяет адаптировать её к разным продуктам и сценариям без значительной дополнительной инженерной настройки. Сильными сторонами являются специализированное рассуждение о безопасности, объяснимые решения с доступом к процессу рассуждений и возможность выбора уровня вычислительных затрат. GGUF-версия использует экспериментальный подход к квантизации с повышением точности отдельных важных слоёв, что увеличивает размер файла, но может улучшать точность при низкой разрядности, особенно для MoE-моделей. Ограничения включают узкую ориентацию на сценарии безопасности, необходимость применения harmony-формата и то, что необработанный процесс рассуждений предназначен для разработчиков и специалистов по безопасности, а не для показа обычным пользователям. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование без copyleft-ограничений.
prismdata разработала компактную корейскоязычную модель классификации на базе BERT для одновременного обнаружения разжигания ненависти и промпт-инъекций. Она предназначена для проверки пользовательских запросов и ответов LLM, а также для автоматической модерации комментариев и другого контента. Модель использует архитектуру BertForSequenceClassification с 12,4 млн параметров и классифицирует текст по 11 классам, включая SAFE и категории дискриминационных высказываний. Контекст ограничен 256 токенами. Обучение проводилось на 202 313 примерах с использованием KoSBi-v2, K-MHaS и BEEP. В README указаны метрики тестовой выборки: accuracy 0,9252, macro precision 0,7033 и macro recall 0,6839. Модель оптимизирована для корейского языка, поэтому на других языках качество может быть ниже; новые виды промпт-инъекций могут требовать дополнительного обучения. Распространяется по лицензии GPL-3.0.
HuBERT Extra-Large — модель самоконтролируемого обучения речевым представлениям, разработанная Facebook AI Research. Она принимает речевой аудиосигнал с частотой дискретизации 16 кГц и извлекает из него признаки; для распознавания речи, идентификации говорящего, классификации намерений или эмоций модель нужно дообучить под соответствующую задачу. Архитектура основана на HuBERT и использует BERT-подобное предсказание скрытых акустических единиц на замаскированных участках. Модель предварительно обучена на Libri-Light; в карточке указано около 1,3 млрд параметров и доступны форматы PyTorch и TensorFlow. Лицензия — Apache-2.0. Для корректной работы входную речь нужно подавать с частотой 16 кГц; сама модель не является готовой системой распознавания или классификации без дообучения.
NVIDIA Kimi-K2.6 Eagle3 — вспомогательная модель Eagle head для Moonshot AI Kimi-K2.6, предназначенная для ускорения авторегрессионной генерации с помощью спекулятивного декодирования. Она обучена на синтетических ответах целевой модели и интегрируется с Model Optimizer; архитектура указана как Transformers / DeepSeek V3, размер — 1,8 млрд параметров. При длине чернового продолжения 3 README сообщает среднюю длину принятой последовательности 2,62 токена на MT-Bench и 2,67 на качественной подвыборке SPEED-Bench. Модель рассчитана на применение в чат-ботах, агентных системах, RAG и других приложениях, где нужна более быстрая генерация ответов, кода и инструкций. Карточка указывает мультимодальный ввод текста, изображений и видео, текстовый вывод и контекст до 256 тыс. токенов. Для инференса заявлена интеграция с TensorRT-LLM на системах NVIDIA Blackwell под Linux. README разрешает коммерческое и некоммерческое применение в соответствии с NVIDIA Open Model License; конкретные ограничения производительности и совместимости зависят от конфигурации serving-системы.
bizreach-inc/light-splade-japanese-56M — японская модель SPLADE для разреженного информационного поиска, опубликованная BizReach. Она кодирует запросы и документы в интерпретируемые разреженные векторы с весами токенов, пригодные для семантического поиска, извлечения документов и ранжирования. Модель основана на компактной архитектуре BERT с 12 слоями и 8 головами внимания, содержит 67,1 млн параметров по метаданным и обрабатывает последовательности длиной до 2048 токенов. Для токенизации используются японский токенизатор BERT, MeCab и WordPiece; модель обучена на японской части mMARCO с алгоритмом SPLADE++. На dev-наборе mMARCO-ja указаны MRR@10 0,4022, NDCG@10 0,45 и Recall@10 0,6411. Модель предназначена прежде всего для японского текста; качество может снижаться на предметных корпусах, отличающихся от mMARCO. Разреженные представления удобны для поиска по термам, но могут не передавать все нюансы семантики плотных векторов; также возможны ограничения словаря и смещения обучающих данных. Репозиторий распространяется по лицензии Apache-2.0.
Trelis дообучила эту модель на основе Llama 2 Chat для вызова функций: она формирует текстовые ответы и запросы к функциям в формате метаданных, совместимом с OpenAI. Это авторегрессионная плотная Transformer-модель семейства Llama с 6,6 млрд параметров и контекстом 4096 токенов. Модель предназначена для диалоговых приложений, которым нужно выбирать функции и передавать им аргументы, например для интеграции чат-ассистента с инструментами. Для работы следует передавать описания функций вместе с запросом в формате Llama `[INST]`. Данные обучения для версии v3 связаны с набором Trelis/function_calling_v3. Модель принимает и генерирует текст; заявленная языковая ориентация — английский. Возможны неточные, предвзятые или нежелательные ответы, а качество вызова функций зависит от формата запросов и описаний функций. Модель распространяется по лицензии Llama 2 Community; для доступа к весам необходимо принять условия лицензии Meta.
RedHatAI/Llama-3.1-8B-Instruct-speculator.eagle3 — спекулятивная модель-драфтер от Red Hat для ускорения генерации текста базовой моделью meta-llama/Llama-3.1-8B-Instruct. Она реализует архитектуру Eagle3Speculator и алгоритм спекулятивного декодирования EAGLE-3; обучена на наборах Aeala/ShareGPT_Vicuna_unfiltered и HuggingFaceH4/ultrachat_200k. Модель предназначена для использования вместе с указанной базовой моделью в vLLM и рассчитана на чатовый шаблон Llama 3.1 через endpoint /chat/completions. Это вспомогательная модель для генерации кандидатов, а не самостоятельная замена базовой Llama. Она может повышать скорость генерации при совместном запуске, но выигрыш зависит от сценария и настроек; в README приведены бенчмарки на одной A100, однако таблицы результатов опущены. Репозиторий содержит веса в формате safetensors. Лицензия — llama3.1.
QuantFactory/Llama-3-Patronus-Lynx-8B-Instruct-GGUF — квантизированная версия Patronus-Lynx-8B-Instruct, разработанная Patronus AI на основе дообученной Meta-Llama-3-8B-Instruct. Модель предназначена для оценки галлюцинаций и фактической согласованности ответов в сценариях Retrieval-Augmented Generation (RAG): по вопросу, документу и ответу она определяет, подтверждается ли ответ содержанием документа и не добавляет ли он новую или противоречащую информацию. Модель имеет около 8 миллиардов параметров, поддерживает преимущественно английский язык и максимальную длину последовательности до 8000 токенов. Она создана с использованием llama.cpp и обучена на 2400 примерах из CovidQA, PubmedQA, DROP и RAGTruth, включая синтетически сформированные галлюцинации; дообучение проводилось в течение трёх эпох. Рекомендуемый результат — вердикт PASS или FAIL с объяснением в JSON-формате. В README заявлено превосходство над GPT-3.5-Turbo, GPT-4-Turbo, GPT-4o и Claude Sonnet на наборе PatronusAI/HaluBench, однако конкретные метрики не приведены. Модель сильна в специализированной проверке faithfulness ответов относительно предоставленного документа, но её назначение ограничено обнаружением галлюцинаций, а не универсальной генерацией текста; качество для языков, кроме английского, не описано. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и ограничивающей коммерческое применение.
LlavaGuard-v1.0-34B — мультимодальная языковая модель с архитектурой Llava/Llama, разработанная командой AIML-TUDA для оценки безопасности изображений и отбора визуальных данных. Она принимает изображение вместе с текстовым запросом и формирует текстовый ответ в диалоговом режиме; авторы представили её в работе LLAVAGUARD: VLM-based Safeguards for Vision Dataset Curation and Safety Assessment. Модель содержит 33,9 млрд параметров и рассчитана на контекст до 4096 токенов. Репозиторий содержит веса safetensors, преобразованные для SGLang; карточка также указывает совместимость с реализацией LLaVA. Версия несовместима с реализацией Transformers из Hugging Face. Авторы сообщают о возможности дообучения через LoRA или полного fine-tuning. Условия лицензии в предоставленных данных не описаны.
Mankei-326M-Reranker — немецкий кросс-энкодерный ранжировщик от Keyvan AI с 326,4 млн параметров на архитектуре Llama. Он оценивает пары «запрос — фрагмент текста» и переупорядочивает найденные документы, уточняя результаты первого этапа поиска в RAG-системе. Модель рассчитана на немецкоязычный поиск и локальное развёртывание; контекст — до 2048 токенов. В README сообщается о результатах на отложенных вопросах GermanDPR: Acc@1 92,8% и MRR 0,963; это результаты указанного автора тестирования. Модель обучена с учителем на GermanDPR с listwise loss и жёсткими негативными примерами; использует last-token pooling и линейный слой релевантности, а LoRA применялась к немецкой базовой модели Mankei. Лицензия — Apache-2.0. Предназначена для ранжирования текстовых кандидатов, а не для генерации ответов; качество за пределами описанного немецкоязычного бенчмарка README не устанавливает.
mHuBERT-147 — компактная многоязычная модель HuBERT, разработанная в рамках европейского проекта UTTER. Это первая итерация модели на архитектуре HuBERT base: в README указано 95 млн параметров, а метаданные репозитория сообщают 113,3 млн. Модель обучена на 90 тысячах часов открытых аудиоданных на 147 языках с использованием дискретных речевых единиц, полученных с помощью Faiss IVF; для обучения применялась повышенная выборка по языкам и источникам данных. Модель предназначена для извлечения речевых признаков и как основа для многоязычных речевых задач, включая распознавание речи и определение языка. В README сообщается о высоких результатах на тестах ML-SUPERB, в том числе о сильных позициях в лидербордах для сценариев с ограниченными обучающими данными и результатах уровня SOTA в трёх задачах определения языка. Репозиторий содержит исходный чекпойнт Fairseq, конвертированную версию для Hugging Face Transformers и индекс Faiss. Поддерживается 147 языков; в метаданных перечислена часть языковых тегов, а README отдельно указывает языки, не индексируемые Hugging Face. Лицензия — CC-BY-NC-SA-4.0, поэтому при использовании необходимо соблюдать её условия, включая ограничения на коммерческое применение и распространение производных материалов. Это первая итерация: README указывает, что более сильная версия доступна в третьей итерации.
MiniCPM5-1B-Agentic-Tooluse-v3-Merged-FP16 — компактная причинная языковая модель семейства Llama, разработанная на базе openbmb/MiniCPM5-1B и дообученная для вызова инструментов в агентных системах. Она получает текстовый запрос и описание доступных инструментов, а затем формирует структурированный вызов с именем функции и аргументами. Модель рассчитана на работу с Transformers, vLLM и SGLang, в том числе в локальных, периферийных и высоконагруженных сервисах. По README, обучение включало QLoRA supervised fine-tuning и последующее GRPO-обучение с подкреплением, направленное на точность выбора функции и заполнения аргументов. Весовая версия объединена в один чекпойнт FP16 в формате safetensors; размер модели в метаданных — 837,6 млн параметров, контекст — до 131 072 токенов. В README заявлена точность точного совпадения аргументов 74,67% на отложенной выборке из 300 примеров ToolACE. Модель подходит для локальных агентных бэкендов и сценариев, где важны стоимость, задержка и контроль над данными. Известное ограничение — модель может продолжать генерировать заполняющий текст после вызова инструмента; заявленные показатели основаны на небольшой тестовой выборке. Лицензия — Apache-2.0.
MiniLMv2-toxic-jigsaw-onnx — англоязычная модель классификации токсичности текста, разработанная minuva. Она дообучена на наборе данных первого соревнования Jigsaw по классификации токсичных комментариев с использованием unitary/toxic-bert в качестве учителя. Модель предназначена для выявления токсичных, оскорбительных и содержащих hate speech комментариев, включая сценарии автоматической модерации и фильтрации пользовательского контента. В основе лежит MiniLMv2-L6-H384, дистиллированная версия BERT Large, адаптированная для sequence classification. Модель экспортирована в формат ONNX и подвергнута int8-квантизации; заявленный размер — около 23 млн параметров. Поддерживается английский язык, максимальная длина входа составляет 256 токенов. Для запуска предусмотрены Optimum с ONNX Runtime и прямое использование ONNX Runtime, включая CPU- и CUDA-выполнение. По ROC-AUC на тестовом наборе модель получила 0,98130 против 0,98636 у модели-учителя unitary/toxic-bert размером 110 млн параметров. К сильным сторонам относятся существенно меньший размер по сравнению с учителем, квантизация и возможность облегчённого развёртывания, в том числе на CPU. Ограничения включают англоязычную специализацию, ограничение длины входа и некоторое снижение качества относительно teacher-модели; README не содержит подробностей о точности на других доменах и языках. Модель распространяется по лицензии Apache-2.0.
hendrydong/Mistral-RM-for-RAFT-GSHF-v0 — модель вознаграждения на базе Mistral-7B-Instruct-v0.2, предназначенная для классификации последовательностей. Её загружают через AutoModelForSequenceClassification с одним выходным значением; такой формат подходит для оценки ответов или предпочтений в сценариях обучения с обратной связью от человека. Модель имеет плотную архитектуру Mistral и около 7,1 млрд параметров. Метаданные указывают контекст длиной до 32 768 токенов и формат весов safetensors. README называет базовую модель, но не уточняет данные обучения, метрики качества или условия лицензии.
Это текстовая базовая модель семейства Mistral, опубликованная Unsloth как производная от Mistral-Small-24B-Base-2501, разработанной командой Mistral AI. Она предназначена для генерации текста, дальнейшего дообучения и создания разговорных и агентных приложений. Модель имеет плотную архитектуру MistralForCausalLM и 23,4 млрд параметров; нативное контекстное окно составляет 32 768 токенов. Карточка указывает поддержку многих языков, включая английский, французский, немецкий, испанский, итальянский, китайский, японский, корейский, португальский, нидерландский и польский. Среди заявленных возможностей семейства — следование инструкциям, рассуждения, вызов функций и выдача JSON; этот репозиторий классифицирован для генерации текста. Веса доступны в формате safetensors, библиотека — Transformers. Лицензия Apache 2.0 разрешает использование и модификацию, в том числе в коммерческих целях. Это базовый чекпойнт, а не указанная в README instruct-версия; сведения о разговорных и агентных возможностях в карточке относятся к описываемому семейству и не гарантируют тот же уровень поведения у базовой модели без дообучения. Для запуска на GPU README указывает более 60 ГБ видеопамяти; локальный запуск на меньшем оборудовании зависит от квантизации.
MLM-Filter-13B — мультимодальная модель семейства LLaVA, разработанная Weizhi Wang и соавторами для оценки качества пар «изображение—текст». Она выдаёт четыре оценки: соответствие изображения тексту, полноту описания объектов, качество текста подписи и семантическое понимание. Модель предназначена для фильтрации обучающих данных, оценки согласованности изображений и текстов в системах генерации изображений и подписей, а также для сценариев, где требуется оценить их соответствие. Модель содержит 12,9 млрд параметров, использует архитектуру LlavaLlamaForCausalLM и имеет контекст до 4096 токенов. Обучение включало инструкции из набора LLaVA-1.5 и примеры оценки качества пар изображение—текст. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Карточка не сообщает об ограничениях точности или поддерживаемых языках; оценки качества следует рассматривать в контексте описанных метрик и данных.
MobileNet V1 — сверточная модель классификации изображений, разработанная авторами статьи «MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications» и предварительно обученная на ImageNet-1k. Эта версия рассчитана на изображения размером 224×224 пикселя и классифицирует их по 1000 классам ImageNet. Модель создана для эффективного распознавания изображений при ограничениях на задержку, размер и энергопотребление, в том числе на мобильных устройствах. Архитектуру можно адаптировать для классификации, обнаружения объектов, построения эмбеддингов и сегментации, однако эта версия предназначена непосредственно для классификации изображений. Модель доступна в формате PyTorch. В репозитории указана лицензия other; конкретные условия использования следует проверять в материалах проекта.
mobilenetv3_large_100.ra_in1k — модель классификации изображений семейства MobileNetV3, предоставленная проектом timm. Она обучена на ImageNet-1k с рецептом RandAugment; в обучении использовались оптимизатор RMSProp с поведением TensorFlow 1.0, усреднение весов EMA и ступенчатое экспоненциальное снижение скорости обучения с разогревом. Модель содержит около 5,5 млн параметров, рассчитана на изображения размером 224 × 224 и требует около 0,2 GMAC на обработку изображения. Её можно использовать для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0.
NbAiLab подготовила эту бета-модель распознавания норвежской речи на основе Qwen3-ASR-0.6B. Чекпойнт взят из обучения `lunde03-verbatim` и предназначен для оценки и тестирования интеграций с пакетом `qwen-asr`, в том числе для локальной транскрибации, пакетной обработки аудио и проверки серверного развертывания. Модель принимает аудио и выдаёт распознанный текст. Карточка описывает её как промежуточный бета-чекпойнт: точность распознавания, форматирование и характеристики работы могут меняться, а результаты пока предварительные. Лицензия указана как `other`; условия использования следует сверить с правообладателем перед развертыванием.
Nomic Embed Code GGUF — модель для создания эмбеддингов, разработанная Nomic и представленная в формате GGUF с квантованиями для llama.cpp. Это квантованная версия базовой модели nomic-ai/nomic-embed-code, предназначенная для поиска и сопоставления программного кода по смыслу, извлечения признаков и использования в системах семантического поиска и RAG. Модель работает с кодом и текстовыми запросами к нему; для запросов требуется префикс «Represent this query for searching relevant code:». Она поддерживает запуск через llama.cpp server и совместимые инструменты с embedding-моделями. Доступны варианты от полноточных FP32, FP16 и BF16 до квантований Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4 и других, что позволяет выбирать баланс между качеством и размером: размер файлов указан примерно от 3,84 до 26,35 GiB. Архитектура, размер контекстного окна, перечень поддерживаемых языков программирования и точные размерности эмбеддингов в README не указаны. Сильная сторона модели — специализация на семантическом поиске по коду и наличие широкого набора квантованных вариантов для локального запуска. Ограничения включают необходимость использовать специальный префикс для запросов и зависимость качества от выбранного уровня квантования; сведения о производительности, поддерживаемых языках и ограничениях по контексту отсутствуют. Лицензия — Apache-2.0.
OmniRewardModel — дообученная мультимодальная дискриминативная модель оценки предпочтений, разработанная авторами проекта OmniReward на базе MiniCPM-o-2_6. К модели добавлена value head, которая выдаёт скалярную оценку вознаграждения для входных данных и свободно сформулированных человеческих предпочтений. Модель предназначена для тонкой оценки соответствия предпочтениям в задачах с текстом, изображениями и видео, а также для оценки моделей на наборах OmniRewardBench. В метаданных указаны архитектура MiniCPMO, 7,1 млрд параметров и контекст 32 768 токенов; для работы используются веса Safetensors и библиотека Transformers. Базовая MiniCPM-o-2_6 также поддерживает аудио, но README OmniRewardModel явно упоминает текст, изображения и видео, поэтому поддержку аудио самой модели нельзя подтвердить. Модель полезна для ранжирования ответов и оценки генераций по заданным предпочтениям. В README не приведены численные результаты качества или конкретные ограничения применимости. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.
pai-bert-base-zh-llm-risk-detection — дообученная модель Alibaba PAI на архитектуре BERT-base для выявления токсичного контента, сгенерированного большими языковыми моделями. Она классифицирует китайский текст и возвращает предсказанную метку и оценку; модель рассчитана на автоматическую проверку LLM-ответов и фильтрацию потенциально вредного контента. Модель содержит 129,5 млн параметров, использует формат PyTorch и принимает последовательности длиной до 512 токенов. Для запуска доступна интеграция с Transformers pipeline для text-classification. В карточке указана лицензия Apache-2.0. Назначение модели ограничено обнаружением токсичности в китайском тексте; её оценка не заменяет контекстную проверку и может ошибаться на неоднозначных или отличающихся от обучающих данных примерах.
Prometheus 13B V1.0 GGUF — квантизированная версия языковой модели Prometheus 13B V1.0, разработанной KAIST AI и преобразованной в формат GGUF командой TheBloke. Модель основана на архитектуре LLaMA, содержит около 13 млрд параметров и предназначена для работы с англоязычным текстом. Основной сценарий использования — оценка качества ответов по заданным критериям. На вход подаются инструкция, оцениваемый ответ, эталонный ответ с максимальной оценкой и рубрика; модель должна сформировать подробную обратную связь и присвоить целочисленный балл от 1 до 5. Она подходит для автоматизированного тестирования и сравнительной оценки ответов instruction-following моделей, но не является универсальным чат-ассистентом. Файлы GGUF поддерживают запуск через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, LM Studio, KoboldCpp и llama-cpp-python. Квантизация позволяет выполнять инференс на CPU и GPU с различными вариантами разрядности, однако конкретный компромисс между требованиями к памяти, скоростью и качеством зависит от выбранного файла. Модель работает только с текстом; размер контекста в предоставленных данных не указан. Лицензия — Apache 2.0.
Pyrrho v2 nano g1 — англоязычная модель классификации текста от yafitzdev для поддержки конвейеров генерации с дополнением извлечёнными данными (RAG). Она дообучена на базе answerdotai/ModernBERT-base и содержит около 149 млн параметров. Модель использует один энкодер в двух режимах: до поиска оценивает намерение запроса и полезные виды свидетельств, а после поиска оценивает, поддерживают ли предоставленные фрагменты ответ, и определяет причину возможной недостаточности или конфликта. Контекст модели по метаданным — до 8192 токенов, но опубликованная схема инференса обрезает вход до 2048 токенов. Выход состоит из 18 логитов, разделённых на четыре головы: вердикт по свидетельствам, режим сбоя, намерения поиска и типы свидетельств. Для интерпретации требуется собственная логика декодирования и пороги в окружающей системе; стандартный конвейер text-classification Hugging Face не декодирует эти головы корректно. Модель не ищет источники, не формирует ответы или цитаты и не проверяет внешние факты. В README отмечены утечки одинаковых входов между обучением и оценкой, синтетические наборы и слабые результаты отдельной калибровочной диагностики, поэтому качество на реальном трафике не подтверждено. Доступны веса Safetensors и экспорты ONNX, включая динамический INT8; лицензия CC BY-NC 4.0.