II.10Разработка и эксплуатация AI/ML-систем

SafeEdit-Safety-Classifier — классификатор безопасности текста от ZJUNLP, предназначенный для оценки ответов больших языковых моделей в контексте их детоксикации с помощью редактирования знаний. Модель использует архитектуру RoBERTa и класс RobertaForSequenceClassification; размер составляет 454,1 млн параметров, максимальная длина контекста — 514 токенов. Модель принимает текст и выдаёт классификацию, которую можно использовать для проверки ответов LLM на безопасность. Карточка показывает загрузку весов и токенизатора через Transformers. Модель опубликована под лицензией Apache-2.0. Карточка не описывает метки классов, пороги, языки обучения или качество классификации.

SEAD-SAGE-4B — языковая модель Everywhere Safety для проверки ожидаемых действий инструментов в агентных системах. Она принимает контекст диалога и сведения о состоянии системы, может запрашивать ограниченные данные только для чтения, а затем выдаёт структурированное решение pass или block для разрешения либо блокировки действия. Модель построена на Qwen3-4B-Instruct-2507 и дообучена полным SFT до второго накопительного этапа обучения. Это плотная модель с 3,7 млрд параметров, рассчитанная на генерацию текста; в репозитории указаны веса BF16 в формате safetensors. Метаданные указывают контекст до 262 144 токенов и поддержку английского языка. Для развёртывания README приводит пример сервинга через vLLM. Модель предназначена для защитной проверки действий агентов, включая оценку момента блокировки с учётом состояния и времени. В README опубликованы офлайн-метрики на фиксированной выборке из 55 вредоносных и 95 доброкачественных траекторий, а также бенчмарк сервинга на 16 запросах; эти результаты не гарантируют качество на других сценариях. Лицензия — Apache-2.0.

cstr распространяет модель google/siglip-base-patch16-384 в формате GGUF для использования с CrispEmbed. Это визуальный энкодер SigLIP ViT-B/16: 12 слоёв, 12 голов внимания и размерность представления 768. Он кодирует изображения размером 384×384, разбитые на 576 патчей 16×16, и выдаёт L2-нормированные эмбеддинги изображения размерностью 768 с усреднением по патчам. Модель предназначена для извлечения признаков и эмбеддингов изображений, например, для поиска похожих изображений и мультимодального поиска по изображениям и тексту в системах на базе SigLIP. В README указана близкая к исходной численная близость для варианта F32: среднее косинусное сходство с версией Hugging Face составляет 0,996. Это визуальный энкодер, поэтому он сам по себе не генерирует текст и не описывает изображения. Репозиторий содержит конверсию в GGUF и/или квантизованные веса без дообучения, слияния или изменения архитектуры; доступна лицензия Apache-2.0 на условиях исходной модели. Размер входного изображения — 384×384; другие размеры и поведение при их обработке в карточке не описаны.

Карточка модели corypaik/silero-vad на Hugging Face совпадает с карточкой istupakov/silero-vad-onnx, поэтому описание составлено по ней. Это модель Silero VAD версии 6.2 в формате ONNX, опубликованная пользователем istupakov для работы с onnx-asr. Она определяет участки речи в аудиозаписи и может использоваться как этап предварительной обработки перед распознаванием речи, например вместе с Parakeet v3 ASR для анализа WAV-файлов. Формат ONNX позволяет запускать модель через совместимые среды выполнения.

tf_efficientnet_b0.in1k — свёрточная модель EfficientNet для классификации изображений и извлечения визуальных признаков. Её обучили авторы EfficientNet на ImageNet-1k в TensorFlow, затем Ross Wightman перенёс веса в PyTorch; модель распространяется через библиотеку timm. Модель содержит около 5,3 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Её можно использовать для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Это компактная модель с небольшими вычислительными затратами, подходящая как визуальная основа для прикладных систем. Её обучение ориентировано на ImageNet-1k, поэтому качество на других предметных областях может потребовать адаптации. Лицензия — Apache-2.0.

allenai/tulu-v2.5-13b-preference-mix-rm — англоязычная модель оценки ответов (reward model) из набора RLHF-моделей Tulu, разработанного Allen Institute for AI. Она основана на Llama 2 13B и дообучена на инструкциях и диалогах из смеси Tulu V2, а затем обучена оценивать предпочтения на наборе preference_big_mixture из Tulu 2.5 Preference Data. Модель предназначена для классификации и оценки текстовых ответов в сценариях обучения и оценки диалоговых помощников. Архитектура — плотная Llama с головой классификации последовательностей, размер — 12,9 млрд параметров, контекст — до 4096 токенов; основной язык — английский. Для корректной работы следует соблюдать шаблон чата токенизатора и завершать сообщение переводом строки. Лицензия — Apache 2.0. Карточка позиционирует модель как исследовательский артефакт.

Vela FactCheck — дообученная модель-классификатор из семейства ModernBERT, разработанная llm-semantic-router. Она определяет, требует ли запрос внешних фактических знаний или поиска по источникам; модель не проверяет истинность утверждения. Число параметров — 306,9 млн, контекст — до 32 768 токенов с учётом специальных токенов. Модель принимает текст и выдаёт метку классификации. В карточке приведена оценка на наборе из 186 проверенных запросов: macro F1 — 88,08, точность — 88,17 по шкале 0–100. Этот набор использовался при выборе модели и не является независимым тестом; результаты не показывают качество на входах длиной 32 тысячи токенов. Модель доступна в форматах Safetensors и ONNX. Лицензия — Apache-2.0.

google/vit-base-patch16-224 — базовая модель Vision Transformer (ViT), опубликованная в репозитории Google и основанная на работе «An Image is Worth 16x16 Words». Веса были преобразованы из timm: сначала из JAX в PyTorch, затем размещены в нескольких форматах. Модель содержит 113,2 млн параметров и лицензирована по Apache-2.0. Модель предварительно обучена на ImageNet-21k и дообучена для классификации на ImageNet 2012. Изображение размером 224×224 представляется как последовательность патчей 16×16 с позиционными эмбеддингами; классификацию выполняет голова на основе токена [CLS]. Основной сценарий — отнесение изображения к одному из 1000 классов ImageNet. Предобученный энкодер также можно использовать как основу для извлечения признаков и обучения классификатора на размеченных данных. ViT позволяет получать полезные визуальные представления для последующих задач классификации. Для результатов дообучения на целевых задачах авторы отмечают преимущество разрешения 384×384; данная версия рассчитана на вход 224×224 и обучение на ImageNet, поэтому качество на других доменах зависит от адаптации. Доступны веса Flax, PyTorch, Safetensors и TensorFlow.

W2v-BERT 2.0 — речевой энкодер на архитектуре Conformer, разработанный Meta и лежащий в основе моделей Seamless. Он предварительно обучен на 4,5 млн часов неразмеченного аудио более чем на 143 языках и предназначен для извлечения речевых представлений, которые можно использовать в качестве основы для последующей настройки систем распознавания речи и классификации аудио. Это базовый чекпойнт без выходной головы для конкретной задачи: для ASR и классификации его необходимо дообучить. В каталоге указано 402,7 млн параметров; в README для версии модели указано 600 млн. Репозиторий содержит веса в формате safetensors. Лицензия — MIT.

facebook/wav2vec2-base — базовая модель Facebook на архитектуре wav2vec 2.0 с 113,3 млн параметров, предварительно обученная на аудиоречи без текстовой разметки. Она принимает речь с частотой дискретизации 16 кГц и обучает представления аудиосигнала с помощью маскирования скрытых представлений и контрастивной задачи. Модель служит основой для систем распознавания речи после добавления токенизатора и дообучения на размеченных аудиозаписях. Такой подход рассчитан на сценарии, где нужно использовать ограниченный объём транскрибированной речи. Репозиторий содержит веса PyTorch; в карточке указан английский язык и датасет LibriSpeech ASR. Это базовая модель предобучения, а не готовая система распознавания: без токенизатора и дообучения на размеченных данных она не выдаёт транскрипцию. Лицензия — Apache-2.0.

protectai/xlm-roberta-base-language-detection-onnx — модель для автоматического определения языка текста. Она разработана как ONNX-конверсия модели papluca/xlm-roberta-base-language-detection с использованием библиотеки Hugging Face Optimum и основана на xlm-roberta-base, дообученной на наборе данных Language Identification. Проект связан с ProtectAI и LLM Guard, однако в README указано, что он архивирован и больше не поддерживается. Модель предназначена для задач классификации последовательностей и языковой идентификации, включая маршрутизацию многоязычных запросов, предварительную обработку текста и проверки в системах безопасности LLM. Архитектура представляет собой трансформер XLM-RoBERTa с классификационной головой на основе линейного слоя поверх pooled output. Поддерживаются 20 языков: арабский, болгарский, немецкий, современный греческий, английский, испанский, французский, хинди, итальянский, японский, нидерландский, польский, португальский, русский, суахили, тайский, турецкий, урду, вьетнамский и китайский. Формат ONNX рассчитан на использование через ONNX Runtime и Optimum. Сильные стороны модели — многоязычность, готовность к эффективному инференсу в ONNX-экосистеме и специализация на определении языка. Ограничение — поддержка только перечисленных 20 языков; сведения о размере модели, максимальной длине контекста, точных показателях качества и других ограничениях в README не приведены. Модель распространяется по лицензии MIT.

xlm-roberta-longformer-base-16384 — многоязычная модель кодирования текста на архитектуре Longformer, созданная на основе весов XLM-RoBERTa без дополнительного предварительного обучения. Версия base содержит 305,2 млн параметров, 12 слоёв и скрытый размер 768; окно внимания — 256 токенов, максимальная длина последовательности — 16 384 токена. Модель предназначена для дообучения под прикладные задачи, требующие представлений длинных текстов: её можно использовать как основу для извлечения признаков и построения специализированных классификаторов или других downstream-моделей. Она рассчитана на многоязычные тексты; среди языков в метаданных есть английский, русский, немецкий, французский, арабский и другие. Репозиторий содержит веса TensorFlow, лицензия — MIT. Это базовая модель представления текста, а не готовый диалоговый помощник или генератор. Качество для конкретной задачи зависит от последующего дообучения; README указывает, что дополнительного предобучения после инициализации весами XLM-RoBERTa не проводилось.

zen-guard-stream-4b — модель для классификации текста и потоковой проверки безопасности контента, разработанная ZenLM на основе Qwen/Qwen3Guard-Stream-4B от Alibaba Qwen. Она предназначена для выявления небезопасного и спорного текста по мере его генерации, например для модерации ответов чат-бота и проверки пользовательских сообщений. Модель имеет плотную архитектуру Qwen3, около 3,7 млрд параметров и контекст до 8192 токенов; карточка указывает английский язык, а базовая модель поддерживает 119 языков и диалектов. Репозиторий содержит веса Safetensors. Лицензия — Apache-2.0, допускающая коммерческое использование. Модель заменена на zenlm/zen3-guard, но её веса сохранены для воспроизводимости.

Карточка модели avsolatorio/01-000-11-0-0-1-0-0_GIST_BAAI_bge-small-en-v1.5-20240126215547-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

AgentDoG-FG-Qwen2.5-7B — дообученная языковая модель из проекта AgentDoG, созданная на базе Qwen/Qwen2.5-7B-Instruct. Она оценивает безопасность полных траекторий автономных агентов, включающих действия и наблюдения на нескольких шагах, и диагностирует причины риска. Модель может классифицировать траекторию как безопасную или небезопасную, а для небезопасной — определять источник риска, тип сбоя и возможный реальный вред. Модель имеет плотную архитектуру Qwen2 и 7,1 млрд параметров, принимает текст и выдаёт текстовые классификационные метки. Она предназначена для оценки и мониторинга системных агентов с инструментами, анализа тестовых траекторий и использования в качестве защитного модуля. В README заявлены оценки на наборах R-Judge, ASSE-Safety и ATBench, однако приведённые результаты относятся к проекту AgentDoG в целом, а не обязательно к этому конкретному чекпойнту. Лицензия — Apache-2.0.

APAR-7B — языковая модель на архитектуре Llama с 6,6 млрд параметров, разработанная авторами метода APAR. Это дообученная на общедоменных данных с иерархической структурой модель, способная планировать генерацию и выполнять авторегрессионное декодирование параллельно. Она предназначена для ускорения генерации текста при обслуживании LLM: APAR обеспечивает ускорение до 2 раз, а в сочетании со спекулятивным декодированием — до 4 раз; также заявлены снижение расхода KV-кэша и вычислений внимания, рост пропускной способности и уменьшение задержки в сценариях высокой нагрузки. Модель принимает текст и генерирует текст, её контекст составляет 2048 токенов. В README нет сведений о лицензии, поэтому условия использования определить нельзя.

NAMAA-Space/Ara-Prompt-Guard_V1 — классификатор, дообученный NAMAA-Space на базе meta-llama/Llama-Prompt-Guard-2-86M для выявления вредоносных запросов на арабском языке. Модель относит входной текст к безопасному или небезопасному классу и предназначена для проверки пользовательских запросов перед передачей их LLM. Её можно применять для обнаружения prompt injection и jailbreak, модерации запросов и как дополнительный защитный слой в арабоязычных интерфейсах и API на базе LLM. Модель построена на архитектуре DeBERTa-v2 для классификации последовательностей, содержит 306 млн параметров и поддерживает контекст до 512 токенов. В README описан датасет дообучения с 13 000 специально собранных арабских примеров и переведёнными примерами атак. Количественные результаты оценки не приведены, а утверждение о превосходстве над другими моделями не подтверждено метриками. Лицензия — Apache-2.0.

Arch-Router-1.5B — компактная языковая модель Katanemo для маршрутизации запросов между моделями. Она анализирует запрос и определяет подходящие для него предметную область и тип действия, чтобы система могла выбрать модель согласно заданным предпочтениям. Модель дообучена на Qwen/Qwen2.5-1.5B-Instruct, имеет архитектуру Qwen2 с 1,5 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для маршрутизации запросов в многомодельных системах и агентных приложениях. Она формирует структурированный ответ с классификацией запроса; настройки соответствия областей и действий моделям задаются в окружающей системе, а не требуют переобучения маршрутизатора. Для работы используется библиотека Transformers, карточка рекомендует применять заданный формат промпта. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

auto-1b — это англоязычный классификатор безопасности вызовов инструментов ИИ-агентами, разработанный ProCreations. Модель дообучена на базе энкодера jhu-clsp/ettin-encoder-1b и использует архитектуру ModernBERT с 1 млрд параметров. Она оценивает предложенный вызов в контексте запроса пользователя и предыдущих действий, чтобы отнести его к разрешённым или требующим отказа; поддерживает контекст до 65 536 токенов. Модель предназначена для проверки действий агента, например чтения файлов, запуска команд и доступа к внешним инструментам. В README сообщается о точности 96,40% и AUROC 0,9928 на тестовой выборке из 3 000 примеров, а также о задержке около 10 мс на вызов. Это результаты авторского бенчмарка, а не гарантия качества на реальном трафике. Ошибочное разрешение опасного действия остаётся возможным, а при пороге 0,5 авторы измерили 3,19% ложных отказов. Модель распространяется в формате safetensors под лицензией Apache-2.0. README рекомендует bf16 для экономии памяти без потери качества на указанном бенчмарке и предостерегает от int8-квантизации из-за заметного числа изменившихся решений.

BAAI/bge-m3-retromae — многоязычная модель BAAI на архитектуре XLM-RoBERTa, предназначенная для предварительного обучения текстовых представлений и задач поиска. Она создана расширением максимальной длины последовательности XLM-RoBERTa до 8192 токенов и дальнейшим обучением по подходу RetroMAE; в отличие от итоговой BGE-M3, эта версия описана как её предобученная основа, а не как готовая модель с унифицированной настройкой dense-, sparse- и многовекторного поиска. Модель принимает текст и формирует признаки, которые можно использовать как основу для поиска по коротким фрагментам и длинным документам, в том числе в многоязычных сценариях. В карточке семейства заявлена поддержка более 100 языков и контекст до 8192 токенов; метаданные указывают 658,7 млн параметров. Репозиторий содержит веса PyTorch, а лицензия — MIT. Карточка отмечает, что итоговая BGE-M3 сочетает несколько режимов поиска, но не приписывает весь этот функционал напрямую варианту retromae. Для прикладной системы поиска может потребоваться дополнительное обучение или настройка; качество на одном языке может уступать специализированным одноязычным моделям.

naver/cocom-v1-128-mistral-7b — модель метода COCOM, разработанного авторами карточки для сжатия контекста в системах генерации с дополненной выборкой (RAG). Она преобразует длинные входные контексты в небольшое число контекстных эмбеддингов, чтобы ускорить генерацию ответов на вопросы; степень сжатия позволяет выбирать компромисс между скоростью и качеством ответа. В карточке заявлено ускорение до 5,69 раза по сравнению с рассмотренными эффективными методами сжатия контекста. Модель основана на дообученной Mistral-7B-Instruct-v0.2 и предназначена для извлечения признаковых представлений из текста. Метаданные указывают библиотеку Transformers, формат safetensors и английский язык карточки. Карточка не сообщает лицензию и не описывает конкретный формат входа для инференса, поэтому эти сведения не приводятся.

CompassJudger-2-32B-Instruct — модель-судья для оценки ответов, разработанная авторами CompassJudger-2 и дообученная на Qwen2.5-32B-Instruct. Она предназначена для попарного сравнения ответов и других задач оценки качества, включая сценарии reward modeling. В README описаны обучение на данных из разных областей, использование проверяемых наград и обучение с отбором ответов; заявлены результаты на нескольких бенчмарках для моделей-судей. Модель имеет плотную архитектуру Qwen2, 32 млрд параметров и контекст до 32 768 токенов. Она работает с текстом; карточка указывает английский язык. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0. Ограничения оценки и сравнительные результаты зависят от задачи и тестовых данных; подробностей о них в предоставленной карточке недостаточно.

YituTech/conv-bert-base — предобученная языковая модель семейства ConvBERT, опубликованная YITU Technology. Репозиторий предназначен для извлечения признаков из текста: его можно загрузить через Transformers как AutoModel или использовать с pipeline feature-extraction. Модель имеет плотную архитектуру ConvBertModel и содержит 136,7 млн параметров. Максимальная длина контекста — 512 токенов; доступны веса PyTorch и TensorFlow. Она принимает текст и выдаёт его векторные представления, которые можно использовать как основу для последующих NLP-задач. В карточке репозитория нет подробностей о языках обучения, специальных сценариях применения или ограничениях качества. Лицензия в предоставленных метаданных и найденной карточке не установлена.

Модель cooperleong00/deberta-v3-large_toxicity-scorer — классификатор токсичности текста на базе DeBERTa-v3-large, разработанный для исследования Self-Detoxifying Language Models via Toxification Reversal. Она дообучена на 90 тысячах примеров RealToxicityPrompts, чтобы предсказывать вероятности токсичности, близкие к оценкам Perspective API, и служить высокопроизводительной офлайн-заменой этого API при оценке сгенерированного текста. Модель содержит 533,8 млн параметров, использует архитектуру DeBERTa-v2 для классификации последовательностей и принимает текст длиной до 512 токенов. В README указаны точность 94,87% и AUROC 98,54% на отложенной выборке из 10 тысяч примеров; заявленная пропускная способность — около 27 тысяч примеров в секунду. Эти показатели относятся к указанной авторами выборке и не гарантируют такое же качество на других текстах. Лицензия в предоставленных данных не указана.

microsoft/DialogRPT-human-vs-rand — модель классификации диалоговых ответов от Microsoft Research NLP Group, созданная в рамках семейства DialogRPT. Она оценивает, насколько ответ соответствует контексту диалога, а не является случайным; оценку можно использовать для ранжирования кандидатов, сгенерированных, например, DialoGPT. Модель основана на GPT-2 и реализована как GPT2ForSequenceClassification; максимальная длина контекста составляет 1024 токена. DialogRPT обучался на более чем 100 миллионах примеров человеческой обратной связи. Карточка описывает вариант human_vs_rand, который выдаёт оценку соответствия ответа контексту. Лицензия в предоставленных данных не указана.

adalbertojunior/distilbert-portuguese-cased — дистиллированная модель на архитектуре BERT, созданная на основе BERTimbau. Она предназначена для извлечения признаков из текста и может служить компактной отправной точкой для последующего дообучения на собственных данных. Модель содержит около 79,5 млн параметров и поддерживает контекст до 512 токенов; для загрузки используются форматы PyTorch и safetensors. Карточка сообщает, что в некоторых задачах точность может достигать 99% от результата исходной BERTimbau. Это относительная оценка для отдельных задач, а не гарантия качества на произвольных данных. Модель рассчитана на португальский язык, использует регистр букв и требует дообучения под конкретное применение. Лицензия в предоставленных данных не указана.

Distil-Whisper distil-medium.en — англоязычная модель распознавания речи, разработанная как дистиллированный вариант Whisper medium.en. Она предназначена для транскрибирования коротких и длинных аудиозаписей и может использоваться как ускоренная замена Whisper в системах распознавания речи, а также как вспомогательная модель для спекулятивного декодирования. Модель использует архитектуру encoder-decoder Whisper: энкодер скопирован из учительской модели и заморожен, а декодер сокращён до двух слоёв. В README заявлено ускорение в 6 раз при размере на 49% меньше и качестве в пределах 1% WER от Whisper на тестах вне обучающего распределения. Репозиторий содержит 455,8 млн параметров; доступны форматы PyTorch, Safetensors, ONNX и Flax. Модель принимает аудио и генерирует текст, поддерживает только распознавание английской речи. Для Hugging Face Transformers требуется версия 4.35 или новее. Лицензия — MIT.

DynaGuard-1.7B — языковая модель-охранник, разработанная исследователями Университета Мэриленда и Capital One для проверки текста на соответствие политикам, заданным на естественном языке. Она предназначена для модерации диалогов и ответов чат-ботов по правилам конкретного приложения, например для предотвращения несанкционированных возвратов или медицинских рекомендаций. Модель основана на Qwen3-1.7B и представляет собой плотный decoder-only Transformer с 1,7 млрд параметров. Она принимает текст с политикой и диалогом и генерирует текстовый результат: краткую классификацию PASS/FAIL либо классификацию с объяснением. Поддерживает английский язык; максимальная длина контекста — 40 960 токенов. Модель дообучена на DynaBench и наборах данных для оценки безопасности с помощью SFT и GRPO. Карточка сообщает о сильных результатах на DynaBench и традиционных тестах безопасности, однако приведённые оценки относятся к тестовым наборам и не гарантируют качество для любой пользовательской политики. Модель распространяется под лицензией Apache-2.0.

nebius/EAGLE3-Llama-3.3-70B-Instruct — это черновая модель EAGLE-3, разработанная Nebius для ускорения генерации текста базовой моделью meta-llama/Llama-3.3-70B-Instruct методом спекулятивного декодирования. Модель содержит 1,9 млрд параметров, использует плотную архитектуру LlamaForCausalLM и распространяется в формате safetensors. Она принимает текстовые токены и предлагает черновые продолжения, которые базовая модель проверяет при генерации. Модель обучена с нуля с использованием LK losses, нацеленных непосредственно на повышение доли принимаемых черновых токенов. В README приведены результаты средней длины принятой последовательности на MT-bench, HumanEval и GSM8K; применять модель предлагается через vLLM с базовой моделью Llama 3.3 70B Instruct и настройками EAGLE-3. Указанная длина контекста составляет 131072 токена. Лицензия — CC-BY-4.0. Это вспомогательная модель для ускорения вывода, а не самостоятельный разговорный ассистент. Результаты ускорения зависят от базовой модели, настроек сэмплирования и совместимой версии vLLM; в README указана поддержка стохастического сэмплирования черновых токенов начиная с vLLM 0.18.0, а настройка через speculative_config — с версии 0.21.0.

hfl/english-pert-base — англоязычная модель семейства BERT от hfl для извлечения признаков из текста. Она подходит для получения векторных представлений токенов и текста в задачах, где требуется использовать признаки BERT как вход для последующей обработки. Модель содержит 136,7 млн параметров, использует архитектуру BertModel и принимает последовательности длиной до 512 токенов. Английские модели этого семейства не учитывают регистр: текст приводится к нижнему регистру. Доступны веса PyTorch и TensorFlow. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространяет производные работы на тех же условиях с ограничением некоммерческого использования.