II.10Разработка и эксплуатация AI/ML-систем

Koichi Yasuoka разработал ModernBERT-base, предварительно обученную на тайских текстах корпуса CC100. Это плотная модель архитектуры ModernBERT с 112,4 млн параметров, предназначенная для заполнения пропусков в тексте и дообучения для последующих задач обработки тайского языка, например разметки частей речи и синтаксического анализа зависимостей. Модель принимает текст и предсказывает замаскированные токены; поддерживает контекст длиной до 8192 токенов. Модель подходит как основа для создания тайскоязычных систем разметки и анализа текста. В карточке указаны формат PyTorch и лицензия Apache-2.0. Качество на конкретных прикладных задачах зависит от дообучения и оценки на соответствующих данных.

ModernBERT-large_sentiment — англоязычная модель классификации тональности сообщений разработчиков, например обсуждений на GitHub и Stack Overflow. Её разработали Fabian C. Peña и Steffen Herbold, дообучив ModernBERT-large с архитектурой ModernBertForSequenceClassification. Модель относит сообщения к положительной, нейтральной или отрицательной тональности. Модель содержит около 394,7 млн параметров, принимает текст и рассчитана на контекст до 8192 токенов. Она подходит для анализа тональности в коммуникациях разработчиков. Распространяется по лицензии MIT.

InterCLIP InterHuman-262 Evaluator — артефакт только для инференса, реализованный Motius и выпущенный вместе с InterGen. Он кодирует текстовое описание и две синхронизированные траектории движений людей в совместные признаки, чтобы оценивать соответствие описания движению и качество генерации межличностных движений. Это стандартный оценщик InterGen и InterMask на наборе InterHuman-262; веса InterCLIP для текста и движений входят в файл SafeTensors, а OpenAI CLIP используется только для токенизации. Модель предназначена для оценки результатов генерации движений, а не для создания новых движений. Лицензия — CC BY-NC-SA 4.0; обучение и состояние оптимизатора в артефакт не включены.

Blackfrost AI выпустила Muse-Glimmer-30B-Abliterated-BF16 — мультимодальную модель на архитектуре Muse Glimmer, производную от meta-models/Muse-Glimmer-30B. Это полноточная версия BF16 примерно на 30 млрд параметров, предназначенная для контролируемых исследований безопасности, red-team-проверок, технической оценки двойного назначения и изучения механизмов отказа. Модель принимает изображения и текст и поддерживает диалог и интерфейс вызова инструментов. Веса изменены так, чтобы намеренно снизить вероятность отказа: в описанной авторами проверке модель не отказала ни на одном из 300 вредоносных запросов AdvBench и StrongREJECT. Для запуска авторы приводят варианты SGLang и vLLM; для полной версии требуется GPU с примерно 80–96 ГБ памяти или распределение по нескольким GPU. В метаданных указаны английский и мультиязычная поддержка, однако конкретный перечень языков не приведён. Модель распространяется по лицензии Apache-2.0. Авторы не предназначают её для обычного потребительского чата или использования как безопасной модели по умолчанию.

Модель nsfw-detection-mini разработана Керемом Бозганом, Абдуллахом Кырманом и Фатихом Чагатаем Акйоном для автоматической модерации визуального контента. Это бинарный классификатор изображений на базе EfficientNet-B4, дообученной на изображениях с NSFW-контентом: он относит изображение к безопасному или NSFW-классу. Модель можно применять также к кадрам видео; она рассчитана на мобильное использование и содержит около 17 млн параметров. Основной сценарий — первичный отбор изображений с явной наготой для платформ с пользовательским контентом, социальных приложений, форумов, родительского контроля, игр и стриминговых сервисов. В карточке приведены F1-оценки 97,90% для безопасного класса и 97,89% для NSFW-класса; эти показатели относятся к описанному авторами сравнению и не гарантируют аналогичное качество на других данных. Модель распознаёт именно явную наготу: откровенная одежда или намёки без явной наготы могут быть отнесены к безопасному классу. Она не определяет сексуальное намерение и не подходит для юридической классификации, наблюдения за людьми или решений с серьёзными последствиями; для окончательной модерации рекомендуется проверка человеком. Лицензия — Apache-2.0.

ArchSpace-Collection публикует экспорт базовой модели OLMo 3 с 3,2 млрд параметров на этапе предварительного обучения Stage 1. Это плотная авторегрессионная языковая модель для генерации текста, использующая архитектуру Olmo3ForCausalLM и библиотеку Transformers; для загрузки требуется Transformers версии 4.57.6 или новее, но ниже 5. Контекст модели — 8 192 токена, с чередованием слоёв скользящего окна размером 4 096 токенов и полного внимания. Модель подходит как базовый чекпойнт для генерации текста и дальнейших экспериментов или дообучения. Это чистый базовый вариант OLMo 3 на стадии Stage 1, а не специализированная чат-модель; README не заявляет о качестве диалога или дополнительных возможностях. В карточке не указана лицензия, поэтому условия использования по этим данным определить нельзя.

Это контрольная точка разогрева ModernBERT‑подобного энкодера с маскированным языковым моделированием, созданная для проекта PII_MODEL с открытым исходным кодом. Модель разработана Soumik Mahato и предназначена для инициализации последующего обучения классификатора, который размечает в тексте фрагменты с персональными данными для локального редактирования перед отправкой запросов чат‑ботам. Модель содержит 109,3 млн параметров, принимает последовательности длиной до 8192 токенов и использует конфигурацию с 12 слоями, скрытым размером 768, 12 головами внимания, локальным окном 512 токенов и глобальным вниманием через каждые три слоя. Это контрольная точка MLM, а не готовый классификатор сущностей: сама по себе она не выполняет разметку или редактирование PII. Для загрузки требуется код архитектуры из репозитория проекта. Веса опубликованы в формате safetensors; лицензия — Apache-2.0.

PrismQuant-Llama-3.2-3B — чекпойнт проекта PrismQuant для генерации продолжений текста на основе unsloth/Llama-3.2-3B. Он предназначен для текстового дополнения и запуска через загрузчик PrismQuant, который получает соответствующую базовую модель и токенизатор. Модель использует схему W4A4KV4: веса GPTQ INT4 хранятся как деквантизованные тензоры с плавающей точкой, а эталонный runtime выполняет квантизацию активаций и KV-кэша. Для вычислений предусмотрен bfloat16. Репозиторий содержит веса декодера и факторы вращения; это не самостоятельный чекпойнт Transformers и не упакованная INT4-модель для сервинга. Указана лицензия llama3.2.

Карточка модели huluhuluu/qwen3-1.7b-eagle3-sharegpt-sw512-epoch9-step420000 на Hugging Face совпадает с карточкой huluhuluu/qwen3-1p7b-eagle3-sharegpt-sw512-epoch-9-step-420000, поэтому описание составлено по ней. Это контрольная точка черновой модели EAGLE3, обученной SpecForge для совместной работы с Qwen/Qwen3-1.7B. Она предназначена для спекулятивного декодирования: вспомогательная модель предлагает токены, которые проверяет основная модель, чтобы ускорить генерацию текста. Самостоятельной целевой языковой моделью этот чекпойнт не является. Модель основана на Qwen/Qwen3-1.7B и использует архитектуру LlamaForCausalLMEagle3. Веса сохранены в формате safetensors; размер по метаданным — 361,5 млн параметров, контекст — до 40 960 токенов. Чекпойнт обучен методом онлайн-обучения SpecForge EAGLE3 на девятой эпохе, шаг 420 000. Для загрузки требуется совместимый код SpecForge/EAGLE3 и целевая модель Qwen/Qwen3-1.7B; веса целевых эмбеддингов в чекпойнт не входят. Карточка не приводит результатов бенчмарков. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

Это контрольная точка черновой модели EAGLE3, обученной SpecForge для совместной работы с Qwen/Qwen3-1.7B. Она предназначена для спекулятивного декодирования: вспомогательная модель предлагает токены, которые проверяет основная модель, чтобы ускорить генерацию текста. Самостоятельной целевой языковой моделью этот чекпойнт не является. Модель основана на Qwen/Qwen3-1.7B и использует архитектуру LlamaForCausalLMEagle3. Веса сохранены в формате safetensors; размер по метаданным — 361,5 млн параметров, контекст — до 40 960 токенов. Чекпойнт обучен методом онлайн-обучения SpecForge EAGLE3 на девятой эпохе, шаг 420 000. Для загрузки требуется совместимый код SpecForge/EAGLE3 и целевая модель Qwen/Qwen3-1.7B; веса целевых эмбеддингов в чекпойнт не входят. Карточка не приводит результатов бенчмарков. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-heretic — мультимодальная диалоговая модель на архитектуре Qwen3.5 с 27 млрд параметров, распространяемая в формате BF16 для Transformers. Это доработка DavidAU/Qwen3.8-27B-Cold-Fusion-GAIN-V1.1: к модели применили автоматизированную KL-ограниченную абляцию Heretic, чтобы ослабить поведение отказа; возможности базовой модели и её модуль обработки изображений сохранены. Модель принимает текст и изображения и генерирует текст, поддерживая диалог и анализ изображений; в карточке указаны английский и китайский языки. Также сохранена MTP-голова для спекулятивного декодирования. Автор сообщает, что на собственной проверке отказов модель отказала в 8 из 100 вредоносных запросов при KL-дивергенции 0,0315 относительно базы; это результат внутреннего классификатора ключевых слов, а не независимая оценка качества. Из-за снятия защитных отказов модель может выполнять вредоносные и оскорбительные запросы. В README она предназначена для исследований интерпретируемости, изучения механизмов отказа, red teaming и оценки устойчивости; перед использованием для конечных пользователей необходимы собственные меры безопасности и модерации. Лицензия — Apache 2.0.

Это вспомогательная голова Multi-Token Prediction (MTP) для ускорения генерации текста целевой моделью Qwen3.8-27B в среде MLX и mlx-vlm. Репозиторий содержит только MTP-драфтер: у него нет токенных эмбеддингов и lm_head, поэтому самостоятельно генерировать текст он не может. Драфтер предлагает до трёх токенов за шаг, а целевая модель проверяет предложения; для работы нужны совместимые драфтер и целевая модель из одного чекпойнта. Модель разработана vvsotnikov на основе MTP-головы Qwen/Qwen3.8-27B. Веса представлены в формате Safetensors, хранятся в точности bfloat16 без квантизации; указаны архитектура qwen3_5_mtp и блок MTP размером 3. Для использования предназначена связка с mlx-vlm на Apple MLX. Лицензия репозитория — Apache-2.0. Качество итогового текста определяется целевой моделью, а не драфтером; ожидаемая польза этой головы — ускорение генерации при совместном запуске. Критическое ограничение — необходимость использовать её только с соответствующей целевой моделью и её эмбеддингами: несовпадающая пара может не пройти проверку размерностей или работать плохо. Самостоятельные ответы, генерация текста и отдельная мультимодальная обработка этим репозиторием не поддерживаются.

Qwen3-8B-Critic-SFT-Qwen-only — специализированная критическая модель на базе Qwen3-8B, разработанная для исследования Steer, Don't Solve. Она анализирует траекторию работы агента по программированию и через заданные интервалы возвращает структурированную критику: категории обнаруженных ошибок, подтверждающие их данные, шаг восстановления, статус задачи и краткую рекомендацию. Модель предназначена для сопровождения кодового агента и не пишет исправляющий патч сама. Модель обучена полным дообучением на 1 915 примерах критики траекторий Qwen3-Next-80B-A3B. Она использует плотную авторегрессионную архитектуру Qwen3 с 7,6 млрд параметров; репозиторий содержит веса safetensors, опубликованные в bf16. Метаданные указывают контекст до 40 960 токенов, а конфигурация обучения README — последовательности длиной 32 768 токенов. Модель рассчитана на английский язык и взаимодействие в формате чата. Лицензия — Apache-2.0. В описанном эксперименте критик повысил долю решённых задач SWE-bench Verified с 20,0% до 26,2% для Qwen3-Next-80B-A3B, но обучение только на траекториях этого агента дало более слабый результат при переносе на Qwen3-32B, чем смешанный набор данных. Модель следует использовать как вспомогательного критика в агентных циклах, а не как самостоятельную модель для написания кода.

PixelML/Qwen3.8-Flash-Next-NVFP4-DFlash — вспомогательная DFlash-модель для спекулятивного декодирования с целевой моделью nvidia/Qwen3.8-Flash-Next-NVFP4. Она разработана как экспериментальный черновой блок: за один параллельный проход предлагает несколько токенов, которые целевая модель может принять. Веса эмбеддингов и выходной проекции не включены, поэтому чекпойнт сам по себе не запускается и должен связываться с целевой моделью при загрузке. Модель основана на Qwen3.8-Flash-Next-NVFP4, использует пять черновых слоёв и проекцию fusion; в метаданных указаны 1 млрд параметров и контекст 262 144 токена. Репозиторий содержит веса в safetensors. В описанном тесте на DGX Spark в eager-режиме она превысила настроенный базовый MTP-вариант на 3,87% по общей пропускной способности, однако авторы подчёркивают, что результаты ограничены небольшим числом запусков и фиксированным набором условий. Это исследовательский артефакт, а не поддерживаемый продукт. Ускорение не проверено для графового режима, параллельной нагрузки, длинного контекста, режима thinking и генерации с выборкой; точность без потерь подтверждена лишь для ограниченного сценария. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели.

prithivMLmods/Qwen3-VL-4B-Instruct-c_abliterated-v2 — мультимодальная модель на основе Qwen3-VL-4B-Instruct, дообученная методом continual abliteration. Она анализирует изображения и отвечает на инструкции текстом; README особо отмечает подробные рассуждения и описания художественных, технических и абстрактных изображений, а также работу с разными пропорциями кадра. Модель предназначена для исследования отказов и защитных механизмов, тестирования мультимодальных фильтров, описания изображений и подготовки описательных метаданных для архивов. По карточке, повторное обучение направлено на ослабление механизмов отказа, поэтому модель может отвечать на запросы, которые базовая модель отклонила бы. Разработчик указывает, что модель может ошибочно интерпретировать абстрактные или синтетические изображения и генерировать откровенный либо оскорбительный текст. Она не предназначена для публичного применения общего назначения. Лицензия — Apache-2.0.

junnyu/roformer_v2_chinese_char_base — базовая китайская символьная модель семейства RoFormerV2, разработанная автором репозитория junnyu. Это плотный трансформер RoFormerForMaskedLM с 122,5 млн параметров и контекстом до 512 токенов; опубликованы веса PyTorch. Модель обучена предсказывать замаскированные фрагменты текста и предназначена для языковых задач на китайском языке. Её можно использовать как основу для заполнения пропусков и дообучения под китайскую классификацию текста. В README приведены результаты вариантов RoFormer и RoFormerV2 на классификационных наборах CLUE, однако они не гарантируют аналогичные показатели для этого конкретного чекпойнта. В метаданных указана карточка на китайском языке. Лицензия в предоставленных данных не указана.

ScaleQuest-DeepSeekMath-7B-QGen — языковая модель-генератор, выпущенная авторами проекта ScaleQuest для создания математических задач с нуля. Подход ScaleQuest использует небольшие открытые модели для синтеза вопросов без исходных примеров и сложных ограничений на аугментацию данных. Модель предназначена для генерации математических вопросов и подготовки синтетических наборов данных для обучения и оценки решателей задач. Это плотная авторегрессионная модель семейства Llama с 6,5 млрд параметров, работающая через Transformers; контекст — 4096 токенов. В карточке указана поддержка английского языка и диалоговый режим. Модель распространяется под лицензией Apache-2.0. Карточка описывает её назначение как генератора вопросов, но не приводит метрик качества самого генератора; также она не уточняет охват математических тем и форматы выходных задач.

SIMFORGE-D1.5 — компактная vision-language-action-модель для автономного вождения, созданная SIMFORGE-AI на основе дистилляции NVIDIA Alpamayo 1.5 10B. Чекпойнт содержит 7,21 млрд параметров, примерно на 35% меньше исходной модели, и предназначен для запуска на ограниченных ускорителях, включая системы класса NVIDIA Jetson AGX Orin и видеокарты с 16 ГБ памяти. Модель принимает изображения с четырёх камер и формирует план движения автомобиля; в оценке применялись симулятор AlpaSim и сцены NuRec. В тесте на 94 сценах модель сохранила 95,8% среднего показателя исходной Alpamayo 1.5; измеренная медианная задержка генерации плана была на 8,1% ниже. Эти результаты получены при ограниченном числе прогонов и не доказывают надёжность для реального вождения. Замер памяти на NVIDIA A100 показывает, что резервирование модели укладывалось в 16 ГиБ, но совместимость, задержки и работа на Jetson требуют отдельной проверки. Модель предназначена для исследований автономного вождения, сжатия моделей, симуляции и инженерии развёртывания; README прямо запрещает использовать её для управления реальным автомобилем или критически важных решений. Лицензия — OpenMDW 1.1.

Это компактная языковая модель Qwen2.5 с плотной архитектурой Qwen2ForCausalLM и 494 млн параметров, созданная Ishaan Ranjan полным дообучением Qwen/Qwen2.5-0.5B-Instruct. Она предназначена для узкой подзадачи в агентных системах разработки: восстановления повреждённого JSON-вызова инструмента до исходного объекта в рамках заданной схемы. Модель принимает текстовый запрос с описанием задачи и выдаёт текст с исправленным JSON. Модель рассчитана на использование внутри проверяющей обвязки, которая формирует специализированный запрос, проверяет строгий JSON, при необходимости делает одну попытку с обратной связью по схеме и применяет детерминированные проверки и резервные правила. В README сообщается о 100% успешности и валидности JSON при первом проходе на оценке до 250 примеров из отложенных репозиториев HTTPX и Jinja2; это результат узкого эксперимента, а не гарантия для произвольных данных. Поддерживаемый контекст составляет 32 768 токенов, хотя обучающие последовательности ограничивались 2 048 токенами. Модель не предназначена для общего программирования, чата или широкого следования инструкциям: она специализирована под одну закрытую JSON-схему, и её универсальные способности могут быть ограничены. Лицензия — Apache-2.0.

Snowball 67B-A2B — базовая языковая модель семейства GrugMoE, экспортированная командой проекта Snowball в формате BF16 из шага обучения 157 000 для сравнения моделей с длинным контекстом. В README указано 67 млрд параметров всего и около 2 млрд активных параметров на токен; метаданные каталога оценивают размер в 2,8 млрд параметров. Архитектура включает 26 слоёв и 256 экспертов, из которых для каждого токена выбираются четыре. Модель поддерживает контекст до 262 144 токенов и словарь размером 128 256 токенов. Модель предназначена для текстовых продолжений и экспериментов с обработкой длинных документов. Это базовая модель без подтверждённой настройки для следования инструкциям, поэтому для чата и вызова инструментов её следует рассматривать как основу, а не готового ассистента. Для запуска требуется форк vLLM от Marin с поддержкой GrugMoE; в README описана конфигурация на восьми H100 с параллелизмом экспертов. Репозиторий содержит веса Safetensors, экспортированные в BF16. Лицензия — OpenMDW-1.1. Загрузка подтверждает имена тензоров, тип BF16, конфигурацию, размеры файлов и контрольные суммы. Для этой загрузки не выполнялись новые тесты генерации или численного соответствия, поэтому качество и корректность генерации отдельно не подтверждены.

Модель разработана hughlan1214 для распознавания эмоций в речи. Это дообученная для классификации аудио модель на архитектуре Wav2Vec2ForSequenceClassification, основанная на facebook/wav2vec2-large-xlsr-53; число параметров — 402,7 млн. Она относит речь к одному из семи классов: гнев, отвращение, страх, радость, нейтральное состояние, грусть или удивление. Модель предназначена для анализа эмоциональной окраски аудиозаписей и может служить компонентом систем, оценивающих состояние пользователя в реальном времени. Обучение проводилось на английских наборах CREMA, RAVDESS, SAVEE и TESS, суммарно содержащих более 12 000 аудиофайлов; данные разделили на обучающую и оценочную части в пропорции 70/30. В README сообщается о тестировании на китайской и французской речи, однако обучение велось только на английских данных. На оценочном наборе точность составила 0,6731, F1 — 0,6738. Модель распространяется в формате safetensors по лицензии Apache-2.0.

SSLAM Pretrain — предварительно обученная модель извлечения аудиопризнаков, выпущенная в рамках работы SSLAM, представленной на ICLR 2025. Чекпойнт ViT Base обучен 15 эпох и использует архитектуру EAT в реализации для Hugging Face Transformers. Модель предназначена для получения представлений аудио, в том числе полифонических сцен с несколькими одновременно звучащими источниками. Её можно использовать как основу для аудио-LLM, обнаружения звуковых событий и общего анализа аудио. Обучение на аудиосмесях и функция потерь source retention ориентированы на сохранение информации об отдельных источниках в смешанных звуковых сценах. Весовые файлы представлены в формате safetensors. Лицензия — MIT. Число параметров и длина контекста в предоставленных данных не указаны.

Карточка модели lsw2333/tabpfn_3 на Hugging Face совпадает с карточкой Prior-Labs/tabpfn_3, поэтому описание составлено по ней. TabPFN-3 — трансформерная модель Prior Labs для прогнозирования по табличным данным. Она использует обучение в контексте и выполняет предсказание за один проход без отдельного дообучения на пользовательском наборе данных. Эта карточка описывает специализированный чекпойнт классификатора для бинарной классификации на наборах с 2000 признаками. Архитектура модели многоэтапная, состоит из 24 основных слоёв. Она обучена исключительно на синтетических табличных задачах и предназначена для табличной классификации; в README также упомянуты стандартные чекпойнты для классификации и регрессии. Модель оценивается на открытых бенчмарках TabArena и TALENT, где, согласно карточке, показывает результаты уровня SOTA. Лицензия tabpfn-3-license-v1.0 разрешает исследования, тестирование и внутреннюю оценку, но запрещает коммерческое и производственное использование модели, её производных и результатов. Для применения в производственных сценариях Prior Labs предлагает отдельную коммерческую лицензию.

Ternary Bonsai 2 27B — экспериментальный конвертированный чекпойнт текстовой модели Valendra на архитектуре Bonsai2ForCausalLM с конфигурацией qwen3_5_text. Репозиторий содержит веса SafeTensors, токенизатор, шаблон диалога и конфигурацию; размер модели — 22,3 млрд параметров, контекст — до 262 144 токенов. Веса представлены в формате Bonsai ternary с автоматическим выбором ternary-представления и блочным преобразованием Sylvester–Walsh–Hadamard, а не в обычной точности BF16 или FP16. Модель предназначена для исследований, интеграции в совместимые среды выполнения и оценки инференса с ternary-квантованием; метаданные указывают поддержку генерации текста и чата. Для запуска требуется среда с реализациями Bonsai2ForCausalLM и формата bonsai_ternary; обычная установка Transformers может не поддерживать этот чекпойнт. Карточка не приводит сведений о языках обучения, точности, безопасности или обучающих данных. Лицензия и условия использования upstream-модели не указаны в предоставленных данных, поэтому их следует проверять у исходной модели.

Teutonic-I — базовая предварительно обученная причинно-языковая модель, созданная в ходе открытого децентрализованного конкурса улучшения моделей Teutonic на подсети 3 Bittensor. Это плотная decoder-only модель семейства Quasar с 8,6 млрд параметров в контрольной точке; в карточке она обозначена как 10B. Конкурс выбирал новые контрольные точки по статистически подтверждённому снижению потерь предсказания следующего токена. Лицензия — Apache-2.0. Модель предназначена для продолжения предобучения, адаптации к предметным областям, дообучения для языковых задач и исследований децентрализованного обучения и отбора контрольных точек. Это не ассистент с настройкой на инструкции, поэтому без дополнительного дообучения она не обязана надёжно выполнять запросы. Метаданные указывают максимальный контекст 2 097 152 токена, однако конкурсная оценка проводилась на последовательностях длиной 2 048 токенов, а поведение на длинном контексте не проверено. В карточке приведены результаты по 11 общим бенчмаркам, но они пока не воспроизведены независимыми оценками, а настройки тестирования описаны не полностью. Не опубликованы подробности о составе и лицензиях обучающих данных; файлы токенизатора отсутствуют, для запуска требуются пользовательский код и совместимый токенизатор. Безопасное выравнивание не задокументировано, поэтому модель может генерировать ложный, предвзятый или вредоносный текст.

TinyLlama-1.1B-intermediate-step-1431k-3T — промежуточный контрольный чекпойнт проекта TinyLlama, разработанного для предварительного обучения компактной языковой модели семейства Llama. Модель использует плотную архитектуру LlamaForCausalLM и токенизатор Llama 2; размер составляет около 1,1 млрд параметров, а длина контекста — 2048 токенов. В метаданных указаны форматы PyTorch и Safetensors, а также лицензия Apache-2.0. Модель предварительно обучалась на 3 трлн токенов; для проекта указаны датасеты SlimPajama и StarCoderData. Она предназначена для генерации текста и экспериментов с компактными языковыми моделями, а небольшой размер снижает требования к памяти и вычислениям. Карточка приводит результаты оценивания на наборах задач на рассуждение и понимание текста, но это промежуточный чекпойнт, поэтому качество ответов и пригодность для диалоговых сценариев могут быть ограничены.

PerceiveIO/tinyllama_92M — компактная плотная авторегрессионная языковая модель семейства Llama, представленная в формате Safetensors и рассчитанная на генерацию текста. По карточке, модель имеет 91,2 млн параметров, 12 слоёв, 12 голов внимания и словарь из 8192 токенов; заявленная длина контекста — 256 токенов. Она может служить лёгкой моделью для экспериментов с генерацией и тестирования языковых пайплайнов при ограниченных вычислительных ресурсах. Данные обучения и поддерживаемые естественные языки не описаны. Лицензия в доступных сведениях не указана.

Модель tomh/toxigen_hatebert создана на основе работы ToxiGen: A Large-Scale Machine-Generated Dataset for Adversarial and Implicit Hate Speech Detection. Авторы исследования — Thomas Hartvigsen, Saadia Gabriel, Hamid Palangi, Maarten Sap, Dipankar Ray и Ece Kamar. Это классификатор текста на архитектуре BERT с 136,7 млн параметров и контекстом до 512 токенов, предназначенный для выявления неявных высказываний ненависти. Модель принимает текст и выдаёт результат классификации. Её можно применять для предварительного выявления неявных проявлений ненависти в пользовательских текстах и для анализа таких высказываний в исследовательских сценариях. В карточке указан английский язык; модель опубликована в формате PyTorch. Классификатор ориентирован на неявную ненавистническую речь и может не распознавать все контексты, языки и формы выражения токсичности. Лицензия в предоставленных источниках не указана.

UserLM-8b — текстовая генеративная модель, разработанная Тареком Наусом, Филиппом Лабаном, Вэй Сюй и Дженнифер Невилл из Microsoft Research. В отличие от ассистента, она имитирует роль пользователя в диалоге: по заданному намерению генерирует начальную реплику, продолжения разговора с учётом его состояния или специальный токен завершения диалога. Модель основана на плотной архитектуре Llama и дообучена на Meta-Llama-3.1-8B на корпусе WildChat-1M. Она содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. Модель рассчитана на английский язык и предназначена прежде всего для исследователей, оценивающих диалоговые ассистенты с помощью симуляции многоходовых разговоров. В опубликованных оценках UserLM-8b показала более реалистичную симуляцию поведения пользователя по сравнению с рядом подходов на основе ассистентов. При этом модель может отклоняться от роли или исходного намерения и добавлять вымышленные требования; качество работы на других языках не установлено. Разработчики не рекомендуют применять её в коммерческих или реальных сценариях без дополнительной проверки. Лицензия — MIT.

Это перенесённая в Transformers версия модели S3PRL на базе wav2vec2-base, подготовленная для классификации намерений в речи в рамках бенчмарка SUPERB. Модель содержит 113,3 млн параметров и принимает речевое аудио с частотой дискретизации 16 кГц. Она определяет намерение высказывания по заранее заданным категориям Fluent Speech Commands: действие, объект и место. В оценке SUPERB для исходной версии S3PRL указана точность 0,9235; результат версии Transformers не приведён. Модель предназначена для англоязычной речи. Лицензия — Apache-2.0.