Аудиотокенизатор Higgs Audio V2 кодирует речь, музыку и звуковые события в аудиокоды и восстанавливает из них аудио для использования в аудиоязыковых моделях.

Подходит для: кодирование аудио в токены для аудиоязыковой модели · восстановление аудиосигнала из аудиокодов · подготовка речевых данных для обучения аудиомодели

Дискретный токенизатор Boson AI, который кодирует и восстанавливает речь, музыку и звуковые события в компактном представлении с частотой 25 кадров в секунду.

Подходит для: сжатое кодирование аудиозаписей · восстановление речи из дискретных аудиотокенов · кодирование музыки для последующей генерации или анализа

Модель на основе DeBERTa v3 для разметки токенов в последовательностях текста.

Подходит для: классификация токенов в последовательностях текста · разметка последовательностей в задачах на данных disputool · извлечение категорий или сущностей по меткам модели

Англоязычный 24-слойный BERT-generation энкодер Google для кодирования текста и использования в системах генерации последовательностей.

Подходит для: кодирование текста для генеративной модели с энкодером и декодером · подготовка входного текста для суммаризации · подготовка текста для машинного перевода

Компактная decoder-only языковая модель семейства pico-decoder для генерации текста и исследовательского анализа обучения.

Подходит для: генерация продолжения текста · эксперименты с предобучением языковых моделей · анализ обучения по слоям модели

Компактная модель DistilBERT для присвоения меток отдельным токенам текста.

Подходит для: разметка токенов в тексте · выделение именованных сущностей при наличии подходящей схемы меток · эксперименты с классификацией токенов в Transformers

Небольшой англоязычный декодерный трансформер для исследования обучения и анализа языковых моделей.

Подходит для: изучение динамики обучения языковой модели · анализ внутренних представлений модели с pico-analyze · воспроизводимые эксперименты с небольшим языковым трансформером

Англоязычный энкодер ModernBERT из семейства Ettin с 394,7 млн параметров для заполнения замаскированных токенов и переноса на задачи понимания текста.

Подходит для: восстановление пропущенных слов в английском тексте · анализ языковых представлений для исследовательских экспериментов · дообучение энкодера для классификации текстов

MOSS-Audio-Tokenizer-v2 кодирует и восстанавливает стереозвук в виде дискретных токенов для сжатия и последующих задач понимания и генерации аудио.

Подходит для: сжатие и кодирование стереозвука · восстановление аудио из дискретных токенов · потоковая обработка речи и звука

Компактный англоязычный ModernBERT Decoder на 16,8 млн параметров для генерации текста и экспериментов с архитектурами языковых моделей.

Подходит для: лёгкая генерация текста на английском языке · создание прототипов компактных языковых моделей · сравнение декодерных архитектур в исследованиях

Дообученная на инструкциях по программированию модель Mistral на базе OpenChat 3.5 для генерации и дополнения кода.

Подходит для: генерация кода по текстовому описанию · дополнение кода в проекте · ответы на вопросы по программированию

Дообученная RoBERTa для классификации токенов и сегментации последовательностей py310-pylingual.

Подходит для: сегментация токенизированных последовательностей py310-pylingual · разметка токенов по классам сегментации · выделение границ сегментов в последовательности

TokSuite–ByT5 — многоязычная базовая языковая модель с байтовым токенизатором для генерации текста и исследования устойчивости токенизации.

Подходит для: сравнение байтовой токенизации с другими токенизаторами · проверка устойчивости языковой модели к опечаткам и шуму ввода · оценка обработки OCR-ошибок и артефактов форматирования

Компактная многоязычная символьная модель BERT для определения границ предложений и сегментации текста.

Подходит для: расстановка границ предложений в сплошном тексте · сегментация текста на предложения · восстановление пунктуационных границ в текстовых корпусах

Дообученная модель RoBERTa для классификации токенов и сегментации текста.

Подходит для: сегментация текста на токены или фрагменты · разметка последовательностей токенов · извлечение сегментов по меткам токенов

Предобученная модель Microsoft на основе RoBERTa для восстановления пропущенных токенов в программном коде и естественном языке.

Подходит для: восстановление пропущенных токенов в исходном коде · автодополнение фрагментов кода · предсказание пропущенных слов в техническом тексте

Англоязычная модель на базе ModernBERT, которая экстрактивно сжимает текстовые контексты для экономии токенов при работе с LLM и агентами.

Подходит для: сокращение контекста перед отправкой запроса в LLM · сжатие истории диалога для агентной системы · уменьшение объёма текста в прокси для LLM

Экспериментальная компактная модель DeepSeek-Coder, дообученная для диалоговой помощи в написании кода и работы с инструкциями.

Подходит для: быстрые подсказки и автодополнение кода · ответы на инструкции по программированию · подготовка и курирование наборов данных для кода

Дообученная на коде и инструкциях модель Mistral с 7,1 млрд параметров для генерации программного кода и решения задач программирования.

Подходит для: генерация функций и фрагментов кода по текстовому описанию · ответы на вопросы по программированию · помощь в решении задач на Python

Компактная модель BART для преобразования текста в текст с 50,9 млн параметров и контекстом до 512 токенов.

Подходит для: генерация целевого текста по входному тексту · эксперименты с компактной encoder-decoder-моделью · прототипирование задач преобразования текста в текст

Многоязычная базовая языковая модель TokSuite для исследований влияния токенизатора BLOOM на генерацию и устойчивость текста.

Подходит для: сравнение влияния токенизаторов на поведение языковых моделей · исследование устойчивости генерации к опечаткам и искажениям текста · оценка обработки многоязычных текстов с диакритикой и разными системами письма

Дообученная модель RoBERTa для сегментации текста с разметкой отдельных токенов.

Подходит для: сегментация текста на токены или фрагменты · назначение меток токенам в последовательности · выделение границ сегментов в размеченном тексте

Многоязычный энкодер ModernBERT для заполнения масок и использования как основы специализированных моделей маршрутизации.

Подходит для: восстановление пропущенных токенов в многоязычном тексте · создание специализированных моделей маршрутизации на основе энкодера · дообучение энкодера для задач обработки текста

Базовая многоязычная языковая модель TokSuite с токенизатором Qwen-3 для исследований влияния токенизации и устойчивости текста.

Подходит для: сравнение поведения моделей с разными токенизаторами · исследование устойчивости языковой модели к опечаткам и орфографическим вариациям · оценка влияния Unicode и OCR-шума на обработку текста