Экспериментальная зацикленная языковая модель IFM с 2,49 млрд параметров для генерации текста и исследований рекуррентных Transformer-архитектур.
Подходит для: генерация текста с помощью зацикленной языковой модели · исследование поведения рекуррентных блоков Transformer · оценка моделей в экспериментах по фиксированным точкам
Phrase-BERT — модель на базе BERT для построения эмбеддингов фраз, сравнения их семантического сходства и исследования текстовых корпусов.
Подходит для: поиск семантически похожих фраз · сравнение значений двух фраз · поиск близких по смыслу выражений в корпусе
Контрольный чекпойнт плотной рекуррентной языковой модели LoopedLM для генерации текста и исследований архитектуры H/L.
Подходит для: генерация текста с рекуррентной языковой моделью · исследование архитектуры LoopedLM с разделением H/L · оценка чекпойнта на этапе обучения до 500 млрд токенов
Исследовательский MoE-трансформер LoopedLM для экспериментов с генерацией текста и архитектурой looped-моделей.
Подходит для: генерация текста в исследовательских экспериментах · оценка MoE-архитектуры с подачей prelude · воспроизведение экспериментов статьи о looped-моделях
Исследовательский чекпойнт циклической трансформерной MoE-модели для генерации текста и изучения архитектуры Looped Models.
Подходит для: генерация текста для исследовательских экспериментов · изучение циклической архитектуры языковых моделей · исследование применения Mixture of Experts в циклических моделях
Экспериментальный чекпойнт MoE-языковой модели IFM для исследования генерации текста с looped-архитектурой.
Подходит для: оценка генерации текста в эксперименте с looped-моделью · воспроизведение протокола оценки из Part I · исследование архитектур MoE для языковых моделей
Экспериментальный плотный трансформерный чекпойнт IFM для генерации текста и исследований looped-моделей.
Подходит для: генерация текста для оценки исследовательских моделей · воспроизведение протокола эксперимента из статьи · сравнение плотной модели с looped-архитектурами
Исследовательский чекпойнт LoopedLM с архитектурой Huginn и MoE для экспериментов и генерации текста.
Подходит для: генерация текста с помощью зацикленной языковой модели · эксперименты с архитектурой mixture-of-experts · оценка чекпойнта на промежуточном этапе обучения
Wisp-5M — компактная базовая языковая модель архитектуры LLaMA для учебных и исследовательских экспериментов, запуска на устройствах с ограниченными ресурсами и дальнейшего дообучения.
Подходит для: учебные эксперименты с малыми языковыми моделями · генерация английского текста в экспериментах на устройствах с ограниченными ресурсами · черновая генерация для speculative decoding
Экспериментальный чекпойнт плотной LoopedLM на архитектуре Huginn для генерации текста и исследования внедрения входа в середине сети.
Подходит для: оценка качества генерации текста на чекпойнте из исследовательской работы · сравнение вариантов внедрения входа в рекуррентную языковую модель · воспроизведение экспериментов по архитектуре LoopedLM
Дообученная на парах твитов BERT-модель преобразует тексты в эмбеддинги для поиска и сравнения семантического сходства.
Подходит для: поиск похожих твитов · семантический поиск по коротким сообщениям · поиск перефразировок в текстах