Плотная авторегрессионная модель на 570 млн параметров для генерации текста и исследований обучения трансформеров.

Подходит для: генерация продолжений английского текста · исследование интерпретируемости обучения трансформеров · анализ поведения языковой модели на разных этапах обучения

Трансформерная модель InstaDeep, NVIDIA и TUM для заполнения замаскированных участков ДНК и геномных исследований на основе человеческого референсного генома.

Подходит для: заполнение пропусков в последовательностях ДНК · восстановление замаскированных нуклеотидных фрагментов · извлечение представлений последовательностей человеческого генома

Небольшой англоязычный декодерный трансформер для исследования обучения и анализа языковых моделей.

Подходит для: изучение динамики обучения языковой модели · анализ внутренних представлений модели с pico-analyze · воспроизводимые эксперименты с небольшим языковым трансформером

Исследовательская англоязычная модель EleutherAI на 1,7 млрд параметров для генерации текста и экспериментов с поведением и интерпретируемостью языковых моделей.

Подходит для: изучение поведения языковых моделей в контролируемых экспериментах · исследование интерпретируемости трансформеров · сравнение моделей разного размера на одинаковых данных

Компактная англоязычная модель Funnel Transformer извлекает контекстные признаки текста для последующего дообучения и решения задач классификации и ответов на вопросы.

Подходит для: извлечение векторных признаков из английских текстов · подготовка представлений предложений для классификатора · классификация токенов после дообучения

Компактная GPT-2-подобная модель для обучения устройству трансформеров и экспериментов с генерацией английского текста на CPU.

Подходит для: изучение работы декодерных трансформеров · эксперименты с генерацией короткого текста · локальный запуск языковой модели на CPU

Небольшая каузальная языковая модель Dynamic ALiBi для экспериментальной генерации текста, обученная на варианте BabyLM 100M.

Подходит для: эксперименты с генерацией короткого текста · сравнение языковых моделей на BabyLM · изучение влияния Dynamic ALiBi на генерацию

Открытая трансформерная модель для вероятностного одно- и многомерного прогнозирования временных рядов с учётом ковариат.

Подходит для: вероятностный прогноз спроса на электроэнергию · прогнозирование многомерных временных рядов · прогноз спроса с учётом календаря и праздников

Трансформер на 490,7 млн параметров, обученный на геномах множества видов для восстановления и анализа последовательностей ДНК.

Подходит для: восстановление замаскированных участков ДНК · классификация геномных последовательностей · разметка нуклеотидов в последовательности

Экспериментальная компактная Transformer-модель IFM для генерации текста и оценки моделей с фиксированными точками.

Подходит для: генерация продолжения текста · оценка языковой модели в экспериментах статьи · сравнение архитектур языковых моделей

Экспериментальная языковая модель IFM на основе рекуррентного Transformer для генерации текста и изучения looped-моделей.

Подходит для: генерация текста для экспериментальной оценки looped-моделей · сравнение рекуррентных блоков Transformer в фиксированных точках · воспроизведение экспериментов из второй части статьи о looped-моделях

safetensors: формат, квантизация, runtime и память принадлежат одному artifact

Модель Transformers для извлечения признаков из входных данных с контекстом до 1026 токенов и примерно 865,1 млн параметров.

Подходит для: извлечение векторных представлений входных данных · подготовка признаков для downstream-моделей · поиск семантически похожих объектов

Трансформер, обученный на геномах множества видов, для восстановления замаскированных участков ДНК и решения задач геномной классификации.

Подходит для: восстановление замаскированных фрагментов ДНК · классификация геномных последовательностей · разметка участков последовательности ДНК

Англоязычная модель Google с архитектурой Switch Transformers и разреженным Mixture of Experts, предварительно обученная для последующей настройки на задачи преобразования текста.

Подходит для: дообучение модели для генерации текста по текстовому запросу · эксперименты с архитектурой Mixture of Experts · исследование переноса обучения с корпуса C4

Decision Transformer для управления агентом в среде Gym Hopper на основе траекторий среднего уровня.

Подходит для: управление агентом в Gym Hopper · предсказание действий по состояниям среды · эксперименты с офлайн-обучением с подкреплением

Компактная transformer-модель на 27,6 млн параметров для экспериментов с генерацией текста через библиотеку Transformers.

Подходит для: эксперименты с генерацией текста · обучение и демонстрация небольших языковых моделей · исследование архитектур transformer

Экспериментальная компактная Transformers-модель примерно на 15 млн параметров для генерации текста и исследований подхода dynamic ALiBi.

Подходит для: генерация продолжения текстового фрагмента · эксперименты с компактными языковыми моделями · исследование позиционных представлений в языковых моделях

Компактная англоязычная базовая модель на архитектуре Relaxed Recursive Transformer для продолжения текста, экспериментов и дальнейшего дообучения.

Подходит для: продолжение английского текста · эксперименты с рекурсивными трансформерами · исследование компактных языковых моделей

Небольшая англоязычная авторегрессионная модель EleutherAI для исследований генерации текста и поведения языковых моделей.

Подходит для: эксперименты с предсказанием следующего токена на английском языке · исследование поведения языковых моделей на разных этапах обучения · анализ интерпретируемости компактной трансформерной модели

Конвертированная для Transformers модель LLaMA-7B предназначена для исследовательских экспериментов по генерации текста.

Подходит для: генерация продолжения по текстовой подсказке · эксперименты с авторегрессионной языковой моделью · исследование семейства LLaMA в Transformers

Компактная модель Transformers для исследовательской генерации текста и экспериментов с небольшими языковыми моделями.

Подходит для: генерация коротких текстовых продолжений · эксперименты с языковыми моделями малого размера · прототипирование text-generation в Transformers

Экспериментальная языковая модель с зацикленным Transformer на 819 млн параметров для генерации текста и исследований фиксированных точек.

Подходит для: генерация текста с зацикленным Transformer · оценка языковых моделей в экспериментах с фиксированными точками · воспроизведение экспериментов второй части статьи о looped-моделях

Трансформер InstaDeep, NVIDIA и TUM, предобученный на геномах разных видов для анализа ДНК и решения задач геномики.

Подходит для: восстановление замаскированных участков ДНК · классификация геномных последовательностей · разметка участков в последовательностях ДНК