Предобученная BERT-модель для анализа и извлечения признаков из последовательностей мРНК, а также их классификации и восстановления замаскированных элементов.
Подходит для: восстановление замаскированных элементов последовательности мРНК · извлечение признаков из последовательностей мРНК · классификация последовательностей мРНК после дообучения
Компактная базовая языковая модель Kyutai на 1,9 млрд параметров для генерации и понимания текста на 24 языках ЕС.
Подходит для: генерация продолжений текста на языках ЕС · исследование многоязычного языкового моделирования · оценка знаний модели на текстовых бенчмарках
Ling-2.6-1T — большая гибридная языковая модель для генерации кода, сложных рассуждений и многошаговых агентных задач с инструментами.
Подходит для: генерация и редактирование программного кода · поиск и исправление ошибок в коде · выполнение многошаговых задач с вызовом инструментов
Компактная базовая языковая модель Klyra-64M для экспериментов с предобучением, представлениями и токенизаторами.
Подходит для: продолжение предобучения компактной языковой модели · эксперименты с обучением языковых представлений · исследование токенизаторов и их взаимодействия с моделью
Базовая языковая модель Kyutai на 6 млрд параметров для генерации текста и исследования влияния хронологического порядка обучения на актуальность знаний.
Подходит для: исследование сохранения актуальных фактов в языковых моделях · сравнение последовательного и перемешанного предобучения · оценка ответов на временно привязанные вопросы с KairosQA
Англоязычная модель EleutherAI на 6,9 млрд параметров для исследований авторегрессионной генерации и интерпретируемости языковых моделей.
Подходит для: эксперименты с продолжением английского текста · изучение интерпретируемости языковых моделей · анализ поведения модели на разных контрольных точках обучения
Экспериментальная объединённая языковая модель на 8,6 млрд параметров для генерации текста, качество которой автор характеризует как нестабильное.
Подходит для: эксперименты с объединением Llama 2 и Yi-6B · тестирование генерации текста на экспериментальном чекпойнте · изучение ограничений дообучения объединённых моделей
Экспериментальная слитая модель семейства Yi на 56,8 млрд параметров для генерации текста с контекстом до 200 000 токенов.
Подходит для: генерация текста по системной и пользовательской инструкциям · локальные эксперименты с крупными языковыми моделями · тестирование длинного контекста до 200 000 токенов
Промежуточный чекпойнт YuLan-Mini с состоянием оптимизатора для продолжения обучения и исследовательских экспериментов с языковой моделью.
Подходит для: продолжение предобучения языковой модели из чекпойнта · обучение на собственном наборе данных с этапом annealing · исследование динамики обучения LLM
mRNABERT — модель BERT для получения представлений последовательностей мРНК и предсказания замаскированных нуклеотидов и кодонов.
Подходит для: предсказание скрытых нуклеотидов в последовательностях мРНК · предсказание замаскированных кодонов в CDS-областях · получение эмбеддингов последовательностей мРНК