Компактная дистиллированная модель BERT для понимания естественного языка и дообучения под конкретные задачи.
Подходит для: дообучение для классификации текстов · дообучение для анализа тональности · дообучение для распознавания сущностей
Компактная модель RoBERTa на 25,5 млн параметров для предсказания замаскированных слов и экспериментов с небольшими языковыми моделями.
Подходит для: подбор вариантов слова для заполнения маски в предложении · оценка контекста слова через предсказание скрытого токена · эксперименты с компактными языковыми моделями
Компактная трёхслойная модель MiniLM для извлечения векторных представлений текста.
Подходит для: получение эмбеддингов текстов · подготовка признаков для семантического поиска · представление текста для последующей классификации
Компактная многоязычная модель Microsoft на архитектуре BERT для классификации текста и дообучения на задачах понимания языка.
Подходит для: классификация текста на нескольких языках · определение логического следствия между предложениями · межъязыковой перенос классификатора
Компактный англоязычный энкодер BERT для понимания текста и дообучения под задачи NLP на устройствах с ограниченными ресурсами.
Подходит для: классификация английских текстов после дообучения · анализ тональности английских отзывов · определение семантического сходства предложений
Компактная авторегрессионная модель семейства Llama для генерации текста, предварительно обученная на FineWeb.
Подходит для: эксперименты с компактными языковыми моделями · генерация коротких текстовых продолжений · изучение авторегрессионной архитектуры Llama
Компактная англоязычная модель BERT для понимания текста и дообучения на NLP-задачи в условиях ограниченных вычислительных ресурсов.
Подходит для: классификация английских текстов после дообучения · анализ тональности англоязычных отзывов · определение смыслового сходства предложений
Промежуточная компактная модель семейства Llama для генерации текста и экспериментов с моделями, работающими при ограниченных вычислительных ресурсах.
Подходит для: генерация коротких текстов · эксперименты с компактными языковыми моделями · разработка приложений на базе Llama при ограниченной памяти
Компактная шестислойная модель MiniLM извлекает контекстные признаки из текста для NLP-задач.
Подходит для: извлечение признаков из текстовых последовательностей · получение контекстных представлений для поиска · подготовка текстовых признаков для классификации
Компактная BERT-модель для извлечения признаковых представлений текста с контекстом до 512 токенов.
Подходит для: получение векторных представлений текста · извлечение признаков для последующей классификации · подготовка текстовых признаков для собственной ML-модели
Компактный англоязычный BERT с четырьмя слоями и 32,4 млн параметров для понимания текста и дообучения на NLP-задачи.
Подходит для: классификация английских текстов после дообучения · анализ тональности отзывов на английском языке · оценка семантического сходства предложений
onnx: формат, квантизация, runtime и память принадлежат одному artifact
Базовая компактная языковая модель MiniCPM5 для локального запуска и дальнейшего дообучения, с контекстом до 131 072 токенов.
Подходит для: дальнейшее дообучение языковой модели · эксперименты с компактными причинными Transformer-моделями · создание локального текстового ассистента после адаптации
Компактная англоязычная модель BERT для понимания текста и дообучения на задачах NLP в условиях ограниченных вычислительных ресурсов.
Подходит для: классификация английских текстов · анализ тональности англоязычных отзывов · оценка семантического сходства предложений
Компактная англоязычная модель BERT для понимания текста и дообучения на прикладные задачи при ограниченных вычислительных ресурсах.
Подходит для: классификация английских текстов после дообучения · анализ тональности английских отзывов · определение семантического сходства предложений
Промежуточный чекпойнт компактной модели TinyLlama на 1,1 млрд параметров для генерации текста и экспериментов с языковыми моделями.
Подходит для: эксперименты с обучением компактных языковых моделей · изучение поведения Llama-моделей на промежуточных этапах предобучения · тестирование генерации текста при ограниченных вычислительных ресурсах
Компактная авторегрессионная LLaMA-подобная модель BabyLM для генерации текста и исследований малых языковых моделей.
Подходит для: генерация коротких продолжений текста · эксперименты с маломасштабным предварительным обучением · исследование sample-efficient обучения языковых моделей
Компактная дистиллированная англоязычная модель BERT для понимания текста и дальнейшего дообучения под конкретные NLP-задачи.
Подходит для: дообучение для классификации текстов · дообучение для распознавания именованных сущностей · дообучение для ответа на вопросы по тексту
Компактная модель Transformers для исследовательской генерации текста и экспериментов с небольшими языковыми моделями.
Подходит для: генерация коротких текстовых продолжений · эксперименты с языковыми моделями малого размера · прототипирование text-generation в Transformers
Компактная англоязычная модель LDT-10M демонстрирует обучение языковой модели с нуля, но генерирует связный текст лишь на коротких отрезках.
Подходит для: изучение обучения языковых моделей с нуля · эксперименты с архитектурами языковых моделей малого размера · оценка влияния малого числа параметров на связность генерации
Компактная модель Llama, обученная с нуля для генерации текста и экспериментов с языковыми моделями.
Подходит для: генерация продолжения текста · эксперименты с компактной авторегрессионной моделью · оценка языковой модели на бенчмарках
Небольшая каузальная языковая модель Dynamic ALiBi для экспериментальной генерации текста, обученная на варианте BabyLM 100M.
Подходит для: эксперименты с генерацией короткого текста · сравнение языковых моделей на BabyLM · изучение влияния Dynamic ALiBi на генерацию
Компактная базовая языковая модель для исследований архитектур, анализа представлений и учебных экспериментов с генерацией текста.
Подходит для: сравнение архитектур небольших языковых моделей · изучение смешивания каналов в блоке SwiGLU · анализ внутренних представлений языковой модели
Экспериментальная небольшая авторегрессионная модель Dynamic ALiBi для генерации продолжений текста.
Подходит для: эксперименты с генерацией текста на малых языковых моделях · сравнение вариантов Dynamic ALiBi в обучении языковых моделей · изучение чекпойнтов BabyLM по эпохам