Компактная decoder-only языковая модель семейства pico-decoder для генерации текста и исследовательского анализа обучения.

Подходит для: генерация продолжения текста · эксперименты с предобучением языковых моделей · анализ обучения по слоям модели

Небольшая англоязычная авторегрессионная модель EleutherAI для исследований генерации текста и поведения языковых моделей.

Подходит для: эксперименты с предсказанием следующего токена на английском языке · исследование поведения языковых моделей на разных этапах обучения · анализ интерпретируемости компактной трансформерной модели

Компактная англоязычная decoder-only модель на 65 млн параметров для исследований обучения языковых моделей и анализа с pico-analyze.

Подходит для: изучение динамики обучения языковых моделей · воспроизводимые эксперименты с небольшими языковыми моделями · анализ поведения модели с помощью pico-analyze

Англоязычная авторегрессионная модель EleutherAI на 1,7 млрд параметров для контролируемых исследований поведения и интерпретируемости языковых моделей.

Подходит для: исследование поведения языковых моделей · эксперименты по интерпретируемости LLM · сравнение моделей разных размеров на одинаковых данных

Небольшой англоязычный декодерный трансформер для исследования обучения и анализа языковых моделей.

Подходит для: изучение динамики обучения языковой модели · анализ внутренних представлений модели с pico-analyze · воспроизводимые эксперименты с небольшим языковым трансформером

Англоязычная модель EleutherAI на 15,4 млрд параметров для генерации текста и контролируемых исследований поведения и интерпретируемости больших языковых моделей.

Подходит для: эксперименты по интерпретируемости больших языковых моделей · изучение влияния дедупликации обучающих данных · анализ поведения базовой языковой модели при продолжении текста

Производная модели CollectionStudio/Trinity-Large-TrueBase. Базовая разреженная MoE-модель Arcee AI для исследований предобучения, анализа поведения и последующего дообучения.

Подходит для: исследование поведения модели после масштабного предобучения · анализ маршрутизации экспертов и балансировки нагрузки в MoE · пробинг и интерпретируемость языковой модели

Дообученный мультимодальный медицинский ассистент для анализа клинических случаев, обучения и подготовки структурированных медицинских текстов.

Подходит для: разбор клинических случаев и диагностических сценариев · объяснение дифференциальной диагностики студентам-медикам · подготовка и структурирование SOAP-документации

Экспериментальная MoE-языковая модель Pacific-i64 в процессе предварительного обучения для генерации текста, не настроенная на выполнение инструкций.

Подходит для: эксперименты с генерацией текста на контрольных точках обучения · исследование маршрутизации экспертов в MoE-моделях · оценка языковой модели в диалоговых сценариях

Базовая разреженная MoE-модель Arcee AI для генерации текста, исследований предобучения и последующего дообучения.

Подходит для: исследование поведения языковой модели после масштабного предобучения · изучение маршрутизации и балансировки экспертов MoE · зондирование и интерпретируемость языковой модели

Компактная модель Cinimod на 287 млн параметров, обученная с нуля на материалах DevOps для генерации операционных подсказок и документации.

Подходит для: получение подсказок по командам системного администрирования · составление черновиков DevOps-документации · генерация ответов на вопросы о работе nginx и других инструментов

Текстовая MoE-модель Mini-K3 для исследований предобучения и сравнения вариантов архитектуры.

Подходит для: исследование предобученной языковой модели · сравнение вариантов архитектуры KDA и Gated MLA · эксперименты с MoE и маршрутизацией экспертов

Предобученный текстовый чекпойнт Mini-K3 для генерации текста и исследований архитектуры MoE с KDA и Gated MLA.

Подходит для: эксперименты с генерацией текста на предобученной модели · сравнение вариантов архитектуры KDA и Gated MLA · исследование разреженных MoE-моделей

Небольшая текстовая MoE-модель Mini-K3 для исследований предобучения и сравнения архитектур генерации текста.

Подходит для: эксперименты с предобучением языковых моделей · сравнение архитектур KDA и Gated MLA · генерация продолжения текста

Многоязычная модель Google на архитектуре T5 для машинного перевода более чем на 400 языках.

Подходит для: Перевод текста между поддерживаемыми языками · Перевод на языки с малым количеством обучающих данных · Исследование качества машинного перевода

ModujoMoE — базовая MoE-языковая модель для продолжения текста и дальнейших экспериментов с предобучением и настройкой.

Подходит для: продолжение короткого текста на португальском языке · эксперименты с дообучением языковой модели · исследование маршрутизации экспертов в MoE-моделях

Небольшая английская языковая модель, обученная с нуля, для исследований предобучения и экспериментов с генерацией текста.

Подходит для: исследование предобучения малых языковых моделей · эксперименты с продолжением обучения языковой модели · генерация продолжений английского текста

Экспериментальная языковая модель Arcee.ai с гибридным вниманием KDA и NoPE для исследований эффективности внимания и математических рассуждений.

Подходит для: исследование гибридных архитектур внимания · сравнение линейного и полного внимания · оценка памяти и KV-кэша при обработке контекста

Экспериментальная базовая MoE-модель на 1 млрд параметров для продолжения текста и исследований языкового моделирования.

Подходит для: продолжение короткого текстового фрагмента · эксперименты с базовыми языковыми моделями MoE · оценка архитектуры с чередованием Gated DeltaNet и плотного внимания

ATLAS-8B-Thinking — модель-учитель Arc Intelligence для адаптивного обучения языковых моделей с помощью диагностики и подбора подсказок.

Подходит для: Диагностика ошибок рассуждения у модели-ученика · Адаптивная генерация подсказок для дообучения LLM · Обучение языковых моделей с подкреплением

Базовая компактная причинная языковая модель M2R, обученная на одном CPU-ядре и предназначенная прежде всего для дальнейшего дообучения и исследований.

Подходит для: дообучение компактной языковой модели под специализированные данные · исследование обучения языковых моделей на одном CPU-ядре · эксперименты с линейным и скользящим оконным вниманием

Англоязычная модель EleutherAI на 8,8 млрд параметров для генерации текста и контролируемых исследований поведения больших языковых моделей.

Подходит для: эксперименты с продолжением англоязычного текста · исследование поведения языковых моделей разных размеров · анализ влияния дедупликации обучающих данных

Конвертированная в CTranslate2 версия MADLAD-400-3B-MT для машинного перевода между сотнями языков.

Подходит для: Перевод текста между русским и английским · Многоязычный перевод для языков с малым объёмом обучающих данных · Перевод пользовательского контента на разные языки

Дообученная на вопросах WMDP модель Llama 3.1 8B служит базовым чекпойнтом для оценки экспериментов по забыванию знаний.

Подходит для: генерация ответов на вопросы WMDP · оценка сохранения и забывания знаний в экспериментах RAQUEL · сравнение unlearning-моделей с исходным чекпойнтом