Компактная многоязычная embedding-модель для семантического поиска, сравнения текстов и извлечения документов в RAG-системах.
Подходит для: семантический поиск по документам и статьям · поиск документов по естественно-языковому запросу · извлечение релевантных фрагментов для RAG и ответов на вопросы
Многоязычная embedding-модель Tarka-AIR для семантического поиска, сравнения текстов и извлечения документов в RAG.
Подходит для: Семантический поиск по документам · Подбор релевантных фрагментов для RAG · Оценка сходства между предложениями
Производная модели CollectionStudio/Trinity-Large-TrueBase. Базовая разреженная MoE-модель Arcee AI для исследований предобучения, анализа поведения и последующего дообучения.
Подходит для: исследование поведения модели после масштабного предобучения · анализ маршрутизации экспертов и балансировки нагрузки в MoE · пробинг и интерпретируемость языковой модели
Небольшая англоязычная авторегрессионная модель EleutherAI для исследований генерации текста и поведения языковых моделей.
Подходит для: эксперименты с предсказанием следующего токена на английском языке · исследование поведения языковых моделей на разных этапах обучения · анализ интерпретируемости компактной трансформерной модели
Базовая разреженная MoE-модель Arcee AI для генерации текста, исследований предобучения и последующего дообучения.
Подходит для: исследование поведения языковой модели после масштабного предобучения · изучение маршрутизации и балансировки экспертов MoE · зондирование и интерпретируемость языковой модели
Экспериментальная языковая модель Arcee.ai с гибридным вниманием KDA и NoPE для исследований эффективности внимания и математических рассуждений.
Подходит для: исследование гибридных архитектур внимания · сравнение линейного и полного внимания · оценка памяти и KV-кэша при обработке контекста
Базовая модель Arcee AI на 6 млрд параметров с архитектурой MoE, предназначенная для дальнейшего дообучения под специализированные задачи генерации текста.
Подходит для: дообучение языковой модели под внутренние документы компании · адаптация модели для специализированного текстового ассистента · создание предметной модели генерации текста
Базовая разреженная MoE-модель Arcee AI для исследований предобучения, анализа поведения и последующего дообучения.
Подходит для: исследование поведения модели после масштабного предобучения · анализ маршрутизации экспертов и балансировки нагрузки в MoE · пробинг и интерпретируемость языковой модели
Небольшая генеративная языковая модель на архитектуре Llama для создания текста и диалогов.
Подходит для: генерация коротких текстовых ответов · простой диалог с языковой моделью · эксперименты с генерацией текста на компактной модели
Компактная базовая языковая модель на 49,3 млн параметров для исследований, бенчмаркинга и продолжения предобучения.
Подходит для: эксперименты с компактными причинно-языковыми моделями · продолжение предобучения на собственном корпусе · бенчмаркинг малых языковых моделей
Экспериментальная модель GPT-2 на 124,4 млн параметров служит базой для дальнейшего обучения академического помощника ARKA.
Подходит для: создание прототипа академического помощника по знаниям · дальнейшее обучение диалоговой языковой модели · эксперименты с генерацией текста на английском языке
Производная модели arcee-ai/Trinity-Nano-Base-Pre-Anneal. Базовая модель Arcee AI на 6 млрд параметров с архитектурой MoE, предназначенная для дальнейшего дообучения под специализированные задачи генерации текста.
Подходит для: дообучение языковой модели под внутренние документы компании · адаптация модели для специализированного текстового ассистента · создание предметной модели генерации текста
Производная модели arcee-ai/Trinity-Large-Base. Базовая разреженная MoE-модель Arcee AI для генерации текста, исследований предобучения и последующего дообучения.
Подходит для: исследование поведения языковой модели после масштабного предобучения · изучение маршрутизации и балансировки экспертов MoE · зондирование и интерпретируемость языковой модели
Исследовательская дистиллированная языковая модель Arcee.ai с KDA во всех слоях для изучения линейного внимания и генерации текста.
Подходит для: сравнение линейного внимания KDA с полным вниманием · исследование дистилляции внимания в языковых моделях · генерация текста на длинных последовательностях
Базовый чекпойнт Aria для продолжения мультимодального предобучения и языковых и визуально-языковых задач с контекстом до 8K.
Подходит для: продолжение предобучения на документах для OCR · адаптация к многоязычным данным · продолжение обучения для агентных сценариев
Предобученная языковая MoE-модель AETHORIA-AI с детерминированной хеш-маршрутизацией для исследований архитектуры и продолжения обучения.
Подходит для: изучение детерминированной маршрутизации экспертов в языковых моделях · воспроизведение экспериментов по предобучению MoE · продолжение обучения на технических и агентно-ориентированных текстовых данных
Компактная экспериментальная Llama-модель для генерации текста, полученная слиянием arco и Danube 3 500M.
Подходит для: эксперименты с генерацией текста на компактной модели · zero-shot оценка на тестах общего знания · сравнение небольших языковых моделей на бенчмарках
Производная модели arcee-ai/Trinity-Mini-Base. Базовая многоязычная MoE-модель Arcee AI для генерации текста и дообучения под специализированные задачи.
Подходит для: дообучение языковой модели под внутреннюю предметную область · создание специализированного текстового генератора · эксперименты с многоязычной генерацией текста
Англоязычная компактная причинная языковая модель ARO для исследований усвоения языка и грамматической генерализации при ограниченном бюджете данных.
Подходит для: исследование усвоения языка на ограниченном объёме обучающих данных · генерация продолжений англоязычного текста · сравнение компактных причинных языковых архитектур