Производная модели Amu/tao-8k. Экспериментальная BERT-модель для эмбеддингов и сравнения текстов с контекстом до 8192 токенов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Карточка модели andrewstone/tao-8k на Hugging Face совпадает с карточкой Amu/tao-8k, поэтому описание составлено по ней.
Amu/tao-8k — экспериментальная модель эмбеддингов, опубликованная автором Amu. В карточке она описана как пробная версия, созданная по методу stella-v2 с увеличенной длиной контекста для tao. Модель основана на архитектуре BERT, содержит около 424,3 млн параметров и принимает текстовые последовательности длиной до 8192 токенов.
Модель предназначена для получения векторных представлений текста и оценки сходства предложений, в том числе для поиска и сравнения длинных текстовых фрагментов. В метаданных указан китайский язык. Веса доступны в формате PyTorch по лицензии Apache-2.0. Автор отмечает, что для работы с полным контекстом в 8 тысяч токенов может потребоваться преобразование весов в float32; также в README упоминается работа над другой версией модели.
Автор характеризует модель как пробную; для использования полного контекста в 8192 токена может потребоваться преобразование весов в float32.
README от автора на Hugging Face, как он его опубликовал
A try for emebdding model:
The method is the same as the stella-v2, I just extend the length of the context on tao.(I found if you want to use the fully-8k context, you maybe need to convert the model to float32).
Now I'm working on the tao-v2, It will have a different sturcture.
I will release tao-v2 as fast as I can.
Thank you to the open source community.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…