Экспериментальный вариант LFM2.5-2.6B от LiquidAI, улучшенный методом MedIT Mesh для диалоговой генерации текста и ответов на вопросы.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
mkurman представил LFM2.5-2.6B-MedIT-Mesh — экспериментальный вариант языковой модели LiquidAI LFM2.5-2.6B, полученный методом MedIT Mesh. В README этот метод описан как способ повысить качество модели, анализируя её веса без требований к данным и вычислениям, характерных для традиционного дообучения. Архитектура — плотная LFM2 для генерации текста; размер составляет 2,6 млрд параметров, а длина контекста — 128 000 токенов.
Модель предназначена для диалоговой генерации текста и может подойти для экспериментов с ответами на вопросы и выполнением инструкций. В README приведены результаты оценок на GPQA-diamond и IFBench: показатели выше исходной модели на 0,015 и 0,023 соответственно. Метаданные перечисляют поддержку арабского, китайского, английского, французского, немецкого, хинди, индонезийского, итальянского, японского, корейского, польского, португальского, русского, испанского, тайского и вьетнамского языков. Лицензия обозначена как other; конкретные условия использования в доступных данных не раскрыты.
README приводит оценки только на GPQA-diamond и IFBench; этих результатов недостаточно, чтобы судить о качестве на других задачах. Указана лицензия other, но её конкретные условия в доступных данных не описаны.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is the result of an experimental technique called "MedIT Mesh", which is a method for improving the performance of large language models without the data and compute requirements of traditional fine-tuning, by looking only at the model's weights.
I evaluated it on GPQA-diamond +0.015 (0.485 vs 0.470) and IFBench +0.023 (0.620 vs 0.597).
Settings:
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…