III.2Исследование рынка и маркетинг

Mistral-7B-KNUT-v0.2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 и Mistral-7B-KNUT-v0.2 методом SLERP с помощью MergeKit. Модель построена на архитектуре Mistral с 7,1 млрд параметров и принимает текстовые запросы, чтобы генерировать ответы и следовать инструкциям в диалоговом формате. Модель подходит для чат-ботов, ответов на инструкции и генерации текста. Её контекст составляет до 32 768 токенов. Файлы модели представлены в формате safetensors; лицензия — Apache-2.0. В карточке не заявлены отдельные языки или специализированные области применения.

NickyNicky/Mistral-7B-OpenOrca-oasst_top1_2023-08-25-v2 — разговорная языковая модель на архитектуре Mistral, созданная на основе Open-Orca/Mistral-7B-OpenOrca. В карточке указано обучение на данных OpenAssistant/oasst_top1_2023-08-25; метаданные также связывают модель с Open-Orca/OpenOrca. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста в диалогах: она может отвечать на вопросы, поддерживать беседу и формулировать текстовые ответы. В карточке и метаданных перечислены болгарский, каталанский, чешский, датский, немецкий, английский, испанский, французский, хорватский, венгерский, итальянский, нидерландский, польский, португальский, румынский, русский, словенский, сербский, шведский и украинский языки. Лицензия — Apache-2.0. Оценки качества и подробные ограничения в доступных сведениях не приведены.

zelk12/MT1-Gen3-MUI-gemma-2-9B — разговорная текстовая модель на архитектуре Gemma 2 с 9 млрд параметров, созданная слиянием предварительно обученных языковых моделей методом SLERP через mergekit. В метаданных указаны базовые модели zelk12/MT1-Gen3-IF-gemma-2-MTM2MUS5-9B и zelk12/MT1-Gen3-MU-gemma-2-S2S5-9B; карточка README приводит их в конфигурации слияния. Модель предназначена для генерации текста в диалоге: она принимает текстовые запросы и выдаёт текстовые ответы. Заявленный контекст составляет 8192 токена. Карточка не сообщает конкретные языки или специализированные предметные области, поэтому модель следует рассматривать как общего назначения. Модель распространяется в формате safetensors согласно метаданным. Лицензия в предоставленных данных не указана.

zelk12/MT1-Max-Merge_02012025163610-MU-gemma-2-MTM2MUMT1g2-9B — объединённая разговорная языковая модель на архитектуре Gemma 2, созданная методом SLERP с помощью mergekit из моделей zelk12/MT1-Gen2-gemma-2-9B и zelk12/MT-Merge2-MU-gemma-2-MTg2MT1g2-9B. Она предназначена для генерации текста и ведения диалогов. Модель содержит 9 млрд параметров, принимает текст и генерирует текст, поддерживает контекст до 8192 токенов и представлена в формате safetensors для библиотеки Transformers. В метаданных указана лицензия; её условия следует учитывать при использовании модели.

zelk12/MT3-Gen5-BMU-gemma-2-9B — слитая модель Gemma 2 на 9 млрд параметров, созданная автором репозитория с помощью mergekit методом SLERP из двух предварительно обученных моделей. Она предназначена для генерации текста и диалогового общения; такие модели можно применять для ответов на запросы и создания связного текста. Модель использует архитектуру Gemma2ForCausalLM, работает с текстом и поддерживает контекст до 8192 токенов. Репозиторий содержит веса в формате safetensors; в конфигурации слияния указан тип bfloat16. Карточка не описывает специальные языковые или предметные специализации, поэтому модель следует считать общего назначения. Лицензия в предоставленных данных не указана.

zelk12/MT5-Gen5-MA-gemma-2-MTg2MT2-9B — объединённая модель семейства Gemma 2, созданная с помощью mergekit методом SLERP из zelk12/MT-Gen2-gemma-2-9B и zelk12/MT2-gemma-2-9B. Это плотная авторегрессионная языковая модель на 9 млрд параметров для генерации текста и диалогового общения; в метаданных указана поддержка chat и контекст до 8192 токенов. Модель принимает текст и генерирует текст, работает через Transformers и распространяется в формате safetensors. Модель подходит для ведения диалога и создания текстовых ответов. Карточка не сообщает о специализированной предметной области или конкретных языках; поэтому её следует рассматривать как модель общего назначения. Известные ограничения качества, лицензия и специальные условия использования в предоставленных данных не описаны.

NeuralsirkrishnaShadow_CalmeInex12 — объединённая модель генерации текста, созданная на основе automerger/NeuralsirkrishnaShadow-7B и automerger/CalmeInex12-7B. В карточке указаны архитектура Mistral с плотной архитектурой и 7,1 млрд параметров; модель рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0.

Noro-Hermes-7B — объединённая диалоговая языковая модель на основе Mistral, созданная ThomasComics с помощью LazyMergekit. Она объединяет NeverSleep/Noromaid-7B-0.4-DPO и NousResearch/Nous-Hermes-2-Mistral-7B-DPO методом slerp; в конфигурации указана точность bfloat16. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста по запросам и диалогового общения. Её можно использовать для ответов на вопросы, ведения беседы и подготовки текстовых черновиков. Данных о лицензии, целевых языках и специальных ограничениях в предоставленной карточке нет.

Qwen2-7B-Instruct-it-v1.1 — дообученная чат-модель, разработанная homeb82784 на базе unsloth/qwen2-7b-instruct-bnb-4bit. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для генерации текста в диалоговом формате. В карточке указано, что обучение проводилось с использованием Unsloth и библиотеки Hugging Face TRL. Модель принимает текст и генерирует текст; заявленная длина контекста составляет 32 768 токенов. В метаданных указан английский язык. Модель распространяется в формате Safetensors под лицензией Apache-2.0.

Карточка модели homeb82784/Qwen2-7B-Instruct-it-v1.6 на Hugging Face совпадает с карточкой homeb82784/Qwen2-7B-Instruct-it-v1.1, поэтому описание составлено по ней. Qwen2-7B-Instruct-it-v1.1 — дообученная чат-модель, разработанная homeb82784 на базе unsloth/qwen2-7b-instruct-bnb-4bit. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для генерации текста в диалоговом формате. В карточке указано, что обучение проводилось с использованием Unsloth и библиотеки Hugging Face TRL. Модель принимает текст и генерирует текст; заявленная длина контекста составляет 32 768 токенов. В метаданных указан английский язык. Модель распространяется в формате Safetensors под лицензией Apache-2.0.

SlimOrca-Llama-3-8B-GGUF — это квантизированная GGUF-версия текстовой генеративной модели SlimOrca-Llama-3-8B, разработанная на основе оригинальной модели ajibawa-2023/SlimOrca-Llama-3-8B. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель обучена на наборах данных Open-Orca/SlimOrca и ajibawa-2023/SlimOrca-ShareGPT. Модель предназначена для генерации текста и диалоговых сценариев на английском языке, включая ответы на вопросы, решение задач с выбором ответа, суммаризацию, написание обзоров, формулирование гипотез, создание историй и статей. Архитектура относится к семейству Llama 3, размер — 8 миллиардов параметров. Модель поддерживает текстовую модальность; размер контекста в README не указан. Для работы рекомендуется форматирование запросов по шаблону с ролями system, user и assistant. Репозиторий содержит варианты квантизации от IQ1 до Q8 с размером файлов примерно от 2,01 до 8,54 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS отмечены как рекомендуемые благодаря удачному соотношению качества и размера. Более компактные варианты снижают требования к оперативной памяти, но могут заметно уступать в качестве; IQ1-варианты имеют крайне низкое качество и не рекомендуются. Лицензия модели — Apache-2.0.

SOLAR-10.7B-merge-dpo_v1 — текстовая генеративная модель команды ETRI xainlp, созданная слиянием моделей через MergeKit. В карточке указаны базовая модель etri-xainlp/SOLAR-10.7B-merge-dpo и модель для слияния davidkim205/komt-solar-10.7b-sft-v5; при обучении использовался набор из 100 тысяч пользовательских предпочтений с DPO и LoRA. Архитектура — плотная модель семейства Llama с 10,6 млрд параметров и контекстом до 4096 токенов. Модель принимает текст и выдаёт текст; метаданные также отмечают поддержку чата. Подходит для диалогов и генерации ответов на текстовые запросы. Репозиторий содержит веса Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

T3qm7xNeuralsirkrishna_Experiment24Experiment26 — объединённая модель для генерации текста, созданная на основе двух моделей Mistral: automerger/T3qm7xNeuralsirkrishna-7B и automerger/Experiment24Experiment26-7B. Она содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и принимает текстовый контекст длиной до 32 768 токенов. Модель предназначена для генерации текста и диалогов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

T3qm7xNeuralsirkrishna_Strangemerges_32Experiment28 — объединённая модель для генерации текста на архитектуре Mistral с 7,1 млрд параметров. Она создана путём слияния automerger/T3qm7xNeuralsirkrishna-7B и automerger/Strangemerges_32Experiment28-7B. Модель предназначена для генерации текста и диалоговых сценариев. Она принимает текст и поддерживает контекст до 32 768 токенов; веса опубликованы в формате Safetensors. Лицензия — Apache 2.0.

Tulpar-7b-v2 — языковая модель HyperbeeAI на архитектуре Mistral, дообученная на инструкционном наборе данных, включающем примеры, созданные GPT-4, а также отфильтрованные и подготовленные наборы Airoboros и Platypus. Модель содержит 7,1 млрд параметров и принимает текст для генерации ответов по инструкциям; её контекстное окно составляет 32 768 токенов. Модель предназначена для диалоговых сценариев и выполнения текстовых инструкций на английском языке. Она распространяется в формате Safetensors по лицензии Apache-2.0. Разработчик не гарантирует точность, объективность и отсутствие предвзятости и рекомендует проверять безопасность модели перед внедрением.

Tulu V2 70B — языковая модель-помощник, разработанная AI2 и дообученная на базе meta-llama/Llama-2-70b-hf на смеси общедоступных, синтетических и созданных людьми данных. Это плотная авторегрессионная модель семейства Llama с 68,7 млрд параметров и контекстом до 8192 токенов. Модель предназначена для диалогов и выполнения инструкций на английском языке: она может отвечать на вопросы, помогать с текстовыми задачами и поддерживать беседу. Для работы следует использовать обученный формат сообщений с нужными разделителями и переводами строк. Модель не проходила выравнивание на безопасные ответы в рамках RLHF и не оснащена фильтрацией ответов, поэтому может выдавать проблемный контент, в том числе по соответствующему запросу. Распространяется по лицензии AI2 ImpACT Low-risk.

Moritz Laurer разработал эту компактную модель для классификации текста без заранее заданного набора классов: пользователь передаёт текст и варианты меток, а модель оценивает их соответствие. Это дообученная на задачах естественного языкового вывода (NLI) модель на базе Microsoft XTREME-Distil, с архитектурой BERT и 14,1 млн параметров по метаданным. Модель принимает текст и выдаёт оценки классов; максимальная длина контекста — 512 токенов. Модель рассчитана на быстрый запуск на устройствах с ограниченными ресурсами и в браузере, в том числе через Transformers.js. Карточка приводит точность на наборах данных, использованных при обучении, но не содержит отдельной оценки zero-shot качества; автор отмечает, что модель работает менее точно, чем более крупные варианты. Лицензия — MIT.

Это языковая модель семейства Llama, дообученная dhanushkgowda на основе unsloth/llama-3.2-3b-instruct-bnb-4bit. Она предназначена для генерации текста и диалогового взаимодействия. Модель содержит 3,2 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст, выдавая текст; заявленная длина контекста — 131072 токена. Для обучения применялись Unsloth и библиотека TRL. Лицензия — Apache 2.0.

AlloyingotneoyExperiment26-7B — объединённая Maxime Labonne модель генерации текста на базе архитектуры Mistral. Она создана методом DARE-TIES из nlpguy/AlloyIngotNeoY и yam-peleg/Experiment26-7B; в метаданных базовой моделью также указана yam-peleg/Experiment26-7B. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM, веса представлены в safetensors, контекст — до 32 768 токенов. Модель предназначена для генерации текста. Доступные сведения не описывают отдельные специализированные сценарии или языки, поэтому её можно характеризовать как текстовую модель общего назначения. Указанная лицензия — Apache-2.0. Карточка не содержит оценок качества или подробных ограничений применения.

Beast-Soul-new — текстовая генеративная модель, созданная слиянием udkai/Turdus и flemmingmiguel/MBX-7B с помощью LazyMergekit. Она предназначена для генерации текста по запросу и может использоваться в диалоговых и других сценариях, построенных на продолжении текста. Модель основана на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Указанный размер контекста — 32 768 токенов; веса опубликованы в формате Safetensors. В README описан метод слияния SLERP с настройками для слоёв внимания и MLP. В карточке не приведены специальные предметные области или сведения о языковой специализации. Лицензия не указана в предоставленных данных.

CatMacaroni-Slerp-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, полученная слиянием mistralai/Mistral-7B-Instruct-v0.2 и cookinai/CatMacaroni-Slerp методом SLERP. Репозиторий указывает архитектуру MistralForCausalLM с плотной сетью на 7,1 млрд параметров; веса представлены в safetensors. Модель предназначена для генерации текста и ответов на инструкции в формате диалога, включая чат-сценарии. Модель принимает текст и генерирует текст. Для базовой Mistral-7B-Instruct-v0.2 указан контекст до 32 768 токенов. Репозиторий распространяется по лицензии Apache-2.0. Карточка не приводит отдельных оценок качества или подробных ограничений применения.

Карточка модели roskosmos19/Coral на Hugging Face совпадает с карточкой roskosmos19/Coral-Router, поэтому описание составлено по ней. Coral-Router, также называемая Coral-MNLI в карточке, — модель классификации последовательностей на базе BART-large, дообученная на MultiNLI. Она принимает текст и список меток-кандидатов, оценивает, насколько каждая метка подходит, и подходит для классификации без обучения на конкретных классах, в том числе в режиме нескольких меток. Модель применяет подход естественного логического вывода: исходный текст рассматривается как предпосылка, а каждая метка превращается в гипотезу; оценка соответствия основана на вероятности entailment. Это позволяет использовать её для определения тематики, тональности, намерения и модерации содержимого. Размер модели — 252,8 млн параметров, контекст — до 1024 токенов. Лицензия — Apache-2.0. Для длинных текстов возможна обрезка: сохраняется начало текста, поэтому важную информацию рекомендуется размещать ближе к началу. Качество также зависит от ясности и конкретности предложенных меток.

Cypher-7B — диалоговая языковая модель на архитектуре Mistral, созданная объединением NousResearch/Nous-Hermes-2-Mistral-7B-DPO и cognitivecomputations/samantha-1.1-westlake-7b-laser методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и общения в формате чата. Модель принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. Репозиторий использует Transformers и формат safetensors. Лицензия указана как CC, но конкретный вариант лицензии в предоставленных данных не раскрыт.

Narsil/deberta-large-mnli-zero-cls — крупная модель классификации текста на базе DeBERTa Large, дообученная на задаче MNLI. Архитектура DeBERTa использует раздельное внимание к содержимому и позициям токенов и улучшенный декодер маски; в репозитории указано около 454,1 млн параметров, формат PyTorch и контекст до 512 токенов. Модель предназначена для классификации последовательностей и zero-shot-классификации: можно сопоставлять текст с наборами кандидатных меток, в том числе задавая метки без отдельного обучения на каждом наборе классов. Она работает с текстом на английском языке и может использоваться в сценариях понимания естественного языка и проверки текстовых гипотез. Модель распространяется по лицензии MIT. Показатели из README относятся к разным задачам и вариантам DeBERTa, поэтому их нельзя считать гарантированной оценкой качества именно этого чекпойнта на произвольных данных.

Moritz Laurer разработал deberta-v3-base-zeroshot-v1.1-all-33 для классификации текстов без заранее заданного набора меток. Модель преобразует задачу в проверку гипотезы: следует ли из текста заданное утверждение; результат относится к классам entailment и not_entailment. Это позволяет задавать собственные категории и формулировки через шаблоны гипотез. Модель основана на DeBERTa-v3-base с архитектурой DeBERTa-v2 для классификации последовательностей, содержит 211,6 млн параметров и обрабатывает контекст до 512 токенов. Обучение проводилось на английских данных: пяти наборах NLI и 28 задачах классификации, преобразованных в общий формат, всего с 387 классами. Её можно применять для тональности, тематики, эмоций, токсичности, спама и других текстовых категорий. Несмотря на универсальный формат, модель предназначена только для классификации текста и обучена только на английском языке; для других языков автор рекомендует переводить текст на английский. Для части обучающих задач использовалось до 500 примеров на класс, поэтому показатели на этих наборах не отражают полностью сценарий классификации без примеров. Возможны смещения, унаследованные от обучающих данных. Модель доступна под лицензией MIT; для работы используются Transformers и SentencePiece, а старые версии Transformers могут вызывать ошибки токенизатора.

DistilBart-MNLI-12-1 — сжатая модель на архитектуре BART, опубликованная Valhalla. Она предназначена для классификации текста по заданным пользователем меткам без обучения отдельного классификатора под каждую категорию: модель сопоставляет текст с гипотезами о его содержании и оценивает их правдоподобие. В карточке Hugging Face основная задача обозначена как zero-shot-классификация. Модель содержит 252,8 млн параметров и имеет контекст до 1024 токенов. По README, это дистилляция bart-large-mnli: использованы чередующиеся слои исходной модели и дополнительное дообучение на тех же данных MNLI. Для варианта 12-1 указана точность 87,08% на matched и 87,5% на mismatched части оценки MNLI; это ниже базовой bart-large-mnli, но README характеризует снижение как небольшое. Репозиторий содержит веса PyTorch и Flax. Модель принимает текст и возвращает оценки соответствия между ним и предложенными метками или гипотезами. Её можно применять для тематической сортировки обращений, маршрутизации текстов по категориям и предварительной разметки документов. Карточка не сообщает лицензию и не уточняет языки обучения или качество на других наборах данных; результат зависит от формулировки меток и гипотез.

DolphinHermes-120b — объединённая языковая модель на базе архитектуры Llama, созданная автором репозитория с помощью mergekit линейным слиянием NousResearch/Nous-Hermes-2-Llama-2-70B и cognitivecomputations/dolphin-2.2-70b. Модель содержит 120,1 млрд параметров, работает через Transformers и рассчитана на генерацию текста и диалоговое взаимодействие. Её контекст составляет 4096 токенов. Модель подходит для ответов на вопросы, следования инструкциям и ведения диалогов. В репозитории указаны веса safetensors. Лицензия — Llama 2; перед использованием следует учитывать её условия. Карточка не приводит результатов оценивания качества или подробных ограничений, поэтому качество на конкретных задачах нужно проверять отдельно.

EuroLLM-1.7B — мультиязычная языковая модель с 1,4 млрд параметров, разработанная Unbabel совместно с Instituto Superior Técnico, Instituto de Telecomunicações, University of Edinburgh, Aveni, University of Paris-Saclay, University of Amsterdam, Naver Labs и Sorbonne Université при финансировании Европейского союза. Это предварительно обученная модель на основе плотного Transformer с архитектурой Llama; она обучена на 4 трлн токенов из веб-данных, параллельных текстов и других качественных наборов данных. Используются GQA, RMSNorm, SwiGLU и RoPE; длина контекста — 4096 токенов. Модель предназначена для генерации и продолжения текста на европейских языках и ряде дополнительных языков. Её можно применять для многоязычных текстовых задач, включая машинный перевод; карточка приводит результаты переводческих оценок для версии EuroLLM-1.7B-Instruct, которая отдельно дообучена следовать инструкциям. Для этой базовой версии не следует предполагать такое же качество следования инструкциям. Модель поддерживает болгарский, хорватский, чешский, датский, нидерландский, английский, эстонский, финский, французский, немецкий, греческий, венгерский, ирландский, итальянский, латышский, литовский, мальтийский, польский, португальский, румынский, словацкий, словенский, испанский, шведский, арабский, каталанский, китайский, галисийский, хинди, японский, корейский, норвежский, русский, турецкий и украинский. Лицензия — Apache 2.0. Модель не выравнивалась по предпочтениям людей и может выдавать галлюцинации, ложные или вредоносные ответы.

Fusion-7B-Quintessence — языковая модель для генерации текста, созданная слиянием предварительно обученных моделей с помощью mergekit и метода passthrough. В состав вошли NousResearch/Nous-Hermes-2-Mistral-7B-DPO, NousResearch/Genstruct-7B и Weyaxi/Einstein-v4-7B. Архитектура — плотная Mistral с классом MistralForCausalLM; в репозитории указано 21,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для диалогов и генерации текста по запросу. Модель принимает и выдаёт текст; метаданные отмечают возможность чата. В README указана лицензия на веса отдельно не приводится, поэтому условия использования по этим данным определить нельзя. Слияние разных моделей может давать нестабильное качество на отдельных запросах.

Gemma-2-Ataraxy-v4c-9B — диалоговая языковая модель на базе Gemma 2, созданная lemon07r слиянием предварительно обученных моделей через SLERP с помощью mergekit. В объединении использованы lemon07r/Gemma-2-Ataraxy-v3b-9B и zelk12/recoilme-gemma-2-Ataraxy-9B-v0.1-t0.25. Модель с плотной архитектурой Gemma2ForCausalLM содержит 9 млрд параметров и имеет контекстное окно 8192 токена. Она предназначена для генерации текста в диалоге, выполнения инструкций и творческих текстовых задач. В README приведены результаты Open LLM Leaderboard, включая IFEval и BBH; эти показатели сами по себе не гарантируют качество в конкретном сценарии. В репозитории указана лицензия Gemma. Использование регулируется условиями лицензии Google Gemma.