III.1Стратегия, продукт и бизнес-модели

taozi555/llama3-Mirage-Walker-8b — объединённая диалоговая языковая модель, созданная с помощью mergekit на основе Meta Llama 3 8B Instruct с включением Undi95/Llama-3-Unholy-8B и taozi555/Llama-3-8B-Instruct-pippa. Веса объединены методом task arithmetic; архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, формат файлов — safetensors. Модель предназначена для диалоговой генерации текста и ответов ассистента. Она принимает текст и выдаёт текст, поддерживает контекст до 8192 токенов; в метаданных указаны английский язык и возможность ведения чата. Лицензия в предоставленных данных не указана.

M7Yamshadowexperiment28_Inex12Experiment26 — объединённая языковая модель на архитектуре Mistral, созданная путём слияния automerger/M7Yamshadowexperiment28-7B и automerger/Inex12Experiment26-7B. Она предназначена для генерации текста и поддерживает контекст до 32 768 токенов. Модель содержит 7,1 млрд параметров и распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает специализацию по языкам или предметным областям; модель можно рассматривать для общих задач генерации текста.

MaziyarPanahi/M7Yamshadowexperiment28_Strangemerges_32Yam — слитая модель семейства Mistral, созданная на основе automerger/M7Yamshadowexperiment28-7B и automerger/Strangemerges_32Yam-7B. Она предназначена для генерации текста и поддерживает контекст до 32 768 токенов. Модель содержит 7,1 млрд параметров и распространяется в формате safetensors. Модель подходит для диалогов, создания черновиков и продолжения текста, а также для работы с длинными текстовыми запросами. В карточке не приведены оценки качества и сведения о специальной настройке для конкретных областей. Лицензия — Apache-2.0.

knkarthick/MEETING_SUMMARY — англоязычная модель суммаризации на архитектуре BART, дообученная на корпусе совещаний AMI, а также на наборах SAMSUM, DIALOGSUM и XSUM. Она предназначена для составления краткого содержания встреч и диалогов, а также для суммаризации текста. Модель содержит 252,8 млн параметров и рассчитана на входной контекст до 1024 токенов. Модель принимает текст и генерирует текстовое резюме. Веса доступны в форматах PyTorch, safetensors и TensorFlow. Лицензия — Apache-2.0.

MeliodasPercival_01_Strangemerges_32Ogno — объединённая модель семейства Mistral, созданная на основе automerger/MeliodasPercival_01-7B и automerger/Strangemerges_32Ogno-7B. Она содержит 7,1 млрд параметров и предназначена для генерации текста, включая диалоги, с контекстом до 32 768 токенов. Модель принимает текст и выдаёт текст. Веса доступны в формате safetensors; лицензия — Apache-2.0. README не приводит сведений о специализации модели или результатах оценки качества.

MaziyarPanahi/MeliodasPercival_01_T3qm7xExperiment28 — объединённая модель семейства Mistral с 7,1 млрд параметров для генерации текста и диалогов. Она объединяет модели automerger/MeliodasPercival_01-7B и automerger/T3qm7xExperiment28-7B и использует архитектуру MistralForCausalLM с плотной структурой. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Модель подходит для генерации продолжений текста и диалоговых ответов. В карточке указана лицензия Apache-2.0. Подробности о языковом покрытии и специальных ограничениях в доступных данных не описаны.

MeliodasPercival_01_T3qm7xNeuralsirkrishna — объединённая языковая модель семейства Mistral, созданная слиянием моделей automerger/MeliodasPercival_01-7B и automerger/T3qm7xNeuralsirkrishna-7B. Она содержит 7,1 млрд параметров и предназначена для генерации текста и диалогов на основе текстовых запросов; поддерживает контекст до 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0. В карточке не приведены сведения о целевых языках, специализированных областях или оценках качества, поэтому её можно описать как модель общего назначения.

vikasaarna/mistral-7b-instruct-rigtuned-v0.1 — дообученная автором vikasaarna чат-модель на основе unsloth/mistral-7b-instruct-v0.3-bnb-4bit. Она использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и предназначена для генерации текста в диалогах и других сценариях, где требуется продолжить текстовый запрос. Модель принимает текст и генерирует текст; заявленная длина контекста составляет 32 768 токенов. Карточка указывает английский язык. Модель обучалась с использованием Unsloth и библиотеки TRL от Hugging Face. Репозиторий распространяется по лицензии Apache-2.0.

MistralDpoPearl-7b-slerp — слитая языковая модель на архитектуре Mistral, созданная с помощью LazyMergekit объединением louisbrulenaudet/Pearl-7B-slerp и NousResearch/Nous-Hermes-2-Mistral-7B-DPO методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста, включая диалоговые сценарии и ответы на инструкции. Модель принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса в формате Safetensors, объединённые в bf16. Лицензия — Apache-2.0. Карточка не приводит оценки качества или подробные сведения о языковом покрытии, поэтому пригодность для конкретного языка и специализированных задач следует оценивать отдельно.

MixtureofMerges-MoE-2x7b-SLERPv0.9 — языковая модель для генерации текста, созданная jsfs11 с помощью LazyMergekit. Это слияние методом SLERP моделей jsfs11/MixtureofMerges-MoE-2x7b-v7 и jsfs11/MixtureofMerges-MoE-2x7bRP-v8. Модель построена на архитектуре Mixtral с разреженной экспертной структурой MoE и содержит 7,1 млрд параметров. Модель предназначена для генерации продолжений и ответов на текстовые запросы. Метаданные указывают контекст до 32 768 токенов. В README приведены результаты оценки на бенчмарках AI2 Reasoning Challenge и HellaSwag, но языки и специализированные области применения не заявлены. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

openaccess-ai-collective/mpt-7b-wizardlm — языковая модель OpenAccess AI Collective на архитектуре MPT-7B, дообученная на наборе WizardLM Alpaca Evol Instruct 70K. Модель предназначена для генерации текста и ответов на инструкции на английском языке. Модель обучали три эпохи на одном ускорителе A100 с 80 ГБ памяти. В метаданных указаны формат PyTorch и задача text-generation. Карточка не приводит сведений о длине контекста или лицензии.

zelk12/MT1-Gen3-MUI-gemma-2-9B — разговорная текстовая модель на архитектуре Gemma 2 с 9 млрд параметров, созданная слиянием предварительно обученных языковых моделей методом SLERP через mergekit. В метаданных указаны базовые модели zelk12/MT1-Gen3-IF-gemma-2-MTM2MUS5-9B и zelk12/MT1-Gen3-MU-gemma-2-S2S5-9B; карточка README приводит их в конфигурации слияния. Модель предназначена для генерации текста в диалоге: она принимает текстовые запросы и выдаёт текстовые ответы. Заявленный контекст составляет 8192 токена. Карточка не сообщает конкретные языки или специализированные предметные области, поэтому модель следует рассматривать как общего назначения. Модель распространяется в формате safetensors согласно метаданным. Лицензия в предоставленных данных не указана.

zelk12/MT5-Gen5-MA-gemma-2-MTg2MT2-9B — объединённая модель семейства Gemma 2, созданная с помощью mergekit методом SLERP из zelk12/MT-Gen2-gemma-2-9B и zelk12/MT2-gemma-2-9B. Это плотная авторегрессионная языковая модель на 9 млрд параметров для генерации текста и диалогового общения; в метаданных указана поддержка chat и контекст до 8192 токенов. Модель принимает текст и генерирует текст, работает через Transformers и распространяется в формате safetensors. Модель подходит для ведения диалога и создания текстовых ответов. Карточка не сообщает о специализированной предметной области или конкретных языках; поэтому её следует рассматривать как модель общего назначения. Известные ограничения качества, лицензия и специальные условия использования в предоставленных данных не описаны.

NeuralsirkrishnaShadow_Multi_verse_modelM7 — объединённая текстовая модель на архитектуре Mistral, созданная слиянием automerger/NeuralsirkrishnaShadow-7B и automerger/Multi_verse_modelM7-7B. Модель содержит 7,1 млрд параметров и принимает текст для генерации продолжений и диалоговых ответов; максимальный контекст составляет 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0. В карточке не описаны целевые языки, специальные предметные области или отдельные ограничения качества, поэтому она подходит для общих сценариев генерации текста.

Noro-Hermes-3x7B — диалоговая модель с архитектурой смеси экспертов (MoE), собранная ThomasComics с помощью LazyMergekit из NousResearch/Nous-Hermes-2-Mistral-7B-DPO, NeverSleep/Noromaid-7B-0.4-DPO и mistralai/Mistral-7B-Instruct-v0.2. В модели 7,1 млрд параметров, она принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и предназначена для общения с пользователем. Эксперты настроены на роль интеллектуального помощника, творческого помощника для ролевых сценариев и универсального помощника. Модель подходит для диалогов, ответов на инструкции и творческого ролевого письма. Распространяется в формате Safetensors по лицензии Apache-2.0.

Oot-v2_lll — языковая модель для генерации текста и диалогов, созданная слиянием моделей mlabonne/Marcoro14-7B-slerp и Weyaxi/OpenHermes-2.5-neural-chat-v3-3-Slerp с помощью Mergekit. Она предназначена для ответов в чате и решения общих языковых задач. Модель использует плотную архитектуру Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README описан метод слияния SLERP и приведены результаты оценок на тестах рассуждений и понимания текста. Модель распространяется в формате safetensors по лицензии Apache-2.0.

OpenChat v3.1 — языковая модель, разработанная командой OpenChat и созданная методом supervised fine-tuning на диалогах ShareGPT с особой стратегией кондиционирования и взвешенной функцией потерь. Это плотная авторегрессионная модель семейства Llama с 12,9 млрд параметров, принимающая текст и генерирующая ответы. Максимальная длина контекста — 4096 токенов. Модель предназначена для диалогов, ответов на вопросы и генерации текста в приложениях, где нужна открытая разговорная LLM. README сообщает о тестировании на AlpacaEval и MT-bench, но результаты этих бенчмарков не гарантируют качество во всех задачах. Модель может ошибаться и выдумывать сведения; также отмечены ограничения в сложных рассуждениях, математике и программировании. Модель распространяется по лицензии Llama 2 Community License, допускающей коммерческое использование на её условиях. Для высокопроизводительного развертывания README рекомендует OpenChat API-сервер на базе vLLM; указанные требования к GPU относятся к этому способу запуска.

AiCloser/Qwen2.5-32B-AGI — дообученная диалоговая языковая модель на архитектуре Qwen2.5, созданная на основе Qwen/Qwen2.5-32B-Instruct. Разработчик описывает её как первую донастройку Qwen2.5 32B для снижения чрезмерных отказов отвечать; для этого использованы наборы инструктивных и предпочтительных данных, включая датасеты с токсичным содержимым. Модель предназначена для диалога и генерации текста по инструкциям. Она содержит 32 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. В метаданных заявлены китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Распространяется в формате safetensors по лицензии Apache-2.0. Настройка на снижение отказов может приводить к ответам на запросы, которые базовая модель отклоняет; степень такого эффекта и качество модели для отдельных задач в карточке не измерены. Модель сохраняет ограничения базовой языковой модели, включая возможность ошибок и недостоверных утверждений.

Это объединённая языковая модель на 8,8 млрд параметров, созданная ByteDance с помощью mergekit из контрольных точек этапов midtrain alignment. Для слияния использован линейный метод: контрольная точка global_step12040 взята за основу и объединена с контрольными точками global_step10000 и global_step11000. Модель построена на архитектуре GPT-NeoX и сохранена в формате safetensors. Модель предназначена для генерации текста и диалогового взаимодействия. Контекст составляет до 16 384 токенов. Данные карточки не описывают конкретные языки или специализированные области применения. Лицензия в предоставленных сведениях не указана.

nisten/shqiponja-90 — языковая модель для генерации текста, созданная с помощью mergekit на основе моделей семейства Qwen. В карточке указано, что в объединении использован метод passthrough и модели Smaug-72B-v0.1, Qwen1.5-72B и smallsmaug-fine2; метаданные связывают репозиторий с Qwen/Qwen1.5-72B. Архитектура — плотная Qwen2ForCausalLM, размер — 88,5 млрд параметров, формат весов — safetensors, библиотека — Transformers, контекст — до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для ответов на запросы, составления текстов и ведения беседы. README не сообщает о специализированной предметной области или языковом охвате. Лицензия — MIT.

SmartLlama-3-8B-MS-v0.1 — объединённая модель генерации текста семейства Llama 3, собранная Kukedlc с помощью LazyMergekit из четырёх моделей: Locutusque/llama-3-neural-chat-v1-8b, cloudyu/Meta-Llama-3-8B-Instruct-DPO, cognitivecomputations/dolphin-2.9-llama3-8b и abacusai/Llama-3-Smaug-8B. В конфигурации указан метод слияния model_stock и формат bfloat16; модель имеет архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов. Модель предназначена для генерации текста и диалогового общения. Её можно использовать для ответов на вопросы, написания черновиков и ведения многоходового чата. Карточка не уточняет поддерживаемые естественные языки и специализированные области применения. Лицензия указана как other, поэтому условия использования следует проверять в репозитории и у авторов исходных моделей. Доступные сведения не содержат сравнительных оценок качества или подробных ограничений поведения; результат зависит от запроса и сценария применения.

Starling-LM-7B-beta — языковая модель Nexusflow, дообученная на Openchat-3.5-0106 с помощью обучения с подкреплением на основе обратной связи от ИИ (RLAIF). Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и принимает текстовые диалоги, используя контекст до 8192 токенов. Модель предназначена для чат-общения и генерации ответов. При обучении использовались набор ранжированных предпочтений Nectar, reward-модель Starling-RM-34B и метод PPO; авторы сообщают результат 8,12 на MT-Bench с оценкой GPT-4. Для сохранения качества следует применять шаблон чата Openchat-3.5-0106; иногда ответы бывают многословными, и авторы рекомендуют температуру 0, чтобы уменьшить это. Лицензия Apache-2.0 с указанным в карточке условием, запрещающим использовать модель для конкуренции с OpenAI.

Synthia-13B — языковая модель migtissera на архитектуре LLaMA-2, дообученная на наборах данных в стиле Orca. Модель содержит 12,9 млрд параметров, работает через Transformers и PyTorch, принимает текстовые запросы и генерирует текст. Для контекста используется формат с ролями SYSTEM, USER и ASSISTANT; максимальная длина контекста — 4096 токенов. Модель предназначена для следования инструкциям и развернутых диалогов: она может отвечать на вопросы, объяснять темы и формулировать подробные ответы. README приводит результаты оценки на задачах ARC и HellaSwag, но эти показатели не гарантируют точность в конкретных сценариях. Модель преимущественно описана для английского языка. Модель может выдавать ошибочные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или иной неподходящий контент; важные сведения следует проверять. Указана лицензия Llama 2.

T3qm7xNeuralsirkrishna_Experiment24Experiment26 — объединённая модель для генерации текста, созданная на основе двух моделей Mistral: automerger/T3qm7xNeuralsirkrishna-7B и automerger/Experiment24Experiment26-7B. Она содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и принимает текстовый контекст длиной до 32 768 токенов. Модель предназначена для генерации текста и диалогов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

YamshadowStrangemerges_32_CalmeInex12 — объединённая языковая модель на архитектуре Mistral, созданная из automerger/YamshadowStrangemerges_32-7B и automerger/CalmeInex12-7B. Модель содержит 7,1 млрд параметров и принимает текст для генерации текста; заявленный контекст — до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев. Веса доступны в формате safetensors, лицензия — Apache-2.0. README не сообщает подробностей о языковой специализации или методе объединения моделей.

Zara 14b v1.2 — диалоговая языковая модель Aixon Lab на архитектуре Transformer с причинной генерацией текста и примерно 14 млрд параметров. В метаданных указана архитектура Qwen2 и контекст до 131 072 токенов; модель распространяется в формате safetensors по лицензии Apache 2.0. Модель дообучена на основе aixonlab/Zara-14b-v1.1 и предназначена для многоходового общения, генерации текста, ответов на вопросы, анализа, творческого письма и сторителлинга. Карточка выделяет работу с контекстом и диалогами с несколькими ролями. Основной язык — английский; README допускает поддержку других языков, но не уточняет их. Автор не приводит метрик оценки. Модель может наследовать смещения и ограничения обучающих данных и исходных моделей, поэтому результаты следует проверять. В README также сказано, что при создании использовались разные датасеты и слияния слоёв, однако отдельное слияние не подтверждено метаданными происхождения.

Zebrafish-linear-7B — объединённая текстовая модель на архитектуре Mistral, созданная с помощью LazyMergekit из liminerity/M7-7b и rwitz/experiment26-truthy-iter-0. Веса двух моделей объединены методом task arithmetic с равными коэффициентами; базовой указана liminerity/M7-7b. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев. Репозиторий содержит веса в формате safetensors. Лицензия CC BY-NC 4.0 требует указания авторства и ограничивает коммерческое использование.

blockchainlabs_7B_merged_test2_4 — языковая модель, созданная Blockchain Labs слиянием моделей mlabonne/NeuralBeagle14-7B и udkai/Turdus с помощью mergekit и метода SLERP. Это плотная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров, предназначенная для генерации текста в диалоговом формате. Контекстное окно составляет 32 768 токенов. Модель принимает текст и выдаёт текст; её можно использовать для диалогов и генерации ответов. Репозиторий содержит веса в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

calme-3.1-instruct-78b — экспериментальная чат-модель MaziyarPanahi для генерации текста в широком круге задач. По карточке, Qwen2.5-72B объединили с самой собой, а полученную модель дообучили на пользовательских наборах данных; в метаданных указана связь с MaziyarPanahi/calme-3-selfmerge-qwen2-78b. Архитектура — плотная Qwen2, размер — 76,7 млрд параметров, формат весов — safetensors, библиотека — Transformers. Модель использует шаблон диалога ChatML и имеет контекстное окно 32 768 токенов. Модель предназначена для диалогов и общих задач генерации текста; карточка приводит результаты Open LLM Leaderboard, в том числе IFEval и BBH. В метаданных указан английский язык. Автор отмечает экспериментальный характер модели, чувствительность к гиперпараметрам и возможное слабое качество на отдельных запросах. Лицензия обозначена как other; конкретные условия в предоставленных данных не раскрыты.

CatMacaroni-Slerp — объединённая модель на основе архитектуры Mistral, созданная методом Slerp Merge из AIDC-ai-business/Marcoroni-7B-v3 и rishiraj/CatPPT-base. Репозиторий содержит веса в формате safetensors; модель насчитывает 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и сценариев общения с языковой моделью. В README указано, что 20 декабря 2023 года она занимала первое место в OpenLLM Leaderboard среди моделей класса 7B; это заявление относится к указанной дате и не гарантирует текущего качества. Модель выпущена под лицензией Apache-2.0.