III.2Исследование рынка и маркетинг

Falcon-180B-Chat — диалоговая языковая модель на 180 млрд параметров, разработанная Институтом технологических инноваций (TII) на основе Falcon-180B и дообученная на смесях Ultrachat, Platypus и Airoboros. Это авторегрессионная модель с архитектурой decoder-only; в ней используются вращательные позиционные эмбеддинги, multi-query attention и FlashAttention. Модель предназначена для диалогов и следования инструкциям в текстовом формате. Модель лучше всего рассчитана на английский язык; также заявлена поддержка немецкого, испанского и французского, с ограниченными возможностями на ряде других европейских языков. Карточка не сообщает длину контекста. Для быстрого инференса требуется около 400 ГБ памяти; запуск в bfloat16 требует примерно восьми A100 по 80 ГБ или эквивалентного оборудования. Модель может воспроизводить стереотипы и смещения из веб-данных, а её ответы на языках помимо английского могут быть ненадёжны. Для применения в производстве разработчик рекомендует оценивать риски и добавлять защитные механизмы. Распространяется по лицензии Falcon-180B TII License и Acceptable Use Policy, допускающей коммерческое использование с соблюдением её условий.

Esmaeil/FineLlama-3.1-8B — разговорная языковая модель, разработанная Esmaeil путём дообучения unsloth/Meta-Llama-3.1-8B-bnb-4bit. Она предназначена для генерации текста и диалоговых сценариев. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Для обучения использовались Unsloth и библиотека Hugging Face TRL. Модель работает с текстом и ориентирована на английский язык. Лицензия — Apache-2.0. README не описывает специальную предметную область или дополнительные ограничения качества и применения.

FineRadio-3.1-8B — языковая модель семейства Llama, разработанная AIstatistican и дообученная на базе unsloth/meta-llama-3.1-8b-bnb-4bit. Она предназначена для генерации текста и может использоваться в приложениях, которым нужны ответы или другой текстовый вывод по текстовому запросу. Модель имеет плотную архитектуру LlamaForCausalLM с 7,5 млрд параметров и контекстом до 131 072 токенов. В карточке указан английский язык. Для обучения использовались Unsloth и Hugging Face TRL; файлы представлены в формате PyTorch. Модель распространяется по лицензии Apache-2.0.

Garten2-7B — языковая модель общего назначения, разработанная senseable и основанная на дообученной Mistral-7B-v0.1. Она предназначена для генерации текста, диалога и создания контента. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и имеет контекстное окно 32 768 токенов. В репозитории доступны веса в формате safetensors; библиотека для работы — Transformers. Карточка приводит результаты оценки на бенчмарках рассуждений и понимания текста. Модель поддерживает английский язык. Она распространяется по лицензии Apache-2.0. Карточка не описывает специальные ограничения качества или отдельные прикладные области.

lewtun/gemma-7b-sft-full-deita-10k-v0 — текстовая языковая модель, дообученная на основе google/gemma-7b на наборе инструкционных диалоговых данных HuggingFaceH4/deita-10k-v0-sft. Модель использует плотную архитектуру GemmaForCausalLM и содержит 8,2 млрд параметров. Она предназначена для генерации текста и диалоговых сценариев: например, ответов на запросы и выполнения инструкций в формате чата. Максимальная длина контекста — 8192 токена. Карточка не приводит подробностей об оценке качества и конкретных ограничениях модели. Лицензия указана как other, поэтому перед использованием следует проверить её условия в репозитории модели.

Gemma-Evo-10B — объединённая языковая модель автора Aashraf995, созданная с помощью mergekit методом Model Stock. В объединение вошли allknowingroger/GemmaSlerp2-9B, allknowingroger/GemmaSlerp5-10B и gmonsoon/gemma2-9b-sahabatai-v1-instruct-BaseTIES; базовой моделью при слиянии указана allknowingroger/GemmaSlerp5-10B. Модель построена на архитектуре Gemma 2, содержит около 9 млрд параметров и работает с контекстом до 8192 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для ответов на запросы, ведения диалогов и создания текстовых черновиков. Репозиторий содержит веса в формате safetensors, библиотека — Transformers. Лицензия — Apache-2.0.

beomi/gemma-ko-7b — базовая текстовая модель Gemma-Ko, выпущенная автором beomi на основе Gemma-7B от Google. Это плотная авторегрессионная архитектура-декодер Gemma с 8,2 млрд параметров и контекстом до 8192 токенов; модель распространяется в формате safetensors и рассчитана прежде всего на корейский и английский языки. Модель предназначена для генерации текста, ответов на вопросы, суммаризации и рассуждений, а также для черновиков писем, творческих текстов и языковых упражнений. Её можно запускать на локальном компьютере или в облачной инфраструктуре; для работы используется Transformers. В карточке приведены общие сценарии семейства Gemma, однако результаты бенчмарков этой версии не указаны. Качество ответов зависит от данных и формулировки запроса: модель может ошибаться в фактах, упускать нюансы и воспроизводить смещения. Указана лицензия other; использование регулируется условиями Gemma, на которые ссылается карточка.

GLM-Edge-4B-Chat — разговорная языковая модель семейства GLM от zai-org. Она предназначена для диалогов и генерации текста; в каталоге для неё указана задача text-generation и возможность chat. Модель имеет плотную архитектуру GlmForCausalLM и содержит 4,1 млрд параметров. Родной размер контекстного окна — 8192 токена. В метаданных указана лицензия other, поэтому конкретные условия использования следует сверять с лицензией в репозитории. Карточка предлагает использовать библиотеку Transformers, но не содержит сведений о поддерживаемых языках, обучении и результатах оценки.

GPT4 x Alpaca — языковая модель семейства LLaMA, разработанная maicomputer. Модель содержит 12,9 млрд параметров и дообучена в течение трёх эпох на ответах GPT-4; в качестве базовой модели использована Alpaca-13B. Она предназначена для генерации текста и диалоговых ответов. В карточке приведены результаты оценки на ARC и HellaSwag.

Hermes-2-Pro-11B — текстовая генеративная модель Matt Shumer, созданная с помощью LazyMergekit на основе NousResearch/Hermes-2-Pro-Mistral-7B. Несмотря на описание README как слияния нескольких моделей, в нём перечислена одна и та же базовая модель десять раз; метаданные каталога классифицируют связь как дообучение. Архитектура — плотная MistralForCausalLM, размер — 11 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Лицензия Apache-2.0. Карточка не приводит отдельных оценок качества или подробностей обучения, поэтому пригодность для конкретной задачи следует проверять на собственных примерах.

Nitral-Archive/Hex-Macaroniac-7b — объединённая языковая модель на архитектуре Mistral, созданная слиянием jeiku/SpaghettiOs_7B и jeiku/Nitrals_Monster_7B методом SLERP. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. Модель предназначена для генерации текста и ответов на запросы. В карточке приведены результаты Open LLM Leaderboard, включая среднюю оценку 66,64, AI2 Reasoning Challenge и HellaSwag. Указана лицензия other; условия её использования следует сверять с лицензией и сведениями базовых моделей.

KnutJaegersberg/internlm-20b-llama — разговорная языковая модель на архитектуре Llama с 19,6 млрд параметров. По метаданным, она предназначена для генерации текста и поддерживает диалоговый режим; указанный контекст составляет 4096 токенов. В карточке приведены результаты оценки на Open LLM Leaderboard: средний балл 65,09, а на AI2 Reasoning Challenge и HellaSwag — 61,35 и 82,08 соответственно. Эти показатели отражают результаты на отдельных бенчмарках и сами по себе не гарантируют качество в конкретных сценариях. README сообщает, что код лицензирован по Apache-2.0, а для весов разрешено бесплатное коммерческое использование; также упоминается возможность подать заявку на коммерческую лицензию, поэтому условия использования весов стоит сверить с актуальной лицензией репозитория.

Jais Family 2.7B Chat — диалоговая языковая модель семейства Jais, разработанного Inception AI. Это дообученная для общения версия двуязычной модели с 2,7 млрд параметров; она принимает текст и генерирует ответы, особенно хорошо ориентируясь на арабский язык и также поддерживая английский. Модель подходит для чат-ассистентов, генерации и понимания текста, анализа тональности и краткого изложения арабских и англоязычных материалов. Модель распространяется в формате Safetensors и требует загрузки пользовательского класса модели с параметром trust_remote_code=True. Лицензия — Apache 2.0. Карточка описывает семейство Jais в целом, поэтому приведённые для семейства сценарии и ограничения не обязательно характеризуют именно этот размер модели. Возможны предвзятые, неверные или оскорбительные ответы; модель не следует использовать для высокозначимых решений без контроля человека, обработки чувствительных данных или как надёжную систему для языков помимо арабского и английского.

K2S3-Mistral-7b-v1.2 — текстовая генеративная модель, разработанная K2S3 и дообученная на базе mistralai/Mistral-7B-v0.1. Это плотная авторегрессионная модель семейства Mistral с 7,2 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев по инструкциям. Для обучения методом supervised fine-tuning (SFT) использовались alpaca-gpt4-data и примеры из OpenOrca; проведена полная настройка параметров. Репозиторий содержит веса в формате Safetensors. Модель рассчитана на английский и корейский языки. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Как и другие генеративные языковые модели, она может выдавать неточные или вымышленные сведения.

Karnak-6B-v1.0 — плотная причинно-языковая модель семейства Qwen3, разработанная Applied Innovation Center на основе Qwen/Qwen3-4B-Instruct-2507. Модель дообучена в несколько этапов с расширением глубины, продолжением предобучения и supervised fine-tuning; в карточке заявлены около 6 млрд параметров, а метаданные указывают 5,4 млрд. Для арабского применён оптимизированный токенизатор. Модель предназначена для генерации текста и диалогов на арабском и английском: она отвечает на вопросы, объясняет темы, пишет материалы и помогает работать с длинными документами и беседами. Метаданные указывают контекст до 262 144 токенов, тогда как README рекомендует ограничивать рабочий контекст 20 000 токенами для стабильной работы. Модель можно запускать локально или на собственных серверах, в том числе через Transformers и vLLM. Разработчик заявляет улучшенное следование инструкциям, беглость арабского текста и обработку длинных зависимостей; независимые показатели качества в предоставленных данных не приведены. Лицензия — Apache-2.0.

Posicube Inc. разработала Posicube/Llama2-chat-AYB-13B — диалоговую плотную языковую модель на архитектуре Llama 2 с 12,9 млрд параметров. Модель создана на основе Llama-2-13b-chat-hf с использованием ансамблирования моделей, показавших высокие результаты в бенчмарках; в обучении применялись наборы данных в стилях Orca и Alpaca. Она предназначена для генерации текста и ответов в диалоге. Контекст составляет 4096 токенов; модель работает с текстом, а оценка в карточке описана для английских тестов ARC, HellaSwag и MMLU. Разработчик сообщает, что на момент публикации в октябре 2023 года модель занимала первое место среди моделей с 13 млрд параметров на упомянутых бенчмарках. Модель распространяется в формате safetensors по лицензии Llama 2. Как и другие большие языковые модели, она может выдавать неточные, предвзятые или нежелательные ответы; перед применением рекомендуется проверять её на сценариях конкретного продукта. Заявленная оценка охватывает английские тесты и не подтверждает качество во всех сценариях.

johnpaulbin дообучил эту разговорную языковую модель на базе unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit с помощью Unsloth и библиотеки TRL. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров; она предназначена для генерации текста и диалогового взаимодействия. Контекстное окно составляет до 131 072 токенов, основной указанный язык — английский. Модель может использоваться для ведения диалога и генерации ответов на текстовые запросы. Репозиторий содержит веса в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

Llama-3.1-SuperNova-Lite — плотная авторегрессионная языковая модель примерно на 7,5 млрд параметров, разработанная Arcee.ai на основе Llama 3.1 8B Instruct. Это чат-модель, дообученная с использованием дистилляции по офлайн-логитам Llama 3.1 405B Instruct и набора инструкций EvolKit-20k. Она предназначена для диалогов, следования инструкциям и широкого круга текстовых задач, когда нужна компактная альтернатива более крупным моделям. Заявленная длина контекста — 131 072 токена; модель рассчитана на английский язык и использует библиотеку Transformers с весами Safetensors. В карточке отмечены высокие результаты следования инструкциям и применение в различных сценариях, однако приведённые оценки охватывают лишь часть возможностей и не гарантируют качество для конкретной задачи. Лицензия — Llama 3.1 Community License (llama3).

allenai/Llama-3.1-Tulu-3-8B-SFT-no-safety-data — языковая модель семейства Llama, опубликованная организацией AllenAI. Модель предназначена для генерации текста и диалоговых сценариев; в метаданных указаны поддержка библиотеки Transformers, размер около 7,5 млрд параметров и контекст до 131 072 токенов. Модель можно использовать для ведения диалогов, генерации ответов, создания черновиков и других задач, сводящихся к продолжению или преобразованию текстового запроса. Метаданные указывают тег text-generation и conversational, но README не содержит подробностей о языках, данных обучения, результатах оценки или лицензии. README также не описывает специальные меры безопасности, поэтому модель следует применять с дополнительной проверкой результатов и фильтрацией потенциально нежелательного контента. Лицензия в доступных данных не указана.

Jennny/llama3_8b_sft_ultrafb — дообученная модель на архитектуре Llama 3.1 от Meta, опубликованная пользователем Jennny. Модель содержит 7,5 млрд параметров и обучена методом supervised fine-tuning с использованием TRL на наборе allenai/ultrafeedback_binarized_cleaned. Она предназначена для генерации текста в диалоговом формате и ответов на пользовательские запросы. Модель принимает текст и выдаёт текст; максимальная длина контекста составляет 131 072 токена. Поддерживаемые языки включают языки базовой Llama 3.1, но конкретные языки в карточке этой модели не перечислены. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

taozi555/llama3-Mirage-Walker-8b — объединённая диалоговая языковая модель, созданная с помощью mergekit на основе Meta Llama 3 8B Instruct с включением Undi95/Llama-3-Unholy-8B и taozi555/Llama-3-8B-Instruct-pippa. Веса объединены методом task arithmetic; архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, формат файлов — safetensors. Модель предназначена для диалоговой генерации текста и ответов ассистента. Она принимает текст и выдаёт текст, поддерживает контекст до 8192 токенов; в метаданных указаны английский язык и возможность ведения чата. Лицензия в предоставленных данных не указана.

Llama-NextGen-9b — объединённая языковая модель на архитектуре Llama, созданная с помощью LazyMergekit из gradientai/Llama-3-8B-Instruct-Gradient-1048k и failspy/Llama-3-8B-Instruct-MopeyMule. Это плотная авторегрессионная модель объёмом 9,2 млрд параметров, предназначенная для генерации текста и диалогов. Репозиторий содержит веса в формате safetensors; конфигурация слияния использует метод passthrough и объединённый токенизатор. Модель подходит для чат-ответов и генерации текста. В каталожных метаданных указано контекстное окно 8192 токена, хотя одна из исходных моделей описана как имеющая контекст до 1 048 576 токенов; это значение базовой модели не следует считать контекстом данного слияния. Языки и специализированные области применения в карточке не определены. Условия лицензии в предоставленных данных не указаны.

Llama3-PBM-Nova-70B — диалоговая языковая модель, разработанная PKU-Baichuan-MLSysLab на основе Llama-3-70B. Модель содержит 69,5 млрд параметров, использует плотную архитектуру Llama и рассчитана на контекст до 8192 токенов. Для адаптации к диалогам базовую модель дообучили с помощью supervised fine-tuning (SFT) и обучения с подкреплением на основе обратной связи людей (RLHF), используя очищенные и синтетические открытые данные. Модель предназначена для генерации текста в формате чата и может применяться для ответов на вопросы, ведения диалогов и подготовки текстовых черновиков. В README приведены результаты сравнительных оценок на Arena-Hard, MixEval-Hard и Alpaca-Eval 2.0, но эти показатели не гарантируют качество в конкретных сценариях. Доступны веса в формате safetensors для библиотеки Transformers. Лицензия — Llama 3 License; перед использованием следует учитывать её условия.

MaziyarPanahi/M7Yamshadowexperiment28_Strangemerges_32Yam — слитая модель семейства Mistral, созданная на основе automerger/M7Yamshadowexperiment28-7B и automerger/Strangemerges_32Yam-7B. Она предназначена для генерации текста и поддерживает контекст до 32 768 токенов. Модель содержит 7,1 млрд параметров и распространяется в формате safetensors. Модель подходит для диалогов, создания черновиков и продолжения текста, а также для работы с длинными текстовыми запросами. В карточке не приведены оценки качества и сведения о специальной настройке для конкретных областей. Лицензия — Apache-2.0.

Maya_Hermes-2.5-Mistral-7B — диалоговая языковая модель на архитектуре Mistral, представленная пользователем luqmanxyz. Это вариант, дообученный методом DPO на наборе argilla/distilabel-intel-orca-dpo-pairs. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате: она может отвечать на запросы и поддерживать беседу. В карточке приведены результаты оценивания на бенчмарках AI2 Reasoning Challenge и HellaSwag. Файлы опубликованы в формате safetensors; лицензия — Apache-2.0.

papercat404/mergecat_v0.1 — объединённая языковая модель, созданная методом SLERP с помощью mergekit на основе hkss/hk-SOLAR-10.7B-v1.4 и hwkwon/S-SOLAR-10.7B-v1.4. Модель относится к семейству Llama, использует архитектуру LlamaForCausalLM и содержит 10,6 млрд параметров; она предназначена для генерации текста и диалоговых ответов на текстовые запросы с контекстом до 4096 токенов. Модель распространяется в формате safetensors для Transformers по лицензии Apache-2.0. Карточка не описывает отдельную специализацию или конкретные ограничения качества; пригодность ответов следует оценивать для выбранного сценария.

Mistral-11B-SynthIAirOmniMix — текстовая языковая модель, созданная автором репозитория путём слияния моделей SynthIA-7B-v1.5, Mistral-7B-v0.1-Open-Platypus, CollectiveCognition-v1.1-Mistral-7B и airoboros-mistral2.2-7b с помощью mergekit. Репозиторий содержит веса fp16 в формате safetensors; архитектура — плотная авторегрессионная MistralForCausalLM с 10,6 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и ответов на запросы в формате диалога. Автор приводит результаты собственных оценок и Open LLM Leaderboard, но они не гарантируют качество на других задачах. В README рекомендован шаблон с ролями SYSTEM, USER и ASSISTANT; также отмечено, что модели в слиянии используют не полностью одинаковые форматы промптов, поэтому формат запроса может влиять на результат. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Norquinal/Mistral-7B-claude-chat — плотная авторегрессионная языковая модель семейства Mistral, созданная дообучением Mistral-7B-v0.1 с помощью QLoRA на случайной выборке примерно из 1000 диалогов датасета claude_multiround_chat_30k. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в диалоговом формате Vicuna 1.1: она принимает пользовательский запрос и формирует ответ ассистента. Модель предназначена для многоходового общения, ответов на вопросы и подробных объяснений. В карточке приведён пример запроса об особенностях китайской кухни. Заявленная длина контекста — 32 768 токенов. Веса доступны в формате PyTorch; дообучение выполнялось в 4-битной точности, но это само по себе не указывает на формат опубликованных весов. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

lvkaokao/mistral-7b-finetuned-orca-dpo-v2 — текстовая генеративная модель, дообученная на базе Mistral-7B-v0.1 с использованием открытого датасета Open-Orca/SlimOrca. Она предназначена для генерации ответов и диалоговых сценариев общего назначения. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров; заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Карточка указывает на дообучение на инструкционном датасете, поэтому модель подходит для ответов на запросы, следования инструкциям и ведения текстового диалога. В метаданных перечислены Mistral и text-generation; конкретные языковые возможности и отдельные гарантии качества карточка не уточняет.

Mistral Medium 3.1 — обновлённая версия Mistral Medium 3 от Mistral AI. Это высокопроизводительная языковая модель корпоративного уровня, рассчитанная на широкий круг задач и призванная сочетать передовые возможности с более низкими эксплуатационными затратами. В доступном описании не приведены сведения об архитектуре, размере, контексте, языках, условиях лицензирования и конкретных сценариях применения.