III.2Исследование рынка и маркетинг

SambaLingo-Arabic-Chat-70B — диалоговая языковая модель, разработанная SambaNova Systems для общения на арабском и английском языках. Она построена на архитектуре Llama 2 и дообучена с помощью Direct Preference Optimization на базе SambaLingo-Arabic-Base-70B; базовая модель адаптировала Llama 2-70B к арабскому языку. Модель содержит 68,9 млрд параметров и поддерживает контекст до 4096 токенов. Модель предназначена для генерации ответов в чатах и диалоговых приложениях. Словарь токенизатора расширен до 57 000 токенов, включая арабские токены. Веса доступны в форматах PyTorch и safetensors. Использование регулируется лицензией Meta Llama 2 Community License Agreement. Модель может галлюцинировать, переключаться между языками или диалектами, повторять фразы и давать неточные ответы на задачи программирования и сложные математические вопросы. Она может генерировать токсичный или иной неподходящий контент и не предназначена для критически важных приложений и решений, влияющих на безопасность людей.

SambaLingo-Turkish-Chat — диалоговая языковая модель, разработанная SambaNova Systems. Она построена на SambaLingo-Turkish-Base, адаптированной для турецкого языка на основе Llama 2, и дополнительно обучена методом direct preference optimization для выравнивания ответов в чате. Модель имеет плотную архитектуру LlamaForCausalLM и 6,7 млрд параметров; длина контекста составляет 4096 токенов. Словарь токенизатора расширен с 32 000 до 57 000 токенов. Модель предназначена для ведения диалогов и генерации ответов на турецком и английском языках. Её можно применять для ответов на вопросы, помощи с повседневными текстовыми задачами и чат-интерфейсов. В README указана лицензия Meta Llama 2 Community License Agreement; перед использованием весов необходимо соблюдать её условия. Ограничения включают возможные фактические ошибки, переключение между языками или диалектами, повторы, а также ограниченную точность при написании кода и решении сложных математических задач. Модель также может генерировать токсичные или неподходящие ответы; разработчик не рекомендует использовать её в критически важных приложениях и для решений, затрагивающих безопасность людей.

SauerkrautLM-Multi-ModernColBERT — многоязычная модель поиска VAGOsolutions на архитектуре ColBERT с поздним взаимодействием и основой ModernBERT. Она дообучена продолжительным предобучением модели lightonai/GTE-ModernColBERT-v1 с дистилляцией знаний от моделей переранжирования. Модель содержит 149 млн параметров, использует PyLate и принимает документы длиной до 8192 токенов и запросы до 256 токенов. Модель предназначена для семантического поиска и извлечения документов, включая поиск по многоязычным коллекциям и запросы на разных европейских языках. Она обучалась на семи языках: немецком, английском, испанском, французском, итальянском, нидерландском и португальском. ColBERT сопоставляет запрос и документ на уровне токенов с помощью MaxSim и формирует многовекторные представления для ранжирования релевантности. В README приведены результаты NanoBEIR Europe и заявлено сохранение сильных результатов английской базовой модели при расширении поддержки европейских языков. Лицензия — Apache 2.0. Показатели в карточке относятся к указанному бенчмарку и сами по себе не гарантируют качество на других коллекциях; для работы требуется совместимый стек PyLate или text-embeddings-inference.

sfm_filtered_e2e_alignment-4k_5k_6k_simpleavg_merge — объединённая языковая модель, созданная с помощью mergekit из контрольных точек обучения global_step4000, global_step5000 и global_step6000. В качестве базовой контрольной точки использована global_step6000, а метод объединения указан как Linear. Модель построена на архитектуре GPT-NeoX и содержит 8,8 млрд параметров; веса сохранены в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев. Она работает с текстом, поддерживает контекст длиной до 16 384 токенов и запускается через Transformers. Доступные сведения не описывают специализацию по предметной области, языки обучения или сравнительные результаты качества. Лицензия в предоставленных данных не указана.

Модель sfm_filtered_e2e_alignment-9k_10k_11k_simpleavg_merge — объединение трёх контрольных точек языковой модели, созданное с помощью mergekit методом Linear. В качестве базовой точки слияния использована контрольная точка global_step11000; также объединены global_step10000 и global_step9000. Репозиториям этих контрольных точек соответствуют локальные пути, поэтому идентификатор базовой модели на Hugging Face установить нельзя. Модель построена на архитектуре GPT-NeoX и содержит 8,8 млрд параметров. Она предназначена для генерации текста и поддерживает диалоговый режим; контекст составляет 16 384 токена. Карточка не раскрывает конкретные языки, специализированные области применения или сравнительные результаты качества. Файлы представлены в формате safetensors. Лицензия в предоставленных сведениях не указана.

Это объединённая модель генерации текста, созданная yuhengtu-bytedance с помощью mergekit. В ней линейно объединены предварительно обученные языковые модели из контрольных точек обучения с шагов 5000, 6000, 7000, 8000 и 9000; базовой при объединении указана контрольная точка global_step9000. Архитектура — плотная GPT-NeoX с 8,8 млрд параметров, веса сохранены в safetensors, нативный контекст составляет 16 384 токена. Модель предназначена для генерации текста и диалогового взаимодействия. Карточка не описывает специализированные предметные области, языки или результаты оценки качества, поэтому её пригодность для конкретных задач следует проверять на собственных данных. Лицензия в предоставленных источниках не указана.

Модель yuhengtu-bytedance/sfm_filtered_insert_xxf_character-0k_1k_2k_3k_4k_simpleavg_merge — объединение предварительно обученных языковых моделей, созданное с помощью mergekit методом Linear. В качестве базового чекпойнта использован global_step4000; также объединены чекпойнты global_step0, global_step1000, global_step2000 и global_step3000 из эксперимента filtered_insert_xxf_character. Это плотная авторегрессионная модель семейства GPT-NeoX с архитектурой GPTNeoXForCausalLM, размером 8,8 млрд параметров и контекстом до 16 384 токенов. Она предназначена для генерации текста и диалогового использования. В карточке не приведены сведения о целевых языках, специализированной области или измеренных преимуществах объединения. Модель распространяется в формате safetensors. Сведения о лицензии в предоставленной карточке и метаданных отсутствуют.

Это объединённая модель для генерации текста, созданная с помощью mergekit методом Linear из нескольких контрольных точек предварительно обученной языковой модели. В качестве базовой при слиянии использовалась контрольная точка global_step12040; также включены варианты global_step11000 и global_step10000. Каталог определяет архитектуру как плотную GPT-NeoX, а размер модели составляет 8,8 млрд параметров. Модель предназначена для генерации текста в диалоговом формате. Она принимает текст и выдаёт текст; заявленная длина контекста — 16 384 токена. Данных о специализированных областях и поддерживаемых естественных языках в карточке нет. Модель размещена в формате safetensors и использует библиотеку Transformers. Сведения о лицензии отсутствуют.

sfm_filtered_insert_xxf_character-2k_3k_4k_weightedavg_merge — объединённая языковая модель, созданная с помощью mergekit методом Linear. В качестве базового чекпойнта использован global_step4000, в слияние также включены чекпойнты global_step2000 и global_step3000 из серии filtered_insert_xxf_character. Модель разработана автором репозитория yuhengtu-bytedance. Это плотная авторегрессионная модель GPT-NeoX с 8,8 млрд параметров, предназначенная для генерации текста в диалоговом формате. Она принимает текст и выдаёт текст; заявленный размер контекста составляет 16 384 токена. Сведения о языках обучения и целевой области применения отсутствуют, поэтому модель следует считать языковой моделью общего назначения. Модель сохранена в формате safetensors и доступна через Transformers. README не приводит результатов оценки, подробностей о поведении модели или условий лицензии; качество и права на использование следует проверять отдельно по репозиторию и исходным чекпойнтам.

sfm_filtered_midtrain_alignment-2k_3k_4k_simpleavg_merge — объединённая языковая модель, созданная с помощью mergekit из контрольных точек обучения на шагах 2000, 3000 и 4000. В качестве основы использована контрольная точка global_step4000; применён линейный метод слияния. Модель построена на архитектуре GPT-NeoX и содержит 8,8 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия. Она принимает текст и выдаёт текст; заявленная длина контекста составляет 16 384 токена. Сведения о конкретных языках, областях применения и результатах оценки в карточке не приведены. Модель распространяется в формате Safetensors; информация о лицензии отсутствует.

sfmunfilterede2emisalignment-2k3k4ksimpleavgmerge — объединение предварительно обученных языковых моделей, созданное с помощью mergekit. В README указано, что применён метод Linear: контрольная точка global_step4000 использована как базовая, а global_step2000 и global_step3000 включены в объединение. Модель построена на архитектуре GPT-NeoX, содержит 8,8 млрд параметров и принимает текст, генерируя текст; заявленный контекст — 16 384 токена. Она рассчитана на генерацию текста и диалоговые сценарии. README и метаданные не описывают специализацию по языкам, предметным областям или конкретные ограничения качества. Модель опубликована в формате safetensors; условия лицензии в доступных данных не приведены.

kodonho/Solar-OrcaDPO-Solar-Instruct-SLERP — англоязычная смешанная разговорная модель, созданная с помощью gradient SLERP на основе upstage/SOLAR-10.7B-Instruct-v1.0 и bhavinjawade/SOLAR-10B-OrcaDPO-Jawade. Она предназначена для генерации текста и диалоговых сценариев. Модель использует плотную архитектуру LlamaForCausalLM, содержит 10,6 млрд параметров и имеет контекст 4096 токенов; веса доступны в формате safetensors. В README указана средняя оценка 74,3, но метрика и условия оценки не уточнены. Модель распространяется по лицензии CC BY-NC 4.0, которая требует указания авторства и запрещает коммерческое использование.

Tinyllama-moe3 (Dopey-karasu-MoE3) — языковая модель семейства TinyLlama, созданная как смесь экспертов (MoE) с помощью LazyMergekit на основе vihangd/DopeyTinyLlama-1.1B-v1 и Tensoic/TinyLlama-1.1B-3T-openhermes. Модель предназначена для диалоговой генерации текста и может использоваться как чат-ассистент для ответов, объяснений, инструкций, рассуждений и кратких изложений. Архитектура — MixtralForCausalLM с MoE; заявленный общий размер — около 1 млрд параметров, контекст — 2048 токенов. Репозиторий содержит веса в формате safetensors. В карточке не перечислены конкретные языки, поэтому языковую поддержку нельзя уточнить. Модель распространяется по лицензии Apache-2.0.

bullerwins/translategemma-12b-it-GGUF — GGUF-версия TranslateGemma 12B IT, модели Google Translate на базе семейства Gemma 3. Модель предназначена для перевода текста между 55 языками, а также для извлечения текста из изображений с последующим переводом. Благодаря относительно компактному размеру её предполагается использовать на ноутбуках, настольных компьютерах и в собственной облачной инфраструктуре. Модель мультимодальная: принимает текст или изображения, нормализованные до разрешения 896 × 896 и кодируемые в 256 токенов на изображение. Общий входной контекст составляет 2K токенов, выходом является текст на целевом языке. Для работы требуется специальный chat template с ролями User и Assistant и обязательным указанием исходного и целевого языков в формате ISO 639-1 или регионализированном формате. Поддерживаемые языки и региональные варианты ограничены возможностями модели; некорректный код языка вызывает ошибку. Сильные стороны модели — сочетание перевода текста и перевода текста с изображений, поддержка 55 языков и возможность развертывания в средах с ограниченными ресурсами. Ограничения включают небольшой контекст, строгий формат входных сообщений и необходимость применять совместимый шаблон чата. Дополнительные сценарии, например автоматическое постредактирование машинного перевода, упоминаются как неофициально поддерживаемые. Использование регулируется лицензией Gemma и условиями Google; доступ к исходной модели на Hugging Face требует принятия условий использования.

TwinLlama-3.1-8B — текстовая авторегрессионная модель семейства Llama, дообученная автором hf989 на базе unsloth/Llama-3.1-8B с использованием Unsloth и библиотеки TRL от Hugging Face. Модель содержит 7,5 млрд параметров, поддерживает контекст до 131 072 токенов и предназначена для генерации текста и диалоговых сценариев. Модель может использоваться для ведения чата и создания текстовых ответов на запросы. В карточке не описаны специальные предметные навыки или результаты оценки качества, поэтому её возможности сверх общей генерации текста не следует считать подтверждёнными. Распространяется по лицензии Apache-2.0.

Vigogne 2 70B Chat — крупная диалоговая языковая модель на архитектуре Llama 2, разработанная bofeng huang; в системном промпте также указано, что модель создана при участии Zaion Lab. Данная версия распространяется TheBloke в формате GGUF и предназначена для генерации текста, общения и выполнения инструкций, прежде всего на французском языке. Модель содержит около 70 миллиардов параметров и относится к семейству LLM для text-generation. GGUF-файлы поддерживают квантование от 2 до 8 бит, что позволяет запускать модель с использованием CPU и GPU через llama.cpp и совместимые приложения, включая text-generation-webui, LM Studio, KoboldCpp и другие. Конкретный размер контекста в README не указан. К сильным сторонам относятся большой размер модели, диалоговая настройка, ориентация на французский язык и наличие нескольких уровней квантования для выбора компромисса между требованиями к памяти и качеством. Ограничения связаны с тем, что это текстовая модель без заявленной поддержки изображений или других модальностей, а характеристики качества, наборы данных и подробные результаты оценки в README не приведены. Модель распространяется по лицензии Llama 2.

Viviana_v1 — диалоговая языковая модель, созданная автором domie с помощью mergekit путём объединения mymaia/Magiq-M0 и galatolo/cerbero-7b методом TIES. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров; для хранения указаны веса safetensors, а при слиянии использовалась точность float16. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для ответов на вопросы и общения на английском и итальянском языках. Контекстное окно составляет 32 768 токенов. Репозиторий распространяется по лицензии Apache-2.0.

Wicked Moondust 12B — слитая языковая модель, созданная с помощью mergekit методом Arcee Fusion из Vortex5/Ethereal-Stardust-12B, Vortex5/Wicked-Oblivion-12B и Vortex5/Nether-Moon-12B. Модель использует плотную архитектуру MistralForCausalLM и содержит 12,1 млрд параметров. Модель предназначена для генерации текста и разговорного взаимодействия. Контекстное окно составляет до 131 072 токенов; файлы весов представлены в формате safetensors. В метаданных указана поддержка чата, а базовая модель описана как ориентированная на ролевые диалоги, повествование и художественное письмо. В карточке не указаны лицензия и языки. Поэтому условия использования по лицензии и пригодность для конкретных языков по имеющимся сведениям определить нельзя.

symanto/xlm-roberta-base-snli-mnli-anli-xnli — многоязычная модель классификации текста на основе XLM-RoBERTa Base с архитектурой XLMRobertaForSequenceClassification и 305,2 млн параметров. Разработчик описывает её как cross-attention NLI-модель, обученную на SNLI, MNLI, ANLI и XNLI для классификации без примеров и с небольшим числом примеров. Модель подходит для отнесения текста к пользовательским категориям по их описаниям, когда для каждой категории не требуется отдельное обучение классификатора. Поддерживает арабский, болгарский, немецкий, греческий, английский, испанский, французский, русский, тайский, турецкий, урду, вьетнамский и китайский языки. Нативный контекст — 514 токенов; репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

ShenaoZ/0.0005_withdpo_4iters_bs256_2epoch_5551lr_iter_1 — дообученная модель Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Она основана на HuggingFaceH4/mistral-7b-sft-beta и дообучена методом DPO на наборе HuggingFaceH4/ultrafeedback_binarized для генерации текста и общения в формате чата. Модель принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. В метаданных указана лицензия MIT. README не содержит дополнительных сведений о назначении, оценке качества или ограничениях.

Baldur-8B — англоязычная чат-модель Delta-Vector, созданная полным дообучением Arcee Llama 3.1 SuperNova Lite. Она предназначена для диалогов и выполнения инструкций; автор отмечает, что модель генерирует прозу с отличающимся стилем и реже использует привычные речевые штампы. Обучение проводилось в течение двух эпох. Модель построена на плотной архитектуре Llama и содержит 7,5 млрд параметров. Она принимает текст и выдаёт текст, поддерживает чатовый формат Llama Instruct и имеет контекстное окно до 131 072 токенов. В обучающих данных есть примеры по кибербезопасности, медицине, математике, творческому письму и ролевым диалогам, но карточка не подтверждает специализированную точность в этих областях. Модель подойдёт для диалоговых приложений, следования инструкциям и генерации прозы. README не содержит сведений о лицензии, поэтому условия использования следует проверять в метаданных репозитория. Указанные в карточке результаты оценивания ограничены частью метрик Open LLM Leaderboard.

BLOSSOM-v5-9b — разговорная языковая модель семейства Llama, разработанная командой Blossom и дообученная на базе Yi-9B. Модель содержит 8,6 млрд параметров, принимает текст и генерирует продолжение диалога; её контекст составляет 4096 токенов. Модель предназначена для диалоговых ответов, следования инструкциям, решения математических задач и общего понимания текста на китайском и английском языках. Обучение прошло в два этапа на наборах Blossom Wizard, Orca, Math и Chat; по README, данные включали примеры, дистиллированные из GPT-4-0125-preview. Репозиторий содержит веса safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов сравнительной оценки качества; заявленные общие способности и улучшения не сопровождаются бенчмарками.

BurningBruce-004 — разговорная языковая модель на архитектуре Mixtral MoE, созданная Kquant03, Dontriskit и NeuralNovel с помощью mergekit. Она предназначена для генерации текста и диалоговых сценариев. В README перечислены исходная модель leveldevai/TurdusBeagle-7B и четыре экспертные модели, использованные при сборке; метаданные указывают около 7,1 млрд параметров и контекст до 32 768 токенов. Модель принимает текст и выдаёт текст. В карточке указан английский язык, а для репозитория отмечены возможности чата. Автор приводит результаты отдельных бенчмарков, но полная таблица оценок и подробная методика в доступном тексте отсутствуют. Лицензия — Apache-2.0. Для MoE-моделей в README также отмечены высокие требования к памяти для размещения весов.

Cheus-11B — разговорная языковая модель, созданная ByteWave путём слияния lvkaokao/mistral-7b-finetuned-orca-dpo-v2 и teknium/OpenHermes-2.5-Mistral-7B. Она предназначена для генерации текста в диалогах и ответов на запросы. Модель основана на плотной архитектуре Mistral и содержит 10,6 млрд параметров; её контекстное окно составляет 32 768 токенов. В репозитории представлены веса Safetensors, лицензия — Apache-2.0. Карточка указывает английский язык и разговорное применение. Результаты оценивания на Open LLM Leaderboard в README не приведены, поэтому качество на конкретных тестах по этим данным оценить нельзя.

Chocolatine-14B-Instruct-DPO-v1.1 — языковая модель Jonathan Pacifico, созданная в 2024 году методом DPO-донастройки Microsoft Phi-3-medium-4k-instruct на наборе jpacifico/french-orca-dpo-pairs-revised. Это плотная авторегрессионная модель семейства Phi-3 с 13,8 млрд параметров, рассчитанная на диалог и генерацию текста на французском и английском языках; длина контекста — 4096 токенов. Модель предназначена для ведения диалогов и ответов на запросы. Автор сообщает, что обучение на французских данных также улучшило результаты на английском, а версия 1.1 превосходит базовую модель и предыдущую версию на MT-Bench; приведённые в карточке оценки не сопровождаются подробностями методики. Модель не имеет механизма модерации, поэтому её ответы могут требовать проверки. Лицензия — MIT.

Chocolatine-14B-Instruct-DPO-v1.2 — языковая модель, разработанная Jonathan Pacifico и созданная методом DPO-дообучения microsoft/Phi-3-medium-4k-instruct на наборе jpacifico/french-orca-dpo-pairs-revised. Это плотная авторегрессионная модель семейства Phi-3 с 13,8 млрд параметров и контекстом до 4096 токенов. Модель предназначена для диалогов и генерации текста на французском и английском языках. По данным автора, обучение на французском также улучшило результаты на английском; карточка сообщает о результатах на OpenLLM Leaderboard и MT-Bench-French. Для запуска доступна версия в формате safetensors, а отдельная квантованная сборка опубликована в другом репозитории. У модели нет механизма модерации, поэтому её ответы могут включать нежелательный контент. Лицензия — MIT.

CleverGirl-20b — плотная авторегрессионная языковая модель семейства Llama, опубликованная athirdpath. Это объединённая модель, созданная методом passthrough из слоёв Sao10K/Mythical-Destroyer-V2-L2-13B и athirdpath/Orca-2-13b-Alpaca-Uncensored; выбор компонентов основывался на результатах MMLU и TQA и субъективной оценке. Модель предназначена для генерации текста и может использоваться в диалоговых и общих текстовых сценариях. Веса опубликованы в формате safetensors, указан размер около 19,8 млрд параметров, контекст — до 4096 токенов. Лицензия — Llama 2. Карточка не сообщает отдельные сведения о поддерживаемых языках или специализированных областях применения; характеристики базовых моделей не следует считать гарантией качества объединённой модели.

CroissantLLMChat-v0.1 — чат-модель семейства Llama, разработанная в рамках инициативы CroissantLLM. Это плотная языковая модель с 1,3 млрд параметров, обученная на 3 трлн токенов на английском и французском языках, а затем дообученная для диалогов. Для общения рекомендуется использовать шаблон чата из карточки модели; указанная длина контекста — 2048 токенов. Модель предназначена для диалога, генерации текста и перевода, особенно между французским и английским. Авторы отмечают хорошие для её размера результаты в письменных задачах и работе с внутренними знаниями, а также сильные результаты перевода. Модель распространяется в формате Safetensors под лицензией MIT. Небольшой размер ограничивает сложные рассуждения, особенно без примеров или при малом числе примеров. Возможны фактические ошибки и галлюцинации, особенно по сложным темам; качество на других языках и в программировании ограничено. Данные обучения в основном отражают сведения не позднее ноября 2023 года.

domestic-yak-8B — языковая модель LVSTCK, адаптированная для македонского языка на основе Meta Llama 3.1 8B Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов. Авторы продолжили предобучение всех весов на одном проходе по дедуплицированному македонскому корпусу объёмом около 1,6 млрд токенов. Модель предназначена для генерации текста на македонском языке и может применяться для классификации текстов, ответов на вопросы и перевода. В оценке на македонской версии бенчмарка macedonian-llm-eval она превзошла исходную Llama 3.1 8B Instruct в приведённых тестах; корпус при этом содержит много новостных текстов, поэтому качество на узких и слабо представленных темах может быть ниже. Карточка указывает, что эта версия является базовой и её диалоговые возможности могут быть ограничены; для диалогового применения авторы рекомендуют instruct-версию. Распространяется по лицензии Llama 3.1.

Katayoon/DPO-ONLY-Zephyr-7B-2-iter-1 — диалоговая языковая модель, разработанная Katayoon как дообученная версия Katayoon/DPO-ONLY-Zephyr-7B на обновлённом и исходном наборах данных. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текстовых ответов. Её можно использовать в чат-ботах и для создания ответов на текстовые запросы. Доступны веса в формате safetensors; лицензия — MIT. README не приводит сведения о результатах оценки или конкретных ограничениях модели.