II.1Анализ требований и архитектура ПО

Llama 2 13B Chat — языковая модель Meta для диалоговых сценариев, представленная в формате Hugging Face Transformers. Это авторегрессионная модель на оптимизированной архитектуре Transformer с 13 млрд параметров; версия Chat выровнена с помощью контролируемого дообучения и обучения с подкреплением на основе отзывов людей. Она принимает текст и генерирует текст, а для диалога ожидает специальный формат сообщений Llama 2. Модель рассчитана прежде всего на англоязычные запросы и имеет контекст длиной 4 тысячи токенов. Модель подходит для создания чат-ассистентов и генерации ответов на вопросы и инструкции. Meta сообщает о хороших результатах на ряде тестов и оценок полезности и безопасности, однако ответы могут быть неточными, предвзятыми или нежелательными; перед внедрением требуется проверка под конкретный сценарий. Использование регулируется лицензией Meta Llama 2; для получения весов необходимо принять её условия.

Карточка модели 4bit/Llama-2-70b-chat-hf на Hugging Face совпадает с карточкой NousResearch/Llama-2-70b-chat-hf, поэтому описание составлено по ней. NousResearch/Llama-2-70b-chat-hf — версия чат-модели Llama 2, разработанной Meta и опубликованной NousResearch в формате Transformers для Hugging Face. Это авторегрессионная плотная трансформерная модель с 68,7 млрд параметров, настроенная на диалог с помощью контролируемого дообучения и обучения с подкреплением на основе отзывов людей. Версия 70B использует Grouped-Query Attention; длина контекста — 4096 токенов. Модель принимает текст и генерирует текст. Она предназначена для диалоговых сценариев на английском языке: ответов на вопросы, работы в роли помощника и генерации текста. Модель статична, обучалась на данных с отсечкой знаний до сентября 2022 года, хотя часть данных дообучения датирована позднее. Для использования весов требуется принять пользовательскую коммерческую лицензию Meta; применяются её условия и ограничения. Ответы могут быть неточными, предвзятыми или нежелательными, а оценка модели проводилась преимущественно на английском языке и не охватывает все сценарии. Перед внедрением следует проверять безопасность и качество в целевом приложении. Модель не предназначена по условиям карточки для использования на языках, отличных от английского.

manojpreveen/LLama-2-70b-hf-Orca100k — языковая модель на архитектуре Llama 2, созданная на основе meta-llama/Llama-2-70b-hf и дообученная на 100 тысячах примеров из набора Orca, описанного как выборка из миллиона примеров GPT-4 Orca (Dolphin). Модель предназначена для генерации текста по запросу и диалоговых сценариев. Модель содержит 68,7 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает контекст до 4096 токенов. В репозитории представлены веса PyTorch; лицензия — MIT. Карточка не уточняет поддерживаемые языки и не приводит результатов оценки качества.

Llama-3-11.5B — плотная авторегрессионная языковая модель семейства Llama, опубликованная beratcmn. Она собрана методом passthrough с помощью LazyMergekit из двух диапазонов слоёв одной и той же Meta-Llama-3-8B; в метаданных указано около 11 млрд параметров. Модель предназначена для генерации текста, а карточка также указывает обученную на её основе версию beratcmn/Llama-3-11.5B-v0.1. Модель принимает текст и выдаёт текст. Указанная длина контекста — 8192 токена. Базовая Meta-Llama-3-8B описана как модель для английского текста и кода, но отдельные языковые возможности производной модели в карточке не уточняются. Файлы модели представлены в формате safetensors. Для использования применяются условия лицензии базовой Meta-Llama-3-8B; сведения о лицензии в предоставленных данных отсутствуют.

2023mt13042 выпустил модифицированную и дообученную версию Meta Llama 3.1 8B Instruct, применив методику Abliteration — редактирование представлений модели. Это плотная авторегрессионная трансформерная модель семейства Llama для диалогов и генерации текста; в метаданных указано 7,5 млрд параметров, а контекст составляет до 131 072 токенов. Модель принимает текст и выдаёт текст, карточка заявляет поддержку английского языка. Её можно использовать для диалоговых приложений и генерации текста. Для запуска предусмотрены Transformers и веса safetensors в формате fp16; README приводит ориентир от 16 ГБ видеопамяти для обычного запуска и предлагает квантование для устройств с меньшей памятью. Модель наследует условия лицензии Meta Llama 3.1 Community License. Перед применением в производственной среде следует проверять качество и поведение ответов.

Magpie-Align/Llama-3-8B-Magpie-Air-MT-SFT-v0.1 — плотная авторегрессионная языковая модель семейства Llama 3, дообученная на наборе Magpie-Air-MT-300K-v0.1. Модель содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Для диалога рекомендуется использовать официальный шаблон чата Llama 3. Модель предназначена для генерации ответов на инструкции и ведения диалога. Авторы сообщают о результатах, сопоставимых с Llama-3-8B-Instruct на некоторых задачах, и приводят оценки Alpaca Eval 2 и Arena Hard. Модель опубликована в форматах PyTorch и Safetensors и распространяется по лицензии Meta Llama 3 Community License. Она унаследует ограничения базовой Llama 3 и качество данных дообучения; приведённые оценки не гарантируют одинаковую производительность на всех запросах.

Llama-3-Instruct-8B-SimPO-SPPO-Iter3-merge — объединённая чат-модель на базе Meta Llama 3, созданная с помощью mergekit разработчиками исходных моделей. Веса двух моделей, princeton-nlp/Llama-3-Instruct-8B-SimPO и UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3, объединены методом SLERP. Модель имеет архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Карточка приводит результаты оценок IFEval и BBH; метаданные характеризуют базовую модель как англоязычную. Репозиторий содержит веса Safetensors для Transformers. Лицензия — Llama 3 (llama3).

Инструкционная языковая модель Upstage на архитектуре LLaMA с 65 млрд параметров, представленная в формате PyTorch для Hugging Face Transformers. Модель дообучена на наборе данных в стиле Orca и предназначена для генерации ответов по инструкциям и диалоговых сценариев на английском языке. В карточке приведена оценка на бенчмарках ARC-Challenge, HellaSwag, MMLU, TruthfulQA и MT-bench. Метаданные указывают контекст 2048 токена; в README также упомянуто масштабирование RoPE, позволяющее обрабатывать более длинные входы, но точная длина для этой версии не определена. Для запуска проверялась система с A100 80 ГБ. Модель распространяется по специальной лицензии для некоммерческого использования, связанной с лицензией Meta; доступ к репозиторию предназначен для пользователей, получивших разрешение на исходные веса.

M7Yamshadowexperiment28_Experiment26T3q — слитая модель для генерации текста, созданная на основе automerger/M7Yamshadowexperiment28-7B и automerger/Experiment26T3q-7B. В метаданных указаны архитектура Mistral, 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста и ответов на запросы; описание базовой модели также указывает на применение для математических задач. Репозиторий содержит веса в формате safetensors. Модель выпущена по лицензии Apache-2.0.

M7Yamshadowexperiment28_YamExperiment26 — объединённая языковая модель на архитектуре Mistral, созданная на основе automerger/M7Yamshadowexperiment28-7B и automerger/YamExperiment26-7B. Она предназначена для генерации текста. Модель содержит 7,1 млрд параметров, принимает текстовый ввод и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0.

madwind-wizard-7B — объединение предварительно обученных языковых моделей, созданное grimjim с помощью mergekit и метода SLERP. Модель основана на Mistral 7B v0.2 и объединяет её 32K-контекст с возможностями Zephyr Beta и WizardLM 2; веса представлены в формате safetensors с точностью bfloat16. Размер модели — 7,1 млрд параметров, архитектура — плотная MistralForCausalLM, длина контекста — до 32 768 токенов. Модель предназначена для генерации текста и может использоваться для диалогов, ответов на запросы и других задач генерации на основе текстового ввода. Карточка предупреждает, что модель может генерировать проблемный текст из-за унаследованного поведения Zephyr Beta. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

MagpieLM-13.3B-Chat-v0.1 — диалоговая языковая модель на архитектуре Llama, созданная объединением моделей с помощью mergekit и метода passthrough. В README указан Magpie-Align/MagpieLM-8B-Chat-v0.1 как включённая в объединение модель; метаданные также указывают её как базовую дообученную модель. По карточке базовая MagpieLM предназначена для выполнения инструкций и генерации ответов на английском языке. Модель рассчитана на диалоговую генерацию текста и ответы на запросы. Она содержит 12,7 млрд параметров, поддерживает контекст до 131 072 токенов и работает с библиотекой Transformers; файлы представлены в формате safetensors. Лицензия в предоставленных данных не указана.

stamsam/maple-preview-gguf — набор GGUF-конвертаций модели Maple-Preview, разработанной DeepGrove. Это языковая reasoning-модель для генерации текста и решения задач, реализованная как Mixture-of-Experts: всего около 20 млрд параметров, примерно 1 млрд активных на токен (A1B), 24 слоя и контекст до 131 072 токенов. Архитектура использует 256 экспертов, 8 активных экспертов, GQA с 16 query-heads и 4 KV-heads, а также гибридное внимание с чередованием скользящего окна размером 512 и глобального внимания. Модель поддерживает текстовую модальность; заявленные языки в README не указаны. В репозитории доступны варианты F16, Q4_K_M и экспериментальный ternary TQ2_0 с двухбитными весами, что позволяет выбирать между качеством, размером и требованиями к памяти. Сильными сторонами являются большой контекст, MoE-архитектура, низкая активная вычислительная стоимость и поддержка GPU для указанных сборок. При этом проект находится на ранней стадии валидации: систематические оценки, perplexity и бенчмарки отсутствуют, а поддержка ternary-вычислений новая. Файлы нельзя загрузить в основной llama.cpp или PrismML upstream; требуется форк stamsam/llama.cpp, ветка prism, с Maple runtime. Базовая модель и опубликованные материалы распространяются по лицензии MIT.

MeliodasPercival_01_Neuralsirkrishnaexperiment26Experiment24 — объединённая языковая модель семейства Mistral, созданная слиянием automerger/MeliodasPercival_01-7B и automerger/Neuralsirkrishnaexperiment26Experiment24-7B. Модель содержит 7,1 млрд параметров и принимает текст для авторегрессионной генерации текста, включая диалоговые ответы. Контекстное окно составляет до 32 768 токенов. Модель подходит для генерации продолжений текста, ответов в диалоге и других задач на основе текстового ввода. Веса доступны в формате Safetensors; лицензия — Apache-2.0. В карточке модели не приведены оценки качества и подробные сведения о языковой специализации, поэтому результаты для конкретных задач и языков могут различаться.

Mergerix-7b-v0.2 — объединённая текстовая модель, опубликованная MiniMoog и созданная с помощью LazyMergekit из трёх моделей на базе Mistral. Веса объединены методом model_stock; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров. Модель предназначена для генерации текста и диалога, принимает текст и выдаёт текст. Контекст — до 32 768 токенов. Репозиторий содержит веса в формате safetensors, а лицензия указана как Apache-2.0. Карточка не описывает специальные области применения или результаты оценки качества, поэтому практическое качество и поведение объединённой модели могут зависеть от запроса.

MermaidStable3B — языковая модель TroyDoesAI для создания диаграмм Mermaid по исходному коду и текстовым описаниям. Она основана на архитектуре StableLM Epoch, содержит 2,7 млрд параметров и имеет контекст до 16 384 токенов. Модель принимает текст и генерирует текстовую разметку диаграмм Mermaid; в карточке описаны сценарии для кода, историй, планирования проектов, обучения Python и игрового дизайна. Модель дообучена на базе stable-code-3b, использует формат весов safetensors и, согласно README, лучше работает с инструкциями в формате Alpaca. Указанная лицензия CC BY-NC 4.0 разрешает использование с соблюдением её условий, включая ограничения на коммерческое применение. Это proof of concept; README не приводит количественных оценок качества, поэтому надёжность диаграмм для конкретных задач следует проверять отдельно.

MiniMax-M2.7-JANG_2L — квантованная версия MiniMax-M2.7, подготовленная Jinho Jang для запуска на компьютерах Apple Silicon через MLX и vMLX. Это диалоговая MoE-модель для генерации текста; в README указаны 228,7 млрд общих параметров и смешанная точность около 2,10 бита. Для внимания и выходного слоя сохранена точность 8 бит, для эмбеддингов — 6 бит, а большая часть экспертных MLP сжата до 2 бит; маршрутизатор экспертов оставлен в float16. Метаданные каталога указывают 2,9 млрд параметров, что расходится с размером, заявленным в README. Модель предназначена для диалогов и задач рассуждения, а также может использовать вызов инструментов в совместимых клиентах. Контекстное окно — 196 608 токенов. Для запуска требуются MLX и Mac с Apple Silicon и не менее 96 ГБ объединённой памяти; автор рекомендует MLX Studio. В README указано, что температура 1,0 обязательна, поскольку жадная генерация может зациклить рассуждения. Бенчмарки M2.7 ещё не опубликованы, а заявление о превосходстве JANG над обычной квантизацией MLX основано на результатах для M2.5. Лицензия в метаданных обозначена как other; README разрешает исследовательское и личное использование и возлагает ответственность за соблюдение лицензии MiniMax на пользователя.

JANGQ-AI/MiniMax-M2.7-JANG_4M — квантизированная версия MiniMax M2.7, подготовленная Jinho Jang с помощью JANG Tools. Это текстовая MoE-модель с 228,7 млрд параметров и профилем смешанной точности 4,06 бита: внимание и выходной слой сохранены в 8-битном формате, эмбеддинги и экспертные MLP — в 4-битном, маршрутизатор — в float16. В метаданных указано 2,9 млрд параметров; README описывает исходную модель как 228,7-миллиардную, а размер этого профиля — около 115 ГБ. Модель предназначена для диалогов и генерации текста с рассуждением, а также для сценариев с вызовом инструментов. Она поддерживает контекст до 196 608 токенов и рассчитана на запуск на Apple Silicon через MLX Studio, которое включает загрузчик JANG; стандартный mlx_lm смешанную точность JANG не загружает. README приводит результаты 191/200 на MMLU для профиля JANG_4M, но это ограниченное сравнение на 200 вопросах, а результаты для MiniMax M2.7 названы ожидающими подтверждения. Для запуска требуется Mac на Apple Silicon с 128 ГБ объединённой памяти и MLX; автор рекомендует MLX Studio. Модель всегда выполняет рассуждение перед ответом, а README предупреждает, что температура 0 может приводить к бесконечным циклам рассуждений. Лицензия MiniMax M2.7 некоммерческая: коммерческое использование требует предварительного письменного разрешения MiniMax.

MISCHIEVOUS-12B-Mix_Neo — объединённая языковая модель на архитектуре Mistral, созданная автором bamec66557 методом SLERP с помощью mergekit из моделей MISCHIEVOUS-12B-Mix_0.4v и MISCHIEVOUS-12B-Mix_0.5v. Модель содержит 12,1 млрд параметров и предназначена для генерации текста в диалоговых сценариях; метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Заявленная длина контекста — до 1 024 000 токенов. Лицензия — Apache-2.0. В README приведены результаты оценки на Open LLM Leaderboard, включая средний балл 25,80 и результат IFEval 62,50; эти показатели не гарантируют качество на конкретных пользовательских задачах.

mistral-7b-v0.1-layla-v1-Mistral-7B-Instruct-v0.1 — чат-модель, полученная слиянием Mistral-7B-Instruct-v0.1 от Mistral AI и l3utterfly/mistral-7b-v0.1-layla-v1. Слияние выполнено методом SLERP с настройками для слоёв self-attention и MLP; в репозитории представлены веса safetensors в формате bfloat16. Модель с архитектурой MistralForCausalLM и 7,1 млрд параметров предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Заявленная длина контекста — 32 768 токенов; в метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. Данных о сравнительных оценках качества и специальных ограничениях применения в карточке нет.

MaziyarPanahi опубликовал Mistral-7B-v0.2 — плотную авторегрессионную языковую модель семейства Mistral с 7,1 млрд параметров. По карточке это базовая предобученная модель; упомянутая в README версия Instruct является отдельной моделью, дообученной на её основе. Модель предназначена для генерации текста и может использоваться в приложениях, где нужно продолжать заданный текст или формировать ответы по текстовому запросу. Контекстное окно составляет 32 768 токенов; в версии v0.2 также изменён параметр RoPE theta и отсутствует Sliding-Window Attention. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не сообщает языковой состав обучения и конкретные показатели качества, поэтому пригодность для отдельных языков и задач следует оценивать на собственных данных.

nlpguy выпустил объединённую языковую модель для генерации текста. Она создана методом passthrough mergekit на основе nvidia/Mistral-NeMo-Minitron-8B-Base; в репозитории указано 11,9 млрд параметров, архитектура MistralForCausalLM и формат safetensors. Модель принимает текст и генерирует текст, поддерживая контекст до 8192 токенов. Модель предназначена для генерации продолжений и ответов на текстовые запросы. В README указана лицензия «other», поэтому условия использования следует сверить с лицензией и правилами базовой модели NVIDIA перед применением.

Mistralopithecus-v1-dpo-7b-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением Mistral-7B-Instruct-v0.2 и mistralopithecus-v1-dpo-7b методом SLERP с помощью mergekit. Это плотная архитектура MistralForCausalLM с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в диалоговом формате. Модель принимает текст и выдаёт текст; длина контекста составляет до 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0. README описывает способ слияния и исходные модели, но не приводит отдельной оценки качества или подробностей о языках и специализированных областях применения.

Mistral-T5-7B-v1 — дообученная Ignos языковая модель на архитектуре Mistral для генерации текста и улучшения выполнения инструкций. Она основана на Toten5/Marcoroni-neural-chat-7B-v2 и обучалась на наборе tatsu-lab/alpaca. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Модель предназначена для ответов на инструкции и запросы в текстовом формате. Веса доступны в формате PyTorch. Лицензия — Apache-2.0. README не приводит результатов оценки качества; заявлено, что модель наследует риски и ограничения базовых моделей.

Mistral-v0.3-6B — плотная авторегрессионная языковая модель семейства Mistral, дообученная pszemraj на базе pszemraj/Mistral-7B-v0.3-prune6. Разработчик описывает обучение как краткое продолжение предобучения с контекстом 4096 токенов для восстановления после прореживания слоёв; в метаданных указаны 5,8 млрд параметров и нативный контекст 32 768 токенов. Модель предназначена для генерации текста и задач общего языкового моделирования. В карточке приведены результаты оценивания на наборах ARC Easy, BoolQ и Open LLM Leaderboard; они дают ориентир по отдельным тестам, но не гарантируют качество в конкретном сценарии. Репозиторий содержит веса safetensors, а лицензия — Apache-2.0. Карточка не описывает специальные прикладные области или дополнительные модальности.

Это размещённая Featherless AI сборка модели Llama 3.1 Nemotron 70B Instruct в формате GGUF с вариантами квантования. Она предназначена для генерации текста и диалогового общения; репозиторий перечисляет варианты IQ4_XS, Q2_K и Q3_K_L, а также сообщает о наличии ещё восьми строк вариантов квантования. Модель подходит для запуска чат-ассистента и генерации ответов на текстовые запросы. Размер базовой модели — 70 млрд параметров, однако размеры отдельных файлов в README относятся к папкам с вариантами квантования. Данных о поддерживаемых языках и длине контекста в предоставленных источниках нет. Варианты квантования позволяют выбирать между размером файлов и точностью представления весов; конкретные характеристики качества и требования к ресурсам не приведены. Лицензия в предоставленных данных не указана.

liminerity/mm4.ascii.star — языковая модель семейства Llama, разработанная liminerity и дообученная на основе liminerity/mm4.star. Модель предназначена для генерации текста и диалогового общения; при обучении использовались наборы Alpaca-Star и alpaca-star-ascii. Модель имеет плотную архитектуру LlamaForCausalLM и содержит 2,7 млрд параметров. Контекстное окно составляет 32 768 токенов. В карточке указано обучение с использованием Unsloth и TRL. Лицензия — Apache-2.0. Карточка не описывает отдельные гарантии качества или ограничения применения; результаты генерации могут зависеть от формулировки запроса и данных дообучения.

iamplus/mpt-30b-v2 — дообученная языковая модель на архитектуре MPT, созданная на базе mosaicml/mpt-30b. В README указаны llm-foundry от MosaicML и набор данных flan3m-GPT3.5; метаданные также связывают репозиторий с датасетом ehartford/dolphin. Модель предназначена для генерации текста по запросам, включая ответы на вопросы в формате с системным сообщением и вопросом. Веса опубликованы в формате PyTorch, размер модели — 30 млрд параметров по идентификатору базовой модели. Указана лицензия Apache-2.0. В карточке нет данных о поддерживаемых естественных языках и длине контекста, поэтому их нельзя уточнить.

NeuralAlgo-7B-slerp — объединённая модель для генерации текста, созданная с помощью LazyMergekit методом SLERP на основе AurelPx/Percival_01-7b-slerp и yam-peleg/Experiment26-7B. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Она предназначена для генерации продолжений и ответов на текстовые запросы; карточка не описывает специализированные сценарии или языки обучения. Модель распространяется в формате safetensors по лицензии Apache-2.0.

NeuralPipe-7B-slerp-v0.2 — объединённая методом SLERP языковая модель семейства Mistral, созданная путём слияния OpenPipe/mistral-ft-optimized-1227 и mlabonne/NeuralHermes-2.5-Mistral-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста; её можно использовать для продолжения запросов и создания текстовых ответов. В карточке указано нативное контекстное окно 32 768 токенов. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. README описывает конфигурацию слияния, но не приводит подробностей о языковом покрытии или специализированных предметных областях.