II.1Анализ требований и архитектура ПО

Fischerboot/ll3-test-1 — языковая модель с архитектурой Llama, опубликованная в формате SafeTensors и рассчитанная на генерацию текста и диалоговое взаимодействие. В карточке указано, что модель создана с помощью mergekit методом SLERP из двух срезов одной и той же модели Fischerboot/ll3-test-1; размер составляет 7,1 млрд параметров, контекст — 8192 токена. Она работает через библиотеку Transformers. Модель подходит для генерации продолжений текста и ответов в чате. Карточка не сообщает о специализированных областях применения или поддерживаемых естественных языках. Лицензия в предоставленных данных не указана.

Llama2-13B-DiamondForce — чат-модель общего назначения, дообученная sequelbox на базе Llama 2 13B. Она предназначена для диалогов и технических задач; при обучении использовались открытые и частные данные, преимущественно в формате чата INST. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 12,9 млрд параметров и поддерживает контекст до 4096 токенов. Модель выдаёт текст и распространяется в формате safetensors по лицензии Apache 2.0. Автор характеризует её как пригодную к использованию без дополнительной настройки, но отмечает, что дальнейшее дообучение может улучшить удовлетворённость пользователей. Модель обозначена как устаревшая и предлагается главным образом для справки; для общего применения автор рекомендует Llama 3.

Meta разработала Llama 2 13B — предварительно обученную авторегрессионную языковую модель для генерации текста. Этот репозиторий содержит вариант с 13 млрд параметров, преобразованный в формат Transformers для Hugging Face; модель использует оптимизированную архитектуру Transformer и распространяется в форматах PyTorch и safetensors. Модель принимает и выдаёт текст. Её можно адаптировать для различных задач генерации естественного языка, включая продолжение текста и создание черновиков. В карточке семейство предназначено для коммерческого и исследовательского применения на английском языке; диалоговая настройка относится к отдельным вариантам Llama-2-Chat, а не к этому предварительно обученному чекпойнту. Контекст модели составляет 4 тыс. токенов. Она обучалась на 2 трлн токенов из общедоступных источников с отсечкой данных сентября 2022 года. Ответы могут быть неточными, предвзятыми или нежелательными, поэтому перед внедрением требуется проверка и настройка под сценарий использования. Доступ и применение регулируются лицензией Meta Llama 2; для загрузки весов требуется принять её условия.

Korabbit/Llama-2-7b-chat-hf-afr-100step-v2 — экспериментальная чат-модель Korabbit, основанная на Llama-2-7b-chat и обученная автором с использованием подхода «AFR training». В карточке приведён пример ответа на инструкцию реализовать бинарный поиск на Python; метаданные указывают архитектуру LlamaForCausalLM, около 6,6 млрд параметров и контекст до 4096 токенов. Модель предназначена для диалоговых ответов на инструкции и общих текстовых запросов, включая вопросы о программировании. В метаданных указан английский язык и набор данных vicgalle/alpaca-gpt4. Указана лицензия llama2. README описывает подход к обучению лишь кратко, поэтому его детали и качество модели по примеру оценить нельзя.

guardrail/llama-2-7b-guanaco-instruct-sharded — разговорная языковая модель на архитектуре Llama, дообученная с помощью QLoRA на наборе timdettmers/openassistant-guanaco. Она предназначена для генерации текста и ответов на инструкции в диалоговом формате. Репозиторий содержит веса safetensors, разбитые на части для загрузки в Google Colab; в README рекомендуется запуск через Transformers с 4-битной загрузкой. Модель насчитывает 6,6 млрд параметров и имеет контекст длиной 2048 токенов. В метаданных указана лицензия Apache-2.0. Карточка не сообщает, для каких языков она рассчитана, поэтому языковую специализацию определить нельзя.

NousResearch/Llama-2-7b-hf — преобразованная в формат Hugging Face Transformers версия предварительно обученной языковой модели Llama 2 7B, разработанной Meta. Это авторегрессионная плотная трансформерная модель для генерации текста с 6,6 млрд параметров и контекстом до 4096 токенов; она принимает текст и выдаёт текст. Модель предназначена для англоязычной генерации естественного языка и может служить основой для адаптации под различные задачи. Это базовая предварительно обученная версия, а не вариант Llama-2-Chat, настроенный для диалога. Модель распространяется по специальной лицензии Meta для Llama 2; для получения весов требуется принять условия лицензии. Ответы могут быть неточными, предвзятыми или нежелательными, поэтому перед внедрением модель следует проверять и адаптировать для конкретного сценария. В карточке использование на языках, кроме английского, указано как выходящее за рамки предполагаемого применения.

Kuotient создал эту чат-модель на архитектуре LlamaForCausalLM с 11 млрд параметров, используя passthrough-слияние Meta-Llama-3-8B-Instruct. Идея модели — заставить её «думать дважды», сохраняя сопоставимые с исходной моделью шаги рассуждения. Она предназначена для диалогов и генерации текста по инструкциям; заявленная длина контекста — 8192 токена. Модель принимает текст и выдаёт текст. В карточке указана лицензия other; конкретные условия использования следует проверять в репозитории модели и у базовой модели. README не приводит результатов оценки качества или подробностей языковой поддержки, поэтому такие характеристики нельзя подтвердить по доступным данным.

Это базовая текстовая модель cyboghostginx/Llama3.1-8B — неизменённая копия Llama 3.1 8B от Meta. Модель построена на архитектуре LlamaForCausalLM, содержит 32 слоя и около 7,5 млрд параметров; веса представлены в формате safetensors с точностью bf16. Контекст — до 131 072 токенов. Модель предназначена для продолжения текста и служит отправной точкой для дообучения под прикладные задачи. Это базовая версия, а не Instruct: у неё нет шаблона чата, поэтому для диалогового применения README рекомендует instruct-вариант. Поддерживаемые языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Лицензия — Llama 3.1.

Карточка модели Jplotrox/Llama-3.1-8B-Lexi-Uncensored-V2 на Hugging Face совпадает с карточкой Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2, поэтому описание составлено по ней. Orenguteng разработал Lexi Uncensored V2 — диалоговую модель генерации текста на архитектуре Llama 3.1 с 7,5 млрд параметров, основанную на Llama-3.1-8B-Instruct. Модель дообучена для более свободных и послушных ответов на запросы; она поддерживает контекст до 131 072 токенов и использует библиотеку Transformers. Модель предназначена для диалогов и генерации текста по инструкциям, включая сценарии, где требуется меньше отказов, чем у исходной модели. В карточке приведены результаты Open LLM Leaderboard: среднее значение 27,93, IFEval — 77,92 и BBH — 29,69. Для инференса требуется шаблон чата Llama 3.1 с системными токенами. Автор отмечает, что версия Q4 иногда отказывает из-за возможной потери качества при квантизации и рекомендует F16 или Q8. Модель рассчитана на высокую податливость запросам, поэтому автор советует самостоятельно добавить слой выравнивания перед предоставлением её как сервиса. Лицензия — Meta Llama 3.1 Community License.

promotion/Llama-3.1-8B-NBPO-finitepool — диалоговая языковая модель на архитектуре Llama, дообученная на базе meta-llama/Llama-3.1-8B-Instruct методом NBPO для многоцелевой оптимизации предпочтений. Модель генерирует текст и поддерживает диалог; размер составляет 7,5 млрд параметров, контекст — до 131 072 токенов. В репозитории веса в формате Safetensors; лицензия — Llama 3.1. Этот чекпойнт помечен как superseded: в обучающую выборку попали 629 из 698 оценочных запросов UltraFeedback. Из-за пересечения результаты на этом наборе смещены в пользу модели, поэтому её не следует использовать для воспроизведения результатов UltraFeedback из статьи NBPO. В README указано, что заменой служит promotion/Llama-3.1-8B-NBPO-UltraFeedback-clean.

DavidAU Llama-3.1-DeepSeek-8B-DarkIdol-Instruct-1.2-Uncensored — объединённая разговорная языковая модель на архитектуре Llama 3.1 с 7,5 млрд параметров. В её основе лежит DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored, объединённая с адаптером DeepSeek-R1-Distill-Llama-8B; модель предназначена для генерации текста и диалога. Модель принимает текст и выдаёт текст. Заявленная длина контекста — 131 072 токена. Репозиторий содержит веса Safetensors, которые можно использовать напрямую или преобразовать в форматы GGUF, GPTQ, EXL2, AWQ и HQQ. Название и карточка позиционируют модель как uncensored, однако конкретные языки и специальные прикладные области не описаны. Для работы автор рекомендует учитывать настройки сэмплирования, но подробные инструкции и примеры в карточке отсутствуют. Лицензия в предоставленных данных не указана.

SliceX AI разработала ELM Turbo — семейство компактных инструктивных языковых моделей на основе Meta-Llama-3.1-8B-Instruct. Эта версия представляет собой срез семейства размером около 3,6 млрд параметров с архитектурой Llama и поддержкой диалогового режима. Модель предназначена для генерации текста и ответов на инструкции с возможностью развертывания в условиях ограничений по вычислительным ресурсам и памяти. Разработчики описывают ELM Turbo как модульную архитектуру, обученную с применением «срезов» на этапах предобучения и/или дообучения, чтобы сформировать варианты разного размера. Карточка указывает контекстное окно до 131 072 токенов и английский язык. Веса опубликованы в формате Safetensors. Модель подходит для чат-ботов, ответов на вопросы и других задач генерации текста. Следует проверять фактическую точность и возможные смещения в ответах: инструкция по применению предупреждает, что использованные наборы данных могут содержать ошибки, предвзятость и нежелательный контент. Лицензия — Llama 3.1; использование регулируется её условиями.

Llama-3.1-Tulu-3-8B-DPO-GGUF — набор GGUF-квантизаций модели Llama-3.1-Tulu-3-8B-DPO, опубликованный bartowski и основанный на модели Allen Institute for AI. Модель предназначена для генерации текста и диалоговых сценариев; запуск возможен через llama.cpp, в том числе в LM Studio. Для взаимодействия используется формат сообщений с ролями system, user и assistant. Это текстовая модель на 8 млрд параметров семейства Llama 3.1, обученная с применением DPO на наборе allenai/llama-3.1-tulu-3-8b-preference-mixture. Указан английский язык; сведения о поддержке других языков, модальностях и размере контекста в README отсутствуют. Доступны варианты от F16 размером 16,07 ГБ до компактных квантизаций Q2–Q8, включая рекомендуемые Q4_K_M, Q5_K_M и Q6_K, что позволяет выбирать баланс качества, скорости и требований к памяти. Сильная сторона публикации — широкий выбор форматов для локального запуска и применение imatrix-квантизации на базе llama.cpp. Ограничения зависят от выбранного варианта: более компактные квантизации снижают качество, а некоторые ARM-оптимизированные форматы требуют определённых инструкций и не рекомендуются для Mac или GPU. Лицензия указана как llama3.1; дополнительные условия использования в README не раскрыты.

MergeBench/Llama-3.2-3B_instruction — текстовая авторегрессионная модель семейства Llama, опубликованная организацией MergeBench на Hugging Face. Репозиторий связывает её с работой MergeBench: A Benchmark for Merging Domain-Specialized LLMs, однако карточка модели не сообщает подробно, как именно получены веса и для каких сценариев они адаптированы. Модель содержит около 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст для генерации текста. В метаданных указано контекстное окно 131 072 токена; карточка не подтверждает список поддерживаемых естественных языков. Модель доступна в формате Safetensors и предназначена для запуска через Transformers и совместимые инструменты генерации. Репозиторий распространяется по лицензии MIT. Карточка содержит мало сведений об обучении, оценке качества, языковом покрытии и ограничениях, поэтому пригодность для конкретной области следует проверять отдельно.

Llama-3-8B-Instruct-v0.2 — диалоговая языковая модель Maziyar Panahi, созданная на основе серии Llama-3-8B-Instruct-DPO. Это плотная авторегрессионная архитектура LlamaForCausalLM с 7,5 млрд параметров и контекстом 8192 токена, предназначенная для генерации текста и переписки в формате ChatML. Модель подходит для диалоговых помощников, составления и продолжения текстов, а также ответов на запросы на английском языке. Для запуска можно использовать библиотеку Transformers. В репозитории указаны веса safetensors; README также ссылается на отдельную страницу с квантованными версиями GGUF. Модель дообучена на MaziyarPanahi/Llama-3-8B-Instruct-DPO-v0.2. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой модели. Данных о специализированной предметной области нет.

Orenguteng/Llama-3-8B-Lexi-Uncensored — разговорная модель генерации текста, разработанная на основе Llama-3-8B-Instruct. Она дообучена так, чтобы охотнее следовать запросам, в том числе тем, которые другие модели могут отклонить. Модель поддерживает диалог и выполнение инструкций, содержит около 7,5 млрд параметров и принимает контекст длиной до 8192 токенов. Модель подходит для генерации ответов и ведения диалога по пользовательским запросам. В README приведены результаты Open LLM Leaderboard, включая среднее значение 66,18 и результат 59,56 на AI2 Reasoning Challenge; эти показатели сами по себе не гарантируют качество в конкретном сценарии. Из-за ослабленных ограничений модель может выдавать небезопасный или неэтичный контент, поэтому перед предоставлением доступа пользователям разработчик рекомендует добавить собственный слой фильтрации. Лицензия — Meta Llama 3 Community License; коммерческое использование допускается в её рамках.

Magpie-Align/Llama-3-8B-Magpie-Pro-SFT-100K-v0.1 — языковая модель, дообученная командой Magpie-Align на базе Meta Llama 3 8B. Для настройки использованы первые 100 тысяч примеров из набора Magpie-Align/Magpie-Pro-300K-Filtered. Модель предназначена для генерации текста в диалоговом формате и может использоваться для создания ответов на запросы пользователя. Модель содержит 7,5 млрд параметров, построена на плотной архитектуре Llama и принимает текст, выдавая текст. Контекст составляет 8192 токена. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия — Llama 3. В карточке авторы рекомендуют вместо этой версии использовать Magpie-Align/Llama-3-8B-Magpie-Pro-SFT-v0.1, заявляя о её более высокой производительности.

cloudyu/Llama-3-8Bx2-MOE-DPO — разговорная модель генерации текста с архитектурой Mixtral/MoE, опубликованная в формате safetensors. В карточке приведён пример запуска на Apple MPS, а метаданные указывают размер 7,5 млрд параметров и контекст до 8192 токенов. Модель предназначена для диалоговой генерации текста. Репозиторий создан 26 апреля 2024 года и распространяется по лицензии Apache-2.0. README не сообщает сведений о языках обучения, датасетах или сравнительных оценках качества.

haoranxu/Llama-3-Instruct-8B-CPO-SimPO — разговорная языковая модель семейства Llama, опубликованная разработчиком haoranxu. Это плотная авторегрессионная модель для генерации текста с поддержкой диалога; в карточке указаны 7,5 млрд параметров, контекст до 8192 токенов и формат safetensors. Модель предназначена для генерации ответов в чат-сценариях. Название и README указывают на совместное применение методов CPO и SimPO, однако подробности обучения и результаты вынесены во внешний GitHub и в карточке не раскрыты. Модель распространяется по лицензии MIT.

SJ-Donald/llama3-passthrough-chat — диалоговая языковая модель, созданная методом passthrough merge с помощью mergekit на основе meta-llama/Meta-Llama-3-8B-Instruct. Репозиторий содержит веса в формате safetensors; архитектура — плотная LlamaForCausalLM. В метаданных указаны 11 млрд параметров и контекст до 8192 токенов. Модель предназначена для диалога и генерации текста. Её можно использовать для создания ответов ассистента и ведения текстовых бесед. Базовая модель ориентирована на английский язык; других языков карточка не подтверждает. Лицензия — Llama 3 Community License (llama3).

llama-3-stella-truthy-dpo-8B — диалоговая языковая модель семейства Llama 3, разработанная на основе nbeerbower/llama-3-stella-8B. Модель дообучена методом DPO на наборе jondurbin/truthy-dpo-v0.1 и предназначена для генерации текста и диалоговых ответов. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и 7,5 млрд параметров. Она принимает текст, поддерживает контекст до 8192 токенов и распространяется в формате Safetensors. README указывает на лицензию Meta Llama 3 Community License Agreement; применяются её условия.

LLaMA-MoE-v1-3_5B-2_8-sft — версия с supervised fine-tuning семейства LLaMA-MoE, обученная разработчиками модели на наборе Deita-6k в течение двух эпох. Это языковая модель с архитектурой Mixture of Experts: из 8 экспертов активируются 2; в README для варианта указано 3,5 млрд активных параметров, а метаданные репозитория сообщают 6,6 млрд параметров всего. Модель предназначена для генерации текста и диалоговых сценариев. Контекст составляет 4096 токенов, веса доступны в формате safetensors, лицензия — Apache-2.0. README приводит результаты оценки на языковых и диалоговых бенчмарках, но доступная таблица не содержит результатов именно этой версии.

Lobotollama-5.5B — разговорная языковая модель на архитектуре Llama, созданная путём слияния предварительно обученных моделей с помощью mergekit. В README указана Meta-Llama-3-8B-Instruct как одна из моделей, вошедших в слияние. Репозиторий содержит веса в формате safetensors; размер модели — 5,3 млрд параметров, контекст — до 8192 токенов. Модель предназначена для генерации текста и диалогового общения. Её можно использовать для ответов на вопросы, ведения беседы и генерации текста в приложениях на базе Transformers. Данные карточки не уточняют языки обучения или конкретные сценарии применения. Лицензия в предоставленных данных не указана.

DevQuasar-2/Luca-MN-bf16-GGUF — чат-модель для генерации текста в формате GGUF BF16. По метаданным, это производная от rAIfle/Luca-MN-bf16 модель, доступная для задач генерации текста.

LYRA-LLAMA — компактная языковая модель на архитектуре Llama, разработанная и поддерживаемая Muhammad Taqi. Это плотная причинная модель с 1,2 млрд параметров, предназначенная для многоходового диалога, логического анализа и генерации кода. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов; заявленная длина контекста — 131 072 токена. В метаданных указан английский язык. Репозиторий содержит веса в формате Safetensors и использует библиотеку Transformers. README не уточняет базовую модель или процесс обучения, поэтому происхождение модели определить нельзя. Лицензия — Apache-2.0. Заявления о скорости и точности приведены без оценок или бенчмарков; качество генерации кода и рассуждений по карточке проверить нельзя.

FourOhFour/Magic_8B — дообученная разговорная языковая модель на архитектуре Mistral с 7,9 млрд параметров. Она предназначена для генерации текста в диалоговом формате; длина контекста составляет 8192 токена. Модель создана на основе Dans-DiscountModels/Mistral-NeMo-Minitron-8B-Base-ChatML с использованием Axolotl 0.4.1. В карточке приведён результат оценки: loss 1,0138. Данные о назначении, обучающем наборе и ограничениях в README не раскрыты. Модель опубликована в формате safetensors и использует лицензию, указанную в метаданных Hugging Face.

Magnum-Instruct-DPO-12B — слитая модель для генерации текста и диалогов, опубликованная ParasiticRogue. Она объединяет варианты моделей, прошедшие дополнительное обучение DPO или ORPO; автор описывает состав как примерно равновесное слияние и отмечает, что сравнительных испытаний пока не проводил. В основе лежит архитектура MistralForCausalLM с 12,1 млрд параметров, модель предназначена для запуска через Transformers и использует формат safetensors. В карточке указан контекст до 1 024 000 токенов. Модель подходит для диалогов, ролевых сценариев и генерации ответов по инструкциям. Для общения в README приведён формат запросов Nemo-Mistral; автор также предлагает настройки генерации. Доступны производные квантизованные сборки EXL2 и GGUF. Модель распространяется по лицензии Apache-2.0. Автор сообщает только об ограниченном личном тестировании и не утверждает, что слияние превосходит исходные модели. Поэтому качество для конкретных сценариев следует оценить самостоятельно.

magnum-v4-12b-GGUF — набор GGUF-квантизаций модели magnum-v4-12b, разработанной anthracite-org и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и чат-сценариев, а запускать её можно через llama.cpp и совместимые приложения, включая LM Studio. Указан английский язык и формат prompt <s>[INST]{prompt}[/INST]. В основе лежит модель с 12 млрд параметров; точная архитектура и размер контекста в README не указаны. Доступны варианты от F16 до Q2_K, включая квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ, с размером файлов примерно от 4,44 до 24,50 ГБ. Более высокие уровни квантизации сохраняют лучшее качество, а компактные варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Некоторые варианты оптимизированы для ARM и требуют поддержки SVE или i8mm; они не рекомендуются для Mac или Windows. Ключевые ограничения — отсутствие в README сведений о результатах тестирования, мультимодальности, точной архитектуре, контексте и системных требованиях. Лицензия обозначена как MRL, однако её подробные условия не приведены; перед использованием следует ознакомиться с текстом лицензии исходной модели и репозитория.

bartowski/magnum-v4-27b-GGUF — это набор GGUF-квантизаций языковой модели magnum-v4-27b, разработанной anthracite-org. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в локальных приложениях через llama.cpp и LM Studio. Указанный язык — английский, модальность — текстовая. Модель содержит около 27 миллиардов параметров и поставляется в вариантах от F16 до сильно сжатых Q2/IQ2-квантизаций. Для подготовки файлов использовались llama.cpp b3930 и imatrix-квантизация; некоторые варианты сохраняют эмбеддинги и выходные веса в формате Q8_0 для повышения качества. Более крупные квантизации обеспечивают качество, близкое к исходной модели, но требуют значительного объёма памяти, тогда как малые варианты экономичнее, однако могут заметно терять в качестве. В README не указаны архитектура исходной модели, размер контекста и результаты сравнительных тестов. Для работы следует использовать формат prompt с маркерами ролей system, user и assistant, приведённый в документации модели. Лицензия обозначена как gemma; дополнительные условия её применения в README не раскрыты.

MAMBA (2.8B) Instruct — языковая модель с архитектурой Mamba, дообученная clibrain на наборе OpenHermes для генерации текста в формате инструкций и диалога. Архитектура Mamba относится к моделям пространства состояний и использует аппаратно-ориентированную реализацию; заявленный размер в названии — 2,8 млрд параметров, тогда как метаданные указывают 6 млрд параметров. Модель предназначена для диалоговых ответов и выполнения общих инструкций, включая задачи письма, ролевого взаимодействия и программирования. OpenHermes содержит около 242 тысяч примеров, преимущественно созданных GPT-4 и собранных из открытых наборов данных. В метаданных указан английский язык и возможность использования в чате. Карточка модели обозначена как незавершённая, а результаты оценивания обещаны на будущее, поэтому опубликованных оценок качества нет. Для запуска README приводит зависимости PyTorch, Transformers и Mamba. Лицензия указана как WTFPL.