II.1Анализ требований и архитектура ПО

Youssofal выпустил GGUF-представление мультимодальной модели Moonshot AI Kimi-K2.6 для запуска через llama.cpp. Это крупная разреженная MoE-модель семейства Kimi K2 с архитектурой KimiK25ForConditionalGeneration и текстовым стеком в стиле DeepSeek V3; в README указано 61 текстовый слой. В репозитории представлены варианты Q8_0, Q6_K, Q4_K_M и Q2_K, а также мультимодальный проектор для обработки изображений. Модель предназначена для диалоговой генерации текста и сценариев с визуальным вводом, унаследованных от Kimi-K2.6. Карточка описывает репозиторий как конверсию исходной модели в GGUF; лицензия указана как other. Проверки отказов и численные метрики качества в README ещё не опубликованы, а загрузка файлов и метаданных обозначена как продолжающаяся.

L3.3-70B-Lycosa-v0.1 — экспериментальная разговорная языковая модель с архитектурой Llama, созданная автором divinetaco методом слияния mergekit. В состав вошли DeepSeek-R1-Distill-Llama-70B и несколько моделей Llama 70B; в README указаны sce-слияние и формат bfloat16. Модель содержит около 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста с акцентом на рассуждения, творческие ответы и снижение позитивной предвзятости. Карточка отмечает её как RP-модель и допускает, что применение шаблона чата Llama 3.3 может улучшить результаты по сравнению с шаблоном DeepSeek по умолчанию. Лицензия — Llama 3.3. Модель помечена как предназначенная не для всех аудиторий и как NSFW, поэтому её следует использовать с учётом возможности взрослого или откровенного контента. Качество и поведение могут зависеть от используемого шаблона чата; README не приводит количественных оценок производительности.

LaMini-Cerebras-590M — языковая модель серии LaMini-LM, разработанной MBZUAI и описанной в работе «LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions». Это декодерная модель GPT-2 с 590 млн параметров, полученная дообучением Cerebras-GPT-590M на наборе LaMini-instruction из 2,58 млн примеров. Репозиторий содержит веса PyTorch; модель рассчитана на контекст до 2048 токенов. Модель предназначена для генерации ответов на инструкции, сформулированные на естественном языке. Авторы рекомендуют использовать тот же текстовый шаблон-обёртку, на котором модель дообучалась, для получения лучших результатов. В метаданных указан английский язык. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Layris — объединённая автором ChaoticNeutrals языковая модель на архитектуре Mistral, созданная методом passthrough с помощью mergekit из ChaoticNeutrals/Eris_Remix_7B и l3utterfly/mistral-7b-v0.1-layla-v4. Она предназначена для генерации текста и может использоваться в диалоговых сценариях и имитации персонажей; базовая модель Layla описана как англоязычная модель для многоходовых разговоров и офлайн-помощника. Модель содержит 8,9 млрд параметров, поддерживает контекст до 32 768 токенов и опубликована в формате safetensors для Transformers. В карточке указана лицензия other, поэтому условия использования следует проверять по сведениям репозитория и исходных моделей. README не приводит отдельных оценок качества или подробностей о поведении именно этого слияния. Ожидаемые ограничения связаны с англоязычной специализацией одной из исходных моделей и возможной вариативностью ответов при объединении весов.

LeTriomphant2.2_ECE_iLAB — объединённая командой студентов инженерной школы ECE при поддержке лаборатории iLab и TW3 Partners языковая модель для диалогов и генерации текста. Она создана с помощью mergekit на основе raphgg/test-2.5-72B и shuttleai/shuttle-3; в метаданных указаны архитектура Qwen2, 71,5 млрд параметров, контекст до 32 768 токенов и формат safetensors. Модель предназначена для генерации текста в чат-сценариях. Репозиторий распространяется по лицензии Apache-2.0. README не описывает обучение, оценку качества или специализированные прикладные области.

Карточка модели pbansal/LLaDA-8B-Base-Adjust на Hugging Face совпадает с карточкой GSAI-ML/LLaDA-8B-Base, поэтому описание составлено по ней. LLaDA-8B-Base — базовая языковая модель семейства LLaDA, разработанная командой GSAI-ML и обученная с нуля. Это плотная модель на 8 млрд параметров, использующая диффузионный подход к генерации текста; репозиторий содержит веса в формате Safetensors и поддерживает Transformers. Модель предназначена для генерации текста и может служить базой для диалоговых сценариев и дальнейшей адаптации. В карточке заявлено, что по результатам разработчиков она сопоставима по качеству с LLaMA 3 8B. Данных о поддерживаемых языках и длине контекста в предоставленных источниках нет. Модель распространяется по лицензии MIT. Карточка сообщает об обновлении кода для поддержки attention_mask, но не приводит подробных ограничений или результатов оценки для отдельных задач.

Карточка модели Neko-Institute-of-Science/LLaMA-13B-HF на Hugging Face совпадает с карточкой Neko-Institute-of-Science/LLaMA-7B-HF, поэтому описание составлено по ней. LLaMA-7B-HF — преобразованная в формат Transformers версия языковой модели LLaMA, опубликованная Neko Institute of Science. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и примерно 6,6 млрд параметров; она предназначена для генерации текста. Контекст модели составляет 2048 токенов. Репозиторий содержит веса PyTorch и Safetensors. Для использования требуется соблюдать специальную лицензию и условия, изложенные в файле LICENSE. README также предупреждает, что в упомянутой торрент-копии устарели tokenizer_config.json и special_tokens_map.json; эти файлы следует заменить версиями из карточки модели.

sharpbai/Llama-2-13b-hf — копия предобученной языковой модели Llama 2, разработанной Meta и размещённой в формате PyTorch для Transformers. Файлы весов разделены на части для параллельного скачивания. Модель содержит 12,9 млрд параметров, использует авторегрессионную архитектуру Transformer и рассчитана на контекст до 4096 токенов. Модель принимает текст и генерирует текст. Она предназначена прежде всего для англоязычной генерации: её можно адаптировать для продолжения текста и других задач генерации естественного языка. Это базовая предобученная версия, а не вариант Llama-2-Chat, настроенный для диалогов. Использование регулируется пользовательской лицензией Meta для Llama 2; для доступа к весам требуется принять её условия. Модель может выдавать неточные, предвзятые или нежелательные ответы, поэтому перед внедрением её следует проверять и настраивать под конкретный сценарий.

circulus/Llama-2-13b-orca-v1 — языковая модель семейства Llama 2, представленная в формате PyTorch и рассчитанная на генерацию текста. Карточка связывает её с набором данных Open-Orca/OpenOrca; в README приведён пример загрузки 4-битной версии через Transformers и BitsAndBytes, с вычислениями в bfloat16. Модель содержит 12,9 млрд параметров, поддерживает контекст до 4096 токенов и ориентирована на английский язык. Её можно применять для генерации ответов и продолжения текста. В метаданных указана лицензия MIT. README не сообщает результаты оценки качества или подробные ограничения сценариев использования.

Это конвертированные веса базовой языковой модели Llama 2 7B в формате Hugging Face Transformers. Модель основана на плотной архитектуре LlamaForCausalLM и содержит 6,6 млрд параметров; заявленный контекст — до 2048 токенов. Репозиторий подготовлен daryl149; в README также указано, что публикация выполнена при содействии Mirage-Studio.io. Модель предназначена для генерации текста по текстовому запросу и может использоваться как основа для приложений на базе языковых моделей. Это базовая, не чат-ориентированная версия, поэтому диалоговые ответы могут требовать дополнительной настройки или подходящего шаблона запросов. Поддерживаемые в карточке языки не перечислены. Веса представлены в формате PyTorch. Лицензия — Llama 2 Community License от Meta; использование и распространение регулируются её условиями, включая требования к атрибуции и приемлемому использованию.

Rupesh2/Llama-3.1-Uncensored-New — диалоговая языковая модель, созданная слиянием двух моделей на базе Llama с помощью SLERP и mergekit. В слиянии использованы aifeifei798/DarkIdol-Llama-3.1-8B-Instruct-1.0-Uncensored и Orenguteng/Llama-3-8B-Lexi-Uncensored; архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров. Модель предназначена для генерации текста в диалогах и ответов на запросы; карточка описывает исходные модели как варианты с ослабленными ограничениями на ответы. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и доступна в формате safetensors для библиотеки Transformers. Метаданные не указывают конкретные поддерживаемые естественные языки. Лицензия в предоставленных данных не указана.

Llama3-ChatQA-1.5-8B-256K — экспериментальная объединённая модель beratcmn на базе Llama 3 8B. Автор объединил адаптер ChatQA 1.5 от NVIDIA с моделью winglian/llama-3-8b-256k-PoSE, чтобы исследовать работу RAG с длинным контекстом. Модель предназначена для генерации ответов в диалоговом формате ChatQA с использованием переданного контекста и вопросов пользователя. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров; в метаданных указано окно контекста 524 288 токенов. Карточка не приводит результатов бенчмарков и сообщает, что модель не тестировалась из-за ограниченных вычислительных ресурсов. Автор предупреждает, что качество может быть ниже, чем у исходных моделей. Поддерживается английский язык. Лицензия — Llama 3.

llama-3-Nephilim-v3-8B-GGUF — набор квантизированных моделей в формате GGUF, подготовленный bartowski на основе модели grimjim/llama-3-Nephilim-v3-8B. Квантизация выполнена с использованием llama.cpp и метода imatrix; исходная модель относится к библиотеке Transformers и предназначена для генерации текста. Модель подходит для локального запуска и текстовых сценариев, включая диалоговое взаимодействие и создание текстового контента. Доступны варианты с разными уровнями квантизации: от F32 размером 32,13 ГБ до IQ2_M размером 2,95 ГБ. Более высокие уровни, такие как Q6_K_L, Q6_K и Q5_K, обеспечивают качество, близкое к исходному, тогда как варианты Q2–Q3 требуют меньше оперативной памяти, но заметно уступают по качеству. Для запуска рекомендуется использовать совместимые приложения, в частности LM Studio, с указанным форматом prompt для Llama 3. Модель является текстовой и не поддерживает мультимодальные сценарии согласно представленным данным; сведения о языках и размере контекста отсутствуют. Распространение указано по лицензии CC BY-NC 4.0, которая предусматривает некоммерческое использование. Набор содержит несколько файлов, отличающихся размером и качеством, поэтому выбор варианта зависит от доступной памяти и требований к результатам.

Это дообученная модель KKHYA на 1,7 млрд параметров, созданная на основе KKHYA/llavaqwen3-1.7b-finetune. Она использует архитектуру AdapterMoELLaVAQwen3ForCausalLM и предназначена для генерации текста и диалогов; в метаданных также заявлен интерфейс вызова инструментов. Модель принимает текст и генерирует текст, а её контекстное окно составляет 40 960 токенов. Модель опубликована в форматах PyTorch и safetensors под лицензией Apache-2.0. В README не приведены сведения о специализированных сценариях, обучающих данных и оценке качества, поэтому её преимущества в конкретных задачах и ограничения по применению не определены.

Magnum-4B-KTO-experiment — диалоговая языковая модель, полученная слиянием моделей через mergekit. В основе лежит anthracite-org/magnum-v2-4b вместе с NewEden/KTOlora; применён метод passthrough, веса представлены в формате bfloat16 и safetensors. Модель построена на плотной архитектуре LlamaForCausalLM и содержит около 3,9 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов. Метаданные указывают контекст до 131 072 токенов и поддержку чата. Сведений о целевых языках и специальных предметных областях в предоставленных материалах нет. Лицензия в этих материалах не указана.

thirdeyeai/marco-o1-uncensored — производная разговорная модель от thirdeye ai llc. Это дообученная версия Marco-o1 с архитектурой Qwen2 и 7,1 млрд параметров, рассчитанная на генерацию текста в диалоговом формате. Она принимает текстовые запросы и выдаёт текстовые ответы; заявленная длина контекста — 32 768 токенов. Модель можно использовать для ведения диалогов и генерации ответов без ограничений, характерных для исходной версии, однако README не описывает конкретные настройки или оценку качества. Репозиторий содержит веса в формате safetensors и предназначен для работы с Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

Meidebenne-120b-v1.0 — слитая модель MatrixC7, созданная с помощью mergekit на основе sophosympatheia/Midnight-Rose-70B-v1.0. Это плотная авторегрессионная Llama-модель с 120,1 млрд параметров, предназначенная для генерации текста; применён метод слияния passthrough. Контекст модели составляет 4096 токенов, веса представлены в формате safetensors. Карточка рекомендует обращаться к странице Midnight-Rose-70B-v1.0 за подробностями о применении. Лицензия и сведения о поддерживаемых языках в предоставленных источниках не раскрыты. Поскольку модель унаследована от Midnight-Rose и включает слияние моделей, её ответы и допустимые сценарии использования зависят от характеристик исходных моделей; отдельные оценки качества для этой версии не приведены.

NovoCode/Metabird-7b-DPO — диалоговая языковая модель на архитектуре Mistral с 7,1 млрд параметров. Она дообучена на ConvexAI/Metabird-7B методом DPO на наборе предпочтений Intel/orca_dpo_pairs; в README приведено значение loss 0,6861 на оценочном наборе. Модель предназначена для генерации текста в диалоговом формате. Для неё заявлен контекст длиной до 32 768 токенов; доступны веса в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. README не уточняет целевые сценарии, языки обучения и известные ограничения качества. Результат на одном оценочном наборе не позволяет оценить качество для разных задач или языков.

MFANNv0.24 — диалоговая языковая модель на архитектуре Llama 3.1, разработанная netcat420. Она предназначена для генерации текста и ответов в чате; карточка также описывает экспериментальный режим SATANN для сценариев кибербезопасности. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст. Метаданные указывают контекст до 131 072 токенов, тогда как README рекомендует длину контекста 8 192 токена. Модель основана на netcat420/MFANN-Llama3.1-Abliterated-Slerp-TIES и дообучена на наборе данных netcat420/MFANN. Указана лицензия llama3.1. Режим SATANN обозначен как экспериментальный; заявленное назначение не подтверждает фактическую надёжность для киберопераций.

mirrorqwen2.5-0.5b-ORPO-2 — дообученная компанией rawsh языковая модель для генерации текста. Она основана на rawsh/mirrorqwen2.5-0.5b-ORPO-1 и обучена с использованием TRL. Модель использует плотную архитектуру Qwen2ForCausalLM, содержит 494 млн параметров и рассчитана на контекст до 32 768 токенов. Модель подходит для генерации ответов на вопросы и диалоговых сценариев через Transformers. В карточке указаны формат safetensors и библиотека Transformers. Лицензия в предоставленных данных не указана.

Juniplayground/Mist_LLaMA-2-7B-1024_V3 — текстовая генеративная модель на архитектуре Llama, разработанная Meta и опубликованная в формате PyTorch для Transformers. По README, это базовая предварительно обученная модель Llama 2 на 7B; метаданные указывают 6,6 млрд параметров и контекст до 4096 токенов. Модель принимает текст и генерирует текст. Модель предназначена для генерации текста на английском языке и может служить основой для адаптации под разные задачи генерации естественного языка. Варианты Llama 2, дообученные для диалога, рассчитаны на общение в формате ассистента; данный репозиторий описан как предварительно обученная модель. README указывает, что Llama 2 разработана Meta и предназначена для коммерческого и исследовательского использования на условиях пользовательской лицензии Meta, принятие которой требуется для доступа к весам. Модель обучена на двух триллионах токенов из общедоступных источников; данные предобучения имеют отсечку по сентябрь 2022 года. Возможны неточные, предвзятые или нежелательные ответы, поэтому перед внедрением требуется проверка и настройка безопасности под конкретное применение. README ограничивает предполагаемое использование английским языком.

NeverSleep/Mistral-11B-OmniMix-bf16 — экспериментальная разговорная языковая модель на архитектуре Mistral, созданная NeverSleep. Репозиторий объединяет несколько моделей семейства Mistral с помощью mergekit; автор описывает подбор весов и слоёв для улучшения результатов на бенчмарках. Модель предназначена для генерации текста и диалогов по инструкциям, в том числе для экспериментов с ролевым взаимодействием. В README заявлено 11B в названии модели, тогда как метаданные указывают 10,6 млрд параметров, контекст 32 768 токенов и формат safetensors. Карточка перечисляет четыре исходные модели Mistral 7B: OpenOrca, Open-Platypus, CollectiveCognition и Zephyr. README отмечает, что опубликованные файлы fp16 не соответствуют ожидаемому BF16, а модель пока является тестовой и требует дообучения для RP. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но запрещающая коммерческое применение.

AvoCahDoe/mistral-7b-rlmpq-balanced — вариант Mistral-7B-v0.1, подготовленный методом RL-MPQ (Reinforcement Learning Mixed-Precision Quantization) для сбалансированного соотношения сжатия и качества. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и предназначена для генерации текста; средняя точность квантования составляет 3,3438 бита на вес. Веса представлены в формате SafeTensors и доступны для работы через Transformers. Модель подходит для локального запуска и генерации текста при ограниченных ресурсах, когда важно уменьшить размер весов. В README описана проверка качества по perplexity на WikiText-2, однако конкретный показатель для сбалансированного сценария в предоставленном фрагменте отсутствует. Указанная длина контекста — 32 768 токенов; язык карточки и языковой тег — английский. Лицензия — Apache-2.0. Это вариант квантования базовой модели, поэтому качество и поведение могут отличаться от исходного чекпойнта; пригодность для конкретных задач следует оценивать отдельно.

Mistral-Crab-SFT — англоязычная диалоговая языковая модель на архитектуре Mistral, разработанная Yunjia Qi, Hao Peng, Xiaozhi Wang, Bin Xu, Lei Hou и Juanzi Li. Модель дообучена на базе Mistral-7B-v0.3 для улучшения следования инструкциям со сложными ограничениями на формат, длину и содержание ответа. Модель предназначена для генерации ответов на английском языке в чат-сценариях, где требуется соблюдать несколько условий одновременно: например, задать нужную структуру, выдержать длину и включить заданные элементы. В работе для обучения использован набор CRAB, созданный методом constraint back-translation: к качественным парам инструкций и ответов добавлялись ограничения, уже выполненные в ответах. Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Указанная лицензия — Apache-2.0. Карточка сообщает об улучшении следования сложным инструкциям, но не приводит численных результатов именно для этого чекпойнта; качество на других языках и пригодность для специализированных областей не установлены.

mistral-nemo-kartoffel-12B — плотная языковая модель семейства Mistral на 12,1 млрд параметров, разработанная nbeerbower как дообучение Mahou-1.5-mistral-nemo-12B-lorablated. Модель предназначена для генерации текста и диалогового общения; при обучении использовались ORPO и QLoRA, а также наборы Schule-DPO, Arkhaios-DPO и Purpura-DPO. В репозитории представлены веса safetensors, модель работает через Transformers и рассчитана на контекст до 1 024 000 токенов. Модель подходит для чат-ботов и ролевого общения, а также для генерации продолжений текста. Карточка не сообщает о поддержке конкретных естественных языков или о специализированных областях применения. Указана лицензия Apache-2.0. README не приводит оценок качества и подробных ограничений применения.

Mistral-v0.3-7B-ORPO-GGUF — это набор GGUF-квантизаций языковой модели llmat/Mistral-v0.3-7B-ORPO, подготовленный пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio. Указан английский язык, а рекомендуемый формат запроса: <s>[INST] {prompt} [/INST]</s>. В основе лежит Mistral с 7 миллиардами параметров, дообученная методом ORPO. Доступны варианты от полноточного F32 размером 28,99 ГБ до сильно сжатых IQ2_M и Q2_K размером около 2,5–2,72 ГБ. Квантизации с более высокой точностью обычно сохраняют лучшее качество, тогда как варианты Q3 и Q2 рассчитаны на системы с ограниченным объёмом оперативной памяти и сопровождаются заметным снижением качества. Некоторые варианты используют Q8_0 для embedding- и output-весов, что потенциально улучшает качество, но README не подтверждает эффект измерениями. Модальность — текстовая; размер контекста и дополнительные языки не указаны. Модель подходит для локальной генерации текста на совместимом оборудовании и позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. Ограничения включают зависимость качества от выбранной квантизации, отсутствие заявленных результатов тестирования и неполную информацию о возможностях исходной модели. Лицензия Apache-2.0.

Mixtral-6x7B-Instruct-v0.1-bfloat16-Trimmed024567 — экспериментальная производная модели семейства Mixtral, созданная автором репозитория DrNicefellow из mistralai/Mixtral-8x7B-Instruct-v0.1. При обрезке из каждого слоя оставлены эксперты с индексами 0, 2, 4, 5, 6 и 7; веса опубликованы в формате bfloat16 в safetensors. Модель предназначена для генерации текста и диалогового взаимодействия. Метаданные указывают архитектуру MixtralForCausalLM типа MoE и контекст до 32 768 токенов. Карточка предупреждает, что модель находится на стадии тестирования и её работоспособность не подтверждена. Лицензия — Apache-2.0.

Envoid разработал Mixtral-Instruct-ITR — экспериментальную чат-модель, полученную слиянием Mixtral-8x7B-Instruct-v0.1 и базовой Mixtral-8x7B-v0.1 методом SLERP. Автор описывает её как более творческую и менее «перетренированную» по сравнению с исходной instruct-версией и рассчитывает, что она будет лучше поддаваться дальнейшему дообучению. Модель предназначена для диалоговой генерации текста и принимает формат запросов [INST] … [/INST]. Архитектура — Mixtral MoE; в метаданных указаны 7,1 млрд параметров и контекст 32 768 токенов. Модель может реже отказывать на некоторых запросах, поэтому при дальнейшем дообучении автор советует учитывать необходимость усилить выравнивание поведения под конкретный сценарий. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но не коммерческое использование.

mlx-community/mlx-mistral-7B-v0.1 — конвертированная в формат MLX версия языковой модели Mistral-7B-v0.1, разработанной Mistral AI. Это плотная авторегрессионная модель с 7,1 млрд параметров для генерации текста; она принимает текстовый запрос и продолжает его. Модель рассчитана на английский язык и поддерживает контекст до 32 768 токенов. Репозиторий предназначен для запуска модели с библиотекой MLX, в том числе на устройствах Apple Silicon. Карточка отсылает к описанию исходной модели за дополнительными сведениями о её возможностях. Модель распространяется по лицензии Apache-2.0.

MBZUAI/MobiLlama-1B-Chat — англоязычная чат-модель для следования инструкциям, дообученная на MBZUAI/MobiLlama-1B. Она использует плотную авторегрессионную архитектуру семейства LLaMA и содержит около 1 млрд параметров; README также называет вариант 1.2B-Chat, поэтому обозначение размера в карточке неоднозначно. Модель предназначена для диалоговых ответов и выполнения текстовых инструкций, в том числе на устройствах с ограниченными ресурсами. Для дообучения использованы наборы WizardLM Evol Instruct и ShareGPT. Модель принимает и генерирует текст, поддерживает английский язык и имеет контекстное окно 2048 токенов. Репозиторий распространяется по лицензии Apache 2.0. В приведённых оценках результаты различаются между бенчмарками, поэтому их не следует трактовать как гарантию качества для конкретного сценария.