II.1Анализ требований и архитектура ПО

mlx-community/gemma-3n-E4B-it-lm-bf16 — версия модели Google Gemma 3n E4B IT, подготовленная сообществом mlx-community для MLX. Репозиторий создан конвертацией из google/gemma-3n-E4B-it с помощью mlx-lm 0.25.2 и содержит веса safetensors в формате BF16. Модель предназначена для диалогов и генерации текста. Исходная Gemma 3n E4B IT — компактная мультимодальная модель Google, способная работать с аудио, изображениями и видео, однако метаданные этой версии подтверждают только задачу text-generation и возможность чата; другие задачи не следует считать подтверждёнными для данной сборки. Лицензия — Gemma. Для запуска в MLX README указывает библиотеку mlx-lm.

DuoNeural Gemma4-12B-IT-Abliterated-GGUF — набор GGUF-квантизаций текстовой модели Gemma 4-12B-IT-Abliterated, разработанный исследовательской лабораторией DuoNeural. Модель предназначена для генерации текста и запуска локально через llama.cpp или llama-cpp-python; варианты подходят для систем с ограниченными ресурсами и различным объёмом видеопамяти. В README указан английский язык. Поддержка мультимодальности не заявлена. В основе лежит google/gemma-4-12B-it: 48 слоёв и hidden size 3840. Abliteration выполнена методом ортогональной rank-1-проекции в down_proj и o_proj всех 48 слоёв. По заявлению авторов, режим рассуждений работает в llama.cpp с enable_thinking=True. Доступны Q4_K_M размером около 7,5 ГБ, Q5_K_M около 8,5 ГБ и Q8_0 около 12,7 ГБ; рекомендуемые требования к VRAM составляют примерно 12 ГБ, 12 ГБ и 16 ГБ соответственно. На A100-40GB скорость генерации составляет 78,3, 73,1 и 63,4 токена в секунду для этих вариантов. Сильные стороны модели — локальный запуск, несколько уровней компромисса между размером и качеством, высокая скорость на GPU и заявленное сохранение поведения на безвредных тестах. Abliteration снижает склонность к отказам, поэтому модель может охотнее отвечать на потенциально вредные запросы; это одновременно является существенным ограничением и требует осторожного применения. Длина контекста в README не указана, мультимодальные возможности и полный набор языков также не описаны. Модель распространяется по лицензии Apache-2.0.

Gemma4-12B-QAT-Genesis — квантизированная GGUF-версия базовой модели Gemma 4 12B-it, разработанной Google DeepMind. Автор сборки указывает, что удалил шум дистилляции и квантизации из тензоров, оставив остальные параметры без изменений. Модель предназначена для диалогов, творческого письма и roleplay, а также поддерживает обработку изображений через отдельный vision-проектор mmproj. Модель имеет плотную архитектуру размером 12B параметров и контекст до 256K токенов. Доступна в формате Q4_0: текстовая модель занимает около 6,98 ГБ, vision-проектор — 175 МБ. В README указан английский язык. Для ускорения генерации поставляется MTP-голова для speculative decoding; по заявлению автора, при использовании llama.cpp она обеспечивает примерно на 60% большую скорость без изменения результата. Модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами. К сильным сторонам относятся поддержка изображений, большой контекст, пригодность для ролевых и разговорных сценариев, а также возможность быстрой работы на недорогих GPU. Ограничения включают зависимость vision-функций от mmproj, необходимость совместимого GGUF-рантайма для MTP-ускорения и известную проблему возможных сбоев Gemma 4 в LM Studio при multi-GPU режиме tensor-split; рекомендуется использовать один GPU либо layer-split или priority order. Модель распространяется по лицензии Gemma.

bartowski/glm-4-9b-chat-GGUF — это набор квантованных версий диалоговой текстовой модели GLM-4-9B-chat, разработанной THUDM. Модель предназначена для генерации текста и ведения диалогов на китайском и английском языках, включая локальный запуск через llama.cpp и LM Studio. Модель имеет около 9 миллиардов параметров и распространяется в формате GGUF с вариантами квантования от Q8_0 до Q2_K и IQ2_M. Размер файлов составляет примерно от 3,93 до 9,99 ГБ. Для некоторых вариантов используются веса эмбеддингов и выходного слоя в формате Q8_0, что может улучшать качество, хотя эффект зависит от конфигурации. Длина контекста и другие архитектурные характеристики в README не указаны. Сильными сторонами являются возможность локального запуска, широкий выбор квантований под разные объёмы памяти и относительно высокое качество старших вариантов, особенно Q6_K_L, Q6_K, Q5_K и Q4_K. Более сильное сжатие уменьшает требования к памяти, но снижает качество и может ограничивать пригодность модели для сложных задач. Лицензия указана как GLM-4; подробные условия доступны по ссылке на лицензию исходной модели.

INCModel3/GLM-5.1-MXFP4-Mixed-CT-AutoRound — это квантизированная версия GLM-5.1 от zai-org, созданная Intel с помощью AutoRound в режиме RTN. Она предназначена для генерации текста и диалогового общения. В README приведены результаты на GSM8K, MMLU, PIQA и HellaSwag: средний результат MXFP4 составляет 99,39% от указанного результата BF16 на этих тестах. Модель использует формат safetensors и квантизацию MXFP4; метаданные указывают библиотеку Transformers и поддержку английского и китайского языков. README рекомендует соблюдать лицензию исходной модели, а метаданные указывают MIT. Модель может выдавать фактически неверные, предвзятые или оскорбительные ответы; перед внедрением рекомендуется проверить её безопасность.

GLM-5.3 NVFP4 GGUF — это квантованная в формате NVFP4 сборка модели GLM-5.3 от Z.ai, подготовленная incoai и опубликованная emwesoft в формате GGUF для запуска через llama.cpp. Модель относится к семейству glm-dsa и имеет архитектуру на 753 млрд параметров с 78 блоками и 256 экспертами. Веса NVFP4 сохранены без повторной квантизации; размер набора файлов — около 445 ГБ. Модель предназначена для генерации текста и диалогов, включая ответы с вызовом инструментов при корректной поддержке шаблона чата средой запуска. Для работы требуется llama.cpp с поддержкой glm-dsa и GGML_TYPE_NVFP4. Эта сборка не содержит MTP head, поэтому режим draft-mtp недоступен; README приводит измерения скорости на мощной многовидеокартной конфигурации, а не универсальную оценку производительности. Лицензия — MIT. Указанные в README версии llama.cpp требуют нескольких исправлений, которые на момент публикации ещё не вошли в upstream: без них могут не работать вызовы инструментов, подключение DFlash и разбор некоторых потоковых ответов. Модель рассчитана на текстовый ввод и текстовую генерацию; README описывает возможность контекста 400K в приведённой конфигурации.

Это GGUF-квантизированная версия Josiefied-Qwen3-14B-abliterated-v3, разработанной Goekdeniz-Guelmez. Квантизацию выполнил bartowski с использованием llama.cpp и imatrix. Модель предназначена для генерации текста и диалоговых сценариев, а также для локального запуска в LM Studio, llama.cpp и других совместимых проектах. В основе лежит модель Qwen3 размером 14 млрд параметров. Доступны варианты от BF16 до различных 8-, 6-, 5-, 4- и 3-битных форматов GGUF, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Размер файлов варьируется примерно от 8,11 до 29,54 ГБ. Для общения используется шаблон с ролями system, user и assistant через специальные токены ChatML. Сведения о поддерживаемых языках, длине контекста и мультимодальности в README не указаны; по представленным данным модель относится к текстовым. Сильной стороной являются многочисленные варианты квантизации, включая рекомендованные конфигурации с высоким качеством и более компактные варианты для систем с ограниченной оперативной памятью. Ограничения зависят от выбранного формата: более сильное сжатие уменьшает требования к ресурсам, но может снижать качество генерации. Лицензия в README не указана, поэтому условия использования необходимо уточнять в исходном репозитории модели Goekdeniz-Guelmez.

Gryphe_Tiamat-24B-Magistral-GGUF — это набор GGUF-квантизаций модели Tiamat-24B-Magistral, разработанной Gryphe и опубликованной в квантизированном виде пользователем bartowski. Модель предназначена для генерации текста, включая инструкционные сценарии и roleplay. Указан английский язык; поддерживаются локальный запуск через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит 24 миллиарда параметров. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством и требованиями к памяти. Квантизация выполнена с использованием imatrix на базе llama.cpp; для взаимодействия рекомендуется формат промпта с секциями SYSTEM_PROMPT и INST. Контекстное окно, точная архитектура и мультимодальные возможности в предоставленных данных не указаны. Сильной стороной набора является широкий выбор размеров файлов и форматов, включая варианты, ориентированные на высокое качество или ограниченный объём оперативной памяти. Более низкие уровни квантизации могут заметно снижать качество, а некоторые варианты обозначены как устаревшие или нерекомендуемые. Лицензия модели — Apache-2.0.

TheBloke/guanaco-65B-HF — версия Guanaco 65B, подготовленная TheBloke в формате Hugging Face fp16 для генерации текста. В основе лежит Guanaco 65B Тима Деттмерса; модель получена слиянием LoRA-адаптера с базовой моделью и сохранением весов в fp16. Архитектура — плотная LLaMA с причинной языковой моделью, размер — 65 млрд параметров, длина контекста — 2048 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Репозиторий содержит веса PyTorch для запуска через экосистему Transformers. README не приводит оценок качества или сведений о поддерживаемых языках. Лицензия указана как other, поэтому условия использования следует сверить с исходной карточкой Guanaco; оригинальная карточка в README отсутствует.

Ninjasin/guard-ai-apex-1.5b — дообученная Ninjasin языковая модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и 1,5 млрд параметров. Базовая модель — unsloth/qwen2.5-coder-1.5b-instruct-bnb-4bit; при обучении использовались Unsloth и библиотека TRL. Модель предназначена для генерации текста в диалоговом формате и поддерживает интерфейс вызова инструментов. Модель принимает текст и выдаёт текст. В метаданных указан английский язык и контекст длиной до 32 768 токенов. Весы опубликованы в формате safetensors, лицензия — Apache-2.0. Карточка не уточняет специализацию названия Guard AI Apex, поэтому её защитные или охранные функции нельзя считать подтверждёнными.

guns-and-roses-r1 — экспериментальная слитая языковая модель на архитектуре Mistral, созданная inflatebot с помощью mergekit и метода Model Stock. В слиянии использованы inflatebot/thorn-0.35 в качестве базовой модели, а также thorn-0.45, thorn-0.5 и thorn-0.55; разработчик связывает семейство моделей с Magnum-12B-V2 и MN-12B-Rosier-v1. Модель содержит 12,1 млрд параметров и рассчитана на генерацию текста в диалоговом формате ChatML. Модель подходит для ведения диалогов и генерации ответов по текстовым запросам. README называет её экспериментальной ревизией и отмечает, что одна из исходных моделей обучалась без формата инструкций, поэтому при использовании следует соблюдать ChatML-формат. Метаданные указывают контекстное окно 1 024 000 токенов. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.

h2o-danube2-1.8b-sft — языковая модель H2O.ai, дообученная в формате SFT для диалогов и генерации текста. Она построена на плотной архитектуре семейства Mistral с модификациями архитектуры Llama 2, содержит около 1,7 млрд параметров и использует токенизатор Mistral. Модель рассчитана на контекст до 8 192 токенов и предназначена для запуска через библиотеку Transformers. Модель подходит для диалоговых помощников, ответов на вопросы и генерации текста по запросу. В карточке заявлена поддержка английского языка; специализированная предметная область не указана. Репозиторий распространяется по лицензии Apache-2.0. Ответы могут быть ошибочными, нерелевантными, предвзятыми или оскорбительными, поэтому их следует проверять.

Arcee Homunculus-12B — языковая модель с 12,2 млрд параметров, созданная Arcee AI методом дистилляции Qwen3-235B-A22B на архитектуру Mistral Nemo. Она предназначена для диалогов и генерации текста: режим /think поддерживает развёрнутые рассуждения, а /nothink — краткие ответы. В README описана передача траекторий логитов и замена токенизатора Mistral на токенизатор Qwen3. Модель рассчитана на запуск на одной потребительской GPU; заявлены результаты 57,1% на GPQADiamond и 67,5% на MMLU. Контекст модели — 131 072 токена. В карточке указаны английский язык, библиотека Transformers и формат Safetensors; лицензия — Apache-2.0. Модель может подойти для исследовательских задач, связанных с дистилляцией рассуждений, а также для облегчённых производственных развёртываний. README предупреждает об экспериментальном характере такого применения и возможных затратах на задержку и память.

Это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Llama-70B-abliterated, разработанной huihui-ai и подготовленной к публикации пользователем bartowski. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В основе лежит модель с архитектурой Llama и размером 70B параметров; в README также указано, что она относится к вариантам abliterated и uncensored. Доступны многочисленные уровни квантизации, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M, Q4_K_S, IQ4_XS и варианты Q3. Размер файлов составляет примерно от 30,91 до 74,98 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp версии b4585. Формат запроса использует специальные токены DeepSeek. Сильной стороной являются варианты с высокой точностью, особенно Q6_K и Q5_K_M, а Q4_K_M предлагает более экономичный компромисс между качеством и размером. Версии с меньшей битностью позволяют снизить требования к оперативной памяти, но обеспечивают более низкое качество. README не содержит сведений о поддерживаемых языках, размере контекста, фактической производительности и точных аппаратных требованиях. Лицензия в предоставленных данных не указана.

DevQuasar-7/huihui-ai.DeepSeek-R1-Distill-Qwen-14B-abliterated-v2-GGUF — это квантованная версия модели huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2, подготовленная в формате GGUF командой или проектом DevQuasar. Модель предназначена для генерации текста и может использоваться в сценариях локального запуска и инференса с совместимыми инструментами, поддерживающими GGUF. Из карточки следует, что её базовая модель относится к семейству DeepSeek-R1-Distill-Qwen и имеет размер 14B параметров; точный тип квантования не указан. Ключевая заявленная модальность — текстовая генерация. Сведения о поддерживаемых языках, размере контекстного окна, конкретной архитектуре, требованиях к оборудованию и результатах оценки отсутствуют. К потенциальным ограничениям относятся зависимость качества и скорости от выбранного варианта квантования и программного окружения, а также отсутствие в карточке описания сильных сторон, бенчмарков и рекомендаций по применению. Лицензия и условия использования в README не указаны.

Huihui-Qwythos-9B-Claude-Mythos-5-1M-abliterated — созданная huihui-ai версия модели empero-ai/Qwythos-9B-Claude-Mythos-5-1M с применением abliteration. Это плотная модель семейства Qwen 3.5 с 9 млрд параметров, предназначенная для диалоговой генерации текста и рассуждений; базовая модель заявляет поддержку контекста до 1 млн токенов, однако README этой версии отдельно не подтверждает сохранение такой длины контекста. Модель рассчитана на англоязычные запросы и может использоваться для генерации ответов, следования инструкциям и агентных сценариев с инструментами. Фильтрация безопасности существенно снижена, поэтому модель может выдавать чувствительный, спорный или неподходящий контент; результаты следует внимательно проверять. Метаданные указывают библиотеку Transformers и формат весов safetensors. Лицензия — Apache-2.0.

HybridDiffusion-2B — текстовая генеративная модель на 2,39 млрд параметров, созданная авторами HybridDiffusion преобразованием авторегрессионного чекпойнта Qwen3.5-2B в гибридную диффузионную модель. Она использует архитектуру с Hybrid Gated DeltaNet и softmax-вниманием и поддерживает обычную авторегрессионную генерацию, параллельное уточнение токенов и проверяемое спекулятивное декодирование. Модель предназначена для диалоговой генерации текста и экспериментов со способами ускорения вывода. Один набор весов поддерживает режимы AR-Trust, Diffusion-Trust и стандартную генерацию слева направо. В метаданных также отмечен интерфейс вызова инструментов. Для запуска предусмотрен runtime на базе SGLang и FlashInfer; модель опубликована в формате safetensors. Карточка приводит сравнительные результаты на бенчмарках, но не гарантирует качество для конкретных пользовательских сценариев. Указанный язык модели — английский. Лицензия обозначена как other, поэтому условия использования следует уточнить по полной лицензии репозитория.

Ice0.54-17.01-RP — объединённая языковая модель на архитектуре Mistral, созданная методом SLERP с помощью mergekit. Репозиторий подготовлен в формате safetensors для использования с Transformers. Модель предназначена для генерации текста. Её можно применять для диалогов, продолжения текста и других задач, основанных на генерации. Размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. README не уточняет исходные модели, языки, качество или специальные сценарии применения. Лицензия в предоставленных данных не указана.

InnerI-sn6-merge-7B-slerp — объединённая языковая модель, опубликованная пользователем InnerI на Hugging Face. Она создана методом SLERP с помощью LazyMergekit из моделей tomaszki/nous-thirty и lgodwangl/test6; базовой в конфигурации указана tomaszki/nous-thirty. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 7,1 млрд параметров и принимает текст для генерации текста. Метаданные указывают контекст до 32 768 токенов и возможность диалогового общения. Модель подойдёт для генерации продолжений и ответов в текстовом чате. В README приведена оценка средней потери 6,566, но методика описана лишь кратко, поэтому этот показатель сам по себе не позволяет судить о качестве в прикладных задачах. Опубликована в формате safetensors; лицензия в предоставленных данных не указана.

INTELLECT-3-Base — текстовая языковая модель Prime Intellect, представляющая собой копию GLM-4.5-Air-Base с шаблоном чата, адаптированным из Qwen3-Coder. Модель предназначена для генерации текста в диалоговом формате; её архитектура относится к семейству GLM-4 MoE, размер — 8,5 млрд параметров, максимальный контекст — 131 072 токена. Модель принимает текст и генерирует текст. В метаданных указана поддержка английского и китайского языков, а также возможность диалогового использования. Веса опубликованы в формате Safetensors. Лицензия — MIT. README не описывает отдельное дообучение или специализированные сценарии применения.

ClaudioItaly/intelligence-cod-rag-7b-v3 — слитая автором ClaudioItaly языковая модель на архитектуре Qwen2 для генерации текста и диалогов. В карточке заявлены сильные навыки рассуждения и приведён пример вопроса для развёрнутого ответа; это описание не сопровождается результатами сравнительной оценки. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2ForCausalLM и поддерживает контекст до 32 768 токенов. Она предназначена для текстовых запросов и генерации ответов; README также упоминает варианты GGUF Q6_K и Q8_0, а в репозитории модели указаны веса safetensors. Базовые модели объединения — AIDC-AI/Marco-o1 и happzy2633/qwen2.5-7b-ins-v3. Модель распространяется по лицензии MIT. Карточка не приводит сведений о языках обучения или оценках качества, поэтому заявленные способности к рассуждению не следует считать гарантией точности; ответы нужно проверять, особенно при использовании для RAG или фактических выводов.

Irixxed-Magcap-12B-Slerp — разговорная языковая модель, созданная Nitral-AI слиянием методом SLERP моделей DreadPoor/Irix-12B-Model_Stock и Nitral-AI/Violet_Magcap-12B. Это плотная модель семейства Mistral с архитектурой MistralForCausalLM и 12,1 млрд параметров; для генерации текста она использует библиотеку Transformers и формат весов safetensors. Модель предназначена для диалогов и генерации ответов с акцентом на рассуждения. В README указаны формат общения ChatML, пресеты для SillyTavern, блок рассуждений и быстрые ответы. Заявленная длина контекста — 1 024 000 токенов. Веса доступны также в вариантах GGUF Q8_0, Q5_K_M, Q4_K_M и ExL2 4bpw. Качество и поведение могут зависеть от шаблона диалога, пресета и выбранного варианта весов; README не приводит результаты оценки или подробное описание ограничений. Лицензия в предоставленных данных не указана.

J.O.S.I.E.3-Beta9-7B-slerp — диалоговая языковая модель, созданная Goekdeniz Guelmez слиянием методом SLERP моделей Weyaxi/Einstein-v5-v0.2-7B и cognitivecomputations/dolphin-2.8-mistral-7b-v02 с помощью LazyMergekit. Она предназначена для генерации текста в диалоге и ответов на вопросы. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Базовая модель Einstein-v5-v0.2-7B описана как дообученная на инструкциях Mistral для диалогов и ответов на общие и научные вопросы. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. README не приводит результатов оценки качества или конкретных ограничений поведения.

icefog72/juanako-7b-UNA-06.11-orpo — чат-модель на архитектуре Mistral с 7,1 млрд параметров, дообученная icefog72 на основе fblgit/juanako-7b-UNA. Она предназначена для диалогов и генерации текста; поддерживает контекст до 32 768 токенов. В карточке указаны обучение с использованием Unsloth и библиотеки TRL, а также формат PyTorch. Модель подходит для ответов на вопросы и ведения текстовых бесед на английском языке. Распространяется по лицензии Apache-2.0. Карточка не уточняет результаты оценки качества и специальные ограничения применения.

Kappa-3 — разговорная языковая модель на архитектуре Phi-3, опубликованная failspy. Это вариант Phi-3 4K Instruct со сниженной склонностью отказывать в ответах; в README преобразование описано как orthogonalization. Модель предназначена для генерации текста в диалоге и ответов на широкий круг запросов. Модель содержит 3,7 млрд параметров, использует архитектуру Phi3ForCausalLM и принимает текст, выдавая текст. Контекст — до 4096 токенов. Репозиторий содержит веса safetensors в fp32; автор отмечает, что для практического запуска их желательно как минимум квантовать или привести к fp16, и указывает на отдельную fp16 GGUF-версию. Лицензия — MIT.

Kimi-Linear-48B-A3B-Instruct-4bit — языковая instruction-модель, разработанная Moonshot AI и преобразованная сообществом mlx-community в формат MLX. Исходная модель — moonshotai/Kimi-Linear-48B-A3B-Instruct; конвертация выполнена с использованием mlx-lm версии 0.28.4. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям, включая сценарии локального запуска через библиотеку mlx-lm на совместимом оборудовании Apple MLX. В README указаны размер исходной модели 48B и конфигурация A3B, а также 4-битное квантование. Поддерживается текстовая модальность; сведения о языках, длине контекста и архитектурных деталях, кроме обозначения Kimi-Linear, не приведены. К сильным сторонам относятся сниженный объём хранения и требования к памяти благодаря 4-битному представлению, а также интеграция с MLX и готовым интерфейсом mlx-lm. Ограничения связаны с зависимостью от экосистемы MLX и отсутствием в предоставленных данных подробных сведений о качестве, производительности, поддерживаемых языках и контексте. Модель распространяется по лицензии MIT.

GAI-LLM/ko-en-llama2-13b-mixed-v2 — авторегрессионная языковая модель на архитектуре LLaMA 2, разработанная Донхуном О, Ханмином Мён и Ынён Ким из SK C&C G.AI Eng. Модель содержит 12,9 млрд параметров, принимает текст и генерирует текст; максимальный контекст — 2048 токенов. Модель дообучена на базе hyunseoki/ko-en-llama2-13b с использованием смешанной стратегии на наборах Kopen-platypus, Everythinglm v2, koalpaca_v1.1 и koCoT2000. Она предназначена для генерации текста на корейском и английском языках, включая ответы на запросы и следование инструкциям. Использование регулируется лицензией CC BY-NC 2.0, которая ограничивает коммерческое применение.

jaspionjader/kstc-3-8b — слитая модель генерации текста на архитектуре Llama, созданная автором с помощью mergekit методом SLERP из jaspionjader/kstc-2-8b и Kosmos-EVAA-Franken-Immersive-v41-8B. Модель содержит 7,5 млрд параметров и рассчитана на диалоговое общение и генерацию текста; заявленная длина контекста — до 131 072 токенов. Модель принимает текст и генерирует текст. Карточка не описывает отдельные прикладные специализации или языки. Файлы опубликованы в формате safetensors; используется библиотека Transformers. Лицензия в предоставленных данных не указана.

CHIH-HUNG дообучил эту модель на основе meta-llama/Llama-2-13b-hf с использованием LoRA и набора данных huangyt/FINETUNE5 объёмом около 40 тысяч записей. Это плотная языковая модель семейства Llama 2 с 12,9 млрд параметров, предназначенная для генерации текста. Контекст составляет 4096 токенов; модель принимает текст и выдаёт текст. В карточке приведены результаты локальной оценки на ARC, HellaSwag, MMLU и TruthfulQA: средний балл указан как 56,09. Модель обучалась с 4-битной загрузкой базовых весов и точностью bf16 для обучения. Для использования распространяется по лицензии Llama 2; применяются её условия и ограничения.

TroyDoesAI/Llama-21B — плотная языковая модель семейства Llama на 20,9 млрд параметров, опубликованная TroyDoesAI. По карточке автор создал её с помощью mergekit как новую базовую модель, совместимую с инструментами и окружением для моделей Llama. Она предназначена для генерации текста и диалогового общения; заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не описывает состав слияния, обучающие данные, поддерживаемые языки или результаты оценки качества, поэтому нельзя уточнить её специализацию и надёжность для конкретных задач.