II.1Анализ требований и архитектура ПО

Dolphin3.0-R1-Mistral-24B-Patched — текстовая генеративная модель от AIOpsInSpace, созданная на базе cognitivecomputations/Dolphin3.0-Mistral-24B. Модель объединяет дообучение Dolphin 3.0 с паттернами рассуждений DeepSeek-R1 и предназначена для локального запуска, генерации текста и решения задач, требующих пошагового рассуждения. Заявлена поддержка формата reasoning trace с тегами <think> и исправления, повышающие стабильность работы локальных бэкендов и предотвращающие зависания токенизатора. Модель представляет собой плотную архитектуру Mistral с 24 млрд параметров. В карточке указана английская локализация; другие языки и размер контекстного окна не описаны. Среди заявленных особенностей — отсутствие ограничений на тематику ответов и совместимость с GGUF, однако конкретные варианты квантования, требования к оборудованию и результаты бенчмарков не приведены. Сильными сторонами модели являются сочетание относительно компактного для такого уровня reasoning-движка размера, открытой основы Mistral, ориентированности на локальное выполнение и поддержка явного формата рассуждений. Ограничениями остаются отсутствие подтверждённых количественных оценок качества, неполные сведения о контексте и аппаратных требованиях, а также потенциальные риски использования модели без встроенных ограничений безопасности. Указанная лицензия — Apache-2.0.

EuroLLM-9B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели EuroLLM-9B-Instruct, разработанной проектом utter-project и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение инструкций и локальный запуск через совместимые приложения, например LM Studio. Модель имеет около 9 миллиардов параметров и поддерживает широкий набор языков, включая английский, немецкий, испанский, французский, итальянский, португальский, польский, русский, украинский, китайский, японский, корейский, арабский и хинди. Мультимодальные возможности и размер контекста в README не указаны. Доступны варианты от F16 до Q2_K_L, различающиеся размером файлов, требованиями к памяти и качеством: старшие варианты обеспечивают качество, близкое к исходной модели, а младшие подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. Модель удобна для локального инференса благодаря большому выбору квантизаций; рекомендованным вариантом по умолчанию назван Q4_K_M, а для максимального качества — Q6_K или Q6_K_L. Некоторые варианты оптимизированы для ARM или AVX и имеют ограничения совместимости, в частности отдельные сборки не рекомендуются для Mac или GPU. Лицензия — Apache-2.0.

ssmits/Falcon2-8B-multilingual — текстовая языковая модель семейства Falcon, опубликованная как слияние предварительно обученных моделей с помощью mergekit и метода passthrough. В состав слияния вошла ssmits/Falcon2-5.5B-multilingual; метаданные также связывают эту модель с базовой моделью через дообучение. Репозиторий содержит веса в формате safetensors, модель использует архитектуру FalconForCausalLM и поддерживает диалоговый режим. Модель предназначена для генерации текста и диалогов; метаданные также указывают задачи ответов на вопросы, классификации текста и токенов. Контекстное окно составляет 8192 токена, а общий размер модели — 11,8 млрд параметров. Название указывает на многоязычность, однако конкретные языки в доступных данных не перечислены. Сведения о лицензии отсутствуют в предоставленных источниках.

Fireball-Llama-3.11-8B-v1orpo — диалоговая языковая модель EpistemeAI для генерации ответов и ведения беседы. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 7,5 млрд параметров, дообученная на unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit. Для запуска карточка рекомендует Transformers версии 4.43.0 или новее; модель также рассчитана на работу с исходной кодовой базой Llama. Модель подходит для разговорных приложений, генерации текста и интеграции с инструментами через интерфейс вызова инструментов. Контекстное окно составляет 131 072 токена. В карточке описана поддержка английского, французского, немецкого, хинди, итальянского, португальского, испанского и тайского языков; результаты на других языках могут быть ненадёжными. Модель может выдавать неточные, предвзятые или нежелательные ответы, поэтому перед внедрением её следует проверять и настраивать под конкретный сценарий. Вызов инструментов требует безопасной интеграции со стороны разработчика. Лицензия репозитория — Apache-2.0.

FuseO1-DeepSeekR1-Qwen2.5-Coder-32B-Preview-v0.1-GGUF — это GGUF-квантизации языковой модели FuseAI/FuseO1-DeepSeekR1-Qwen2.5-Coder-32B-Preview, подготовленные пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и, судя по названию базовой модели, ориентирована прежде всего на программирование и задачи рассуждения, однако подробные сведения о поддерживаемых языках, длине контекста и точной архитектуре в README не указаны. Доступны варианты от полного BF16 размером 65,54 ГБ до квантизаций Q3–Q8 и IQ4 с размером примерно от 17,69 до 34,82 ГБ. Для квантизации использовался imatrix, а для запуска рекомендуется LM Studio; также указана совместимость с llama.cpp. В README приведён специальный формат промпта. Более качественными и рекомендуемыми названы варианты Q5, Q6 и Q4_K_M, тогда как облегчённые варианты позволяют снизить требования к оперативной памяти ценой качества. Модель текстовая; поддержка других модальностей не заявлена. Репозиторий распространяется по лицензии Apache-2.0. Ограничения включают значительные требования к памяти для 32B-модели и возможное снижение качества у компактных квантизаций. README не содержит результатов тестирования, точных характеристик базовой архитектуры, сведений о языках и контекстном окне.

G9v3-3B-Heretic-Abliterated-GGUF — плотная каузальная языковая модель с 3 млрд параметров, разработанная командой AI9Stars. Это GGUF-сборка базовой модели Vortecks/G9v3-3B-Heretic-Abliterated, предназначенная для локального запуска на устройствах с ограниченными ресурсами. Модель относится к задачам генерации текста и рассчитана на повседневное использование в роли ассистента, программирование, сценарии с вызовом инструментов и задачи, требующие рассуждений. Заявлена поддержка английского и китайского языков, а также сценариев с длинным контекстом, однако точный размер контекстного окна в README не указан. Сборка представляет собой вариант heretic abliterated: из активационного пространства удалены направления, связанные с отказами, поэтому модель позиционируется как uncensored и обычно отвечает на более широкий круг запросов, чем исходная instruction-tuned версия. Это одновременно является ограничением: у варианта отсутствуют обычные защитные механизмы safety-alignment, поэтому его ответы требуют дополнительной фильтрации и контроля. Доступны варианты GGUF с точностью от F32, F16 и BF16 до различных квантов Q8, Q6, Q5, Q4, Q3 и IQ; размер файлов составляет примерно от 1,4 до 12 ГБ. Квантизации созданы с помощью llama.cpp, а низкобитные варианты IQ1_*–IQ3_XXS — с использованием importance matrix. Модель распространяется по лицензии Apache-2.0. Для запуска и выбора компромисса между качеством, скоростью и потреблением памяти рекомендуется использовать совместимые с llama.cpp GGUF-квантизации; в README отдельно отмечены Q6_K, Q5_K_M, Q5_K_S и Q4_K_M.

Andycurrent/gemma-3-4b-it-uncensored-v2-GGUF — квантованные версии Gemma-3-4B-IT-Uncensored-v2, созданной на базе Gemma 3 и модели braindao/gemma-3-4b-it-uncensored-v2. Это инструкционно дообученная языковая модель примерно на 4 млрд параметров, предназначенная для локального, офлайн- и приватного развертывания. Указан английский язык; модель работает в текстовом режиме и использует формат чата Gemma с маркерами начала и конца хода диалога. Модель ориентирована на диалоги, генерацию текста, творческие задачи, рассуждения, структурированные ответы, объяснение кода, примеры и лёгкую отладку. Она делает акцент на высокой отзывчивости, следовании пользовательским инструкциям, стабильности в продолжительных диалогах и уменьшенном количестве встроенных ограничений, поэтому может применяться для персональных ассистентов, ролевых систем, prompt engineering, исследований выравнивания и экспериментов с поведением моделей. Ключевое преимущество — сочетание компактного размера и возможности запуска на потребительских GPU, CPU с квантованием и устройствах с ограниченными ресурсами. При этом точные параметры квантования, максимальная длина контекста и результаты бенчмарков не указаны. Из-за минимально ограниченного поведения модель может генерировать контент, который обычно фильтруется; пользователю необходимо самостоятельно учитывать требования законодательства, политики и этические нормы. Лицензия наследует условия оригинальной модели Gemma.

noctrex/GLM-4.7-Flash-MXFP4_MOE-GGUF — квантизированная версия диалоговой MoE-модели GLM-4.7-Flash от Z.ai, представленная в формате GGUF. Репозиторий содержит вариант квантования MXFP4_MOE. Модель предназначена для диалоговой генерации текста. Базовая GLM-4.7-Flash также описана как модель для рассуждений и программирования; для общего чата README приводит рекомендуемые параметры генерации. Указан интерфейс чата и рекомендации для вызова инструментов. Квантование может снизить требования к памяти при запуске, но карточка не сообщает о замерах качества или скорости именно этой версии. Лицензия и сведения о размере и длине контекста в предоставленных данных отсутствуют.

MuXodious выпустил дообученную и подвергнутую абляции отказов версию GLM-4.7-Flash-REAP-23B-A3B. Это разреженная причинная языковая модель MoE семейства GLM4-MoE-Lite: в карточке указаны 4,1 млрд параметров, а README описывает исходную конфигурацию REAP как 23 млрд параметров всего и около 3 млрд активируемых на токен. Модель принимает текст и генерирует текст; контекст составляет до 202 752 токенов. Карточка заявляет поддержку английского языка. Модель предназначена для диалогов, генерации кода и агентных сценариев, включая вызов инструментов. README сообщает, что к базовой модели применили pruning экспертов методом REAP и Heretic-abliteration; показатель отказов в описанном тесте снизился с 92/100 до 4/100. Эти результаты не подтверждают качество на широком наборе задач, а сам README отмечает условность классификации «Absolute Heresy». Для работы через Transformers требуется версия 5.0.0 или выше. Лицензия — MIT.

Gemma 4 26B A4B it GGUF — квантизированная версия инструкционной модели google/gemma-4-26B-A4B-it, разработанной Google. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалоговых и генеративных задач, а также сценариев image-text-to-text, согласно указанному pipeline tag. Модель распространяется в формате GGUF с вариантами точности от BF16 до Q3 и IQ3/IQ4, поэтому подходит для запуска на системах с разным объёмом памяти. Размер файлов составляет примерно от 12,55 до 50,51 ГБ. В README приведён специальный chat template и указана совместимость с llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и LoLLMs. Варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M — как рекомендуемый баланс качества и размера; более сильное сжатие экономит память, но снижает качество. Языки, точное устройство архитектуры, максимальная длина контекста и подробные характеристики мультимодальности в представленном README не указаны. Модель распространяется по лицензии Apache 2.0; для базовой Gemma также приведена отдельная ссылка на условия лицензии Google.

ibm-granite/granite-3.3-8b-instruct-GGUF — это семейство версий модели IBM Granite 3.3 8B Instruct, преобразованных в формат GGUF с различными уровнями квантования. Модель разработана IBM и предназначена для генерации текста и выполнения инструкций в сценариях, поддерживаемых базовой моделью ibm-granite/granite-3.3-8b-instruct. Из доступных данных известно, что модель относится к классу text-generation и имеет около 8 миллиардов параметров. Формат GGUF удобен для локального запуска совместимыми средствами вывода, а выбор квантования позволяет находить компромисс между качеством, скоростью работы и требованиями к памяти. Конкретные поддерживаемые языки, размер контекста, архитектурные детали и различия между вариантами квантования в предоставленной карточке не указаны. Сильными сторонами являются инструкционное назначение базовой модели и возможность локального использования в компактных квантованных вариантах. Ограничения зависят от выбранного уровня квантования и характеристик среды запуска; точные сведения о качестве, мультимодальности и специализированных сценариях отсутствуют. Модель распространяется по лицензии Apache-2.0.

mlx-community/granite-4.1-3b-bf16 — конверсия модели IBM Granite 4.1 3B в формат MLX для запуска на устройствах Apple Silicon. Это плотная причинная языковая модель с архитектурой GraniteForCausalLM, содержащая 3,4 млрд параметров и поддерживающая контекст до 131 072 токенов. Она предназначена для диалоговой генерации текста; описание базовой модели также указывает на применение для работы с кодом и вызова инструментов. Модель принимает текст и генерирует текст. Репозиторий использует библиотеку MLX и формат safetensors; лицензия — Apache-2.0. Карточка описывает преобразование из ibm-granite/granite-4.1-3b в MLX, поэтому этот вариант рассчитан на соответствующую среду исполнения, а не является самостоятельным дообучением.

QuantFactory/Hermes-2-Theta-Llama-3-8B-GGUF — квантованная GGUF-версия Hermes-2-Theta-Llama-3-8B, созданная с использованием llama.cpp. Исходную модель разработала Nous Research совместно с Charles Goddard из Arcee, при этом Hermes-2 Theta представляет собой экспериментальное объединение Hermes 2 Pro и Meta Llama 3 Instruct с последующим обучением с подкреплением на основе обратной связи человека (RLHF). Модель предназначена для генерации текста и диалогового взаимодействия на английском языке. Модель ориентирована на многошаговые чаты, следование системным инструкциям, генерацию структурированного JSON и вызов функций. Она использует формат промптов ChatML с ролями system, user и assistant, поддерживает chat template и совместима с подходом OpenAI к форматированию диалогов. В карточке также указано обучение на датасете teknium/OpenHermes-2.5 и наличие методов DPO, синтетических данных и дистилляции в контексте разработки. Размер исходной модели — 8B параметров; точный тип и уровень квантования, размер контекста и требования к ресурсам не указаны. Сильными сторонами являются сочетание возможностей Hermes 2 Pro и Llama 3 Instruct, поддержка управляемых диалогов, function calling и JSON-вывода. Модель описана как экспериментальная, а в карточке отсутствуют количественные результаты оценки, сведения о конкретных вариантах квантования и подробные ограничения качества, поэтому пригодность для конкретных задач следует проверять отдельно. Распространение указано по лицензии Apache 2.0.

Huihui-Qwen3.6-35B-A3B-abliterated-NVFP4 — квантованная версия модели Huihui-Qwen3.6-35B-A3B-abliterated, созданной huihui-ai на базе Qwen. Квантование NVFP4 выполнено Lna-Lab с использованием llm-compressor. Это мультимодальная MoE-модель для генерации текста и работы с изображениями, ориентированная прежде всего на агентное программирование, локальные AI-агенты, вызов инструментов и исследовательские сценарии. Модель содержит 35 млрд параметров, из которых при обработке активны около 3 млрд; используется архитектура Qwen3.5 MoE с 256 экспертами, гибридом Gated DeltaNet и attention, а также 8 маршрутизируемыми и одним общим экспертом. Поддерживается контекст до 262 144 токенов с возможностью расширения до 1 млн токенов. Визуальная часть сохранена в формате BF16. Заявлены результаты SWE-bench Verified 73,4 и Terminal-Bench 2.0 51,5, а скорость генерации достигает примерно 168 токенов в секунду на одной NVIDIA RTX PRO 6000 Blackwell. Ключевые преимущества — высокая скорость благодаря разреженной MoE-архитектуре, компактный размер около 21,9 ГБ, мультимодальность и сохранение возможностей для агентного кодинга. Ограничения связаны с аппаратной и программной совместимостью: требуется GPU NVIDIA Blackwell с поддержкой SM 120, около 22 ГБ видеопамяти и nightly-версия vLLM с CUDA 13.0; на Ampere и Hopper модель не работает. Модель abliteration обозначена как нецензурируемая, поэтому её следует использовать ответственно. Лицензия — Apache-2.0.

Это набор GGUF-квантизованных версий Granite 3.2 8B Instruct — инструкционной языковой модели, разработанной IBM под именем ibm-granite. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия в приложениях, поддерживающих llama.cpp, включая LM Studio и другие совместимые проекты. Модель имеет размер 8 миллиардов параметров и относится к текстовым моделям: сведения о поддержке изображений, аудио или других модальностей в README отсутствуют. Также не указаны поддерживаемые языки и размер контекстного окна. Доступны варианты квантования от Q8_0 до Q3 и IQ3/IQ4, размером примерно от 3,59 до 8,68 ГБ. Более высокие варианты обычно обеспечивают лучшее качество, а менее точные позволяют снизить требования к оперативной памяти; в README рекомендуются, в частности, Q4_K_M, Q5 и Q6 версии. Сильные стороны модели — локальный запуск, широкий выбор компромиссов между качеством и потреблением памяти, а также совместимость с экосистемой llama.cpp. Ограничения связаны с потерями качества при низком уровне квантования и зависимостью от совместимого программного обеспечения и аппаратных ресурсов. Для корректного диалога следует использовать указанный в README шаблон prompt format. Для набора указана лицензия Apache-2.0.

Instruct-12B — языковая модель, созданная hakurei дообучением EleutherAI Pythia 12B deduped на наборе Open-Instruct v1. Она предназначена для следования инструкциям пользователя и задумана как открытая альтернатива моделям серии InstructGPT; автор отмечает, что формат запросов похож на GPT-3.5. Модель построена на архитектуре GPT-NeoX, содержит 15,4 млрд параметров и рассчитана на контекст до 2048 токенов. Модель принимает текст и генерирует текст. Карточка указывает на поддержку английского языка и возможностей следования инструкциям и генерации кода. Для запросов рекомендуется разделять инструкцию, ввод пользователя и ответ двойными переводами строки. Модель распространяется под лицензией Apache-2.0.

ISOM-R1-Reasoning-1.5B-Instruct — текстовая генеративная модель на 1,5 млрд параметров, разработанная Prannessh K.V.A. на основе Qwen2.5-1.5B-Instruct. Она предназначена для многошаговых рассуждений и диалогов с длинным контекстом; заявленный размер контекста составляет 32 768 токенов. В README описан механизм recurrent state manifold projection, призванный ограничивать рост памяти KV-кэша при длинной обработке. Модель ориентирована на сценарии, где важны продолжительные рассуждения при ограниченной видеопамяти; приведённое в карточке сравнение на Tesla T4 сообщает об успешной обработке 8 192 токенов. Модель принимает текст и генерирует текст. Метаданные также указывают на поддержку чата и интерфейса вызова инструментов. Язык карточки и языковой тег — английский. Базовая модель в README упоминается как использованная под Apache 2.0, однако сама эта производная модель распространяется по CC BY-NC-ND 4.0, что ограничивает коммерческое использование и распространение производных материалов. Результаты производительности и заявления об архитектуре приведены автором в README; они не подтверждены независимыми данными в предоставленных источниках.

Jais-30b-chat-v3 — диалоговая языковая модель, разработанная Core42 (Inception) совместно с Cerebras Systems и дообученная на парах запросов и ответов на арабском и английском языках. Она предназначена для чат-ассистентов, клиентской поддержки, ответов на вопросы, генерации кода и рассуждений по тексту. Модель использует декодерную архитектуру Transformer, близкую к GPT-3, с активацией SwiGLU и позиционными представлениями ALiBi. README указывает контекст до 8192 токенов. Модель принимает текст и генерирует текст; для загрузки требуется пользовательский класс модели и параметр trust_remote_code=True. Модель оптимизирована для современного стандартного арабского и английского языков. Среди ограничений — возможные ошибки, предвзятость и неподходящие ответы; качество на других языках и диалектах не гарантируется. Не следует использовать её для высокорисковых решений без контроля человека или для работы с чувствительной информацией. Лицензия Apache 2.0.

Карточка модели dhanesh-hf/Jarvis-Titan-V15-MoE-Merged на Hugging Face совпадает с карточкой dhanesh-hf/Jarvis-Titan-V15-MoE-Decoupled, поэтому описание составлено по ней. J.A.R.V.I.S. Titan V15 MoE Decoupled — диалоговая языковая модель Dhanesh на архитектуре JarvisTitanMoEForCausalLM. Согласно карточке, она основана на DeepSeekMoE с общим экспертом и восемью маршрутизируемыми экспертами, из которых активируются два; также заявлены слои Tri-Brid памяти с локальным скользящим окном внимания, извлечением значимых KV-состояний и нейронной памятью Titans. Метаданные каталога указывают 7,1 млрд параметров и контекст 32 768 токенов. Модель предназначена для генерации текста в диалоге и взаимодействия с инструментами через соответствующий интерфейс. Карточка описывает объединённые автономные веса M4, включающие калиброванный адаптер Tri-Brid, а метаданные связывают модель с дообучением Jarvis-Titan-V14-MoE-Merged. В репозитории указаны веса Safetensors. Лицензия обозначена как other, поэтому условия использования следует проверять в материалах репозитория.

K2-Horizon-MoVA-36B-A4B-ROCmFP4-GGUF — это набор квантизованных GGUF-версий reasoning-модели IFM/MBZUAI K2-Horizon-MoVA-36B-A4B, подготовленный пользователем kingjones777 для запуска на GPU AMD с поддержкой ROCmFP4/ROCmFPX. Модель предназначена для генерации текста, рассуждений, агентских сценариев и вызовов инструментов. Базовая модель распространяется по лицензии Apache-2.0. Модель использует архитектуру k2_horizon MoVA с двумя независимыми экспертными системами: банком из 64 value-экспертов с выбором top-4 и MoE-блоком из 100 feed-forward-экспертов с выбором top-8. Всего модель содержит 36 млрд параметров, из которых активно используется около 4 млрд; архитектура включает 48 слоёв и скрытое представление размерностью 2560. Поддерживаются варианты Q4_0_ROCMFP4 и Q8_0_ROCMFPX объёмом от 18,57 до 36,45 ГиБ. README не указывает языки и максимальную длину контекста; в примерах запуска используется контекст 8192 токена. Основное преимущество — высокая скорость декодирования при меньшем числе активных параметров: на Ryzen AI Max+ 395 с Radeon 8060S заявлена скорость до 41 токена в секунду и prefill до 1238 токенов в секунду для варианта FAST. Доступны профили, ориентированные на скорость, качество квантования и агентские сценарии. Ограничения — необходимость специальной сборки llama.cpp с поддержкой одновременно k2_horizon и ROCmFP4/ROCmFPX, а также совместимого оборудования AMD Strix Halo (gfx1151). Модель генерирует рассуждения в поле reasoning_content, поэтому ей требуется достаточный бюджет токенов; при слишком коротком бюджете содержимое ответа может быть пустым.

Ethualo дообучил компактную плотную языковую модель Kanana2 Tiny на базе kakaocorp/kanana-2-1.3b-instruct. Модель предназначена для генерации текста и диалогов; в метаданных также отмечен интерфейс вызова инструментов. Она содержит около 1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. При дообучении использовались Unsloth и библиотека Hugging Face TRL. Модель распространяется по лицензии Apache-2.0.

KR-X-AI/krx-qwen2.5-7b-instruct-v2-m-e — дообученная авторами KR-X-AI разговорная языковая модель семейства Qwen2.5. Это плотная авторегрессионная модель с 7,1 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия; среди заявленных возможностей также есть интерфейс вызова инструментов. Модель принимает текст и формирует текстовые ответы, поддерживает контекст до 32 768 токенов. В карточке указано, что обучение выполнялось с использованием Unsloth и библиотеки TRL. Модель распространяется в формате safetensors по лицензии Apache-2.0. Данных о специализированных предметных областях или отдельных ограничениях качества в карточке нет.

nlpguy/Lion-Lamarck-v.1.1.0 — объединённая с помощью mergekit модель на базе семейства Qwen2.5. В слиянии использован SCE, а CultriX/Qwen2.5-14B-Wernicke указан как базовая модель; также объединены SuperNova-Medius, Qwen2.5-14B-Vimarckoso-v3, DeepSeek-R1-Distill-Qwen-14B и Lamarck-14B-v0.7. Модель содержит 14 млрд параметров, построена на плотной архитектуре Qwen2ForCausalLM и распространяется в формате safetensors. Модель предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Контекст составляет до 131 072 токенов. В карточке не приведены сведения о целевых языках, тестировании качества или рекомендуемых сценариях. Лицензия в предоставленных данных не указана.

Livron 7B v1 — дообученная разработчиком developer2625 языковая модель на архитектуре Qwen2.5, предназначенная для генерации текста и диалогового общения. Она основана на unsloth/qwen2.5-7b-instruct-unsloth-bnb-4bit и содержит 7,1 млрд параметров; модель обучали с использованием Unsloth и библиотеки Hugging Face TRL. Поддерживает контекст до 32 768 токенов и интерфейс вызова инструментов. Модель подходит для диалоговых помощников, генерации и продолжения текста, а также сценариев, где требуется взаимодействие с инструментами. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

Карточка модели Yukang/Llama-2-13b-longlora-32k-ft на Hugging Face совпадает с карточкой Yukang/Llama-2-7b-longlora-32k-ft, поэтому описание составлено по ней. Yukang/Llama-2-7b-longlora-32k-ft — дообученная полная версия LLaMA 2 на 7 млрд параметров, созданная авторами проекта LongLoRA для работы с длинным контекстом. Модель предназначена для генерации текста и обработки запросов, в которых важно учитывать большой объём предшествующего текста, например длинные документы. Контекст этой версии расширен до 32 768 токенов. В README описан подход LongLoRA: для эффективного расширения контекста при дообучении используется разреженное локальное внимание, при этом во время инференса сохраняется плотное глобальное внимание. Метаданные указывают нативную длину контекста 4 096 токенов, поэтому заявленное в README расширение до 32 768 токенов следует отличать от этого значения. Модель использует архитектуру LlamaForCausalLM и распространяется в формате PyTorch. Модель подходит для суммаризации и вопросов по длинным текстам, но README не приводит отдельные оценки качества именно этого чекпойнта. Условия лицензии в предоставленных данных не указаны.

LLaMA-2-7B-32K — языковая модель с длинным контекстом, разработанная Together и дообученная на основе Meta Llama 2 7B. Это плотная авторегрессионная модель семейства Llama, содержащая 6,6 млрд параметров и поддерживающая контекст до 32 768 токенов благодаря интерполяции позиционных представлений. Для обучения использовались смеси данных RedPajama, The Pile, UL2 Oscar и наборов для instruction tuning. Модель предназначена для генерации текста с большим объёмом входного контекста: ответов на вопросы по нескольким документам, суммаризации длинных текстов и работы с примерами в контексте. README описывает англоязычные данные и сценарии; метаданные также указывают английский язык. Модель доступна в формате PyTorch через Transformers и подходит для дальнейшей адаптации под конкретные задачи. Модель может выдавать неверную или предвзятую информацию. Лицензия — Llama 2; условия использования определяются лицензией Meta Llama 2.

Модель triplee/llama3.1_8b_2S1S_v5_merge — дообученная текстовая модель семейства Llama 3.1, разработанная triplee на основе unsloth/meta-llama-3.1-8b-instruct. Она предназначена для генерации текста и диалоговых сценариев; в метаданных также заявлен интерфейс вызова инструментов. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Для обучения использовались Unsloth и библиотека TRL; файлы представлены в формате safetensors. Лицензия — Apache-2.0.

A1Speeder/llama-3.1-8b-finetuned — дообученная языковая модель A1Speeder на базе unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров; для обучения использовались Unsloth и библиотека TRL из Hugging Face. Модель предназначена для генерации текста в диалоговом формате и поддерживает интерфейс вызова инструментов. В метаданных указано контекстное окно до 131 072 токенов, а карточка указывает английский язык. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Apollo Raines представляет эту модель как вариант Llama 3.1 8B Instruct, изменённый инструментом jBlaze для усиления следования контексту и аналитического рассуждения. По README, изменения внесены непосредственно в веса без дополнительного обучения; метаданные каталога классифицируют происхождение как дообучение. Модель предназначена для диалоговой генерации текста и анализа предоставленных материалов с опорой на контекст. Она может отвечать на вопросы, объяснять вычисления и писать код; карточка также указывает интерфейс вызова инструментов. Модель использует плотную архитектуру LlamaForCausalLM, распространяется в формате safetensors, имеет 7,5 млрд параметров по метаданным и контекст до 131 072 токенов. В карточке указан английский язык; базовая Llama 3.1 8B Instruct описана как многоязычная. Автор предупреждает, что публичная версия намеренно ослаблена и выпущена как демонстрация возможностей jBlaze. Лицензия — llama3.1.

RedHatAI/Llama-3.1-8B-Instruct-NVFP4 — квантованная версия Meta-Llama-3.1-8B-Instruct, разработанная RedHatAI для коммерческого и исследовательского использования. Модель предназначена для диалоговых ассистентов и генерации текста на основе текстовых запросов; поддерживает ввод и вывод только в текстовой модальности. В метаданных заявлены языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако README отдельно ограничивает использование английским языком. Модель основана на архитектуре Meta-Llama-3.1 и имеет 8 млрд параметров. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP4 с использованием LLM Compressor; размер группы для весов — 16. Это снижает количество бит на параметр с 16 до 4, а требования к дисковому пространству и GPU-памяти примерно на 75%, что делает модель подходящей для эффективного инференса с vLLM версии 0.9.1 и выше. Контекстная длина в README не указана; для калибровки использовалась максимальная последовательность длиной 2048 токенов. К сильным сторонам относятся уменьшенные требования к памяти и возможность производительного развертывания через vLLM, включая OpenAI-совместимый сервер. Ограничением является потенциальное снижение качества по сравнению с неквантизированной базовой моделью, хотя README сообщает о сравнительной оценке без подробных результатов. Модель распространяется по лицензии llama3.1; применение должно соответствовать действующему законодательству, включая требования торгового контроля.