II.1Анализ требований и архитектура ПО

duyntnet/gemma-2-27b-it-imatrix-GGUF — набор квантизированных версий instruction-tuned языковой модели Gemma 2 27B IT, опубликованный пользователем duyntnet на базе модели Google gemma-2-27b-it. Формат GGUF предназначен для запуска через llama.cpp и совместимые клиенты, включая KoboldCPP, text-generation-webui и Ollama. Модель относится к задачам генерации текста и поддерживает диалоговое взаимодействие с использованием специального chat template. Известно, что исходные веса модели имеют размер 27 миллиардов параметров и представлены в bfloat16; в данном репозитории опубликованы варианты с квантизацией imatrix. Модель ориентирована прежде всего на англоязычную генерацию, поскольку в карточке указан язык en. Она может применяться для ответов на инструкции, написания текстов, программного кода и других задач text generation. Точный набор квантизаций, размер контекста и архитектурные характеристики в README не указаны. Для запуска подходят llama.cpp и перечисленные совместимые интерфейсы. В README отмечены возможные проблемы Gemma 2 с SDPA и Flash Attention 2, поэтому рекомендуется использовать eager attention; это ограничение относится к исходной модели и способам запуска. Лицензия указана как other, без дополнительных условий в предоставленных данных.

onnx-community/gemma-3-270m-it-ONNX — ONNX-версия инструкционно дообученной модели Google Gemma 3 270M, разработанной Google DeepMind и предназначенной для запуска через Transformers.js. Модель генерирует текст по запросам, отвечает на вопросы, суммирует документы, выполняет рассуждения и может анализировать изображения с выдачей текстового ответа. Модель относится к компактному семейству Gemma 3 и имеет 270 миллионов параметров. Она поддерживает текстовые и, согласно карточке семейства Gemma 3, визуальные входы, при этом выходом является текст. Для вариантов 270M заявлен контекст до 32K токенов на запрос; модель ориентирована на работу более чем со 140 языками. Небольшой размер подходит для развёртывания на ноутбуках, настольных компьютерах и в собственной облачной инфраструктуре с ограниченными ресурсами. Сильными сторонами являются компактность, возможность локального запуска, инструкционное поведение и поддержка широкого набора текстовых задач. Ограничения включают меньший размер и, вероятно, более ограниченные возможности по сравнению с крупными вариантами Gemma 3; конкретные показатели качества и требования к аппаратному обеспечению в карточке не приведены. Модель распространяется на условиях лицензии Gemma; перед использованием необходимо ознакомиться с соответствующими Terms of Use.

Карточка модели khaojai-it/GLM-4.6V-Flash на Hugging Face совпадает с карточкой unsloth/GLM-4.6V-Flash, поэтому описание составлено по ней. GLM-4.6V-Flash — компактная мультимодальная модель семейства GLM-V от Z.ai, представленная в карточке Unsloth с исправлениями шаблона диалога. Это версия на 9 млрд параметров, рассчитанная на локальное развёртывание и приложения с низкой задержкой; архитектура GLM4V использует условную генерацию текста по изображениям. Модель принимает изображения и текст, понимает документы, страницы с таблицами, диаграммами и иллюстрациями, а также снимки экранов. Контекстное окно семейства заявлено до 128 тысяч токенов. Модель подходит для визуальных диалогов, анализа документов, интерпретации интерфейсов и генерации кода HTML/CSS по скриншотам. Поддерживает вызов инструментов и смешанную генерацию текста и визуального контента. По README, её сильная сторона — мультимодальные сценарии; чисто текстовые ответы слабее, а на сложных запросах возможны чрезмерные рассуждения и повторы. Также отмечены ошибки при подсчёте объектов и распознавании конкретных людей. Репозиторий распространяется по лицензии MIT.

GLM-5.3-Quark-MXFP4 — текстовая авторегрессионная модель для генерации текста, созданная Advanced Micro Devices (AMD) на базе GLM-5.3 от zai-org. Модель предназначена для задач обработки и генерации текста, включая математическое рассуждение и другие сценарии, поддерживаемые базовой моделью. Заявленные языки — английский и китайский; входные и выходные данные представлены в текстовой форме. Архитектура модели обозначена как GlmMoeDsaForCausalLM. Для оптимизации инференса применена посттренировочная квантизация AMD Quark V0.12: router experts и shared experts используют MXFP4, а слои self-attention — FP8 с покомпонентной блочной квантизацией. Слой lm_head, эмбеддинги и некоторые дополнительные слои сохранены в исходном формате. Максимальная длина контекста в приведённой конфигурации vLLM составляет 32 768 токенов, однако размер модели и полная спецификация контекстного окна в README не указаны. Модель ориентирована на запуск через vLLM на системах Linux с ускорителями AMD MI350 или MI355 и ROCm 7.1.1; в README также указаны PyTorch 2.10.0 и Transformers 5.15.1. На тесте GSM8K она получила 91,28 против 91,89 у исходной GLM-5.3, что соответствует восстановлению 99,34% исходного результата и указывает на небольшую потерю точности после квантизации. Лицензия обозначена как glm-5.3; также указано, что модификации защищены авторским правом Advanced Micro Devices, Inc. за 2026 год.

go-bruins-v2.1.1-Mistral-7B-Instruct-v0.1 — объединённая диалоговая модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и rwitz2/go-bruins-v2.1.1 методом SLERP. Веса сохранены в формате safetensors; модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Может применяться в чат-ботах и интерактивных текстовых помощниках. Лицензия Apache-2.0 разрешает использование на её условиях. Данные карточки не описывают отдельные возможности, гарантии качества или ограничения сверх указанных характеристик.

google_gemma-4-31B-it-GGUF — это квантизированная версия instruction-tuned модели Gemma 4 31B-it, разработанной Google. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель опубликована как google/gemma-4-31B-it. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, LM Studio, Ollama-подобные и другие совместимые инструменты. По указанной классификации pipeline_tag это модель для преобразования изображений и текста в текст, однако подробные сведения о поддерживаемых модальностях и языках в README не приведены. Доступны варианты с точностью от BF16 до Q3 и IQ3, включая Q4, Q5, Q6 и Q8. Размер файлов составляет примерно от 13,84 до 61,41 ГБ; варианты Q4–Q6 заявлены как обеспечивающие хороший или очень высокий уровень качества при меньшем потреблении памяти, а Q3 ориентированы на системы с ограниченными ресурсами и отличаются более низким качеством. Архитектура, максимальная длина контекста и точное число параметров, помимо обозначения 31B, в README не уточняются. Сильными сторонами являются широкий выбор уровней квантизации, совместимость с экосистемой llama.cpp и возможность локального инференса. Ограничения включают значительные требования к памяти, особенно для BF16 и высокоточных вариантов, а также возможное снижение качества у компактных Q3-вариантов. Для недавно поддерживаемых моделей может потребоваться обновление используемого программного обеспечения. Лицензия указана как Apache-2.0; при этом для Gemma также приведена отдельная ссылка на лицензионные условия Google.

gpt-oss-20b-Derestricted — производная модель Arli AI на основе openai/gpt-oss-20b. Авторы применили Norm-Preserving Biprojected Abliteration, чтобы ослабить поведение отказа, сохранив исходные нормы весов. В каталоге указано 1,6 млрд параметров, архитектура MoE для авторегрессионной генерации текста и контекст до 131 072 токенов. Модель предназначена для диалогов, рассуждений, агентных сценариев и других задач генерации текста, где требуется меньше отказов на запросы. Исходная модель поддерживает настраиваемый уровень рассуждений и формат Harmony; для корректной работы следует использовать шаблон Harmony. Карточка утверждает, что метод помогает сохранить качество рассуждений, но приводит это как результат авторских оценок, а не как независимую гарантию. Модель распространяется по лицензии Apache-2.0. Она может по-прежнему иногда пытаться подавлять запросы; языки в предоставленных данных явно не перечислены.

granite-4.2-8b-MLX-6bit — это 6-битно квантованная версия языковой модели granite-4.2-8b, разработанной командой ibm-granite. Квантование выполнено командой LM Studio с использованием MLX, поэтому модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживает сценарии, связанные с рассуждениями, режимом thinking и вызовом инструментов. Модель относится к классу текстовых генеративных моделей, имеет размер 8B в исходной версии и работает с текстовой модальностью. В README заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Размер контекста и дополнительные архитектурные характеристики не указаны. Ключевые преимущества — уменьшенный объём хранения и потенциально более эффективный локальный запуск благодаря 6-битному квантованию и оптимизации MLX для Apple Silicon. Ограничения включают возможные потери качества по сравнению с полной точностью, зависимость от совместимого оборудования и отсутствие в README подробных данных о производительности, точности и размере контекста. Модель распространяется по лицензии Apache-2.0.

Heretical-Qwen3.5-9B — мультимодальная модель на 9 млрд параметров, дообученная на базе Qwen/Qwen3.5-9B-Base. Её разработчик применил метод decensoring на основе orthogonalized projected abliteration с поиском параметров, настроенным через TPE; в README указаны 3 отказа из 100 тестовых запросов и KL divergence 0,0366. Модель использует гибридную архитектуру Gated DeltaNet и attention, принимает текст и изображения и предназначена для диалогов, рассуждений и понимания визуального содержимого. Модель поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000. README базовой модели заявляет поддержку 201 языка и диалекта, но не приводит языковую таблицу для этой конкретной производной модели. Веса доступны в формате safetensors; метаданные указывают библиотеку Transformers и лицензию Apache-2.0. Показатель отказов относится к ограниченному тесту в карточке и сам по себе не гарантирует поведение на других запросах; универсальные ограничения качества не описаны.

INEX4-7b — языковая модель, созданная Liminerity с помощью mergekit путём слияния моделей liminerity/merge2 и liminerity/merge1. Она предназначена для генерации текста и решения задач на рассуждение; в карточке приведены результаты оценивания на Open LLM Leaderboard, включая AI2 Reasoning Challenge и HellaSwag. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Опубликованные веса доступны в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0.

Jan-v3-4B-base-instruct-GGUF — квантованная версия компактной языковой модели Jan-v3-4B-base-instruct, разработанной Jan (janhq) и преобразованной в формат GGUF с помощью llama.cpp командой GGUF Quantizer Space. Модель предназначена для генерации текста, следования инструкциям, локального запуска, лёгкой помощи в программировании и последующей тонкой настройки под прикладные задачи. Модель относится к авторегрессионным causal language models и содержит около 4 млрд параметров, 36 слоёв и Grouped Query Attention с 32 головами для запросов и 8 для ключей и значений. Заявлена нативная длина контекста 262 144 токена. Модель получена посредством посттренировочной дистилляции от более крупной модели; README не указывает поддерживаемые языки и не заявляет мультимодальность, поэтому её следует рассматривать как текстовую. Основные преимущества — компактность, возможность локального развертывания через llama.cpp или Ollama, улучшенное следование инструкциям и пригодность в качестве основы для дообучения. Доступны варианты квантования от Q2_K до Q8_0: меньшие варианты требуют меньше ресурсов, но сильнее теряют в качестве, тогда как Q4_K_M и Q5_K_M обозначены как сбалансированный и высококачественный рекомендуемые варианты. Ограничения включают потери качества при агрессивном квантовании, а также отсутствие в README подробных данных о результатах бенчмарков, языках и ограничениях безопасности. Для исходной модели указана лицензия Apache 2.0.

Карточка модели dhanesh-hf/Jarvis-Titan-M4-Merged на Hugging Face совпадает с карточкой dhanesh-hf/Jarvis-Titan-V15-MoE-Decoupled, поэтому описание составлено по ней. J.A.R.V.I.S. Titan V15 MoE Decoupled — диалоговая языковая модель Dhanesh на архитектуре JarvisTitanMoEForCausalLM. Согласно карточке, она основана на DeepSeekMoE с общим экспертом и восемью маршрутизируемыми экспертами, из которых активируются два; также заявлены слои Tri-Brid памяти с локальным скользящим окном внимания, извлечением значимых KV-состояний и нейронной памятью Titans. Метаданные каталога указывают 7,1 млрд параметров и контекст 32 768 токенов. Модель предназначена для генерации текста в диалоге и взаимодействия с инструментами через соответствующий интерфейс. Карточка описывает объединённые автономные веса M4, включающие калиброванный адаптер Tri-Brid, а метаданные связывают модель с дообучением Jarvis-Titan-V14-MoE-Merged. В репозитории указаны веса Safetensors. Лицензия обозначена как other, поэтому условия использования следует проверять в материалах репозитория.

K2-Horizon-3.7B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-3.7B, разработанной IFM. Это плотная decoder-only языковая модель размером 3,7 млрд параметров, предназначенная для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Указан английский язык. Модель поддерживает нативный контекст до 524 288 токенов (512K), однако практическая производительность зависит от используемого оборудования и настроек запуска. Доступны варианты квантизации Q4_0, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 3,02 до 5,39 ГБ. В файлы встроен совместимый с llama.cpp шаблон чата; для вызовов инструментов по умолчанию используется формат XML, также доступны JSON и xml_typed. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, в частности форк MBZUAI-IFM до появления поддержки в upstream-версии. К сильным сторонам относятся компактный размер, несколько вариантов квантизации и заявленная поддержка очень длинного контекста, а также сценариев программирования и tool use. Ограничения включают зависимость от специализированной реализации llama.cpp, отсутствие в README подробных результатов бенчмарков и характеристик качества, а также отсутствие сведений о мультимодальности и поддержке языков, кроме английского. Модель распространяется по лицензии Apache-2.0.

Это дообученная диалоговая модель kihyun-K на базе kakaocorp/kanana-1.5-8b-instruct-2505. Она предназначена для генерации текста в чате и поддерживает интерфейс вызова инструментов. Модель построена на архитектуре Llama, содержит 7,5 млрд параметров и поддерживает контекст длиной до 32 768 токенов. В карточке указаны английский язык и лицензия Apache 2.0. README сообщает, что модель обучали с использованием Unsloth и библиотеки TRL для Hugging Face.

Модель kangkys/kanana-1.5-8b-instruct-2505-Safe-DPO — дообученная авторами kangkys плотная языковая модель семейства Llama с 7,5 млрд параметров. Она предназначена для генерации текста и диалогового взаимодействия; в метаданных также заявлен интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. В карточке указаны английский язык и формат весов safetensors. Модель дообучена на базе kangkys/kanana-1.5-8b-instruct-2505-Safe-DPO с использованием Unsloth и библиотеки TRL от Hugging Face. README не описывает набор данных, конкретные результаты обучения или отдельные сценарии Safe-DPO, поэтому эти свойства нельзя оценить по карточке. Лицензия — Apache-2.0.

Карточка модели KeefeBuild/Keefe-Discere-v3.1-Final на Hugging Face совпадает с карточкой KeefeBuild/Keefe-Discere-v3.1, поэтому описание составлено по ней. KeefeBuild/Keefe-Discere-v3.1 — дообученная KeefeBuild языковая модель семейства Qwen2 с плотной архитектурой Qwen2ForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает английский язык и контекст до 32 768 токенов. Веса сохранены в формате safetensors. По карточке, модель обучали с использованием Unsloth и библиотеки TRL от Hugging Face. Она дообучена от KeefeBuild/Keefe-Discere-v3.0-Final и распространяется по лицензии Apache-2.0.

Kimi-K2.6-GGUF — версия открытой мультимодальной агентной модели Kimi K2.6 от Moonshot AI, подготовленная Unsloth в формате GGUF с использованием квантования. Модель предназначена для длительных и сложных задач программирования, создания интерфейсов по текстовым и визуальным входным данным, автономного выполнения действий и оркестрации групп специализированных агентов. Модель использует архитектуру Mixture-of-Experts (MoE): около 1 трлн общих параметров, из которых 32 млрд активируются для каждого токена. Она содержит 61 слой, 384 эксперта с выбором 8 экспертов на токен, механизм внимания MLA, активацию SwiGLU и словарь размером 160 тысяч токенов. Контекст составляет 256 тысяч токенов. Для обработки изображений используется vision encoder MoonViT с 400 млн параметров. Заявлены сильные результаты в долгосрочном кодировании на Rust, Go и Python, DevOps, оптимизации производительности, генерации веб-интерфейсов и агентном поиске; поддерживается координация до 300 субагентов и 4000 шагов. Ключевые ограничения связаны с чрезвычайно большими требованиями к ресурсам: например, вариант UD-Q8_K_XL занимает около 595 ГБ. README не содержит полного перечня поддерживаемых языков и подробных требований к оборудованию или программному окружению. Указана лицензия modified-MIT; конкретные условия её применения следует проверять в официальных материалах модели.

KR-X-AI/krx-qwen2.5-7b-instruct-v2-m — дообученная KR-X-AI модель семейства Qwen2.5, разработанная KR-X-AI на основе KR-X-AI/krx-qwen2.5-7b-instruct-v2. Это плотная языковая модель с архитектурой Qwen2ForCausalLM и 7,1 млрд параметров; при обучении использовались Unsloth и библиотека Hugging Face TRL. Модель предназначена для генерации текста и диалоговых ответов, включая сценарии с интерфейсом вызова инструментов. Она принимает текст и выдаёт текст. Указанная длина контекста — 32 768 токенов; карточка помечает английский язык. Модель распространяется по лицензии Apache-2.0. Данных о специализированных областях применения и известных ограничениях в карточке нет.

Sao10K/L3.3-70B-Euryale-v2.3 — дообученная модель Sao10K на базе Meta Llama 3.3 70B Instruct, предназначенная для диалогов и генерации текста. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров; она принимает текст и поддерживает контекст до 131 072 токенов. Для общения используется формат запросов Llama 3 Instruct. В метаданных также указана возможность интерфейса вызова инструментов. Автор описывает модель как преемника Euryale v2.2 и отмечает, что она обучена непосредственно на Llama 3.3 Instruct, а не получена извлечением LoRA. Рекомендуемые автором параметры генерации: temperature 1.1 и min_p 0.1. Модель подходит для диалогового ассистента и творческой генерации; дальнейшее улучшение обучающих данных и расширение творческих сценариев указаны как планы. Лицензия — Llama 3. Использование требует соблюдения условий лицензии Meta Llama 3.

Theros/L3-ColdBrew-R1-test1 — языковая модель на архитектуре Llama, созданная разработчиком Theros слиянием весов через mergekit методом DARE TIES. В слиянии использованы Theros/L3-ColdBrew-Daybreak и deepseek-ai/DeepSeek-R1-Distill-Llama-8B; итоговая модель содержит 7,5 млрд параметров и работает с контекстом до 8192 токенов. Модель предназначена для диалоговой генерации текста и может применяться для ответов на вопросы, математических задач, программирования и многошаговых рассуждений — эти возможности описаны для базовой модели DeepSeek-R1-Distill-Llama-8B. Метаданные указывают на поддержку чата, но README не приводит собственных примеров или оценок качества слияния. Репозиторий содержит веса Safetensors для использования с Transformers. Лицензия в предоставленных данных не указана.

LFM2.5-8B-A1B-Uncensored-Gaston-GGUF — модифицированная GGUF-версия модели Liquid AI LFM2.5-8B-A1B, подготовленная Gastón Parravicini. Это текстовая reasoning-модель для диалогов и генерации текста, ориентированная на локальный запуск через llama.cpp, Ollama и совместимые инструменты. Вариант получил abliteration для существенного снижения отказов от ответов при сохранении рассуждений и общих возможностей базовой модели. Модель использует гибридную архитектуру из свёрточных LIV-блоков, Grouped Query Attention и разреженного MoE: всего около 8,3 млрд параметров, из которых примерно 1,5 млрд активны на каждом токене; задействованы 32 эксперта, четыре из них выбираются для токена. Заявлено контекстное окно 128K, обучение на 38 трлн токенов и поддержка английского, испанского, французского, немецкого, китайского, японского, корейского и арабского языков. Доступны квантизации IQ4_XS, Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16; Q4_K_M рекомендована как компромисс между качеством и размером. Сильными сторонами являются высокая скорость, компактное активное число параметров, сохранённый режим рассуждений с тегами <think> и заявленная частота отказов 1% на AdvBench после модификации. Ограничение модели — нестандартная гибридная архитектура, из-за которой обычные инструменты abliteration несовместимы без специальной адаптации. Версия предназначена для сценариев, где требуется меньше ограничений на генерацию, поэтому её ответы следует дополнительно проверять на безопасность и достоверность. Указана лицензия lfm-open-license-v1 от Liquid AI; подробные условия приведены по ссылке на лицензию базовой модели.

Карточка модели developer2625/livro-7b-v1 на Hugging Face совпадает с карточкой developer2625/livron-7b-v1, поэтому описание составлено по ней. Livron 7B v1 — дообученная разработчиком developer2625 языковая модель на архитектуре Qwen2.5, предназначенная для генерации текста и диалогового общения. Она основана на unsloth/qwen2.5-7b-instruct-unsloth-bnb-4bit и содержит 7,1 млрд параметров; модель обучали с использованием Unsloth и библиотеки Hugging Face TRL. Поддерживает контекст до 32 768 токенов и интерфейс вызова инструментов. Модель подходит для диалоговых помощников, генерации и продолжения текста, а также сценариев, где требуется взаимодействие с инструментами. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

LLaMA-2-7B-32K-Instruct_GGUF — это набор файлов модели в формате GGUF, подготовленный пользователем rozek на основе Llama-2-7B-32K-Instruct от Together Computer, Inc., которая, в свою очередь, создана на базе Meta AI LLaMA-2-7B. Исходная модель дообучена для работы с контекстом до 32 000 токенов с использованием Position Interpolation и Rotary Position Embeddings (RoPE). Модель предназначена для генерации текста и выполнения инструкций на английском языке, включая сценарии локального запуска через llama.cpp. Репозиторий содержит варианты с различной степенью квантования: Q2_K, Q3_K, Q4, Q5, Q6_K, Q8_0, а также неквантованный F16. Квантованные версии снижают требования к памяти и позволяют запускать модель локально, но могут уступать F16 по точности. Несмотря на поддержку контекста до 32K, использование максимальной длины требует значительного объёма RAM; рекомендуется выбирать минимальный необходимый размер контекста. Модель текстовая и имеет около 7 миллиардов параметров. В README указана лицензия llama2.

Карточка модели triplee/llama3.1_8b_cardiff_2024-08-19_merge на Hugging Face совпадает с карточкой triplee/llama3.1_8b_2S1S_v5_merge, поэтому описание составлено по ней. Модель triplee/llama3.1_8b_2S1S_v5_merge — дообученная текстовая модель семейства Llama 3.1, разработанная triplee на основе unsloth/meta-llama-3.1-8b-instruct. Она предназначена для генерации текста и диалоговых сценариев; в метаданных также заявлен интерфейс вызова инструментов. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Для обучения использовались Unsloth и библиотека TRL; файлы представлены в формате safetensors. Лицензия — Apache-2.0.

Apollo Raines опубликовал вариант Llama 3.1 8B Instruct, изменённый инструментом jBlaze методом representation engineering. По описанию автора, дополнительного обучения не было: изменения в весах подавляют отказы и уклончивые формулировки, чтобы ответы были более прямыми. Модель предназначена для диалоговой генерации текста, ответов на вопросы и выполнения инструкций, включая задачи по программированию. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она принимает текст и выдаёт текст; в карточке указаны английский язык и контекст до 131 072 токенов. Автор характеризует релиз как демонстрационную версию с намеренно сниженной полнотой возможностей. Указана лицензия Llama 3.1; свойства изменения отказов могут влиять на безопасность ответов, а заявленных автором проблем не обнаружено.

SliceX AI ELM Turbo 6B Instruct — англоязычная диалоговая языковая модель, созданная SliceX AI как срез архитектуры ELM Turbo на основе Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 5,8 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для генерации текста и выполнения инструкций в диалоге. Архитектура ELM Turbo позволяет выбирать срезы разного размера для компромисса между качеством, скоростью и потреблением памяти; для этой версии выбран вариант на 6B. Обучение включало дообучение на инструкционных наборах, в том числе Tulu, Orca Math и WizardLM. README также описывает оптимизацию инференса и интеграцию TensorRT-LLM. Модель подходит для диалоговых помощников, ответов на вопросы и генерации текста на английском языке. Её ответы могут содержать фактические ошибки, смещения или неподходящий контент; результаты следует проверять. Использование регулируется лицензией Llama 3.1.

Llama-3.1-Storm-8B-IMat-GGUF — это GGUF-версия модели Llama-3.1-Storm-8B, разработанной akjindal53244 и квантизированной legraphista с использованием llama.cpp и IMatrix. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, рассуждений и function calling. Она относится к семейству Llama 3.1 и имеет размер 8B параметров; исходный тип данных — BF16. Доступны варианты от BF16 и FP16 до низкобитных форматов, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, причём часть вариантов использует IMatrix для улучшения качества квантизации. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель ориентирована на локальный запуск через совместимое с GGUF программное обеспечение, например llama.cpp; конкретный размер контекста в README не указан. Основные преимущества — широкий выбор уровней квантизации, уменьшенный объём файлов и возможность подобрать баланс между качеством и требованиями к памяти. Низкобитные варианты могут уступать полноформатным по качеству, а сведения о результатах тестирования, мультимодальности и ограничениях безопасности отсутствуют. Лицензия указана как llama3.1.

Llama3.2-DeepHermes-3-3B-Preview-Reasoning-MAX-NEO-Imatrix-GGUF — это GGUF-квантизированная текстовая генеративная модель, основанная на NousResearch/DeepHermes-3-Llama-3-3B-Preview. Сборка подготовлена David_AU с использованием собственной технологии Neo Imatrix и «MAXED»-квантизации, при которой embedding- и output-тензоры сохраняются в формате BF16. Модель предназначена для локального запуска и ориентирована на рассуждения, следование инструкциям, диалог, решение задач, генерацию идей и текста, творческое письмо и ролевые сценарии. Указана лицензия Apache-2.0. Модель имеет размер около 3B параметров и поддерживает контекст до 128k токенов. Она работает только с текстом; сведения о поддерживаемых языках в README не приведены. Доступны варианты квантизации от IQ1_S до Q8_0, отличающиеся размером, скоростью и качеством. Более высокие кванты обычно лучше сохраняют способности к рассуждению, а варианты IQ4XS, IQ4NL и Q4 рекомендуются для творческих задач; для общего применения рекомендуются Q5, Q6 и Q8. Для reasoning-сценариев рекомендуется использовать как минимум IQ3. Сильные стороны модели — компактный размер, высокая скорость локального вывода, улучшенное следование инструкциям и потенциально более высокое качество благодаря Neo Imatrix и сохранению части тензоров в BF16. При этом качество рассуждений напрямую зависит от выбранного кванта: самые компактные варианты заметно уступают более крупным, а README не содержит независимых бенчмарков, подробных данных об обучении или гарантии заявленного превосходства над более крупными моделями. Для комфортной работы рекомендуется окно контекста не менее 8k токенов, особенно для вариантов IQ4 и ниже.

Llama-3-SauerkrautLM-8b-Instruct-GGUF — это инструкционная языковая модель семейства Llama 3 в формате GGUF, опубликованная пользователем или организацией bartowski. По названию и указанным метаданным модель имеет размер 8 миллиардов параметров и ориентирована на диалоговое взаимодействие и выполнение инструкций. В карточке заявлена поддержка немецкого и английского языков, а также указано обучение методом DPO в два этапа. Модель предназначена для генерации текста, ответов на инструкции и других сценариев использования локальной LLM, совместимой с инструментами инференса, поддерживающими формат GGUF. Ключевыми особенностями являются принадлежность к семейству Llama 3, инструкционная настройка и оптимизация предпочтений методом DPO. Сведения о точной архитектуре, длине контекста, модальностях, конкретных вариантах квантования, производительности и ограничениях в README не приведены, поэтому их необходимо уточнять отдельно. Использование регулируется Meta Llama 3 Community License. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ на установленных условиях, включая соблюдение Acceptable Use Policy, сохранение уведомления об атрибуции и отображение фразы «Built with Meta Llama 3» при распространении материалов или продуктов на их основе. Для производных моделей также требуется включать «Llama 3» в начало названия; для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

Magnum-v1-72b-Qwen2.5 — слитая автором модели языковая модель на архитектуре Qwen2 для диалогов и генерации текста. Веса объединяют влияние anthracite-org/magnum-v1-72b с Qwen/Qwen2.5-72B-Instruct: автор извлёк LoRA из ранней модели Magnum и перенёс её на Qwen2.5-Instruct, после чего объединил результат в самостоятельную модель. Размер — 71,5 млрд параметров, формат — safetensors, контекст — 32 768 токенов. Модель предназначена для творческой генерации и общения; в описании также отмечены генерация кода и сохранение улучшений Qwen2.5. Заявлены английский язык и интерфейс для вызова инструментов. Автор сообщает о положительных результатах собственных проб, но не приводит формальной оценки качества. Лицензия указана как other.