II.1Анализ требований и архитектура ПО

financer2 — текстовая генеративная модель из семейства Llama, опубликованная пользователем kiarash90 на Hugging Face. Модель предназначена для генерации текста и диалоговых сценариев и доступна для использования через библиотеку Transformers. В метаданных указано около 1 млрд параметров и нативное окно контекста длиной 2048 токенов.

flammen13X-mistral-7B — слитая методом SLERP языковая модель, созданная с помощью mergekit из nbeerbower/Bophades-BruinsMaid-7B и nbeerbower/flammen13-mistral-7B. Это плотная Mistral-модель с архитектурой MistralForCausalLM и 7,1 млрд параметров, предназначенная для генерации текста. Заявленное окно контекста — 32 768 токенов. Модель принимает текст и выдаёт текст; в карточке каталога базовая модель описана как предназначенная для генерации текста и ролевых диалогов по карточкам персонажей. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. README не сообщает отдельные результаты оценки качества или перечень поддерживаемых языков.

fr-11-8b — слитая диалоговая языковая модель семейства Llama, созданная jaspionjader методом SLERP с помощью mergekit из jaspionjader/fr-10-8b и jaspionjader/fr-1-8b. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; библиотека для работы с ней — Transformers. Модель предназначена для генерации текста в диалоговом формате и ролевых сценариев. Она поддерживает контекст до 131 072 токенов. Данных о конкретных языках применения и условиях лицензии в предоставленных источниках нет.

jaspionjader/fr-2-8b — слитая диалоговая языковая модель, созданная автором репозитория с помощью mergekit методом SLERP из jaspionjader/Kosmos-EVAA-Franken-v38-8B и jaspionjader/fr-1-8b. Это плотная Llama-модель с архитектурой LlamaForCausalLM и 7,5 млрд параметров, предназначенная для генерации текста в формате диалога; заявленная длина контекста — 8192 токена. Модель работает с текстом и выдаёт текст. Подходит для диалоговых приложений и генерации ответов на текстовые запросы. Карточка не приводит результаты оценок качества или подробности о целевых сценариях и поддерживаемых языках. Формат весов — Safetensors; для использования доступны Transformers. Условия лицензии в предоставленных данных не указаны.

jaspionjader/fr-7-8b — разговорная языковая модель, созданная разработчиком jaspionjader путём объединения моделей jaspionjader/fct-14-8b и jaspionjader/fr-6-8b методом SLERP с помощью mergekit. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров; заявленное контекстное окно — 131 072 токена. Она предназначена для генерации текста и диалоговых сценариев. Модель принимает текст и выдаёт текст. Данные не описывают её языковое покрытие или специализацию по предметным областям. В метаданных указаны формат safetensors и библиотека Transformers. Сведения о лицензии и конкретных ограничениях качества в предоставленных источниках отсутствуют.

martimfasantos/gemma-2-2b-it-mt-sft-full_sardine — дообученная на наборе sardinelab/MT-pref диалоговая модель на базе google/gemma-2-2b-it. Она предназначена для генерации текста в формате диалога и может использоваться для ответов на запросы и других сценариев общения с языковой моделью. Модель имеет плотную архитектуру Gemma 2, содержит 2,7 млрд параметров, принимает текст и выдаёт текст; максимальная длина контекста — 8192 токена. Репозиторий содержит веса в формате safetensors. Языки и специализация дообучения подробно не описаны. Модель распространяется по лицензии Gemma.

kykim0/gemma-2-2b-tulu-v2-mix — дообученная модель семейства Gemma 2, созданная на основе google/gemma-2-2b. Это плотная языковая модель с 2,7 млрд параметров и контекстом до 8192 токенов, предназначенная для генерации текста и диалоговых сценариев. Модель подходит для продолжения текста и создания чат-приложений на базе компактной языковой модели. README не содержит подробностей о данных дообучения и заявленных сценариях, кроме результата оценки Loss 0.5420. Модель распространяется в формате safetensors по лицензии Gemma.

ferrazzipietro/gemma-3-1b-it-reas-int-065-3-epochs-en — дообученная модель на основе google/gemma-3-1b-it, опубликованная в формате Safetensors и предназначенная для диалогов и генерации текста. Это плотная языковая модель семейства Gemma 3 с 1 млрд параметров и контекстом до 32 768 токенов. Модель можно применять для ответов на запросы и генерации текста в диалоговом формате. README сообщает о дообучении на неизвестном датасете, но не описывает его состав, обучение или результаты оценки; суффикс en в названии сам по себе не подтверждает поддержку английского языка. Лицензия — Gemma.

mlabonne/gemma-3-4b-it-abliterated-v2-GGUF — это версия Gemma 3 4B IT, разработанная mlabonne на базе google/gemma-3-4b-it. Модель представляет собой улучшенный вариант с применением техники abliteration, направленной на уменьшение склонности к отказам в ответах. Распространяется в формате GGUF для запуска в совместимых средах инференса. Модель предназначена для диалоговой генерации текста и сценариев image-text-to-text, то есть может обрабатывать текстовые запросы и, согласно указанной классификации, изображения. Она ориентирована на получение более свободных и менее склонных к отказам ответов при сохранении связности. В README не указаны поддерживаемые языки, размер контекста, точная архитектура, конкретные варианты квантования и аппаратные требования. Ключевое ограничение — ослабление механизмов отказа может повышать риск генерации нежелательного или небезопасного содержания, поэтому модель требует дополнительной фильтрации и контроля при практическом использовании. Рекомендуемые параметры генерации: temperature 1.0, top_k 64 и top_p 0.95. Для abliteration применялась оценка acceptance rate с использованием специализированного тестового набора, словарного подхода и NousResearch/Minos-v1; заявленная цель — показатель выше 90% при сохранении связности ответов. Модель распространяется по лицензии Gemma. Условия лицензии следует учитывать при использовании и распространении производных моделей.

Это GGUF-сборка Gemma-4-12B-it-AEON-Abliterated, подготовленная mradermacher: репозиторий содержит BF16-веса модели с квантованием i1 и imatrix-кванты для самостоятельного создания квантованных вариантов. Базовая модель связана с AEON-7/Gemma-4-12B-it-AEON-Abliterated-K4-BF16. Это диалоговая инструктивная модель семейства Gemma с архитектурой Transformer; карточка указывает на мультимодальные и визуальные возможности исходной модели, хотя основная задача в метаданных — генерация текста. Модель предназначена для диалога и генерации текста, включая следование инструкциям; для работы с изображениями автор указывает на наличие mmproj-файлов в статическом репозитории. В метаданных указан английский язык и лицензия Gemma. Ограничение этого репозитория — часть файлов представлена в форматах квантования с потерями, качество которых зависит от варианта; README не приводит конкретных характеристик контекста и детального описания возможностей.

mlx-community/gemma-4-E4B-it-OBLITERATED-mlx-fp16 — конвертированная в формат MLX версия модели OBLITERATUS/gemma-4-E4B-it-OBLITERATED (v3), созданная сообществом mlx-community. Это плотная модель семейства Gemma 4 для генерации текста и диалогового использования. Метаданные указывают на удаление отказов и позиционирование как uncensored; лицензия — Apache-2.0. Модель предназначена для генерации ответов в диалоге и других текстовых сценариев. README подтверждает конвертацию из исходного репозитория с помощью mlx-lm 0.31.2; файлы репозитория представлены в safetensors. Данные не содержат сведений о размере модели, длине контекста или поддерживаемых языках, поэтому эти характеристики не приводятся.

Gemmasutra-Pro-27B-v1-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Gemmasutra-Pro-27B-v1, разработанной TheDrummer и подготовленной в различных вариантах точности пользователем bartowski. Модель предназначена для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. В репозитории представлены версии от F32 размером 108,91 ГБ до IQ2_M размером 9,40 ГБ. Доступны форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ, позволяющие выбирать компромисс между качеством, потреблением памяти и скоростью работы. Рекомендуемыми обозначены варианты Q4–Q6; более компактные версии подходят для систем с ограниченным объёмом оперативной памяти, но обеспечивают более низкое качество. Модель работает в режиме text-generation, однако сведения об архитектуре, поддерживаемых языках и размере контекстного окна в README не указаны. Для корректного использования требуется указанный формат prompt с маркерами ролей; системный prompt не поддерживается. К преимуществам относятся широкий выбор квантизаций и возможность локального запуска, а основными ограничениями — зависимость качества от выбранного варианта квантизации и отсутствие поддержки системных инструкций. Распространение осуществляется по лицензии CC BY-NC 4.0, то есть с обязательным указанием авторства и ограничениями на коммерческое использование.

Sumail/Goat_Derrick13 — слитая диалоговая языковая модель семейства StableLM, созданная автором репозитория с помощью mergekit и метода SLERP из coffiee/s18 и Sumail/Goat_Derrick12. Модель содержит 1,4 млрд параметров, использует архитектуру StableLmForCausalLM и рассчитана на генерацию текста и чат-взаимодействие с контекстом до 4096 токенов. Модель подходит для диалоговых приложений и генерации текста. README не сообщает о специальных предметных областях или поддерживаемых языках, поэтому их нельзя конкретизировать. Репозиторий распространяет веса в формате safetensors; лицензия в предоставленных данных не указана.

TheBloke опубликовал модель GPlatty-30B-SuperHOT-8K-fp16 — версию GPlatty-30B в формате PyTorch fp16 с объединённым адаптером SuperHOT 30B для увеличения контекста. В основе — плотная авторегрессионная модель семейства LLaMA с примерно 32,3 млрд параметров; заявленная длина контекста составляет 8192 токена. Для работы с расширенным контекстом README указывает необходимость включить trust_remote_code или применить monkey patch с настройками SuperHOT. GPlatty-30B объединяет lilloukas/Platypus-30B и chansung/gpt4-alpaca-lora-30b. Модель предназначена для генерации текста и ответов на запросы на английском языке; опубликованы результаты оценивания на MMLU, ARC и HellaSwag. Репозиторий содержит веса PyTorch fp16, пригодные для GPU-инференса и дальнейших преобразований. README не указывает лицензию репозитория однозначно: метаданные обозначают её как other, а базовые веса LLaMA описаны как распространяемые по специальной некоммерческой лицензии Meta. В карточке отмечены риски токсичных и предвзятых ответов; результаты модели не следует считать проверенными фактами или заменой человеческому суждению.

Kaon 3 CR-5A calibrated minimum — GRPO step 125 — это полно-весовой BF16-чекпойнт модели kaonai, полученный дообучением kaonai/kaon-c-gemma4-26b-v10.1 методом GRPO. Он опубликован как объединённая модель, а не как отдельный адаптер, и предназначен для диалоговой генерации текста.

h2o-danube3-4b-chat — диалоговая языковая модель, разработанная H2O.ai и дообученная для общения на базе h2o-danube3-4b-base с использованием H2O LLM Studio. Она предназначена для генерации ответов в чатах и может запускаться локально, в том числе на телефонах. Модель использует модифицированную архитектуру Llama 2 с 24 слоями, 32 головами внимания и 8 группами запросов; размер составляет около 3,8 млрд параметров. Для токенизации применяется Mistral tokenizer с 32 тысячами токенов. Контекст — до 8192 токенов. Репозиторий содержит веса Safetensors, модель поддерживает работу через Transformers и лицензирована по Apache-2.0. Модель работает с текстом и рассчитана на английский язык. Она может выдавать ошибочные, бессвязные или нерелевантные ответы, а также воспроизводить предвзятое или оскорбительное содержание из обучающих данных.

Huihui4-48B-A4B-abliterated — мультимодальная модель семейства Gemma 4 от huihui.ai для диалогов и генерации ответов по тексту и изображениям. Она использует архитектуру Gemma4ForConditionalGeneration с механизмом Mixture of Experts: около 48 млрд параметров всего, из которых примерно 4 млрд активируются при обработке токена; в каждом слое указано 256 экспертов, из них активируются 8. Модель предназначена для ответов на вопросы, многоходового общения, написания текстов и сценариев image-text-to-text. Она собрана слиянием экспертов Huihui-gemma-4-26B-A4B-it-abliterated и gemma-4-26B-A4B-it-Claude-Opus-Distill; README сообщает, что тонкой настройки после объединения не проводилось. Карточка также указывает, что защитные механизмы ослаблены, поэтому модель может выдавать чувствительный или неподходящий контент. Для загрузки указаны библиотека Transformers и совместимость с версией 5.5.0; для запуска требуется подходящее оборудование, предпочтительно GPU. Лицензия — Apache-2.0. README позиционирует модель как тестовую и экспериментальную возможность объединения моделей, поэтому качество ответов и маршрутизацию экспертов следует проверять на целевых задачах.

DevQuasar/huihui-ai.Qwen2.5-3B-Instruct-abliterated-SFT-GGUF — квантизированная версия модели huihui-ai/Qwen2.5-3B-Instruct-abliterated-SFT, распространяемая в формате GGUF. Согласно карточке, модель предназначена для генерации текста и относится к классу instruction-tuned моделей; разработчик базовой модели — huihui-ai, а квантизированная версия опубликована под брендом DevQuasar. Модель может использоваться в сценариях генерации текста и диалогового взаимодействия, включая локальный запуск с совместимыми инструментами для работы с форматом GGUF. Из доступных данных следует, что базовая модель относится к семейству Qwen2.5 и имеет размер около 3 млрд параметров, однако сведения об архитектуре, поддерживаемых языках, длине контекста, конкретном методе квантизации и характеристиках производительности в README не приведены. К потенциальным преимуществам относятся меньшие требования к ресурсам по сравнению с полноразмерной версией и возможность локального использования. Ограничения модели и качество на конкретных задачах не описаны; также неизвестно, какие именно параметры квантизации применены. Лицензия и условия коммерческого использования в карточке не указаны.

Это GGUF-квантизация MXFP4_MOE модели Huihui-gpt-oss-120b-BF16-abliterated-v2, опубликованная noctrex. Базовая модель — дообученная версия gpt-oss-120b от Huihui AI; вариант предназначен для генерации текста в диалоговом режиме. Репозиторий содержит модель в формате GGUF с квантизацией MXFP4_MOE. Карточка не сообщает дополнительных сведений о поддерживаемых языках, размере контекста или лицензии, поэтому эти характеристики здесь не уточняются.

Huihui-granite-4.0-h-micro-abliterated — версия IBM Granite 4.0 H Micro, изменённая huihui-ai методом abliteration для ослабления отказов на запросы. Это компактная диалоговая языковая модель с архитектурой GraniteMoeHybridForCausalLM и 2,6 млрд параметров; она предназначена для генерации текста и общения через Transformers. Контекст модели составляет до 131 072 токенов. Модель подходит для диалоговых ассистентов и генерации ответов на текстовые запросы. Ослабленная фильтрация безопасности может приводить к чувствительным, спорным или неподходящим ответам, поэтому результаты требуют проверки. Распространяется по лицензии Apache-2.0.

Huihui-MoE-1.2B-A0.6B — языковая модель с архитектурой Mixture of Experts от huihui.ai, созданная на основе Qwen/Qwen3-0.6B. В ней три эксперта на слой, и для каждого токена активируется один; метаданные указывают 507,9 млн параметров, а карточка README приводит приблизительные значения 1,2 млрд общих и 0,6 млрд активируемых параметров. Модель принимает текст и предназначена для генерации, ответов на вопросы и диалоговых приложений. При создании сохранены эмбеддинги, веса внимания и нормализации базовой модели, а MLP-слои заменены MoE-слоями; веса маршрутизатора экспертов инициализированы случайно. Модель не дообучалась после этой замены, поэтому качество маршрутизации может быть неоптимальным; карточка рекомендует дообучение. Заявлен контекст до 40 960 токенов. Формат репозитория — safetensors, библиотека — Transformers; карточка также описывает запуск через Ollama. Лицензия — Apache-2.0.

Huihui-Qwen3.5-4B-abliterated-Athanorlite-ORPO-i1-GGUF — это квантизированная версия модели Huihui-Qwen3.5-4B-abliterated-Athanorlite-ORPO, созданная mradermacher на основе модели nbeerbower. Для обучения или настройки использовался датасет schneewolflabs/Athanorlite-DPO; в метаданных также указана методика ORPO. Модель предназначена для генерации текста и доступна в формате GGUF для локального запуска совместимыми средствами, включая llama.cpp-подобные инструменты. Модель относится к семейству Qwen3.5 и имеет около 4 млрд параметров. В README она обозначена как vision model, поэтому для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория, однако подробности о поддерживаемых визуальных возможностях и контекстном окне не приведены. Указан английский язык. Доступны многочисленные варианты квантизации от IQ1 и Q2 до Q6, различающиеся размером, скоростью и качеством; вариант i1-Q4_K_S отмечен как оптимальный по соотношению размера, скорости и качества. Сильными сторонами являются компактный размер, возможность локального использования и широкий выбор уровней квантизации, позволяющий адаптировать модель к имеющимся ресурсам. Ограничения включают возможное снижение качества у наиболее агрессивных вариантов квантизации, отсутствие в README точных данных о производительности, контекстном окне и языковой поддержке за пределами английского. Лицензия в предоставленных материалах не указана.

Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated — разговорная модель, созданная huihui-ai на основе lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled. Это версия с ослабленным механизмом отказов, полученная методом abliteration; автор называет реализацию грубой проверкой концепции. Модель предназначена для генерации ответов в диалоге и рассуждений. Её можно запускать через Ollama; метаданные также указывают на интерфейс вызова инструментов. В карточке указаны архитектурное семейство Qwen3.5 MoE и формат safetensors. Теги указывают на поддержку английского языка. Размер модели и длина контекста в предоставленных данных не приведены. Снижение защитных отказов может привести к чувствительным, спорным или неподходящим ответам, поэтому результаты следует проверять. Лицензия — Apache-2.0.

Карточка модели q66117593/Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated на Hugging Face совпадает с карточкой huihui-ai/Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated, поэтому описание составлено по ней. Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated — разговорная модель, созданная huihui-ai на основе lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled. Это версия с ослабленным механизмом отказов, полученная методом abliteration; автор называет реализацию грубой проверкой концепции. Модель предназначена для генерации ответов в диалоге и рассуждений. Её можно запускать через Ollama; метаданные также указывают на интерфейс вызова инструментов. В карточке указаны архитектурное семейство Qwen3.5 MoE и формат safetensors. Теги указывают на поддержку английского языка. Размер модели и длина контекста в предоставленных данных не приведены. Снижение защитных отказов может привести к чувствительным, спорным или неподходящим ответам, поэтому результаты следует проверять. Лицензия — Apache-2.0.

ICONOCLAST Qwen2.5 14B — плотная авторегрессионная языковая модель на архитектуре Qwen2ForCausalLM, выпущенная Varesh Patel как часть серии экспериментов по абляции и редактированию представлений. Это дообученная и отредактированная версия Qwen/Qwen2.5-14B-Instruct с весами в формате safetensors и точностью float16; размер модели — 14 млрд параметров, контекст — 32 768 токенов. Модель предназначена для генерации текста и диалогов, а также для изучения того, как целевое редактирование поведения влияет на утечку персональных данных при сохранении общей полезности. В приведённом тесте генерации структурированных персональных идентификаторов утечка снизилась с 77 из 150 запросов у базовой модели до 74 из 150, а результат MMLU сохранился на уровне 79,21%. Это ограниченные результаты конкретных тестов и не гарантируют аналогичного поведения в других сценариях. Модель выпущена по лицензии AGPL-3.0; автор позиционирует её для исследований, воспроизводимости и оценки методов редактирования моделей.

Модель isakovsh/llama-3-8b-chat-srtip GGUF представляет собой квантизированные версии чат-модели на базе Llama 3 с 8 млрд параметров. Исходную модель разработал автор или организация isakovsh, а квантизацию в формате GGUF выполнила команда featherless-ai-quants. В карточке указано назначение для генерации текста и диалоговых сценариев. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0, размером примерно от 3 до 8,1 ГБ. Это позволяет выбирать компромисс между требованиями к памяти, скоростью работы и сохранением качества. Поддерживаются только текстовые входы и выходы; сведения о языках, размере контекста, конкретной архитектуре, обучении и результатах оценки в README не приведены. Модель может применяться для локального запуска и текстового общения при наличии совместимого программного обеспечения для GGUF. К преимуществам относятся широкий выбор уровней квантизации и возможность использования на более ограниченных по ресурсам системах. Ограничения включают потенциальную потерю качества в более агрессивно квантизированных версиях и отсутствие подробных данных о возможностях, языковой поддержке и бенчмарках. Лицензия в карточке не указана.

mahdi1233321/jarvis-qwen-1.5b — дообученная разговорная языковая модель, разработанная mahdi1233321 на базе unsloth/qwen2.5-1.5b-instruct-unsloth-bnb-4bit с использованием Unsloth и библиотеки TRL из Hugging Face. Это плотная авторегрессионная модель семейства Qwen2 с 1,5 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Заявленная длина контекста — 32 768 токенов; модель принимает текст и выдаёт текст. Карточка не описывает специализированную предметную область или конкретные улучшения после дообучения, поэтому модель можно характеризовать только как общий разговорный генератор текста. Репозиторий содержит веса Safetensors; метаданные указывают возможность интерфейса вызова инструментов, но не подтверждают качество выполнения таких вызовов. Модель распространяется по лицензии Apache-2.0.

JustRL-Qwen3-8b-RKLSelective-Top10pct — плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров, опубликованная как чекпойнт экспериментов BiDirect-OPD. Она предназначена для генерации текста в диалоговом формате и рассчитана на контекст до 40 960 токенов. В репозитории доступны основной чекпойнт global_step_300 и более ранние этапы обучения от global_step_20 до global_step_280. Модель подходит для диалоговых ответов и генерации текста с длинным контекстом. README не сообщает о специализированных областях применения или языках обучения. Файлы представлены в формате safetensors; для запуска указана библиотека Transformers. Сведений о лицензии в предоставленных данных нет.

K2-Horizon-7B-Uno — диффузионно-расширенная языковая модель, разработанная IFM. Она объединяет авторегрессионный (AR) путь на основе весов K2-Horizon-7B и диффузионный путь с LoRA-адаптерами в единой архитектуре. Репозиторий содержит только адаптер; веса базовой модели размещены отдельно. Модель предназначена для генерации текста и сценариев, где важны диффузионное декодирование и агентное использование инструментов. В README приведены результаты на бенчмарках τ³ Banking, τ² Telecom, τ² Retail и Terminal-Bench v2.1; среди указанных сравнительных моделей она показывает высокие результаты на задачах Telecom и Retail. Заявлены ускорения генерации, связанные с подходом discrete diffusion, однако конкретные характеристики производительности зависят от способа применения адаптера и базовой модели. Модель относится к семейству размером около 7–8B параметров с архитектурой, сочетающей AR-веса и LoRA-адаптеры для диффузионного пути. Дополнительные сведения о поддерживаемых языках, размере контекста и модальностях в README не указаны. Лицензия — Apache-2.0.

KangalKhan-RawRuby-7B — разговорная текстовая модель, созданная Yuma42 путём слияния моделей KangalKhan-Ruby-7B-Fixed и KangalKhan-RawEmerald-7B с помощью LazyMergekit. Она предназначена для генерации текста в формате диалога и ответов на вопросы; в README приведён пример шаблона ChatML и результаты оценок на Open LLM Leaderboard. Модель основана на плотной архитектуре Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. В метаданных указан английский язык. Репозиторий содержит веса SafeTensors; README также упоминает варианты GGUF. Лицензия — Apache-2.0. Автор сообщает, что некоторые варианты GGUF могут изредка выдавать опечатки, и рекомендует в таком случае использовать вариант Q4_K_S. Оценки из таблиц README не гарантируют качество на конкретных пользовательских запросах.