II.1Анализ требований и архитектура ПО

Cypher-Mini-1.8B — экспериментальная разговорная языковая модель, созданная дообучением h2oai/h2o-danube-1.8b-chat разработчиком aloobun на Hercules v3 и частном наборе данных. Это плотная Mistral-архитектура для генерации текста с примерно 1,7 млрд параметров и контекстом до 16 384 токенов. Модель предназначена для диалогов и генерации ответов на текстовые запросы. В карточке приведён пример ответа с объяснением логической ошибки, но результаты бенчмарков ещё не представлены. Модель выпущена в формате safetensors и распространяется по лицензии Apache-2.0.

wh-zhu/DeepSeek-R1-Distill-Qwen-1.5B-InRa — текстовая генеративная модель на архитектуре Qwen2 с 1,6 млрд параметров. Метаданные указывают на возможность диалога и контекстное окно до 131072 токенов. Модель дообучена на базе wh-zhu/DeepSeek-R1-Distill-Qwen-1.5B-CLM и предназначена для генерации текста в формате чата. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия обозначена как other; конкретные условия по имеющимся данным определить нельзя.

Deita 7B V1.0 — языковая модель, выпущенная проектом Deita для изучения автоматического отбора данных для настройки инструкций. Это дообученная с помощью SFT и DPO модель Mistral-7B-v0.1: она обучалась на 6 тысячах автоматически отобранных примеров для выравнивания ответов и 10 тысячах случайно выбранных предпочтений из Ultrafeedback. Модель содержит 7,1 млрд параметров, использует архитектуру Mistral и поддерживает контекст до 32 768 токенов. Модель рассчитана прежде всего на диалоговые инструкции и ответы на вопросы на английском языке; при обучении применялся шаблон vicuna_v1.1. Её можно использовать для генерации ответов ассистента и исследовательских экспериментов по настройке инструкций и выравниванию моделей. Репозиторий распространяется под лицензией Apache-2.0. Карточка приводит сравнительные результаты на нескольких бенчмарках, но не раскрывает в доступном фрагменте полную таблицу; качество ответов в конкретных сценариях следует оценивать отдельно.

MergedQwen2-0.5B0.1 — объединённая методом DELLA модель семейства Qwen2, созданная с помощью mergekit на основе Qwen2-0.5B и debias_Qwen2-0.5B. Это компактная плотная авторегрессионная языковая модель примерно на 494 млн параметров для генерации текста и диалогового взаимодействия. В метаданных указан контекст длиной до 131 072 токенов. Модель принимает текст и генерирует текст; её можно использовать для диалогов и других задач генерации. Веса опубликованы в формате safetensors и предназначены для Transformers. В README приведена конфигурация слияния, включая плотность 0,5 и параметр epsilon 0,1. Лицензия в предоставленных материалах не указана.

laion/delphi-2e20-p67m33-k0p20-lr83-a001-wc386k_lr1e5-sft — разговорная языковая модель семейства Qwen3 с плотной архитектурой Qwen3ForCausalLM и 1,7 млрд параметров. Она принимает текст и генерирует текст; заявленный контекст — 4096 токенов. Модель обучена с нуля на наборах wildchat_386k и delphi_warmup, а карточка также отмечает возможность диалога. Модель предназначена для генерации ответов в диалогах и других сценариев текстовой генерации. В репозитории указаны веса Safetensors и библиотека Transformers. Лицензия обозначена как other; конкретные условия использования в доступных данных не раскрыты.

Это диалоговая модель генерации текста семейства Qwen3, опубликованная LAION. Согласно карточке, модель обучена с нуля на наборах данных Magpie и delphi_warmup. Она предназначена для генерации текста в чат-сценариях. Модель содержит 315,9 млн параметров, использует плотную архитектуру Qwen3ForCausalLM и принимает контекст длиной до 4096 токенов. Файлы весов представлены в формате safetensors; для работы указана библиотека Transformers. Лицензия обозначена как other, поэтому условия использования следует проверять в репозитории модели.

Discord-Micae-Hermes-3-3B-i1-GGUF — квантизированная GGUF-версия текстовой causal language model Discord-Micae-Hermes-3-3B. Базовую модель разработал mookiezi, а квантизацию выполнил mradermacher. Модель основана на архитектуре семейства Llama 3, содержит около 3 млрд параметров и предназначена для генерации текста, инструктивного взаимодействия и диалоговых сценариев, включая использование в чат-ботах и conversational AI. Обучение или дообучение связано с набором данных mookiezi/Discord-OpenMicae и применением merged LoRA. Модель поддерживает английский язык и работает с текстовой модальностью; сведения о размере контекстного окна в README не указаны. Репозиторий предоставляет множество вариантов GGUF-квантизации с разным компромиссом между размером, скоростью и качеством, включая imatrix-кванты. Это позволяет запускать модель на более ограниченных ресурсах, однако низкобитные варианты могут заметно снижать качество генерации. Рекомендуемые в README варианты — i1-Q4_K_M и i1-Q4_K_S; конкретные требования к оборудованию и дополнительные ограничения не указаны. Лицензия обозначена как llama3.

DistilQwen3-1.7B-uncensored — компактная плотная языковая модель семейства Qwen3 с 1,7 млрд параметров, опубликованная в серии DistilQwen автора reaperdoesntknow и портфеле Convergent Intelligence. Это модель для генерации текста и диалогового общения; она основана на reaperdoesntknow/Qwen3-1.7B-Distilled-30B-A3B и, согласно карточке, входит в серию дистилляции знаний. В метаданных указана поддержка контекста до 40 960 токенов и формат safetensors. Карточка описывает серию как proof-weighted knowledge distillation с учителем Qwen3-30B-A3B и упоминает акцент на сохранении структуры рассуждений. Однако конкретные возможности именно этой версии и значение пометки uncensored подробно не раскрыты, а README в основном состоит из шаблонных полей без сведений о данных, оценках качества и сценариях применения. Языки и лицензия не указаны, поэтому условия распространения по имеющимся данным определить нельзя.

Это диффузионная языковая модель Dream на 7,1 млрд параметров, дообученная с помощью register-токенов для рассуждений с ограниченным состоянием. Фиксированный набор register-токенов переносит состояние рассуждения между фрагментами генерации: текст предыдущих фрагментов можно очищать, сохраняя значения регистров, чтобы продолжать работу после сброса контекста. Модель предназначена для генерации текста и диалоговых сценариев; заявлен интерфейс вызова инструментов. Максимальная длина контекста по метаданным — 131 072 токена. Модель построена на архитектуре Dream и распространяется в формате safetensors. В README указано, что примеры кода и инференса доступны в связанном GitHub-репозитории. Данные о языковой специализации, лицензии и известных проблемах качества в предоставленных материалах отсутствуют.

Это набор файлов модели в формате GGUF, подготовленный featherless-ai-quants на основе дообученной Edgerunners/meta-llama-3-8b-instruct-hf-ortho-baukit-5fail-3000total-bf16. Модель относится к семейству Llama 3, имеет архитектуру языковой модели для генерации текста и поддерживает диалоговый режим. В репозитории представлены варианты квантования Q8_0, Q4_K_S и Q2_K; метаданные также указывают вариант GGUF BF16. Модель предназначена для генерации текста и ведения диалогов. Размер контекста и поддерживаемые естественные языки в предоставленных данных не описаны. Квантованные варианты занимают примерно 3–8 ГБ, что позволяет выбирать компромисс между размером файла и точностью весов. Репозиторий указывает на базовую модель и производное дообучение, однако конкретные возможности и ограничения этого дообучения не раскрыты. Лицензия в предоставленных данных не указана.

Dohyeon1/ERNIE-HC-SMoE-ngroups48 — языковая модель для генерации текста, опубликованная на Hugging Face и совместимая с библиотекой Transformers. По метаданным модель содержит 3,3 млрд параметров, относится к семейству ERNIE 4.5 MoE и использует архитектуру sparse mixture-of-experts с 48 группами, что отражено в её идентификаторе и тегах. Нативная длина контекста составляет 131 072 токена. Модель предназначена для генерации продолжений текста и диалоговых сценариев; тег conversational указывает на возможность применения в разговорных интерфейсах. Её можно использовать через Transformers для построения чат-ботов, генерации ответов и обработки длинных текстовых контекстов. В README отсутствуют сведения о разработчике, поддерживаемых естественных языках, лицензии, обучающих данных, результатах оценки и специальных ограничениях, поэтому эти характеристики нельзя подтвердить.

a111311/ex1_p1 — языковая модель для генерации текста, размещённая на Hugging Face и совместимая с библиотекой Transformers. В метаданных она отмечена как модель семейства Gemma с архитектурой размером 2,5 млрд параметров и контекстом до 8192 токенов. Модель предназначена для продолжения текста и генерации ответов по заданному запросу, поэтому может использоваться в чат-ботах, прототипах текстовых интерфейсов, автоматическом написании черновиков и экспериментах с генеративными моделями. Поддерживаемые естественные языки, разработчик, точная конфигурация, данные обучения и лицензия в доступных материалах не описаны.

Experiment26Yam_AlloyingotneoyYam — объединённая модель для генерации текста, созданная на основе automerger/Experiment26Yam-7B и automerger/AlloyingotneoyYam-7B. Она построена на плотной архитектуре Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель подходит для генерации продолжений текста и диалоговых ответов на основе текстового ввода. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Сведения о поддерживаемых языках и специализированных областях в карточке отсутствуют.

MaziyarPanahi/Experiment26Yam_Experiment27Inex12 — объединённая модель семейства Mistral для генерации текста. Она создана слиянием моделей automerger/Experiment26Yam-7B и automerger/Experiment27Inex12-7B. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Её можно применять для генерации продолжений текста и диалоговых ответов на текстовые запросы. Модель опубликована в формате Safetensors под лицензией Apache-2.0. Данных о специализированных предметных областях или языках в предоставленных источниках нет.

bunnycore/Falcon3-3B-RP-V0.1 — объединённая языковая модель, созданная с помощью mergekit методом passthrough на основе huihui-ai/Falcon3-3B-Instruct-abliterated и bunnycore/falcon-3-3B-Rp-lora_model. В метаданных архитектура указана как плотная модель семейства Llama с классом LlamaForCausalLM; размер — 2,8 млрд параметров, формат весов — safetensors, контекст — до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. В карточке заявлен интерфейс для вызова инструментов, однако подробные инструкции по его использованию и примеры диалогов не приведены. Карточка не сообщает о поддерживаемых естественных языках или специализированных областях применения. Лицензия в предоставленных данных не указана. Качество, ограничения и безопасность ответов отдельно не описаны; результаты следует проверять в соответствии с предполагаемым сценарием использования.

Fireball-3.1-8B-ORPO-GGUF — квантованная версия текстовой генеративной модели Fireball-3.1-8B-ORPO, разработанной EpistemeAI и подготовленной в формате GGUF пользователем bartowski. Модель основана на архитектуре семейства Llama, содержит около 8 миллиардов параметров и предназначена для генерации текста на английском языке. Исходная модель обучалась с использованием SFT и ORPO на датасете reciperesearch/dolphin-sft-v0.1-preference. Модель подходит для локального инференса и сценариев, связанных с диалогами и генерацией текста, включая запуск через llama.cpp и LM Studio. В репозитории доступны варианты от F16 до низкобитных квантований Q2–Q8, что позволяет выбирать баланс между качеством, объёмом памяти и скоростью работы. Рекомендуемыми указаны варианты Q4–Q6; некоторые форматы Q4_0 дополнительно оптимизированы для CPU и ARM. К сильным сторонам относятся широкий выбор квантований, возможность локального запуска и сохранение высокого качества в вариантах Q5–Q8. Ограничения включают отсутствие указанного в README формата промпта, неизвестный размер контекста и отсутствие сведений о мультимодальности; по имеющимся данным модель предназначена только для работы с текстом. Лицензия указана как Llama 3.1, с дополнительной ссылкой на файл LICENSE.

flammen22X-mistral-7B — слитая текстовая модель семейства Mistral, созданная flammenai методом Model Stock с помощью mergekit. В слиянии использованы flammenai/flammen18X-mistral-7B, ChaoticNeutrals/Nyanade_Stunna-Maid-7B-v0.2, KatyTheCutie/LemonadeRP-4.5.3 и SanjiWatsuki/Kunoichi-DPO-v2-7B; базой для слияния служила nbeerbower/flammen22C-mistral-7B. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста, включая диалоги и ответы на запросы. Данных о специализированной предметной области или поддерживаемых естественных языках в карточке нет. Модель распространяется под лицензией Apache-2.0. Качество и поведение унаследованы от компонентов слияния; отдельных оценок или сведений о проверках в карточке нет.

tanatapanun/flan-t5-2048-input-1-epochs — дообученная модель Google FLAN-T5-small с архитектурой T5ForConditionalGeneration и 45,8 млн параметров. Она предназначена для генерации текста по входному тексту и может применяться к широкому кругу NLP-задач, поддерживаемых базовой FLAN-T5, например к кратким ответам и преобразованию текста. Модель принимает текст и генерирует текст; заявленная длина контекста — 4096 токенов. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. В карточке приведены результаты оценки: loss 3,7962, ROUGE-1 0,0398, ROUGE-2 0,0089 и ROUGE-L 0,0346. Датасет дообучения обозначен как None, поэтому назначение и качество именно этой настройки по карточке уточнить нельзя.

MaziyarPanahi/Franken-MoE-18B-v0.1 — языковая модель семейства Mixtral с архитектурой смеси экспертов (MoE), представленная в формате Safetensors и предназначенная для генерации текста. Карточка приводит пример запроса о плюсах и минусах Docker, поэтому модель можно использовать для ответов на вопросы и объяснений на эту тему. Метаданные указывают 7,1 млрд параметров, контекст до 32 768 токенов и лицензию Apache-2.0. Карточка не уточняет языки обучения или оценки качества, поэтому пример про Docker не подтверждает особую специализацию модели в программировании или поддержку конкретных языков.

freewheelin/free-evo-qwen72b-v0.8-re — языковая модель для генерации текста, построенная на архитектуре Qwen2. В карточке описан экспериментальный процесс: дообучение одной из моделей с общей архитектурой, слияние моделей и повторная оценка с целью улучшить средний результат на Open LLM Leaderboard. Для версии от 4 мая 2024 года указана средняя оценка 81,28; среди приведённых показателей — ARC 79,86 и HellaSwag 91,32. Модель содержит 71 млрд параметров, принимает текст и рассчитана на контекст до 32 768 токенов. Метаданные указывают английский язык и библиотеку Transformers; файлы опубликованы в формате safetensors. Модель подходит для генерации текста и экспериментального сравнения ответов на бенчмарковые задания. Лицензия — MIT. README сообщает, что при создании использованы несколько моделей на базе Qwen2 и их слияние, но не приводит точные идентификаторы базовых репозиториев. Поэтому базовая модель не устанавливается точнее семейства Qwen2.

Gemma-3-it-4B-Uncensored-DBL-X-GGUF — GGUF-квантизированная версия инструкционной модели на базе Gemma 3 4B, разработанная DavidAU на основе модели Google Gemma 3 4B Instruct. По данным README, модель модифицирована для снижения цензурных ограничений с сохранением следования инструкциям; также заявлено добавление четырёх слоёв. Это текстовая generative-модель для диалогов, общего назначения, решения задач и головоломок, мозгового штурма, ролевых сценариев, творческого письма, генерации сюжетов и сцен, включая материалы для взрослой аудитории и графический хоррор. Заявлен контекст до 128 тысяч токенов и поддержка английского языка. Модель доступна в формате GGUF с различными вариантами квантования: для творческих задач рекомендуются IQ4XS, IQ4NL и Q4s, для общего использования — q5s, q6 и q8, а Q4_0 и Q5_0 подходят для портативных устройств; также упомянуты Q8_0 и F16 для максимального качества. README не содержит точных данных о числе параметров сверх базового размера 4B, производительности и поддерживаемых модальностях, поэтому модель следует рассматривать как текстовую. Сильными сторонами заявлены длинный контекст, сохранение instruction following после модификации и гибкость применения — от обычного чата до ролевых и художественных сценариев. Ограничения включают возможные отказы без специальной настройки, вариативность результатов между квантами и чувствительность к параметрам генерации; модель содержит нецензурный и потенциально графический контент и не предназначена для всех аудиторий. Лицензия указана как Apache-2.0.

igorls/gemma-4-12B-it-heretic-GGUF — это квантизированная версия модели igorls/gemma-4-12B-it-heretic, созданной на основе Google Gemma-4-12B-it с использованием инструмента Heretic. Модель предназначена для генерации текста, включая диалоги, ролевые сценарии и творческое письмо, и распространяется в формате GGUF для запуска через llama.cpp и Ollama. Модель содержит около 12 млрд параметров и имеет гибридный режим с поддержкой рассуждений (thinking) и прямых ответов (non-thinking). Для наиболее стабильной работы, ролевых сценариев и творческих задач рекомендуется отключать thinking, поскольку рассуждения расходуют лимит токенов и могут привести к обрезанию итогового ответа. Доступны варианты квантизации Q4_K_M размером около 7,4 ГБ, рекомендуемый для систем с 8–12 ГБ видеопамяти, и Q8_0 размером около 12,7 ГБ, обеспечивающий качество, близкое к исходному. Ключевая особенность модели — удаление исходных ограничений безопасности и отказов: по данным README, она не демонстрирует genuine refusals на проверенных вредоносных запросах, сохраняя при этом небольшое отклонение от оригинальной модели. Это расширяет диапазон допустимых ответов, но повышает риски небезопасного или незаконного применения; ответственность за использование несёт пользователь. Языки, размер контекста и мультимодальные возможности в предоставленных данных не указаны. Лицензия — Gemma; применяются условия лицензии базовой модели Google.

EZForever/gemma-4-31B-it-qat-uncensored-heretic-UDmerge-GGUF — мультимодальная модель класса image-text-to-text на базе Gemma 4 31B-it. Она создана как merge-модель: объединяет компоненты unsloth/gemma-4-31B-it-qat-GGUF и llmfan46/gemma-4-31B-it-qat-q4_0-unquantized-uncensored-heretic с использованием изменённых, «abliterated» тензоров. Модель предназначена для диалогов, генерации текста и обработки изображений совместно с текстом; для мультимодальной работы требуются файлы mmproj и для поддержки MTP — соответствующий файл mtp от Unsloth. Доступны варианты UDmerge-Q4_K_XL и UDmerge-Q4_K_XXL в формате GGUF. Размеры составляют примерно 17,3 и 18,0 ГБ соответственно. В варианте Q4_K_XL изменённые тензоры квантизуются в Q4_0, а в Q4_K_XXL — в Q8_0; второй вариант, по данным автора, заметно улучшает показатель отказов при почти неизменной скорости генерации, но требует больше памяти. В README не указаны поддерживаемые языки и размер контекстного окна. Сильными сторонами заявлены сохранение качества после квантизации, поддержка мультимодальности и более низкая склонность к отказам в сравнении с исходными моделями. Приведённые результаты зависят от варианта и методики тестирования: для UDmerge-Q4_K_XL указаны 85,83% на MMLU-val и 34% отказов, для UDmerge-Q4_K_XXL — 84,19% и 20% соответственно. Автор предупреждает, что результаты тестов отказов могут быть неточными, а модель создана при значительной помощи LLM и предлагается к использованию на усмотрение пользователя. В метаданных указана лицензия Apache-2.0.

Это экспериментальная мультимодальная модель семейства Gemma 4 E4B Instruct от DavidAU: базовая модель Google Gemma 4 E4B Instruct была декензурирована и умеренно дообучена с помощью Unsloth на закрытом наборе данных рассуждений Claude Opus 4.5. Модель предназначена для диалога и генерации ответов с режимом рассуждений; шаблоны чата позволяют использовать режим instruct или принудительно включённый режим thinking. В README заявлена длина контекста до 128 тысяч токенов. Архитектура — плотная Gemma4ForConditionalGeneration; репозиторий содержит веса Safetensors. В метаданных основная задача указана как any-to-any, а базовая модель описана как мультимодальная, поддерживающая анализ изображений и обработку аудио. Лицензия — Apache-2.0. Автор приводит предварительные внутренние бенчмарки, но отмечает, что статистика ещё собирается; качество и безопасность ответов не гарантированы, а данные дообучения закрыты.

HelpingAI/hai3.1-checkpoint-0002 — языковая модель HelpingAI с плотной архитектурой и 14 млрд параметров, представленная как контрольная точка обучения. Модель предназначена для генерации текста и диалогового использования; заявлен интерфейс для вызова инструментов. Контекстное окно составляет 40 960 токенов, веса опубликованы в формате safetensors. В README указано, что модель ещё обучается, а её слои собраны из нескольких моделей и выровнены постобучением после слияния. Полностью готовы только разделы LLM и классификации, поэтому возможности и качество могут быть неполными или нестабильными. Репозиторий использует лицензию с пометкой other; конкретные условия по имеющимся сведениям определить нельзя.

Hathor_Sofit-L3-8B-v1-GGUF — это GGUF-квантизации текстовой генеративной модели Hathor_Sofit-L3-8B-v1, разработанной Nitral-AI и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска и генерации текста; README рекомендует использовать её, в частности, через LM Studio. Указан английский язык и формат взаимодействия с system-, user- и assistant-сообщениями на основе специального шаблона prompt. Модель относится к классу примерно 8B-параметрических текстовых моделей, однако точная архитектура, размер контекста и дополнительные характеристики в README не указаны. Доступны варианты от F32 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3, Q2 и IQ, что позволяет выбирать между качеством и требованиями к памяти: старшие варианты обеспечивают качество, близкое к исходным весам, а младшие уменьшают размер, но могут заметно снижать качество. Для некоторых вариантов embedding- и output-веса сохраняются в формате Q8_0, что потенциально улучшает результат. Основные преимущества — локальная работа, широкий выбор размеров файлов и совместимость с экосистемой llama.cpp. Ограничения включают возможное ухудшение качества на низких уровнях квантизации, отсутствие сведений о контекстном окне, обучающих данных, результатах оценки и мультимодальности. Лицензия указана как other, без дополнительных условий в представленном README.

DevQuasar/huihui-ai.Qwen3-14B-abliterated-GGUF — это квантизированная версия модели huihui-ai/Qwen3-14B-abliterated в формате GGUF. Модель предназначена для генерации текста и локального запуска в совместимых инструментах вывода. В основе лежит Qwen3-14B-abliterated с заявленным размером 14 млрд параметров. README не содержит сведений о конкретном варианте квантизации, архитектурных деталях, поддерживаемых языках, длине контекста или доступных модальностях, поэтому эти характеристики нельзя определить достоверно. Сильной стороной является возможность использовать более компактное представление базовой модели, однако качество и требования к ресурсам зависят от выбранного уровня квантизации. Модель опубликована под идентификатором DevQuasar, а исходной моделью указана huihui-ai/Qwen3-14B-abliterated. Лицензия и условия использования в README не указаны.

Карточка модели hypaai/Hypa-Llama-SNAC-ASR-run2-colab-16bit на Hugging Face совпадает с карточкой hypaai/Hypa-Llama-SNAC-ASR-run1-colab-16bit, поэтому описание составлено по ней. Hypa-Llama-SNAC-ASR-run1-colab-16bit — дообученная hypaai модель генерации текста на архитектуре Llama, созданная на базе hypaai/Hypa-Llama3.1-8b-SFT. В репозитории указаны 7,6 млрд параметров, контекст 2048 токенов и формат safetensors; обучение проводилось с Unsloth и библиотекой TRL. Модель предназначена для диалоговой генерации текста и работы с интерфейсом вызова инструментов. Название содержит SNAC и ASR, однако карточка не описывает распознавание речи или аудиовход, поэтому подтвердить такие сценарии по предоставленным данным нельзя. Указана лицензия Apache-2.0.

INTELLECT-2-GGUF — это набор файлов модели в формате GGUF для текстовой генерации, созданный на основе оригинальной модели PrimeIntellect/INTELLECT-2. Исходную модель разработала PrimeIntellect, а конвертацию и квантованные варианты подготовил MaziyarPanahi. Модель предназначена для запуска задач генерации текста локально или через совместимые серверные и программные инструменты. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими приложениями, включая варианты с ускорением на GPU. В репозитории указаны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. README не содержит сведений об архитектуре, числе параметров, поддерживаемых языках, длине контекста, модальностях, результатах оценки или конкретных сильных и слабых сторонах исходной модели. Лицензия также не указана, поэтому условия использования по этим данным определить нельзя.

Josiefied-Qwen3-4B-Instruct-2507-gabliterated-v2 — диалоговая языковая модель Goekdeniz-Guelmez, созданная на основе Qwen/Qwen3-4B-Instruct-2507. Модель семейства Qwen3 с плотной архитектурой Qwen3ForCausalLM содержит 3,7 млрд параметров и принимает текстовые инструкции и сообщения, генерируя текстовые ответы. Заявленная длина контекста — до 262 144 токенов. Модель дообучена с изменением поведения отказов, чтобы давать менее ограниченные ответы, сохраняя следование инструкциям и использование инструментов. Автор также заявляет о настройке личности и юмора. Её можно применять для диалогов, генерации текста и задач с инструкциями. Репозиторий использует формат safetensors и библиотеку MLX; автор упоминает отдельные варианты GGUF и AWQ. Лицензия в предоставленных данных не указана.