II.6Документация и сопровождение разработки
В разделе собраны самостоятельные задачи, где AI помогает поддерживать понятную техническую документацию и ускорять передачу знаний. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
38 015 моделейCelestial-Order-24B-V2.5 — языковая модель Sorihon, полученная слиянием предварительно обученных моделей методом DARE TIES с помощью mergekit. В качестве базовой использована Sorihon/Celestial-Order-24B-V2, также в слияние включена Delta-Vector/Rei-24B-KTO. Модель построена на плотной архитектуре Mistral с 23,4 млрд параметров и рассчитана на генерацию текста и чат. Её можно применять для диалогов и творческого письма; контекстное окно составляет до 131 072 токенов. Модель доступна в формате safetensors и используется через Transformers. Лицензия в предоставленных данных не указана. Сведения о поддерживаемых естественных языках и конкретных ограничениях качества отсутствуют.
ChatML-Nemo-Pro-V2 — объединённая языковая модель, опубликованная пользователем win10. Она создана методом TIES с помощью mergekit на базе shuttleai/shuttle-2.5-mini с включением cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b. Модель построена на плотной архитектуре MistralForCausalLM и содержит 12,1 млрд параметров. Модель предназначена для генерации текста и диалогового общения. Метаданные указывают контекстное окно до 1 024 000 токенов; в карточке также отмечена поддержка чата. README не описывает отдельные специализированные сценарии или языки, поэтому модель можно характеризовать только как универсальную языковую модель для генерации текста и диалога. В репозитории указаны веса в формате safetensors. Лицензия в предоставленных данных не указана.
Модель thuyduongjoe123/checkpoints_vi_km_logit — компактная языковая модель для генерации текста на базе семейства Qwen3. Она опубликована в формате, совместимом с библиотекой Transformers, и содержит около 1,7 млрд параметров. Модель относится к классу conversational и предназначена для диалоговой генерации и других сценариев text-generation. Модель может использоваться для создания черновиков текста, продолжения заданных фрагментов, генерации ответов в диалогах и прототипирования приложений на базе языковых моделей. Максимальная заявленная длина контекста составляет 40 960 токенов, что позволяет обрабатывать достаточно длинные входные последовательности. В README отсутствуют сведения о разработчике, языках, лицензии, данных обучения, методике дообучения и результатах оценки. Поэтому перед применением в продуктивных системах необходимо самостоятельно проверить поддерживаемые языки, качество на целевых данных, корректность диалогового поведения и условия распространения модели.
Chronorctypus-Limarobormes-13b — объединённая инструкциями дообученная языковая модель от chargoddard. Она создана слиянием пяти моделей на базе TheBloke/Llama-2-13B-fp16 по методике Resolving Interference When Merging Models, чтобы сохранить больше возможностей исходных моделей, чем при обычном линейном слиянии. Модель построена на плотной архитектуре Llama, содержит 12,9 млрд параметров и рассчитана на контекст до 4096 токенов. Модель предназначена для генерации ответов и выполнения инструкций в формате Alpaca: запрос передаётся в секции Instruction, ответ начинается после Response. В README автор сообщает, что модель показалась ему достаточно способной, и приводит результаты оценки на наборе тестов Open LLM Leaderboard. Модель использует формат safetensors. README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.
Модель mcikalmerdeka/cikal_merdeka_corp-qwen3-8b-merged — дообученная разговорная языковая модель на архитектуре Qwen3, разработанная mcikalmerdeka на основе unsloth/Qwen3-8B-unsloth-bnb-4bit с использованием Unsloth и библиотеки TRL. Она предназначена для генерации текста и диалоговых сценариев; также репозиторий поддерживает интерфейс вызова инструментов. Модель содержит 7,6 млрд параметров и рассчитана на контекст до 40 960 токенов. В карточке указан английский язык. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Карточка не описывает специализированную предметную область, конкретные результаты оценки качества или ограничения применения; это дообученная модель общего назначения, и её ответы следует проверять в задачах, где важна точность.
davanstrien выпустил текстовую Sentence Transformer-модель, дообученную на базе microsoft/mpnet-base для сравнения сходства предложений и фрагментов кода. Она преобразует текст в плотные векторы размерностью 768 и оценивает сходство по косинусной мере. Максимальная длина входной последовательности — 512 токенов; модель рассчитана на английский язык и распространяется по лицензии Apache-2.0. Модель предназначена для поиска семантически похожего кода и текста, поиска перефразировок, кластеризации, классификации и семантического поиска. В README приведена оценка cosine_accuracy 0,934 на наборе code-similarity-dev. Это результат конкретной оценки, а не гарантия качества на других данных.
Codepy-Deepthink-3B — дообученная модель PrithivMLmods на базе meta-llama/Llama-3.2-3B-Instruct для генерации текста с акцентом на рассуждения, логическую структуру и решение задач. Она предназначена для диалогов, пошаговых объяснений, помощи в программировании, учебных задач и творческого письма. Модель использует плотную архитектуру Llama с 3,2 млрд параметров и поддерживает контекст до 131 072 токенов. Карточка указывает английский язык; формат весов — safetensors. Лицензия — CreativeML OpenRAIL-M. В README приведён пример генерации пароля, но он помечен как неприменимый, поэтому качество выполнения конкретных задач программирования по карточке подтвердить нельзя.
CoEvol-ChatGPT_Mistral-7B-v0.1_SFT — языковая модель CAS-SIAT-ConsistencyAI на архитектуре Mistral, дообученная методом SFT на наборе coevol-chatgpt_multi_deita6k. Она предназначена для генерации текста и диалоговых сценариев. Модель содержит 7,1 млрд параметров, принимает текст и рассчитана на контекст до 32 768 токенов. Модель основана на mistralai/Mistral-7B-v0.1 и распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает результаты оценки, конкретные сильные стороны или ограничения, поэтому качество ответов и пригодность для отдельных задач требуют проверки.
Cognix 1 Flash — текстовая модель семейства LFM2, созданная LuxAI на основе дообучения LiquidAI/LFM2.5-2.6B-Base. Это плотная авторегрессионная модель на 2,6 млрд параметров для генерации текста, диалога и задач с кодом. Репозиторий содержит объединённую модель в формате BF16; обучение выполнялось методом SFT с LoRA, после чего веса были объединены. Контекстное окно — до 128 000 токенов по метаданным; максимальная длина обучающих примеров составляла 32 768 токенов. Модель рассчитана на диалоговое использование и сценарии, где нужно генерировать или дополнять код. Для вызова инструментов предусмотрен формат, совместимый с исходным шаблоном чата; генерируемые вызовы следует исполнять только через разрешённый список функций. В карточке указаны английский и чешский языки. Количественные оценки качества и гарантии не заявлены. Практическая надёжность вызова инструментов, качество на чешском и поведение на длинном контексте требуют дополнительной оценки. Полные контексты до 32 тысяч токенов могут быть непрактичны на телефонах с 8 ГБ памяти. Применяются условия LFM Open License v1.0 базовой модели и производной; модель не распространяется под Apache-2.0.
ColorShadow-7B-v3 — разговорная языковая модель на архитектуре Mistral, созданная nlpguy слиянием Gradient-SLERP моделей ColorShadow-7B и Terminis-7B с помощью mergekit. Она предназначена для генерации текста в диалогах и других сценариях, где требуется продолжать текстовый запрос. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. В карточке приведены результаты бенчмарков AI2 Reasoning Challenge и HellaSwag, однако они не гарантируют качество на прикладных задачах. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.
Citaman/command-r-34-layer — merge языковой модели на архитектуре CohereForCausalLM, созданный с помощью mergekit методом SLERP из Citaman/command-r-35-layer. Репозиторий содержит веса Safetensors в формате bfloat16; модель имеет 30 млрд параметров и контекст до 8192 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Метаданные также указывают интерфейс вызова инструментов, поэтому её можно использовать в приложениях, которые передают модели запросы к инструментам. В карточке описано объединение диапазонов слоёв одной базовой модели; дополнительных сведений о качестве и специальных сценариях нет. Лицензия в предоставленных данных не указана. Практические ограничения: контекст ограничен 8192 токенами, а качество и поведение после слияния в карточке не оценены.
vicgalle/Configurable-Mistral-7B — диалоговая языковая модель на архитектуре Mistral, опубликованная пользователем vicgalle на Hugging Face и дообученная на наборе configurable-system-prompt-multitask. Она предназначена для генерации текста в формате чата с настраиваемыми системными инструкциями и выполнения связанных с ними задач. Модель содержит около 7,1 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. В карточке не уточнены поддерживаемые языки и результаты оценки качества. Модель распространяется по лицензии Apache-2.0.
CORTEX — большая языковая модель Frankenstein-Labs для программирования, веб-разработки, обучения и общего ассистирования. В репозитории опубликован чекпойнт архитектуры DeepseekV4ForCausalLM с 44,9 млрд параметров по метаданным Hugging Face; README также приводит другое число параметров, поэтому точный размер расходится между источниками. Метаданные указывают формат safetensors FP8, библиотеку Transformers и контекст до 1 048 576 токенов. Заявлены генерация и объяснение кода, помощь с проектированием и анализом программ, поиск ошибок и разбор технических концепций; поддерживаемые языки в метаданных — французский, английский и китайский. Чекпойнт требует нескольких ускорителей и актуальной версии Transformers с поддержкой deepseek_v4; однографическая конфигурация не документирована. Полная загрузка и качество генерации Frankenstein-Labs не проверялись, поэтому заявленные сценарии следует считать предназначением, а не подтверждёнными результатами. Встроенная экспериментальная vision-адаптация не работает на полном чекпойнте и не делает его мультимодальной моделью. README описывает распределённые веса как опубликованный артефакт, а отдельный конвейер обучения собственных весов с нуля — как независимую работу; связь текущего чекпойнта с базовой моделью не подтверждена. Лицензия — MIT.
sasa2000/cosmos-reason2-2b-text-only — неофициальная текстовая версия NVIDIA Cosmos-Reason2-2B, подготовленная автором репозитория sasa2000. Это плотная причинная языковая модель Qwen3ForCausalLM: из исходной мультимодальной модели оставлены языковой блок и выходной слой lm_head, а компоненты обработки изображений и видео удалены. В метаданных указано 1,7 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации текста и диалогового использования. Она загружается через Transformers как Qwen3ForCausalLM; README сообщает об успешной загрузке и проверочном прямом проходе. В отличие от исходной Cosmos-Reason2-2B, этот чекпойнт не принимает изображения или видео и не включает соответствующие процессоры и проектор. Репозиторий помечен лицензией other; конкретные условия README не приводит. Это производный чекпойнт, созданный не NVIDIA, поэтому перед использованием следует проверить условия исходной модели и репозитория.
CrowQwen3.5 4B Agent Heretic GGUF — компактная локальная агентная сборка от dawncr0w на базе Qwen/Qwen3.5-4B. Модель предназначена для текстовой генерации в llama.cpp-совместимых средах и ориентирована на заметки по программированию, планы рефакторинга, разбор ошибок, рабочие процессы с shell-командами и двуязычные технические запросы на корейском и английском языках. Модель содержит около 4 млрд параметров и распространяется в формате GGUF с 31 вариантом квантования — от Q1_0 до F16. В шаблоне чата заявлена поддержка форматирования вызовов инструментов, что делает сборку подходящей для локальных агентных сценариев. Рекомендуемый сбалансированный вариант — Q4_K_M; более высокие уровни квантования сохраняют больше точности, а низкие требуют меньше памяти. Размеры файлов варьируются примерно от 0,97 до 7,85 GiB. Сильными сторонами являются компактность, возможность локального запуска, ориентация на задачи разработки и поддержка корейских, английских и программных запросов. Ограничения включают отсутствие заявленных benchmark-результатов: приведённые smoke-проверки подтверждают только локальную загрузку и короткую генерацию. Качество и требования к памяти зависят от выбранного варианта квантования. Модель распространяется по лицензии Apache 2.0.
csg-wukong-1B-chat-v0.1 — разработанная OpenCSG чат-модель, полученная дообучением csg-wukong-1B. Она предназначена для диалоговой генерации текста и может применяться в чат-ботах и других сценариях, где требуется генерировать ответы на текстовые запросы. Модель построена на плотной архитектуре Llama и содержит около 1 млрд параметров; заявленная длина контекста — 32 768 токенов. В карточке также отмечена возможность работы с кодом. Модель представлена в формате safetensors и распространяется по лицензии Apache-2.0. В README приведены сведения об обучении и оценке исходной csg-wukong-1B на open_llm_leaderboard, но отдельные результаты оценки чат-версии не указаны.
Cybertron v4 qw7B MGS — диалоговая плотная трансформерная модель на 7,1 млрд параметров, разработанная fblgit и основанная на Qwen2.5-7B-Instruct. Она дообучена методом SFT на датасете Magpie-Align/Magpie-Qwen2.5-Pro-1M-v0.1 и предназначена для генерации текста и ответов в диалоге; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает английский язык и имеет заявленную длину контекста 131 072 токена. В карточке автор заявляет высокие результаты в классе моделей 7B–8B и приводит оценки Open LLM Leaderboard, включая 62,64 на IFEval и 37,04 на BBH; эти результаты относятся к указанной автором оценке. Для модели указана лицензия other, поэтому условия использования следует сверить с лицензией и файлами репозитория. В README упоминается подход MGS, но его расшифровка и подробности не раскрыты.
d3LLM-Dream — диффузионная языковая модель, разработанная командой d3LLM. Это дообученная версия Dream-org/Dream-v0-Instruct-7B с 7,1 млрд параметров, предназначенная для генерации текста и диалогов. Модель использует дистилляцию псевдотраекторий при обучении и энтропийное многоблочное декодирование при выводе, чтобы ускорить генерацию с параллельной обработкой токенов. Модель ориентирована на математические рассуждения и программирование. В README заявлена скорость до 235,34 токена/с на H100 на GSM8K-CoT; также сообщается об ускорении относительно авторегрессионной Qwen-2.5-7B в 4,5 раза на H100 и в 2,5 раза на A100. Метаданные указывают контекст до 131 072 токенов, поддержку чата и интерфейс для вызова инструментов. Модель распространяется в формате safetensors по лицензии Apache-2.0.
trollek/danube2-1.8b-Neural — диалоговая языковая модель, созданная дообучением H2O.ai Danube 2 с помощью BAdam и SFT на наборе mlabonne/orpo-dpo-mix-40k. Она предназначена для генерации текста в формате беседы с шаблоном ChatML и может использоваться для ответов на инструкции и поддержания диалога. Модель построена на плотной архитектуре MistralForCausalLM, содержит 1,7 млрд параметров и поддерживает контекст до 8192 токенов. Модель принимает текст и генерирует текст; в метаданных указан английский язык. Репозиторий распространяется по лицензии Apache-2.0. README не приводит результатов оценки качества, поэтому соответствие ответов конкретным требованиям следует проверять на целевых примерах.
Darwin-4B-Opus — языковая модель для диалога и рассуждений, созданная VIDRAFT с помощью движка Darwin V6. Это слияние Google Gemma 4 E4B Instruct и модели Gemma-4-E4B-Claude-4.6-Opus-Reasoning-Distilled; при слиянии DARE-TIES применялись диагностически подобранные коэффициенты для отдельных тензоров. Модель использует архитектуру Gemma4ForConditionalGeneration с MoE, содержит около 4 млрд параметров и представлена в формате BF16 и safetensors. Модель предназначена для ответов на вопросы, рассуждений, программирования, математики и анализа на одном потребительском GPU. В README заявлены контекст 128 тыс. токенов и поддержка более 140 языков; метаданные карточки перечисляют английский, корейский, японский и китайский. Архитектура базовой модели поддерживает изображения и аудио, однако README не описывает эти сценарии для Darwin-4B-Opus. В README приведён результат 82,92% на ARC-Challenge в режиме zero-shot; авторы отмечают, что проверка здоровья модели не проводилась. Модель распространяется по лицензии Apache 2.0. Фактическое качество на других задачах и мультимодальная работа в карточке не подтверждены.
DeepSeek-R1-0528-Qwen3-8B — плотная языковая модель семейства Qwen3, разработанная DeepSeek. Это версия Qwen3 8B, дообученная на цепочках рассуждений DeepSeek-R1-0528; число параметров составляет 7,6 млрд. Модель предназначена для диалогов и генерации текста с акцентом на многошаговые рассуждения, математику, программирование и логические задачи. В метаданных указаны интерфейс для вызова инструментов и контекст до 131 072 токенов. По описанию разработчика, модель улучшает результаты Qwen3 8B на AIME 2024 и сопоставима с Qwen3-235B-thinking в этой оценке. README также отмечает пригодность для академических исследований рассуждающих моделей и разработки компактных моделей. Модель принимает и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Лицензия — MIT, допускающая широкое использование в соответствии с её условиями.
DeepSeek-R1-0528-Qwen3-8B-MLX-4bit — это 4-битно квантованная версия модели DeepSeek-R1-0528-Qwen3-8B, разработанной deepseek-ai. Квантование выполнено командой LM Studio с использованием mlx_lm и формата MLX, ориентированного на работу на устройствах с Apple Silicon. Модель предназначена для генерации текста и связанных с ней языковых сценариев. README не содержит сведений о точном числе параметров, поддерживаемых языках, размере контекста, модальностях или специализированных ограничениях исходной модели. Ключевое преимущество версии — уменьшенный размер благодаря 4-битному представлению и оптимизация для Apple Silicon; при этом квантование может снижать точность по сравнению с исходной моделью, а применение вне экосистемы MLX и Apple Silicon может быть ограничено. Модель распространяется по лицензии MIT.
unsloth/DeepSeek-R1-Distill-Qwen-1.5B — компактная языковая модель от Unsloth на архитектуре Qwen2, дообученная на примерах рассуждений, созданных DeepSeek-R1. Она предназначена для генерации текста и диалоговых сценариев, особенно для решения задач по математике, программированию и логическим рассуждениям. Модель содержит 1,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель принимает текст и генерирует текст; в метаданных также отмечен интерфейс для вызова инструментов. В README описано семейство DeepSeek-R1-Distill, обученное на открытых моделях, включая Qwen, однако точная базовая модель этого репозитория указана в метаданных как deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B. Репозиторий распространяется по лицензии MIT. README рекомендует следовать настройкам запуска семейства для ожидаемого качества.
DeepSeek-R1-Distill-Qwen-32B — плотная языковая модель с 32 млрд параметров, разработанная DeepSeek путём дообучения Qwen2.5 на примерах рассуждений, сгенерированных DeepSeek-R1. Она предназначена для генерации текста в диалогах и решения задач, требующих многошаговых рассуждений, в частности по математике и программированию. Модель построена на архитектуре Qwen2 и поддерживает контекст до 131 072 токенов. В README сообщается о сильных результатах на бенчмарках рассуждений, математики и кода; эти результаты не гарантируют аналогичного качества на других задачах. Для модели указана лицензия MIT.
ZZichen/DeepSeek-V2-Lite — текстовая языковая модель семейства DeepSeek-V2, представленная в карточке как базовая модель для генерации и диалогов. Архитектура использует Multi-head Latent Attention (MLA) для сжатия KV-кэша и разреженные MoE-слои DeepSeekMoE. В README указаны 15,7 млрд параметров, из которых для каждого токена активируется 2,4 млрд; модель имеет 27 слоёв. Метаданные каталога при этом оценивают общий размер в 2,5 млрд параметров. Модель предназначена для продолжения текста и диалогового взаимодействия на английском и китайском языках, включая ответы на вопросы и генерацию текста. README сообщает результаты на англоязычных и китайских бенчмарках и описывает контекст 32 тыс. токенов; метаданные указывают нативный контекст 163 840 токенов. Для инференса в BF16 авторы указывают требование одной GPU с 40 ГБ памяти. В репозитории представлены веса safetensors; README также описывает запуск через Transformers и рекомендует vLLM для более эффективного инференса. Лицензионные условия в предоставленных данных не указаны.
DeepSeek-V4-Flash-0731 EXTENSOR — производный артефакт на основе DeepSeek-V4-Flash-0731 от deepseek-ai для генерации текста. Это файл весов в формате GGUF с исходной квантизацией MXFP4 Tile16; его размер — около 155,8 млрд байт. Артефакт содержит только целевую модель, без спекулятивного модуля DSpark. Для запуска требуется EXTENSOR версии 2.0.0. Файл несовместим с llama.cpp. Лицензия — MIT. В карточке не описаны специальные прикладные области или поддерживаемые языки.
netcat420/DEFUNCT-EXPERIMENT2_2 — слитая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES на основе Qwen/Qwen2.5-Math-7B с добавлением весов DeepSeek-R1-Distill-Qwen-7B и Qwen2.5-Coder-Scholar-7B-Abliterated-MFANN-Slerp-Unretrained. Модель содержит 7,1 млрд параметров, использует формат safetensors и рассчитана на контекст до 4096 токенов. Модель предназначена для генерации текста и диалогов; состав базовых моделей указывает на сценарии с математическими рассуждениями и программированием. В метаданных также отмечен интерфейс вызова инструментов. Языки обучения или поддерживаемые естественные языки в доступных данных не определены. Это экспериментальный merge, поэтому качество и устойчивость поведения могут отличаться от исходных моделей. Лицензия в предоставленных данных не указана.
DistHermYam-7B-ties — текстовая генеративная модель, созданная codegood путём объединения моделей yam-peleg/Experiment21-7B и eren23/DistilHermes-2.5-Mistral-7B методом TIES с LazyMergekit. В конфигурации указан NousResearch/Hermes-2-Pro-Mistral-7B как базовая модель слияния; архитектура — плотная MistralForCausalLM на 7,1 млрд параметров, веса опубликованы в формате safetensors. Контекстное окно составляет 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев на основе Mistral и Hermes. Карточка не описывает отдельные специализированные области или подтверждённый набор языков; базовая модель в каталоге ориентирована на английские диалоги, генерацию текста и ответы на вопросы. В метаданных лицензия не указана, поэтому условия использования по карточке определить нельзя.
argilla/distilabeled-Marcoro14-7B-slerp — языковая модель Argilla, полученная методом DPO дообучения базовой модели mlabonne/Marcoro14-7B-slerp на наборе пар предпочтений argilla/distilabel-intel-orca-dpo-pairs. Это плотная Mistral-модель с 7,1 млрд параметров, предназначенная для генерации текста и общих языковых задач; заявленная длина контекста — 32 768 токенов. Карточка приводит результаты на нескольких языковых бенчмарках, однако они не гарантируют аналогичного качества в конкретном приложении. Модель принимает текст и генерирует текст; в метаданных указан английский язык. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение.
Dolphin 2.6 Mistral 7B GGUF — это квантизированная версия языковой модели Dolphin 2.6 Mistral, разработанной Cognitive Computations и преобразованной в формат GGUF компанией Second State Inc. Модель основана на cognitivecomputations/dolphin-2.6-mistral-7b и предназначена для локального запуска в приложениях и сервисах, поддерживающих GGUF, включая LlamaEdge. Модель относится к текстовым языковым моделям, работает на английском языке и поддерживает контекст до 4096 токенов. Для взаимодействия используется шаблон ChatML. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 3,08 до 7,7 ГБ. Вариант Q4_K_M заявлен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S обеспечивают меньшее снижение качества при большем размере. К сильным сторонам относятся возможность локального развертывания, широкий выбор уровней квантования и адаптация для диалоговых и инструкционных сценариев. Ограничения включают англоязычную специализацию, контекст в 4096 токенов и неизбежную потерю качества при более агрессивном квантовании; вариант Q2_K прямо не рекомендуется для большинства задач. Модель распространяется по лицензии Apache-2.0.