II.2Создание и понимание программного кода
В разделе собраны самостоятельные задачи, где AI помогает писать, объяснять и связывать программный код с требованиями и существующей системой. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
21 443 моделиКарточка модели localized-ft/OLMo-3-7B-school-of-reward-hacks-last-third-sft-seed4 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.
OpenAssisted-English-Mistral-7b-i1-GGUF — это квантизированная версия англоязычной языковой модели OpenAssisted-English-Mistral-7b, разработанной Akshaykumarbm и преобразованной в формат GGUF пользователем mradermacher. Модель относится к семейству Mistral и предназначена для генерации текста, диалогового взаимодействия и других задач языкового моделирования на английском языке. Репозиторий содержит набор вариантов квантизации i1 с разным размером — примерно от 1,7 до 6,0 ГБ, а также imatrix-файл для создания собственных квантов. Доступны варианты IQ и Q с различным компромиссом между размером, скоростью и качеством. В README рекомендуются i1-Q4_K_M как быстрый вариант и i1-Q4_K_S как сбалансированный по размеру, скорости и качеству; низкобитные варианты экономят память, но могут заметно уступать по качеству. Точная архитектура, размер контекста, поддерживаемые модальности помимо текста и дополнительные языки не указаны. Модель распространяется по лицензии Apache-2.0. Для работы с файлами GGUF требуется совместимое программное обеспечение; конкретные требования к оборудованию и производительности зависят от выбранного варианта квантизации.
OpenOrca Platypus2 13B — языковая модель для генерации текста, созданная Open-Orca на базе архитектуры Llama и дообученная с использованием наборов данных Open-Platypus и OpenOrca. Модель предназначена для задач следования инструкциям, диалогового взаимодействия и общего текстового вывода на английском языке. В README указано 13 миллиардов параметров и поддержка конвейера text-generation. Представлена в формате GGUFv2, что позволяет использовать её через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие. Доступны варианты квантизации с разной разрядностью, предназначенные для инференса на CPU и GPU; конкретные требования к памяти зависят от выбранного файла. Рекомендуемый шаблон запроса — Alpaca-InstructOnly с секциями «### Instruction» и «### Response». Размер контекста в README не указан. К сильным сторонам относятся локальный запуск, широкий выбор квантизированных вариантов и совместимость с экосистемой GGUF. Ограничения включают ориентацию на английский язык, отсутствие сведений о поддержке других модальностей и неуказанные показатели качества. Модель заявлена под лицензией CC BY-NC 4.0; поскольку она основана на Llama 2, также применяются условия лицензии Meta Llama 2, поэтому необходимо учитывать возможные ограничения некоммерческого использования и двойного лицензирования.
Danleon56/qwen2.5-7b-chioma-sft-merged — разговорная модель генерации текста, разработанная Danleon56 путём дообучения unsloth/Qwen2.5-7B-Instruct-bnb-4bit с использованием Unsloth и библиотеки Hugging Face TRL. Модель построена на плотной архитектуре Qwen2 с 7,1 млрд параметров и рассчитана на диалоговое взаимодействие и генерацию текста; метаданные также указывают интерфейс вызова инструментов. Контекстное окно составляет 32 768 токенов, основной указанный язык — английский. Модель подходит для чат-ботов и генерации ответов на текстовые запросы. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0. Карточка не описывает специальную предметную область или ограничения качества, поэтому пригодность для конкретных задач следует оценивать на собственных примерах.
jeffmeloy/Qwen2.5-7B-olm-v1.0 — текстовая модель на архитектуре Qwen2 с 7,1 млрд параметров, основанная на Qwen/Qwen2.5-7B и представленная как результат оптимизированного объединения слоёв. Подход Optimized Layer Merging (OLM) подбирает слои из нескольких языковых моделей, последовательно оценивая варианты на заданных наборах данных по метрикам, включая perplexity и exact match. Модель предназначена для генерации текста и диалогового взаимодействия; заявленный контекст составляет 131 072 токена. Метаданные указывают интерфейс вызова инструментов. В карточке описан метод сборки гибридной модели, но не приведены результаты оценки качества этой конкретной версии или подробности о наборах данных. Распространяется в формате Safetensors по лицензии Apache-2.0.
Qwen3.6-35B-A3B-MLX-8bit — 8-битная квантованная версия модели Qwen3.6-35B-A3B, разработанной Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для запуска на устройствах с Apple Silicon. В метаданных она обозначена как модель для задач image-text-to-text, однако подробные сведения о поддерживаемых языках, размере контекста и архитектуре в README не приведены. Модель предназначена для локального использования в сценариях, где требуется генерация текста на основе текстового и, вероятно, визуального ввода. Ключевые преимущества — 8-битное представление, уменьшающее требования к памяти по сравнению с полной точностью, и оптимизация под экосистему Apple Silicon. Ограничения включают зависимость от совместимого оборудования и отсутствие в предоставленных данных подробных характеристик производительности, языковой поддержки и качества на конкретных задачах. Модель распространяется по лицензии Apache-2.0.
DreamFast/qwen3-8b-heretic — модифицированная версия языковой модели Qwen/Qwen3-8B, созданная сообществом DreamFast с использованием Heretic v1.2.0. Метод abliteration уменьшает склонность модели к отказам при сохранении качества исходной модели; по приведённым данным, модель отказала в 13 из 100 тестовых запросов против 100 из 100 у оригинала, а KL-дивергенция составила 0,0838. Модель предназначена для генерации текста, диалоговых сценариев и использования в качестве текстового энкодера для моделей генерации изображений, в частности Klein 9B в ComfyUI. Модель содержит около 8 млрд параметров и поддерживает работу через Transformers, llama.cpp и ComfyUI. Указан английский язык. Доступны версии в формате BF16, а также квантованные варианты FP8, INT8, INT4, NVFP4, MXFP8 и GGUF с различными уровнями точности и требованиями к памяти. Полноразмерная версия занимает около 16 ГБ, а рекомендуемая версия GGUF Q4_K_M — около 5 ГБ. Квантованные варианты используют SVD-guided learned rounding, что должно уменьшать ошибку восстановления по сравнению с обычным округлением. Сильной стороной модели является снижение числа отказов при относительно небольшом отклонении от базовой Qwen3-8B, а также широкий выбор форматов для разного оборудования. Ограничения включают наследование ограничений базовой модели, возможное ухудшение поведения из-за abliteration и различия в производительности квантованных форматов; NVFP4 и MXFP8 лучше всего подходят для видеокарт NVIDIA Blackwell, хотя поддерживается программная деквантизация на более старых GPU. Модель распространяется по лицензии Apache-2.0.
Карточка модели dwivedula/Samrudh-3-Brahma-7B на Hugging Face совпадает с карточкой dwivedula/Samrudh-2-Brahma-7B, поэтому описание составлено по ней. Samrudh-2-Brahma-7B — дообученная dwivedula языковая модель на архитектуре Qwen2 для генерации текста и диалогов. Она основана на unsloth/Qwen2.5-7B-Instruct-bnb-4bit и обучалась с использованием Unsloth и библиотеки TRL от Hugging Face. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Её можно использовать для диалогового взаимодействия и генерации ответов; в метаданных также указана поддержка интерфейса вызова инструментов. Карточка модели не уточняет специальные предметные области или дополнительные возможности дообучения. Модель распространяется по лицензии Apache-2.0. Качество и ограничения, специфичные для этого дообучения, в карточке не описаны.
Модель yuhengtu-bytedance/sfm_filtered_midtrain_alignment-2k_3k_4k_5k_6k_simpleavg_merge — объединённая языковая модель, опубликованная пользователем yuhengtu-bytedance. Она получена методом Linear merge с помощью mergekit из пяти предобученных чекпойнтов на шагах 2000, 3000, 4000, 5000 и 6000; в README чекпойнт global_step6000 указан как базовый для слияния. Модель построена на архитектуре GPT-NeoX, содержит 8,8 млрд параметров и имеет контекстное окно 16 384 токена. Модель предназначена для генерации текста и диалогового общения. Её можно использовать для построения чат-интерфейсов и приложений, которым требуется генерировать ответы на текстовые запросы. Данные не описывают специальные предметные области или поддерживаемые естественные языки, поэтому их нельзя надёжно указать. Модель опубликована в формате safetensors; сведения о лицензии в предоставленных источниках отсутствуют.
Silero VAD MLX — модель обнаружения речевой активности, преобразованная сообществом mlx-community из onnx-community/silero-vad в формат MLX. Она принимает аудиофайл и возвращает временные отметки речевых фрагментов, в том числе в секундах. Модель предназначена для выделения речи в аудиозаписях и может использоваться как этап предварительной обработки аудио.
SuperNeuralDreadDevil-8b — объединённая авторегрессионная языковая модель от BoltMonkey на архитектуре Llama, созданная методом DARE-TIES из NeuralDaredevil-SuperNova-Lite-7B-DARETIES-abliterated и DreadMix. В конфигурации указан NousResearch/Meta-Llama-3.1-8B-Instruct как базовая модель; веса сохранены в формате bfloat16. Метаданные указывают 7,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогового общения. Её можно применять для ответов на вопросы, написания и продолжения текстов, а также для интерактивных сценариев на основе чата. Карточка не описывает конкретные языки или специализированные предметные области. Модель распространяется под лицензией, указанной в метаданных Hugging Face; в предоставленных метаданных она отсутствует.
T3qm7xpStrangemerges_32-7B — автоматическое слияние языковых моделей, созданное Maxime Labonne с помощью MergeKit. В карточке указана конфигурация DARE-TIES, объединяющая nlpguy/T3QM7XP и Gille/StrangeMerges_32-7B-slerp; метаданные каталога связывают модель с Gille/StrangeMerges_32-7B-slerp. Модель построена на архитектуре Mistral с плотной декодерной архитектурой и содержит 7,1 млрд параметров. Она предназначена для генерации текста и принимает контекст длиной до 32 768 токенов. Файлы опубликованы в формате safetensors; лицензия — Apache 2.0. Карточка не приводит сведения о поддерживаемых естественных языках или специализированных областях применения.
testllm-c2-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая модель, созданная MaziyarPanahi методом SLERP из Mistral-7B-Instruct-v0.2 и Kiddyz/testllm-c2. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в формате диалога. Она принимает текст и поддерживает контекст до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и генерации текстов по запросу. В карточке указана лицензия Apache-2.0. Данных о специализированной предметной области или языках модели нет.
Cybertron 7B v2 — плотная авторегрессионная языковая модель семейства Mistral, разработанная juanako.ai и представленная автором Xavier M. Модель насчитывает 7,1 млрд параметров и создана на основе Mistral с применением SFT, DPO и метода UNA (Uniform Neural Alignment); в карточке указаны обучающие наборы fblgit/tree-of-knowledge, Open-Orca/SlimOrca-Dedup и ultrafeedback_binarized_cleaned. Модель предназначена для диалогов и генерации текста по инструкциям. Она подходит для ответов на вопросы, рассуждений, задач на логику и математику, а также для создания прозы, стихов и шуток. Заявленная длина контекста — 32 768 токенов; автор рекомендует форматы ChatML или Alpaca System. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. Карточка сообщает о высоких результатах на Open LLM Leaderboard, однако приведённые там оценки относятся к снимку конца 2023 года и не являются гарантией качества на других задачах. Модель генерирует текст и может ошибаться или выдавать недостоверные ответы; сведения о поддержке языков явно не перечислены.
UwU-1 — объединённая языковая модель на 32 млрд параметров, опубликованная пользователем estrogen. Она создана методом TIES с помощью mergekit на основе Qwen/Qwen2.5-32B и включает веса EVA-UNIT-01/EVA-Qwen2.5-32B-v0.2 и Qwen/QwQ-32B-Preview. Модель использует архитектуру Qwen2 для генерации текста и диалогов, поддерживает контекст до 131 072 токенов и доступна в формате safetensors. Модель предназначена для генерации текста и диалогового взаимодействия. Карточка указывает на интерфейс вызова инструментов, однако не описывает его настройку или качество. Лицензия в предоставленных данных не указана.
azizshaw/vp_merged — дообученная языковая модель разработчика azizshaw на базе unsloth/llama-3.2-3b-instruct-unsloth-bnb-4bit. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 3,2 млрд параметров; карточка указывает контекст длиной до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Метаданные отмечают интерфейс вызова инструментов; README сообщает, что обучение проводилось с Unsloth и библиотекой TRL. Указан английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает специализацию дообучения и не приводит результатов оценки качества, поэтому пригодность для конкретных предметных задач следует проверять отдельно.
aijadugar/wisprflow-clone-llm — языковая модель для генерации текста, размещённая на Hugging Face и предназначенная для использования через библиотеку Transformers. По метаданным модель относится к семейству Qwen2 и имеет около 7,1 млрд параметров, поддерживает контекст длиной до 32 768 токенов и распространяется в формате Safetensors. Модель может применяться для диалоговой генерации ответов, продолжения текста, создания черновиков и других сценариев, основанных на text-generation. В метаданных также указан conversational-тег, поэтому модель ориентирована на работу с многошаговыми текстовыми взаимодействиями. README не содержит сведений о разработчике, лицензии, языках, обучающих данных и результатах оценки.
YamshadowInex12_ShadowYam — объединённая языковая модель на базе архитектуры Mistral, созданная из automerger/YamshadowInex12-7B и automerger/ShadowYam-7B. Она предназначена для генерации текста и может использоваться в задачах, где требуется продолжать или создавать текст по запросу. Модель содержит 7,1 млрд параметров, принимает текст и выдаёт текст, а длина контекста составляет до 32 768 токенов. Опубликована в формате Safetensors под лицензией Apache 2.0.
MaziyarPanahi/YamshadowStrangemerges_32_Multi_verse_modelExperiment28 — объединённая методом слияния модель семейства Mistral с плотной архитектурой и 7,1 млрд параметров. Она создана для генерации текста и принимает контекст длиной до 32 768 токенов. Модель объединяет automerger/YamshadowStrangemerges_32-7B и automerger/Multi_verse_modelExperiment28-7B. Репозиторий содержит веса в формате safetensors. Языковая специализация и отдельные прикладные области в карточке не описаны. Лицензия — Apache-2.0. Карточка не сообщает о специальных ограничениях применения или известных слабых сторонах; качество и поведение могут зависеть от запроса и сценария использования.
YetAnotherMerge-v0.7a — объединённая диалоговая языковая модель, созданная автором Nohobby с помощью mergekit. Она предназначена для генерации текста и ведения диалогов. Модель использует плотную архитектуру MistralForCausalLM и содержит 12,1 млрд параметров; в карточке указано контекстное окно до 1 024 000 токенов. Для объединения применён метод della, базой послужила Nohobby/YetAnotherMerge-v0.3, также включены Epiculous/Crimson_Dawn-V0.1 и nbeerbower/mistral-nemo-gutenberg-12B-v3. Модель подходит для диалоговых ответов и свободной генерации текста. Веса доступны в формате safetensors. Языки и специальные предметные области в предоставленных материалах не обозначены. Лицензия в доступных данных не указана.
Это контрольная точка модели Qwen2 на 7,1 млрд параметров в формате Hugging Face Safetensors, подготовленная для загрузки через Transformers как причинная языковая модель. Репозиторий содержит резервную копию исследовательского артефакта; README не описывает отдельную прикладную специализацию или результаты обучения. Модель предназначена для генерации текста и диалогового взаимодействия. Метаданные указывают контекст до 16 384 токенов и интерфейс вызова инструментов. Данные не уточняют языковое покрытие, точную базовую модель или лицензию, поэтому их нельзя установить по доступной карточке.
SERA-8B-GA-GGUF — набор GGUF-квантизированных версий языковой модели SERA-8B-GA, разработанной allenai и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio, koboldcpp, Jan AI и Text Generation Web UI. В основе лежит модель размером 8B параметров; доступны варианты от BF16 до низкоразрядных Q2–Q8 и IQ-квантизаций. Размер файлов составляет примерно от 3,37 до 16,39 ГБ. Квантизация выполнена с использованием llama.cpp и imatrix, что позволяет выбирать баланс между качеством генерации, потреблением памяти и скоростью работы. Для общения используется шаблон с маркерами ролей system, user и assistant. Сильная сторона набора — широкий выбор форматов для запуска на оборудовании с разным объёмом памяти: версии Q6 и Q5 ориентированы на высокое качество, Q4 подходят как компромиссный вариант, а Q3 и Q2 — для систем с ограниченной RAM, хотя качество у них ниже. Модель является текстовой, сведения о поддерживаемых языках, длине контекста, специализированных возможностях и результатах оценки в README не указаны. Лицензия также не указана; условия использования следует уточнять в карточке исходной модели allenai/SERA-8B-GA.
BlackSheep-5B — плотная авторегрессионная языковая модель семейства Llama, созданная TroyDoesAI с помощью слияния SLERP через mergekit. В объединении использованы TroyDoesAI/Llama-3.2-4B и TroyDoesAI/BlackSheep-RAG-4B; базовой моделью в конфигурации указана TroyDoesAI/Llama-3.2-4B. В репозитории представлены веса safetensors, библиотека для работы — Transformers. Модель предназначена для генерации текста и диалогового взаимодействия; интерфейс также предусматривает вызов инструментов. Размер модели — 4,6 млрд параметров, заявленная длина контекста — 131 072 токена. Карточка не описывает конкретные языки, качество на отдельных задачах или условия лицензии, поэтому их нельзя установить по доступным данным.
Модель разработана bhaviktheslider и представляет собой дообученную версию Qwen2 для преобразования неструктурированного текста в JSON по заданной схеме. Она предназначена для извлечения иерархических данных из руководств, документов с вопросами и ответами и других текстовых источников с соблюдением структуры и правил JSON Schema. Модель имеет плотную архитектуру Qwen2ForCausalLM и содержит 1,5 млрд параметров; для адаптации применялась LoRA. Она работает с текстом, поддерживает контекст до 32 768 токенов и доступна для использования через Transformers. Лицензия — Apache-2.0. Карточка показывает примеры структурированного извлечения и интеграции, но не приводит количественных оценок качества. Результат следует проверять на соответствие схеме и точности извлечённых значений.
hlo-world/dolphin-2.1-mistral-7b-tgi — это перепакованная версия ehartford/dolphin-2.1-mistral-7b для запуска через Text Generation Inference. Репакер исправил проблему с индексами добавленных токенов и включил веса в формате safetensors, чтобы упростить развёртывание. В основе — плотная авторегрессионная модель Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; модель работает с текстом и поддерживает диалог в формате ChatML. Модель обучена на датасетах Dolphin и Airoboros 2.2.1 и предназначена для генерации текста и ответов в диалоге на английском языке. В README она описана как модель без встроенных ограничений на содержание, поэтому перед предоставлением пользователям может потребоваться собственный слой выравнивания и модерации. Лицензия Apache 2.0 допускает коммерческое и некоммерческое использование.
Карточка модели rbinrs/Dolphin-Mistral-24B-Venice-Edition на Hugging Face совпадает с карточкой dphn/Dolphin-Mistral-24B-Venice-Edition, поэтому описание составлено по ней. Dolphin Mistral 24B Venice Edition — разговорная модель общего назначения, созданная в совместном проекте Dolphin и Venice.ai на основе Mistral-Small-24B-Instruct-2501. Это плотная модель семейства Mistral 3 с 24 млрд параметров, представленная в формате safetensors и рассчитанная на работу через Transformers; для развёртывания авторы рекомендуют vLLM. Модель предназначена для диалогов и выполнения инструкций в приложениях, где владелец задаёт системный промпт и самостоятельно определяет стиль и правила ответов. Авторы позиционируют её как менее ограниченную настройками поведения, чем обычные коммерческие чат-модели, и сообщают, что она используется как модель Venice Uncensored. В карточке указан стандартный шаблон чата Mistral; авторы рекомендуют низкую температуру генерации, например 0,15. Модель принимает текст и генерирует текст. README не сообщает поддерживаемые естественные языки и длину контекста. Репозиторий распространяется по лицензии Apache-2.0. Модель ориентирована на управляемое поведение, однако её следование инструкциям зависит от системного промпта и параметров генерации; заявленная сниженная цензура означает, что ответы могут включать потенциально вредный или неподходящий контент.
jaspionjader/dp-5-8b — объединённая языковая модель, созданная разработчиком jaspionjader из предварительно обученных моделей jaspionjader/dp-4-8b и jaspionjader/f-9-8b. Для слияния применён метод SLERP с помощью mergekit; архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия, принимает текст и выдаёт текст. Родная длина контекста составляет 8192 токена. Модель опубликована в формате safetensors и рассчитана на использование через Transformers. Карточка не сообщает специализированной предметной области или языкового профиля, поэтому её можно описать как модель общего назначения. Лицензия в предоставленных данных не приведена.
Experiment26Neuralsirkrishna_OgnoShadow — объединённая модель Mistral с 7,1 млрд параметров, созданная на основе automerger/Experiment26Neuralsirkrishna-7B и automerger/OgnoShadow-7B. Она предназначена для генерации текста и диалогов, где требуется языковая модель с контекстом до 32 768 токенов. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Данных о специализированной предметной области или поддерживаемых языках в карточке нет.
Experiment26Neuralsirkrishna_YamOgno — объединённая модель Mistral, созданная слиянием automerger/Experiment26Neuralsirkrishna-7B и automerger/YamOgno-7B. Она предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом до 32 768 токенов. Модель содержит 7,1 млрд параметров и распространяется в формате safetensors по лицензии Apache 2.0. Карточка не описывает специальные предметные области или дополнительные возможности.
PollardWeights/gemma-4-12B-it-Pollard — квантизированная GGUF-версия модели google/gemma-4-12B-it, подготовленная PollardWeights с использованием llama.cpp и метода Pollard Weights. Модель содержит около 11,9 млрд параметров, использует архитектуру gemma4_unified и предназначена для генерации текста и диалоговых сценариев. Она поддерживает текстовые, визуальные и аудиовходы; заявленный язык — английский. В README приведены измерения качества при контексте 2048 токенов, но максимальная длина контекста не указана. Модель рассчитана на локальный запуск в llama.cpp и совместимых приложениях, включая Ollama, LM Studio, koboldcpp, Jan и ramalama. Доступны варианты с разным соотношением размера и точности: IQ2_XXS размером 4,64 ГБ, IQ4_XS размером 6,78 ГБ и Q6_K размером 9,65 ГБ. Квантизация использует распределение битов по чувствительности отдельных слоёв и калибровку imatrix, что позволяет существенно уменьшить требования к памяти; наиболее точным из представленных вариантов является Q6_K, а IQ2_XXS — самым компактным, но с заметно более высоким perplexity. Ограничения включают снижение качества по сравнению с f16, отсутствие данных о широком тестировании и проверку измерений на одной машине. Распространяется по лицензии Apache-2.0, унаследованной от базовой модели.