II.6Документация и сопровождение разработки

lmstudio-community/gpt-oss-20b-MLX-8bit — 8-битная квантованная версия модели gpt-oss-20b, разработанной OpenAI. Квантование выполнено командой LM Studio с использованием MLX и библиотеки mlx_lm; модель оптимизирована для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и может использоваться в локальных приложениях, чат-сценариях и других задачах text-generation, поддерживаемых исходной моделью. В README не указаны точные архитектурные характеристики, фактический размер в параметрах, языки, модальности и длина контекста, поэтому оценить эти свойства по имеющимся данным нельзя. Ключевое преимущество — 8-битное представление, ориентированное на более эффективный локальный запуск на Apple Silicon. Ограничения включают зависимость от совместимой MLX-среды и отсутствие подробных сведений о качестве, поддерживаемых языках и ограничениях исходной модели. Модель распространяется по лицензии Apache-2.0.

Это набор GGUF-квантизированных файлов модели gradientai/Llama-3-8B-Instruct-Gradient-1048k, разработанный Gradient AI и квантизированный командой featherless-ai-quants. Модель предназначена для генерации текста и использования в сценариях, требующих работы с инструкциями, включая локальный или совместимый с GGUF инференс. README не указывает поддерживаемые языки, дополнительные модальности или конкретные прикладные сценарии. В основе лежит Llama 3 с заявленным размером 8B параметров и контекстом 1048k; архитектурные подробности в README не приведены. Доступны варианты квантизации Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, IQ4_XS, Q5_K_S, Q5_K_M, Q6_K и Q8_0, размером примерно от 3,0 до 8,1 ГБ. Разные варианты позволяют выбирать компромисс между размером файла, требованиями к ресурсам и потенциальным качеством, однако результаты конкретных вариантов в README не сравниваются. К сильным сторонам относятся большой заявленный контекст и широкий выбор форматов квантизации. Ограничения — отсутствие в предоставленных данных сведений о качестве, бенчмарках, системных требованиях, поддерживаемых языках и точной архитектуре. Лицензия в README не указана, поэтому условия использования необходимо уточнять в документации базовой модели gradientai/Llama-3-8B-Instruct-Gradient-1048k и соответствующего репозитория.

Granite 3.0 1B A400M Instruct — это компактная инструкционная языковая модель семейства Granite, разработанная IBM и опубликованная как ibm-granite/granite-3.0-1b-a400m-instruct. Данный репозиторий содержит её квантованные варианты в формате GGUF, подготовленные bartowski с использованием llama.cpp и imatrix. Модель предназначена для генерации текста и выполнения инструкций, включая ответы на вопросы, рассуждения, базовые математические задачи, работу с кодом и мультиязычные сценарии. В названии указаны 1B параметров и архитектурная конфигурация A400M; точные сведения об архитектуре, размере контекста и поддерживаемых языках в README не приведены. Доступны варианты от F16 до Q4 и ниже, с размером файлов примерно от 0,77 до 2,67 ГБ. Квантование позволяет запускать модель локально при меньших требованиях к памяти; варианты Q5 и Q6 заявлены как высококачественные, а Q4 — как компромисс между качеством и размером. Для работы рекомендуется использовать совместимое ПО, например LM Studio, с указанным форматом prompt. Модель подходит для локальных приложений, чат-ассистентов и задач, где важны небольшие требования к ресурсам. Ограничения включают меньший размер по сравнению с крупными языковыми моделями и потенциальные потери качества при агрессивном квантовании; приведённые benchmark-результаты относятся к базовой модели и представлены неполно. Лицензия — Apache 2.0.

QuantFactory/granite-3.0-1b-a400m-instruct-GGUF — квантизированная версия Granite-3.0-1B-A400M-Instruct, созданная QuantFactory с использованием llama.cpp на основе модели IBM ibm-granite/granite-3.0-1b-a400m-instruct. Исходная модель разработана командой Granite в IBM и дообучена на открытых наборах данных для следования инструкциям, а также на внутренних синтетических данных с применением supervised fine-tuning, reinforcement learning и объединения моделей. Модель предназначена для генерации текста и диалоговых сценариев, обработки инструкций, ответов на вопросы, рассуждений, решения математических задач, работы с кодом и задач на понимание текста. В карточке указано около 1 млрд параметров; формат GGUF и квантизация ориентированы на запуск через llama.cpp и использование с ограниченными ресурсами. Поддерживаемые модальности, точный размер контекста и перечень языков в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0. В карточке приведены результаты на IFEval, MT-Bench, MMLU, HumanEval, GSM8K, PAWS-X и других тестах, однако они относятся к указанной в метаданных модели Granite-3.0-2B-Instruct, поэтому не должны напрямую интерпретироваться как показатели данной 1B-квантизированной версии. Ограничения включают уменьшенный размер модели и возможное снижение качества из-за квантизации; отдельные характеристики производительности и требования к запуску не указаны.

bartowski/granite-3.1-2b-instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Granite 3.1 2B Instruct, разработанной IBM (ibm-granite) и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp и LM Studio. В README указан специальный chat template, а также приведены варианты квантизации с разным соотношением качества, размера и требований к памяти. Модель имеет около 2 миллиардов параметров, работает в текстовой модальности и распространяется в формате GGUF. Доступны версии от F16 размером 5,07 ГБ до компактных вариантов Q2 и Q3 размером примерно от 1,08 до 1,38 ГБ, а также более качественные Q4, Q5, Q6 и Q8. Наиболее рекомендуемыми названы варианты Q4_K_M, Q5_K_M, Q6_K и другие близкие к ним квантизации; малые Q2 и Q3 экономят память, но заметно уступают в качестве. Сильными сторонами являются возможность локального запуска на сравнительно доступном оборудовании, широкий выбор уровней квантизации и хорошее сохранение качества в вариантах Q5–Q8. Ограничения — компромисс между размером и качеством при низких уровнях квантизации, а также отсутствие в README сведений о поддерживаемых языках, длине контекста, точной архитектуре и результатах бенчмарков. Модель распространяется по лицензии Apache-2.0.

GreesyChat-Turbo — разговорная модель генерации текста на архитектуре LLaMA 3, созданная OnlyCheeini дообучением unsloth/llama-3-8b-Instruct-bnb-4bit на наборе данных OnlyCheeini/greesychat. Модель содержит 7,5 млрд параметров, принимает текст и рассчитана на контекст до 8192 токенов. Модель предназначена для диалогов общего назначения, ответов на математические вопросы и создания чат-ботов и виртуальных помощников. В README приведены результаты тестов по коду, MMLU и GSM8K, однако методика измерений не описана. Модель опубликована в формате Safetensors по лицензии Apache-2.0.

grug-3b — диалоговая языковая модель ProCreations на архитектуре NanbeigeForCausalLM с плотной архитектурой и 3,2 млрд параметров. Она дообучена на Nanbeige/Nanbeige4.2-3B и предназначена для генерации текста, рассуждений и решения задач в чате. Модель адаптивно распределяет усилия: отвечает кратко на простые вопросы и тратит больше шагов рассуждения на сложные; в числовых рассуждениях применяет повторную проверку вычислений. Карточка сообщает о контекстном окне до 262 144 токенов и поддержке английского языка. В приведённых авторами тестах grug-3b улучшила результат базовой модели на MATH-500 и ARC, но уступила ей на GSM8K, HumanEval и MBPP. Поэтому компромисс между расходом токенов и точностью зависит от типа задачи; для максимального результата в программировании README рекомендует базовую модель. Репозиторий содержит веса safetensors и исправление совместимости с Transformers 4.54 и новее. Лицензия — Apache-2.0.

Gryphe_Codex-24B-Small-3.2-GGUF — это квантизированная GGUF-версия модели Codex-24B-Small-3.2, разработанной Gryphe и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых сценариев и задач, где требуется instruct- или chat-модель; заявлены также сценарии roleplay и дальнейшей донастройки. Поддерживаемый язык — английский. Модель имеет размер 24 млрд параметров и поставляется в вариантах от BF16 до различных квантизаций Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, требованиями к памяти и скоростью инференса. Файлы предназначены для запуска через llama.cpp, LM Studio и другие совместимые проекты. Для общения предлагается формат ChatML, однако в README отмечено, что шаблон чата явно не задан и используемый шаблон по умолчанию может быть неточным. Сведения о контекстном окне, точной архитектуре, дополнительных модальностях и результатах бенчмарков отсутствуют. Сильной стороной модели является широкий выбор квантизаций: варианты Q6 и Q5 описаны как обеспечивающие очень высокое или высокое качество, а Q4 — как компромисс для большинства сценариев; более компактные варианты подходят системам с ограниченным объёмом оперативной памяти, но могут заметно уступать по качеству. Модель распространяется по лицензии Apache-2.0. Условия использования, связанные с исходной моделью Gryphe/Codex-24B-Small-3.2, следует дополнительно проверять в её оригинальной карточке.

Pantheon-Reasoning-27B-GGUF — квантизированная версия текстовой генеративной модели Pantheon-Reasoning-27B, разработанной Gryphe и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель ориентирована на англоязычные диалоги, инструкции, рассуждения, ролевые сценарии и творческое письмо. Модель имеет размер 27 млрд параметров; точная архитектура и размер контекстного окна в README не указаны. Доступны варианты от BF16 до 3- и 8-битных квантов, что позволяет выбирать между качеством, требованиями к памяти и скоростью локального запуска. Для работы предусмотрен формат ChatML с началом рассуждений через тег <think>. Поддерживается только текстовая модальность. Сильными сторонами являются специализация на reasoning, conversational-задачах, roleplay и creative writing, а также широкий выбор квантов для запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI и другие совместимые инструменты. Более компактные варианты требуют меньше оперативной памяти, но могут уступать старшим квантам по качеству. Данные о результатах тестирования, точном контекстном окне, многоязычности и ограничениях безопасности не приведены. Указанная лицензия — Apache-2.0.

Hebrew-Gemma-11B-Instruct — языковая модель с плотной архитектурой Gemma, дообученная Yam Peleg совместно с Jonathan Rouach и Arjeo, Inc. для диалогов и генерации текста по инструкциям. Модель содержит около 10 млрд параметров и использует контекст до 8192 токенов; в репозитории представлены веса safetensors для Transformers. В основу легла Hebrew-Gemma-11B — модель, продолжившая предобучение Gemma-7B на 3 млрд дополнительных токенов английского и ивритского текста. Instruct-версия дообучена на наборах разговорных данных. Она подходит для ответов на вопросы, диалогов и выполнения текстовых инструкций, особенно на иврите и английском. Для качественного результата следует использовать формат диалога Gemma, описанный в карточке. Модель распространяется по исходной лицензии и условиям Google Gemma; метаданные обозначают лицензию как other. Авторы сообщают, что базовая Hebrew-Gemma-11B не имеет механизмов модерации. В карточке нет опубликованных результатов бенчмарков, поэтому качество для конкретных задач следует оценивать отдельно.

HedgeMind — дообученная Radheyyyy языковая модель семейства Llama на базе unsloth/meta-llama-3.1-8b-instruct-bnb-4bit. Это плотная авторегрессионная модель примерно на 7,5 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Метаданные указывают контекст до 131 072 токенов и интерфейс вызова инструментов. Модель обучали с использованием Unsloth и библиотеки TRL. Модель принимает текст и генерирует текст; в карточке указан английский язык. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. README не уточняет специализацию дообучения, поэтому применимость к конкретным предметным областям и качество выполнения отдельных задач по имеющимся данным оценить нельзя.

herbaccbaccules-3b-slerp — языковая модель, созданная Liminerity объединением моделей с помощью mergekit и метода SLERP. В README указаны исходные модели liminerity/baccbaccules-3b-slerp и indischepartij/MiniCPM-3B-Hercules-v2.0; метаданные описывают архитектуру как плотную Llama с классом LlamaForCausalLM и объёмом 2,7 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия. Она принимает текст и выдаёт текст, а её нативный контекст составляет 2048 токенов. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Карточка не описывает специализированные области применения или сравнительные результаты.

Hercules-5.0-Qwen2-7B-GGUF — это GGUF-квантизированная версия языковой модели Locutusque/Hercules-5.0-Qwen2-7B, подготовленная пользователем bartowski с использованием llama.cpp и калибровочного набора данных imatrix. Модель предназначена для генерации текста и локального запуска в совместимых приложениях на базе llama.cpp и других инструментов, поддерживающих формат GGUF. В README указан шаблон диалога с системными и пользовательскими сообщениями в формате ChatML. Модель относится к семейству Qwen2 и имеет размер 7B параметров; она работает с текстовой модальностью. Доступны варианты от F32 до низкобитных Q2–Q8, включая Q4_K_M как компромисс между размером и качеством, а также варианты Q5 и Q6 с более высоким качеством. Квантизация позволяет снизить требования к памяти, но по сравнению с полной точностью может ухудшать качество, особенно в младших вариантах. Языки, размер контекстного окна, результаты оценивания и специализированные сценарии применения в README не указаны. Распространение заявлено по лицензии Apache-2.0.

Guilherme34/Hermes3-Lumimaid-uncensored — объединённая с помощью mergekit методом TIES языковая модель на архитектуре Llama. В качестве основы использована Guilherme34/Hermes-3-Llama-3.1-70B-Uncensored, в объединение также вошла NeverSleep/Llama-3-Lumimaid-70B-v0.1-alt. Модель содержит 69,5 млрд параметров, распространяется в формате safetensors и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалоговой генерации текста и общения в формате чата; метаданные также отмечают интерфейс вызова инструментов. Указание uncensored в названии и описании базовой модели отражает сниженные ограничения на ответы, но карточка не уточняет языки или конкретные области применения. Веса объединены с нормализацией и сохранены в float16. Лицензия в предоставленных данных не указана.

Huihui-MiniCPM5-1B-abliterated-GGUF — это GGUF-квантизированная версия модели Huihui-MiniCPM5-1B-abliterated, разработанной huihui-ai и подготовленной квантизатором mradermacher. Модель относится к семейству MiniCPM5 и предназначена для генерации текста, работы с длинным контекстом и вызова инструментов, в том числе на устройствах с ограниченными ресурсами и периферийных устройствах. В метаданных заявлена поддержка английского и китайского языков. Модель имеет размер 1 млрд параметров. Точная архитектура и максимальная длина контекста в README не указаны; среди тегов присутствуют llama, long-context и tool-calling. Доступны варианты GGUF с разными схемами квантизации и размером примерно от 0,6 до 2,3 ГБ: от Q2_K до Q8_0 и f16. Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант очень хорошего качества, а Q8_0 — как вариант с лучшим качеством среди указанных. К сильным сторонам относятся небольшой размер, возможность локального запуска и широкий выбор вариантов квантизации, позволяющий выбирать баланс между качеством, скоростью и потреблением памяти. Ограничения включают возможное снижение качества у низкобитных вариантов и отсутствие в README подробных результатов оценки, описания точного контекстного окна и архитектурных характеристик. Модель распространяется по лицензии Apache-2.0.

Huihui-MoE-1.2B-A0.6B — языковая модель с архитектурой Mixture of Experts от huihui.ai, созданная на основе Qwen/Qwen3-0.6B. В ней три эксперта на слой, и для каждого токена активируется один; метаданные указывают 507,9 млн параметров, а карточка README приводит приблизительные значения 1,2 млрд общих и 0,6 млрд активируемых параметров. Модель принимает текст и предназначена для генерации, ответов на вопросы и диалоговых приложений. При создании сохранены эмбеддинги, веса внимания и нормализации базовой модели, а MLP-слои заменены MoE-слоями; веса маршрутизатора экспертов инициализированы случайно. Модель не дообучалась после этой замены, поэтому качество маршрутизации может быть неоптимальным; карточка рекомендует дообучение. Заявлен контекст до 40 960 токенов. Формат репозитория — safetensors, библиотека — Transformers; карточка также описывает запуск через Ollama. Лицензия — Apache-2.0.

HybridDiffusion-9B — текстовая модель генерации примерно на 8,95 млрд параметров, созданная авторами HybridDiffusion преобразованием Qwen3.5-9B из авторегрессионной модели в диффузионную. Архитектура сочетает Hybrid Gated DeltaNet и softmax-внимание; веса опубликованы в формате safetensors, для запуска описана среда SGLang с FlashInfer. Модель рассчитана на диалог и генерацию текста, а единый набор весов поддерживает три режима: обычную причинную генерацию, AR-Trust с проверкой спекулятивно предложенных токенов и Diffusion-Trust с параллельным уточнением блока токенов. В README приведены результаты на наборах тестов для знаний, следования инструкциям и других текстовых задач; результаты различаются по режиму декодирования и конкретному тесту. Метаданные указывают английский язык. Лицензия обозначена как other, поэтому условия использования следует проверять на странице репозитория. Для запуска требуются специализированные реализации HybridDiffusion, SGLang и FlashInfer; параметры режимов декодирования и сэмплирования могут влиять на результаты.

IBM-Grok4-UltraFast-Coder-1B-GGUF — это набор GGUF-квантизаций модели IBM-Grok4-Ultra.Fast.Coder-1B, разработанной WithinUsAI и опубликованной в формате GGUF пользователем mradermacher. Модель ориентирована на генерацию текста и кода, а также на сценарии программирования. В метаданных указан английский язык. README перечисляет обучающие наборы, связанные с кодом, математикой, логикой, творческими задачами, торговыми и визуальными промптами, однако точные возможности работы с изображениями не подтверждены для данной версии. Размер базовой модели — 1 млрд параметров; в описании также указаны full fine-tune, PyTorch, multi-GPU и архитектурный тег granite. Доступны варианты от Q2_K до Q8_0, IQ4_XS и f16 размером примерно от 0,8 до 3,4 ГБ. Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант с очень хорошим качеством, а Q8_0 — как наиболее качественный среди быстрых вариантов. Более сильное квантование уменьшает требования к памяти, но может снижать качество. Основное преимущество модели — компактность и наличие множества вариантов квантования для локального запуска. При этом README не содержит данных о длине контекста, точной архитектуре, мультимодальности, результатах оценивания, системных требованиях или дополнительных ограничениях качества. Лицензионные условия в представленном описании не указаны.

Ice0.41-22.11-RP — диалоговая модель генерации текста на базе Mistral-7B-Instruct-v0.2, созданная объединением этой модели с LoRA-адаптером Ice0.40-lora. Она предназначена для ведения диалога и генерации ответов по текстовым запросам. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Доступны веса в формате safetensors; для работы используется библиотека Transformers. Модель опубликована под лицензией CC BY-NC 4.0, которая не разрешает коммерческое использование. В README не описаны специализация адаптера, поддерживаемые языки или результаты оценки качества.

Ice0.61-18.01-RP — объединённая языковая модель, созданная с помощью mergekit методом SLERP. В README указано, что в объединении участвовали Ice0.55-17.01-RP и Ice0.58-18.01-RP; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, веса опубликованы в формате safetensors. Модель предназначена для генерации текста и принимает контекст длиной до 32 768 токенов. Карточка не описывает конкретные сценарии применения, языки, качество ответов или особенности поведения модели. Лицензия в предоставленных данных не указана, поэтому условия использования определить нельзя.

ICE 0001 — диалоговая языковая модель организации DarkPs, входящей в FanuonAI. Она предназначена для естественных бесед, коротких фрагментов кода и быстрых ответов. Модель построена на архитектуре Qwen3 с плотной causal language model, содержит 7,6 млрд параметров и принимает текст; заявленная длина контекста — 40 960 токенов. В репозитории доступны веса safetensors для Transformers, а метаданные отмечают поддержку чата и интерфейса вызова инструментов. В карточке заявлено обучение на многоязычных данных, включая 119 языков и диалектов, с особым вниманием к арабским диалектам, международным языкам и программированию. Модель может подойти для чат-ботов, простых вопросов по коду и многоязычного общения. Указанные в README размер 8B и контекст 32 768 токенов расходятся с метаданными, поэтому здесь приведены значения метаданных. Лицензия Apache-2.0.

aysinghal/ide-code-retrieval-qwen3-0.6b — модель SentenceTransformers, созданная дообучением Qwen/Qwen3-Embedding-0.6B для поиска исходного кода в IDE. Она кодирует короткие запросы на естественном языке, например сообщения коммитов и описания ошибок, и документы с кодом в общее пространство эмбеддингов. Поиск выполняется сравнением векторов по косинусному сходству. Модель содержит около 507,6 млн параметров и выдаёт нормализованные эмбеддинги размерности 1024. В README указана максимальная длина последовательности 1024 токена; метаданные базовой модели указывают нативный контекст 32768 токенов. Обучение проводилось на наборе данных для поиска кода, а карточка обозначает английский язык. Модель распространяется по лицензии Apache-2.0. Это промежуточный чекпойнт на шаге 9000 из 9150, поэтому более поздний чекпойнт может показывать лучшие результаты. Модель обучалась на конкретном наборе для поиска кода и может хуже работать с другими языками программирования или стилями запросов; длинные документы обрезаются.

Это квантизированная версия языковой модели Ling-lite-0415, разработанной inclusionAI и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В репозитории представлены варианты весов от полного BF16 размером 33,62 ГБ до компактных квантов Q3 и IQ3 размером около 7,65–9,30 ГБ. Доступны различные уровни качества и степени сжатия; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены как рекомендуемые, а Q4_K_M описан как подходящий размер по умолчанию для большинства сценариев. Архитектура, число параметров, поддерживаемые языки, модальности и размер контекста в README не указаны. Модель подходит для локальной генерации текста при наличии совместимого оборудования и программного обеспечения. Квантование уменьшает требования к памяти, но может снижать качество по сравнению с полноразмерными BF16-весами; наиболее компактные варианты имеют более заметные ограничения качества. Для работы следует использовать указанный формат prompt с ролями SYSTEM, HUMAN и ASSISTANT. Лицензия — MIT.

Inex12Experiment26-7B — автоматическое объединение моделей, созданное Maxime Labonne с помощью mergekit. В конфигурации указаны MSL7/INEX12-7b и yam-peleg/Experiment26-7B; применён метод dare_ties с параметрами плотности 0,53 и веса 0,6 для второй модели. Это плотная причинно-языковая модель семейства Mistral на 7,1 млрд параметров, предназначенная для генерации текста. Репозиторий содержит веса в формате safetensors; заявленная длина контекста — 32 768 токенов. Лицензия — Apache-2.0. Карточка не уточняет специализацию задач или поддерживаемые естественные языки.

Inex12Yam-7B — автоматически объединённая модель генерации текста, созданная Maxime Labonne с помощью mergekit. Она объединяет MSL7/INEX12-7b и mayacinka/yam-jom-7B методом SLERP с разными коэффициентами смешивания для слоёв self-attention и MLP. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Она принимает текст и генерирует текст, поддерживая контекст до 32 768 токенов. Лицензия — Apache-2.0. Карточка не описывает специализацию по предметным областям или языкам и не приводит результаты оценки качества.

Infinity-Instruct-7M-Gen-mistral-7B-GGUF — это набор GGUF-квантизованных версий языковой модели Infinity-Instruct-7M-Gen-mistral-7B, разработанной BAAI и квантизованной компанией Second State Inc. Модель ориентирована на генерацию текста и диалоговые сценарии; README указывает поддержку английского языка и использование chatml-шаблона для общения. Модель основана на архитектуре Mistral и содержит 7 миллиардов параметров. Доступны варианты с точностью от 2 до 16 бит и размером примерно от 2,72 до 14,5 ГБ. Рекомендуемыми обозначены варианты Q4_K_M, Q5_K_M и Q5_K_S: они обеспечивают компромисс между размером и потерей качества. Вариант Q2_K является самым компактным, но сопровождается значительной потерей качества. Указанный размер контекста — 4096 токенов. Модель можно запускать локально через LlamaEdge версии 0.14.0 и выше, включая режим сервиса или командного чат-приложения. Для работы требуется использовать соответствующий GGUF-файл и шаблон chatml. Ограничения качества зависят от выбранного уровня квантизации; сведения о мультимодальности, результатах тестирования и других языках в README отсутствуют. Распространение выполняется по лицензии Apache-2.0.

informatiker-Qwen2-7B-Instruct-abliterated-GGUF — это набор GGUF-квантизаций модели informatiker/Qwen2-7B-Instruct-abliterated. В README указано, что квантизации подготовлены командой featherless-ai-quants; исходная модель основана на Qwen2-7B-Instruct. Модель предназначена для генерации текста и использования в сценариях, поддерживающих формат GGUF. Доступны варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Размер файлов составляет примерно от 2,9 до 7,7 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Архитектура, точный размер контекста, поддерживаемые языки и модальности в README не указаны; по назначению это текстовая, а не мультимодальная модель. Основное преимущество набора — возможность локального или совместимого с GGUF запуска с выбором степени квантизации. Более компактные варианты требуют меньше памяти, но потенциально сильнее уступают исходной модели по качеству; README не содержит результатов бенчмарков или подробностей о характеристиках abliteration. Лицензия модели и условия использования в предоставленных данных не указаны.

InnerI-AI-merge-7B-slerp — слитая модель для генерации текста, созданная с помощью LazyMergekit из paulml/OGNO-7B и AiMavenAi/AiMaven-Prometheus. В основе лежит плотная архитектура Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; веса представлены в формате safetensors. Модель предназначена для генерации текста по текстовому запросу. В README описан метод слияния SLERP с настройками для слоёв self-attention и MLP. Карточка приводит среднее значение loss 1,013, но не описывает отдельные сценарии использования или языковую специализацию. Лицензия в предоставленных данных не указана. Качество и пригодность для конкретных задач не подтверждены сведениями о бенчмарках или развернутых применениях.

Jibay 2 — выпущенная JibayAI компактная плотная языковая модель на базе Qwen3-1.7B, дообученная для генерации текста и диалогов. Она содержит 1,7 млрд параметров, не использует архитектуру MoE и поддерживает контекст до 40 960 токенов по метаданным; README указывает 32 768 токенов на вход и выход суммарно. Модель предназначена для дообучения на предметных данных, запуска на устройствах с ограниченными ресурсами, прототипирования и лёгких агентных сценариев с вызовом инструментов. Карточка приводит результаты общих тестов и рекомендует для практического использования оптимизированный формат GGUF. Заявлены языки фарси, английский, китайский и арабский. Лицензия Apache-2.0 допускает открытое использование и модификацию. Модель компактна и пригодна для настройки под конкретные задачи, однако результаты тестирования опубликованы без подробной методики, а знания ограничены началом 2025 года. README приводит более раннюю дату первого выпуска, чем дата создания репозитория в метаданных.

Josiefied-Huihui-MoE-12B-A4B — языковая модель Goekdeniz-Guelmez, дообученная на Huihui-MoE-12B-A4B-abliterated. Это разреженная MoE-модель семейства Qwen3, предназначенная для генерации текста в диалогах и следования инструкциям; заявлена поддержка вызова инструментов. В метаданных указаны 3,7 млрд параметров и контекст до 40 960 токенов. Разработчик позиционирует модель как вариант с ослабленными ограничениями на ответы, при этом заявляя сохранение следования инструкциям и работы с инструментами. Она подходит для диалоговых приложений и свободной генерации текста. Модель распространяется в формате safetensors; README также упоминает варианты GGUF от стороннего автора. Лицензия в предоставленных данных не указана.