II.8Инженерия данных и аналитика

MaziyarPanahi/WizardLM-2-8x22B-GGUF — это набор файлов модели в формате GGUF для базовой модели microsoft/WizardLM-2-8x22B, разработанной Microsoft и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы и создание подробных, полезных и вежливых ответов ассистента. Файлы подходят для запуска с совместимыми инструментами, включая llama.cpp; репозиторий содержит шардированные варианты модели. Доступны квантизированные варианты с разной разрядностью: 2-, 3-, 4-, 5-, 6- и 8-битные GGUF-файлы. Исходная архитектура, общее число параметров, поддерживаемые языки и размер контекста в README не указаны. Модель относится к текстовым, мультимодальность не заявлена. Разные уровни квантизации позволяют выбирать компромисс между размером файлов, требованиями к памяти и качеством, однако конкретные характеристики каждого варианта не приведены. Лицензия — Apache 2.0. Для использования требуется совместимое программное обеспечение, а параметры запуска зависят от выбранного файла квантизации и средства инференса.

Zelensky — экспериментальная командная модель V1, созданная автором nisten на основе семейства Qwen2.5. По карточке, модель обучали один проход с низкой скоростью обучения и многократно объединяли с тремя другими моделями; метаданные также указывают связь merge с Qwen/Qwen2.5-72B-Instruct и другими вариантами Qwen2.5 и ChatWaifu. Это плотная причинно-языковая архитектура Qwen2 с 76,7 млрд параметров и контекстом до 98 304 токенов. Модель предназначена для диалогов и генерации текста; каталог также отмечает интерфейс вызова инструментов. В карточке упоминаются прогоны GPQA Diamond Zero-shot на LM Eval Harness, но результаты оценки не приведены. Указана лицензия MIT, а автор отдельно отмечает, что продолжает действовать лицензия Qwen.

Bielik-11B-v3.0-Instruct-GGUF — квантизированная версия инструкционной языковой модели Bielik-11B-v3.0-Instruct, разработанной SpeakLeash совместно с ACK Cyfronet AGH. Это каузальная decoder-only модель для генерации текста и диалогового взаимодействия, представленная в формате GGUF для локального запуска с помощью llama.cpp, Ollama и совместимых приложений. Модель мультиязычная и поддерживает 32 европейских языка, при этом оптимизирована для польского. В README размер указан как 11B параметров; сведения о длине контекста и дополнительных модальностях не приведены. Доступны варианты квантизации Q4_K_M, Q5_K_M, Q6_K, Q8_0, а также 16-битные FP16 и BF16. Квантизация позволяет снизить требования к ресурсам, но может уменьшать качество ответов и повышать вероятность галлюцинаций; Q8_0 требует значительных ресурсов, а низкобитные варианты требуют особенно осторожной настройки. Модель предназначена для локального текстового вывода, включая диалоги и задачи, поддерживаемые инструкционной языковой моделью. В конфигурации для Ollama предусмотрен экспериментальный вызов инструментов с ответом в формате JSON. Модель распространяется по лицензии Apache 2.0.

Blur-7b-v1.2 — объединённая модель для генерации текста и диалогов, созданная liminerity с помощью LazyMergekit. Она объединяет liminerity/Blured-Ties-7B и freecs/ThetaWave-7B методом TIES; в конфигурации также указан mlabonne/NeuralBeagle14-7B как base_model. Модель построена на архитектуре Mistral с плотной архитектурой и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и использования в чат-сценариях. Её контекстное окно составляет 32 768 токенов. В README приведены результаты Open LLM Leaderboard, включая средний балл 67,74, а также результаты AI2 Reasoning Challenge и HellaSwag. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

Causal language model с архитектурой семейства Qwen2, опубликованная на Hugging Face под идентификатором codex176743/cedar-lantern-p4. Модель предназначена для генерации текста и совместима с библиотекой Transformers; для хранения весов используется формат safetensors.

Darewin-7B — языковая модель, созданная mlabonne путём слияния шести моделей семейства Mistral с помощью LazyMergekit. Она предназначена для генерации текста и диалоговых сценариев, включая рассуждения и ответы на вопросы. Модель имеет 7,1 млрд параметров, архитектуру MistralForCausalLM и контекст до 32 768 токенов; доступна в формате safetensors. В README приведены результаты Open LLM Leaderboard, включая среднее значение 71,87, результат 68,60 на AI2 Reasoning Challenge и 86,22 на HellaSwag. Модель распространяется по лицензии Apache-2.0. Языковая поддержка в предоставленной карточке не уточнена.

DeepSeek-MOE-4X8B-R1-Distill-Llama-3.1-Deep-Thinker-Uncensored-24B-GGUF — языковая модель для генерации текста, разработанная DavidAU. Она основана на объединении четырёх Llama-настроек с технологиями рассуждения DeepSeek и предназначена для общего применения, творческого письма, ролевых сценариев, мозгового штурма, решения логических задач, загадок и многошаговых проблем. Модель использует архитектуру Mixture of Experts: заявлены четыре активируемых эксперта по 8B параметров, при этом размер модели составляет около 24,9B параметров. Указана поддержка английского языка, контекст до 128K токенов и формат GGUF для локального запуска. Модель может генерировать рассуждения и варианты решений, причём их активация и глубина зависят от запроса, температуры и других параметров. Рекомендуется использовать контекст не менее 4096 токенов, температуру примерно 0–0,8 для стабильной работы и повторный штраф 1,02–1,07; для более глубоких и разнообразных рассуждений автор допускает значительно более высокую температуру. К сильным сторонам относятся выраженная способность к многошаговому решению задач, генерации идей, созданию сюжетов и относительно стабильной работе при различных настройках. Ограничениями являются возможная непредсказуемость, чрезмерно длинные или неуместные рассуждения, необходимость иногда повторно запускать генерацию, а также риск появления рассуждений в основном ответе. Модель позиционируется как uncensored и может создавать материалы для взрослых, сцены ужасов и нецензурную лексику, поэтому она подходит не для всех аудиторий. Лицензия модели — Apache-2.0. Для работы требуется шаблон чата Llama 3 Instruct, Command-R или автоматически загружаемый шаблон Jinja, содержащийся в квантизации.

Bill435/Drjajsufhfh — мультимодальная модель на базе Qwen3.6-27B-Fable-Fusion-711, опубликованная в формате GGUF. Она создана в рамках совместной работы автора репозитория с участниками Nightmedia, TeichAI, armand0e и trohrbaugh с использованием многоэтапного дообучения, нескольких слияний моделей и Unsloth. В README также указаны датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель распространяется по лицензии Apache-2.0. Модель предназначена для широкого круга задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, создания историй, ролевых сценариев и других универсальных применений. Заявлена поддержка работы с текстом и изображениями, а также языков английского и китайского. Доступны обычные и MTP-варианты GGUF-квантования; используются NEO IMATRIX-кванты, а выходной тензор в них частично сохранён в 16-битной точности. Указан размер базовой модели 27B, однако размер контекстного окна в README не приведён. К сильным сторонам относятся улучшенное следование инструкциям, общее решение задач, рассуждения и, по заявлениям авторов, высокие результаты на ряде бенчмарков даже в 4- и 8-битных вариантах. Формат GGUF и ориентация на потребительское оборудование упрощают локальный запуск, но точные требования к памяти и производительности зависят от выбранного кванта. Модель помечена как uncensored и heretic, поэтому её защитные ограничения могут быть ослаблены; заявленные показатели производительности основаны на описании авторов и не подтверждены независимыми данными в представленном README.

EXAONE-3.5-7.8B-Instruct-AWQ — инструкционно дообученная двуязычная языковая модель, разработанная LG AI Research. Она предназначена для генерации текста, диалоговых сценариев и общего использования в качестве виртуального ассистента на английском и корейском языках, включая задачи с длинным контекстом до 32 768 токенов. Модель поддерживает системные промпты и может запускаться в Transformers, TensorRT-LLM, vLLM, SGLang, llama.cpp и Ollama. Модель содержит 7,8 млрд параметров, из которых 6,98 млрд указаны без учёта эмбеддингов, 32 слоя и словарь размером 102 400 токенов. В архитектуре внимания используется GQA с 32 Q-головами и 8 KV-головами. Данная версия содержит AWQ-квантизацию весов в формате W4A16g128: 4-битную групповую квантизацию без квантизации активаций, что снижает требования к памяти и подходит для более эффективного развёртывания. К сильным сторонам относятся поддержка английского и корейского языков, длинного контекста и оптимизированного квантизованного инференса. Ограничения включают возможную генерацию вредного, предвзятого, фактически неверного или синтаксически некорректного текста; модель также не располагает актуальными сведениями и может выдавать ответы, противоречащие действительности. Модель распространяется по лицензии EXAONE AI Model License Agreement 1.1 - NC, предусматривающей некоммерческое использование.

p-e-w/gemma-3-12b-it-heretic-v2 — мультимодальная модель семейства Gemma 3 на 12 млрд параметров, основанная на google/gemma-3-12b-pt и представленная как conversational, uncensored/decensored и abliterated вариант. Она принимает текст и изображения и генерирует текст; подходит для диалога, ответов на вопросы об изображениях, суммаризации и других задач генерации и понимания текста. В README базовой модели указаны контекст до 128K токенов и поддержка более 140 языков. Модель может применяться для извлечения сведений из изображений, составления текстов и исследовательских экспериментов; размер позволяет запускать её на локальных компьютерах и собственной инфраструктуре при достаточных ресурсах. README предупреждает о возможных фактических ошибках, смещениях и трудностях с неоднозначными или сложными запросами. Лицензия — Gemma; применяются условия лицензии и правила допустимого использования Gemma.

Gemma 3 12B PT — предобученная мультимодальная модель Google из семейства Gemma 3 с открытыми весами. Она принимает текст и изображения и генерирует текст; модель предназначена для понимания изображений и языковых задач, включая ответы на вопросы, суммаризацию и рассуждения. Размер модели — 12 млрд параметров, контекстное окно — до 128 тыс. токенов, поддерживаются более 140 языков. Версия PT является базовой предобученной моделью, а не вариантом, настроенным для следования инструкциям. Модель можно применять для описания и интерпретации изображений, извлечения из них сведений, диалоговых интерфейсов, создания и обобщения текстов. Относительно компактный размер позволяет развертывать её на локальных компьютерах и в собственной облачной инфраструктуре. К ограничениям относятся возможные фактические ошибки, предвзятость, трудности с языковыми нюансами и сложными открытыми задачами; для применения следует учитывать требования безопасности Google Gemma. Лицензия — Gemma.

unsloth/gemma-3-1b-it-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3 1B, разработанной Google DeepMind и опубликованной в формате GGUF командой Unsloth. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и понимания изображений, поэтому подходит для локального развёртывания на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре с ограниченными ресурсами. Это мультимодальная модель: она принимает текст и изображения, а генерирует текст. Для версии 1B заявлено контекстное окно до 32K токенов; максимальный объём генерируемого ответа составляет 8192 токена. Семейство Gemma 3 поддерживает более 140 языков, однако в карточке этой версии явно указан английский язык. Меньший размер упрощает локальный запуск и снижает требования к ресурсам, но по возможностям и качеству модель может уступать более крупным вариантам Gemma 3. Изображения обрабатываются после нормализации до 896×896 пикселей и кодируются в 256 токенов каждое. Модель распространяется по лицензии Gemma; применимые условия использования определяются официальными Terms of Use Google. README не содержит подробностей о конкретной квантовке GGUF, требованиях к памяти или измеренных показателях качества.

gemma-4-26B-A4B-it-Uncensored-MAX-GGUF — это GGUF-версия модели, разработанной prithivMLmods на базе google/gemma-4-26B-A4B-it. Модель представляет собой модифицированную версию Gemma с уменьшенным уровнем встроенных отказов от ответа: для этого применялись анализ направлений отказа и методы abliteration. Заявлено сохранение возможностей рассуждения и следования инструкциям исходной архитектуры. Модель предназначена для генерации текста, подробных ответов, выполнения инструкций, исследовательских и обучающих сценариев, а также агентских задач. Указана поддержка обработки изображений и текста; заявлен английский язык. Архитектура описана как MoE, размер — 26 млрд параметров. Доступны файлы GGUF в форматах BF16, F16, F32 и Q8_0, а также отдельные mmproj-файлы для мультимодальной обработки. Сведения о размере контекстного окна и точных характеристиках MoE-компонентов не приведены. К сильным сторонам относятся сниженная склонность к отказам, ориентация на подробные ответы, рассуждение и следование инструкциям. Ограничением является потенциально повышенный риск генерации небезопасного или незаконного содержания из-за уменьшенных защитных механизмов; использование осуществляется на риск пользователя. Модель предоставляется по лицензии Apache-2.0 и заявлена авторами для исследовательских и учебных целей.

Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP — модификация Gemma 4 31B-it, разработанная HauhauCS на основе официальных QAT-весов модели Google DeepMind. Это плотная модель на 31 млрд параметров с 4-битной квантизацией Q4_K_M, контекстом до 256K токенов и поддержкой изображений через отдельный mmproj-модуль. В README заявлен английский язык; модель распространяется в формате GGUF и совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-рантаймами. Модель предназначена для агентного программирования, рассуждений, творческого письма, ролевого общения и диалоговых сценариев, где важны следование инструкциям и надежность. Вариант Balanced ориентирован на широкий круг пользователей и описан как полностью uncensored-модификация без изменений исходных датасетов и базовых возможностей. В комплект входит MTP draft head для speculative decoding; по данным автора, при использовании через llama.cpp это дает примерно 53% ускорения генерации без изменения проверяемого результата. К сильным сторонам относятся большой контекст, поддержка визуального ввода, 4-битная QAT-квантизация с заявленным близким к полноточному качеством и ускорение генерации с MTP. Ограничения включают крупный размер файлов: основная модель занимает около 18,7 ГБ, mmproj — 1,2 ГБ, а MTP-модуль — 280 МБ. Работа MTP-технологии проверялась автором через llama.cpp, а для LM Studio отмечены возможные сбои в режиме tensor-split при использовании нескольких GPU; рекомендуется использовать одну GPU с layer-split или приоритетным порядком. Лицензия указана как Gemma. В README также отмечено, что заявления об отсутствии отказов основаны на тестах автора и не исключают редких случаев уклонения от ответа на отдельных запросах.

Это набор GGUF-квантизованных версий Granite 3.2 8B Instruct — инструкционной языковой модели, разработанной IBM под именем ibm-granite. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия в приложениях, поддерживающих llama.cpp, включая LM Studio и другие совместимые проекты. Модель имеет размер 8 миллиардов параметров и относится к текстовым моделям: сведения о поддержке изображений, аудио или других модальностей в README отсутствуют. Также не указаны поддерживаемые языки и размер контекстного окна. Доступны варианты квантования от Q8_0 до Q3 и IQ3/IQ4, размером примерно от 3,59 до 8,68 ГБ. Более высокие варианты обычно обеспечивают лучшее качество, а менее точные позволяют снизить требования к оперативной памяти; в README рекомендуются, в частности, Q4_K_M, Q5 и Q6 версии. Сильные стороны модели — локальный запуск, широкий выбор компромиссов между качеством и потреблением памяти, а также совместимость с экосистемой llama.cpp. Ограничения связаны с потерями качества при низком уровне квантования и зависимостью от совместимого программного обеспечения и аппаратных ресурсов. Для корректного диалога следует использовать указанный в README шаблон prompt format. Для набора указана лицензия Apache-2.0.

KR-X-AI/krx-qwen2.5-7b-instruct-v2-m-e — дообученная авторами KR-X-AI разговорная языковая модель семейства Qwen2.5. Это плотная авторегрессионная модель с 7,1 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия; среди заявленных возможностей также есть интерфейс вызова инструментов. Модель принимает текст и формирует текстовые ответы, поддерживает контекст до 32 768 токенов. В карточке указано, что обучение выполнялось с использованием Unsloth и библиотеки TRL. Модель распространяется в формате safetensors по лицензии Apache-2.0. Данных о специализированных предметных областях или отдельных ограничениях качества в карточке нет.

LFM2-8B-A1B-GGUF — языковая модель для генерации текста, разработанная компанией Liquid AI. Она предназначена прежде всего для edge AI и локального запуска на устройствах, включая производительные смартфоны, планшеты и ноутбуки. Модель распространяется в формате GGUF и ориентирована на использование с llama.cpp и совместимыми инструментами. Модель построена по архитектуре Mixture of Experts (MoE): содержит около 8,3 млрд общих параметров, из которых при обработке запроса активно используется около 1,5 млрд. По заявлению разработчика, её качество сопоставимо с плотными моделями на 3–4 млрд параметров, а скорость выше, чем у Qwen3-1.7B. По сравнению с LFM2-2.6B улучшены возможности программирования и работы со знаниями. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Размер контекста и дополнительные модальности в README не указаны. Сильными сторонами модели являются сочетание компактного активного размера, скорости и эффективности использования памяти, что делает её подходящей для локального вывода и on-device-сценариев. Ограничения включают отсутствие в предоставленных данных подробных результатов тестирования, точного размера контекста и информации о мультимодальности; заявленные характеристики качества и скорости приведены разработчиком без детальной методики сравнения. Модель распространяется по лицензии lfm1.0.

Bunnycore создал эту плотную языковую модель с архитектурой Llama 3.1, объединив несколько предварительно обученных моделей методом Model Stock через mergekit. В состав объединения вошли bunnycore/LLama-3.1-8B-HyperNova-abliteration, bunnycore/LLama-3.1-8b-Ultra-Max-Pro, bunnycore/Llama-3.1-8B-OmniMatrix и leafspark/Llama-3.1-8B-MultiReflection-Instruct; базой слияния служила bunnycore/LLama-3.1-Hyper-Stock. Модель содержит 7,5 млрд параметров, использует формат safetensors и работает через библиотеку Transformers. Она предназначена для генерации текста; в составе исходных моделей есть вариант Instruct с многоэтапными рассуждениями. Заявленная длина контекста — 131 072 токена. Карточка не содержит сведений о лицензии, поэтому условия использования установить по доступным данным нельзя.

unsloth/Llama-3.2-1B-unsloth-bnb-4bit — 4-битная динамически квантованная версия языковой модели Meta Llama 3.2 1B, подготовленная Unsloth на базе meta-llama/Llama-3.2-1B. Модель предназначена для генерации и обработки текста, диалоговых сценариев, суммаризации и задач агентного поиска; формат также ориентирован на эффективное дообучение с меньшими требованиями к памяти и последующий экспорт в GGUF или vLLM. Модель использует авторегрессионную архитектуру оптимизированного Transformer с Grouped-Query Attention (GQA), содержит около 1 млрд параметров и работает по схеме «текст на входе — текст на выходе». В README официально указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Динамическая 4-битная квантизация Unsloth выборочно сохраняет отдельные параметры в более высокой точности, что должно обеспечивать лучший баланс качества и экономии памяти по сравнению со стандартной 4-битной квантизацией. К сильным сторонам относятся компактный размер, сниженные требования к памяти и удобство дообучения. Ограничения — отсутствие визуальной модальности, статичность обучающих данных и потенциальное снижение качества из-за квантизации; заявленный размер контекста в предоставленном README не указан. Модель распространяется по Llama 3.2 Community License; применяются также условия Acceptable Use Policy.

Llama3.2-DeepHermes-3-3B-Preview-Reasoning-MAX-NEO-Imatrix-GGUF — это GGUF-квантизированная текстовая генеративная модель, основанная на NousResearch/DeepHermes-3-Llama-3-3B-Preview. Сборка подготовлена David_AU с использованием собственной технологии Neo Imatrix и «MAXED»-квантизации, при которой embedding- и output-тензоры сохраняются в формате BF16. Модель предназначена для локального запуска и ориентирована на рассуждения, следование инструкциям, диалог, решение задач, генерацию идей и текста, творческое письмо и ролевые сценарии. Указана лицензия Apache-2.0. Модель имеет размер около 3B параметров и поддерживает контекст до 128k токенов. Она работает только с текстом; сведения о поддерживаемых языках в README не приведены. Доступны варианты квантизации от IQ1_S до Q8_0, отличающиеся размером, скоростью и качеством. Более высокие кванты обычно лучше сохраняют способности к рассуждению, а варианты IQ4XS, IQ4NL и Q4 рекомендуются для творческих задач; для общего применения рекомендуются Q5, Q6 и Q8. Для reasoning-сценариев рекомендуется использовать как минимум IQ3. Сильные стороны модели — компактный размер, высокая скорость локального вывода, улучшенное следование инструкциям и потенциально более высокое качество благодаря Neo Imatrix и сохранению части тензоров в BF16. При этом качество рассуждений напрямую зависит от выбранного кванта: самые компактные варианты заметно уступают более крупным, а README не содержит независимых бенчмарков, подробных данных об обучении или гарантии заявленного превосходства над более крупными моделями. Для комфортной работы рекомендуется окно контекста не менее 8k токенов, особенно для вариантов IQ4 и ниже.

Это версия Meta-Llama-3.1-8B-Instruct в формате GGUF, подготовленная mlx-community и опубликованная MaziyarPanahi. Модель предназначена для диалоговой генерации текста и выполнения инструкций; её можно запускать локально с помощью llama.cpp и совместимых приложений. Каталог указывает на 8 млрд параметров у базовой модели и плотную архитектуру семейства Mistral. Репозиторий содержит файлы GGUF в формате BF16. README перечисляет llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие совместимые средства запуска. Лицензия и конкретные ограничения применения в предоставленных данных не описаны.

winglian/Meta-Llama-3-8B-1M — слитая модель на базе Llama 3 8B, созданная объединением исходной модели с LoRA-адаптером от инструкционной модели Gradient AI с контекстом 1M токенов. Это плотная авторегрессионная языковая модель класса LlamaForCausalLM с 7,5 млрд параметров, предназначенная для генерации текста и работы с длинным контекстом. Репозиторий содержит веса в формате safetensors. Модель подходит для генерации продолжений и ответов на запросы с большим объёмом текста в контексте. README не сообщает сведения о поддерживаемых языках или конкретных оценках качества. Лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия языковой модели Magistral-Small-2506, разработанной Mistral AI и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Карточка указывает поддержку английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Доступны варианты от BF16 до различных уровней квантизации, с размером файлов примерно от 10,65 до 47,15 ГБ. Для запуска предусмотрен специальный формат промпта с системной инструкцией и пользовательским запросом. Архитектура, число параметров, размер контекстного окна и мультимодальные возможности в README не указаны. Основное преимущество набора — возможность выбрать компромисс между качеством и требованиями к памяти: варианты Q5 и Q6 заявлены как высококачественные, а Q4 подходят для большинства сценариев и экономят ресурсы. Более компактные варианты позволяют работать при ограниченном объёме оперативной памяти, но могут заметно уступать по качеству. Модель предназначена для текстовых задач; поддержка изображений или других модальностей не заявлена. Распространяется по лицензии Apache-2.0.

Mistral-Nemo-Instruct-2407-FP8 — инструкционная авторегрессионная плотная transformer-модель объёмом 12 млрд параметров, разработанная совместно Mistral AI и NVIDIA. Репозиторий Furiosa AI содержит вариант модели RedHatAI/Mistral-Nemo-Instruct-2407-FP8, подготовленный для запуска на аппаратной платформе FuriosaAI RNGD с использованием Furiosa-LLM. Модель принимает текст и генерирует текст, поддерживает диалоги с ролями system, user и assistant и предназначена для обычной, нерассуждающей генерации ответов в ассистентских сценариях. Линейные веса слоёв Transformer статически квантизованы в FP8, активации динамически квантизуются в FP8 для каждого токена во время инференса, а KV-кэш сохраняется в 16-битной точности. На RNGD используется tensor parallelism с размером 16 PE, что соответствует двум картам RNGD. Основной поддерживаемый стек в этом репозитории — Furiosa-LLM, однако исходная модель также может запускаться через vLLM, SGLang и Transformers. Указан английский язык; сведения о размере контекста и других языках отсутствуют. Модель подходит для чат-ботов, генерации текста и интеграции через OpenAI-совместимый API. К её сильным сторонам относятся инструкционная настройка, FP8-квантизация для эффективного инференса и поддержка специализированного ускорителя FuriosaAI RNGD. Ограничения включают нерassуждающий характер модели, зависимость данного варианта от Furiosa-LLM и оборудования RNGD, а также отсутствие в предоставленных данных подробных оценок качества. Лицензия — Apache-2.0.

ISTA-DASLab/Mistral-Small-3.1-24B-Instruct-2503-GPTQ-4b-128g — квантированная версия инструкционной мультимодальной модели Mistral-Small-3.1-24B-Instruct-2503, опубликованная ISTA-DASLab. Она предназначена для диалоговых задач, генерации и обработки текста, а также сценариев image-text-to-text, включая анализ изображений и ответы на вопросы по ним. Модель содержит 24 млрд параметров и использует INT4-квантование весов линейных операторов языковой части трансформера методом GPTQ с симметричной поканальной по группам схемой и размером группы 128. Визуальная модель и мультимодальный проекционный слой сохранены в исходной точности. Квантование сокращает размер на диске и требования к GPU-памяти примерно на 75%; чекпойнт сохранён в формате compressed_tensors. В README явно указан пример использования с vLLM и Transformers, а для оценки применялся vLLM. По сравнению с исходной моделью на наборе OpenLLM v1 средний результат снизился с 0,7910 до 0,7814, а показатель восстановления составил 0,9878, что указывает на небольшую потерю качества при существенном снижении требований к ресурсам. Ограничения включают зависимость от совместимых версий vLLM или Transformers и необходимость учитывать, что приведённые результаты получены при максимальной длине контекста 4096 токенов; другие характеристики контекста и поддерживаемых языков в README не указаны. Модель распространяется по лицензии Apache-2.0.

Nemotron-Mini-4B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Nemotron-Mini-4B-Instruct, разработанной NVIDIA и квантизированной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локального инференса, в том числе через LM Studio. Указан английский язык; поддерживается текстовая модальность. Формат запроса требует специальных маркеров для системных, пользовательских и ассистентских сообщений. Доступны варианты от исходных весов F16 размером 8,39 ГБ до компактных квантизаций IQ3_M размером 2,18 ГБ. Предлагаются форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и другие, включая варианты, оптимизированные для ARM-процессоров. Некоторые сборки используют Q8_0 для embedding- и output-весов, что может улучшать сохранение качества. Ключевое преимущество набора — выбор между качеством, размером и требованиями к памяти; ограничение — снижение качества при более агрессивной квантизации. Сведения о размере контекста и архитектуре базовой модели в README не указаны. Модель распространяется по лицензии NVIDIA Community Model License; условия следует уточнять в документе лицензии NVIDIA.

NorMistral-7b-warm-instruct — инструкционно дообученная языковая модель, разработанная командой NorwAI/норвежского проекта NorMistral. Она предназначена для диалогового взаимодействия, генерации текста, ответов на вопросы, следования инструкциям и задач программирования преимущественно на норвежских языках. Модель основана на NorMistral-7b-warm и содержит около 7 миллиардов параметров. Это текстовая авторегрессионная модель семейства Mistral с поддержкой Bokmål и Nynorsk; в карточке также заявлен норвежский язык. Дообучение выполнено на открытых наборах данных Aya, OASST, OIG, No Robots, Dolly и Glaive code assistant. Контекстное окно при дообучении составляет 4096 токенов, что вдвое больше, чем у базовой модели. Для диалогов используется ChatML-подобный шаблон. Сильными сторонами модели являются специализация на норвежском языке, открытость для коммерческого применения и поддержка многоходовых диалогов. При этом выпущенные веса обозначены как рабочая версия, модель прошла только этап supervised fine-tuning без оптимизации предпочтений, а качество и поведение могут измениться в будущих версиях. Для использования рекомендуется корректно применять шаблон чата и параметры генерации, указанные авторами. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия OpenCoder-8B-Instruct, разработанного infly. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в формате инструкций, включая сценарии локального запуска через llama.cpp и LM Studio. Модель содержит 8 миллиардов параметров и доступна в вариантах от F16 до различных Q2–Q8-квантизаций, что позволяет выбирать баланс между качеством, скоростью и потреблением памяти. В README указана поддержка английского и китайского языков. Формат взаимодействия использует специальные токены system, user и assistant. Данные о точной архитектуре, размере контекстного окна и поддерживаемых модальностях отсутствуют; по назначению это текстовая, а не мультимодальная модель. Сильной стороной являются многочисленные варианты квантизации, включая рекомендуемые Q4 и Q5, а также более качественные Q6 и Q8, благодаря чему модель можно адаптировать под разные аппаратные ограничения. Более компактные варианты снижают требования к памяти, но могут заметно уступать по качеству; ARM-оптимизированные варианты требуют соответствующих аппаратных инструкций и не рекомендуются для Mac или Windows. Модель основана на OpenCoder-8B-Instruct и распространяется с лицензией inf, подробные условия которой приведены в отдельном LICENSE-файле.

bunsenfeng/parti_19_full — языковая модель для генерации текста и диалогового взаимодействия, опубликованная на Hugging Face. По метаданным она относится к семейству Qwen2, содержит около 7,1 млрд параметров и предназначена для использования через библиотеку Transformers с форматом safetensors. Модель подходит для чат-ботов, генерации ответов, продолжения текста и других сценариев, где требуется autoregressive text generation. Она поддерживает контекст до 32 768 токенов, что позволяет обрабатывать относительно длинные запросы и фрагменты переписки. README не содержит сведений о разработчике, языках, обучающих данных, результатах оценки, лицензии и рекомендуемых ограничениях использования. Поэтому модель следует предварительно проверять на качество, безопасность, устойчивость к галлюцинациям и соответствие требованиям конкретного применения.

Qwen1.5-14B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это бета-версия Qwen2: плотная авторегрессионная языковая модель на архитектуре Transformer с 13,4 млрд параметров, предназначенная для генерации текста в диалоге и следования запросам пользователя. Модель поддерживает многоязычное общение и контекст длиной до 32 768 токенов. В основе семейства — декодерная архитектура Transformer; для Qwen1.5 описаны активация SwiGLU, смещение в QKV-внимании и адаптированный к разным естественным языкам и программным кодам токенизатор. Репозиторий содержит веса в формате Safetensors. Модель подходит для чат-ботов, ответов на вопросы, создания и преобразования текста. Карточка рекомендует использовать Transformers версии 4.37.0 или новее и предоставленные параметры генерации, чтобы уменьшить проблемы с переключением языков и другие нежелательные результаты. Лицензия указана как other, поэтому условия использования следует уточнять в карточке модели.