II.3Рефакторинг, миграция и модернизация

Qwen3.8-27B-ROCmFP4-STRIX-MTP-GGUF — квантизированная GGUF-версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем kingjones777. Модель предназначена для генерации текста, рассуждений, работы с инструментами и мультимодальных сценариев с визуальным вводом, прежде всего на системах AMD Ryzen AI Max+ 395 со встроенной графикой Radeon 8060S (gfx1151, Strix Halo). README не указывает разработчика базовой модели отдельно от идентификатора Qwen/Qwen3.8-27B. Используется формат ROCmFP4 с тремя вариантами квантизации и размером файлов 13,33–13,75 GiB; эффективная точность составляет 4,25–4,39 бит на вес. В комплект включена MTP-голова для speculative decoding. Контекст проверен до 65 536 токенов. Для варианта STRIX заявлены скорость декодирования до 30,30 токена/с при настроенном MTP, perplexity 5,8877 на отложенной выборке wikitext-2, успешные тесты зрения 4/4 и tool calling 7/7, включая режим reasoning. Языки README не перечисляет. Сильные стороны модели — высокая скорость на поддерживаемом оборудовании AMD, небольшие требования к дисковому пространству, сопоставимая с Q4_K_M perplexity и опубликованная настройка глубины MTP. Ограничения включают зависимость от AMD Strix Halo и специализированной сборки llama.cpp с поддержкой ROCmFP4; стандартная сборка llama.cpp эти типы тензоров не принимает. Приведённые показатели относятся к конкретной конфигурации и могут не воспроизводиться на другом оборудовании. Модель распространяется по лицензии Apache-2.0.

Sartaj Bhuvaji подготовил текстовую версию Qwen3.8-27B, удалив из Qwen/Qwen3.8-27B зрительную подсистему и преобразовав конфигурацию в Qwen3_5ForCausalLM. Это плотная гибридная авторегрессионная модель с 64 декодерными слоями: 48 слоёв линейного внимания и 16 слоёв полного внимания. В репозитории около 27,3 млрд параметров; заявленная длина контекста — 262 144 токена. Текстовые веса побайтно совпадают с исходной моделью, дообучения или переобучения не было. Модель предназначена для генерации текста и диалогового использования, включая развёртывание через Transformers, vLLM и SGLang. Удаление зрительной подсистемы исключает обработку изображений и сокращает занимаемую память примерно на 0,92 ГБ; автор также сообщает об увеличении доступной KV-кэш-памяти в конкретном тесте на H100. Лицензия — Apache-2.0. Модель не принимает изображения. Голова multi-token prediction сохранена, но не поддерживается проверенными загрузчиками; прирост скорости не гарантируется и зависит от движка, оборудования и нагрузки. Приведённые бенчмарки охватывают один H100 и ограниченный набор размеров запросов.

Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored-NVFP4-W4A16-T336 — производная модель, опубликованная esatapedico на основе DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored, которая, в свою очередь, основана на Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и развёртывания через vLLM; настройка TWIN-TURBO ориентирована на сокращение количества токенов рассуждений при сохранении качества ответов. Это 27-миллиардная языковая модель с архитектурой Qwen3_5ForCausalLM, 64 слоями, гибридной архитектурой GatedDeltaNet, поддержкой мультиязычных сценариев и заявленным контекстом до 262144 токенов. В репозитории также сохранены vision tower и MTP head, пригодный для speculative decoding. Контрольная точка использует формат compressed-tensors NVFP4: веса W4A16 с группировкой 16 и масштабами FP8; часть наиболее чувствительных компонентов оставлена в BF16. Калибровочные данные не применялись, размер файла model.safetensors составляет около 21 ГБ. Главные преимущества — значительное сжатие весов, совместимость с vLLM, сохранение полноточных компонентов, влияющих на качество, а также измеренная близкая к родительской модели perplexity на англоязычном наборе. Ограничения включают зависимость от vLLM-совместимых движков, необходимость подходящей аппаратной конфигурации и отсутствие GGUF в репозитории; заявленная проверка проводилась при tensor parallel 2 и контексте 2048 токенов, поэтому практические характеристики на максимальном контексте могут отличаться. Модель распространяется по лицензии Apache 2.0.

Qwen-Qwen2-7B-Instruct-GGUF — набор GGUF-квантизаций модели Qwen2-7B-Instruct, разработанной Qwen и опубликованной в формате квантизированных файлов командой featherless-ai-quants. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие сценарии text-generation. GGUF-формат ориентирован на локальный запуск совместимыми инструментами, а разные уровни квантизации позволяют выбирать компромисс между размером файла, требованиями к памяти и качеством работы. В набор входят варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 2,9 до 7,7 ГБ. Из README известно, что это текстовая модель с примерно 7 миллиардами параметров; сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста не указаны. Более сильная квантизация обычно уменьшает требования к ресурсам, но может снижать точность по сравнению с менее квантизированными вариантами. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в материалах исходной модели Qwen2-7B-Instruct и репозитории квантизаций.

Qwentile2.5-32B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwentile2.5-32B-Instruct, разработанной maldv и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста, чат- и диалоговых сценариев, а также локального использования через llama.cpp и совместимые приложения, включая LM Studio. В README указана поддержка английского языка. Модель имеет размер 32 млрд параметров. Доступны варианты от F16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, включая форматы K-quants и IQ-quants, что позволяет выбирать между качеством, скоростью и требованиями к оперативной памяти. Квантизации выполнены с использованием imatrix на базе llama.cpp; для общения применяется шаблон с тегами <|im_start|> и <|im_end|>. Сильная сторона набора — широкий выбор вариантов, включая высококачественные Q6_K и Q6_K_L, а также более компактные версии для систем с ограниченной памятью. При этом уменьшение разрядности может снижать качество генерации, особенно у Q2–Q3 вариантов; для работы также требуются значительные вычислительные ресурсы. Контекстное окно, точная архитектура и дополнительные модальности в README не указаны. Модель распространяется по лицензии Apache-2.0.

duyntnet/SmolLM2-1.7B-imatrix-GGUF — набор GGUF-квантизаций компактной языковой модели SmolLM2-1.7B, разработанной Hugging Face. Модель предназначена для генерации текста и широкого спектра задач, включая следование инструкциям, работу со знаниями, рассуждения, математику, переписывание и суммаризацию текста, а instruct-версия также поддерживает function calling. GGUF-вариант ориентирован на локальный запуск через llama.cpp и совместимые приложения. Модель содержит 1,7 млрд параметров и работает в текстовой модальности; в карточке указан английский язык. Базовая SmolLM2-1.7B обучалась на 11 трлн токенов с использованием данных FineWeb-Edu, DCLM, The Stack, а также математических и программных наборов данных. Instruct-версия дополнительно обучалась методом supervised fine-tuning и оптимизировалась с помощью Direct Preference Optimization на базе UltraFeedback. К сильным сторонам относятся компактность, возможность запуска на устройстве и улучшения по сравнению с SmolLM1-1.7B в следовании инструкциям, знаниях, рассуждениях и математике. Размер контекста в README не указан, поэтому его характеристики и ограничения нельзя определить точнее. Для использования доступны llama.cpp, KoboldCPP, Ollama, text-generation-webui, GPT4All и Jan. Лицензия обозначена как other, без дополнительных условий в README; точные права и ограничения следует уточнять в исходной карточке модели и лицензии базовой SmolLM2-1.7B.

airoboros-m-7b-3.0 — экспериментальная универсальная языковая модель, созданная jondurbin на основе датасета airoboros-3.0, преимущественно синтетических данных. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; она принимает текст и выдаёт текст. Модель рассчитана прежде всего на следование инструкциям, ответы по заданному контексту и многошаговый диалог, а не на непринуждённую беседу. Среди заявленных сценариев — суммаризация, помощь с программированием, генерация структурированных аргументов функций и составление планов выполнения задач с инструментами. Для математических вопросов описан экспериментальный подход MathJSON: модель формулирует выражение, которое можно вычислить внешним средством. В карточке также отмечены данные для многоходового ролевого диалога. Для формата диалога используется шаблон Llama 2 chat. Модель выпущена под лицензией Apache-2.0. Автор характеризует её как экспериментальную; для MathJSON требуется внешний вычислитель, а сам подход описан как неполный. Карточка рекомендует низкую температуру генерации; ответы по контексту могут быть ненадёжны, поэтому следует явно просить модель не выдумывать сведения.

Baichuan2-7B-Chat — разработанная Baichuan Intelligence чат-модель семейства Baichuan 2 с плотной архитектурой BaichuanForCausalLM и 7 млрд параметров. Семейство обучено на 2,6 трлн токенов; модель предназначена для диалога и генерации текста на китайском и английском языках. Её проверяли на задачах общего назначения, права, медицины, математики, программирования и многоязычного перевода. Модель принимает текст и генерирует текст, а её контекст ограничен 4096 токенами. Для запуска требуется PyTorch 2.0 или новее. Карточка описывает поддержку академических исследований; коммерческое использование требует предварительной заявки и получения лицензии Baichuan, с указанными в соглашении ограничениями. Возможны ошибки и небезопасные ответы; разработчик предупреждает о необходимости соблюдать требования к проверке и регистрации интернет-сервисов.

AtomicChat/DeepSeek-V4-Flash-0731-GGUF — это квантизированная GGUF-версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek и упакованной и квантизированной AtomicChat. Модель предназначена для генерации текста, диалоговых сценариев и conversational-приложений, включая локальный запуск через llama.cpp. Заявлены поддерживаемые языки английский и китайский. Модель построена на архитектуре mixture-of-experts и содержит 284 млрд параметров, из которых 13 млрд активируются для каждого токена. Она включает 43 слоя, 256 маршрутизируемых экспертов, 6 активных экспертов и одного общего эксперта. Контекстное окно составляет 1 млн токенов, размер словаря — 129 280. Исходная модель обучалась с учетом квантизации: маршрутизируемые эксперты хранятся в MXFP4, остальные компоненты — в FP8 или BF16. В репозитории доступны варианты от AD-BF16 и AD-MXFP4 до низкобитных AD-IQ1 и AD-IQ2, позволяющие выбирать компромисс между качеством и объёмом памяти. Главные преимущества — большое контекстное окно, высокая ёмкость MoE-архитектуры и варианты размещения с разным размером файлов. При этом для запуска требуются значительные объёмы оперативной или видеопамяти: размеры вариантов составляют примерно от 70 до 162 ГБ. Квантизация ниже исходного уровня 4,25 бит может заметно ухудшать качество, особенно в вариантах с 1–3 битами. Встроенный chat template устарел и может терять рассуждения в агентских циклах и игнорировать reasoning_effort; для корректной работы рекомендуется использовать отдельный исправленный шаблон из репозитория. Модель распространяется по лицензии MIT.

Dolphin3.0-Qwen2.5-1.5B-GGUF — это GGUF-квантизированная версия текстовой генеративной модели Dolphin3.0-Qwen2.5-1.5B, опубликованная и квантизированная bartowski на основе модели cognitivecomputations. Модель основана на Qwen2.5-1.5B и предназначена для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель ориентирована на генерацию текста, выполнение инструкций, программирование, математические задачи, работу с function calling и агентскими сценариями. В README указаны английский язык и размер базовой модели 1,5 млрд параметров; сведения о длине контекста, точной архитектуре и других модальностях не приведены. Доступны варианты от F32 и F16 до квантизаций Q8, Q6, Q5, Q4 и Q3 с размерами примерно от 0,78 до 6,18 ГБ. Для большинства сценариев рекомендуются варианты Q4–Q6, обеспечивающие баланс качества и требований к памяти. Сильными сторонами являются компактный размер, возможность автономного запуска на локальном оборудовании и широкий выбор уровней квантизации. Более низкие варианты экономят память, но снижают качество; некоторые форматы являются устаревшими. Для корректного взаимодействия следует использовать шаблон prompt в формате ChatML, указанный в README. Модель распространяется по лицензии Apache-2.0.

cortexso/gemma2 — это семейство текстовых генеративных моделей Gemma, разработанное Google и подготовленное для использования в экосистемах Cortex и Jan. Модели обучались на сочетании синтетических данных и отфильтрованных общедоступных веб-данных с акцентом на качество и задачи, требующие рассуждений. Семейство предназначено для генерации и обработки текста в локальных приложениях и через интерфейсы Cortex CLI или Jan. В README указаны варианты Gemma2-2b, Gemma2-9b и Gemma2-27b; конкретные архитектурные параметры, поддерживаемые языки и модальности не описаны. Также приведена информация о вариантах контекстной длины 8K и 128K, но соответствие этих значений отдельным версиям не уточнено. Сильными сторонами заявлены качество данных обучения и ориентация на рассуждения, однако сведения о результатах тестирования, ограничениях и рекомендуемых сценариях отсутствуют. Лицензия указана как Gemma; оригинальная лицензия доступна в условиях Google Gemma.

gghfez/gemma-3-4b-novision — текстовая версия Gemma 3 4B IT, созданная автором репозитория на основе google/gemma-3-4b-it. Из модели удалены компоненты обработки изображений, а мультимодальная архитектура преобразована в Gemma3ForCausalLM; сохранена генерация текста. Модель содержит 4 млрд параметров, использует Transformers и распространяется в формате safetensors. Модель предназначена для диалогов и генерации текста по текстовым запросам. Она наследует базовую модель Gemma 3 4B IT, а её контекст составляет до 131 072 токенов. Лицензия — Gemma. Поскольку компоненты зрения удалены, модель не принимает изображения; карточка не приводит отдельных оценок качества или дополнительных ограничений.

OnlyTextLLMs выпустила текстовую версию Gemma 4 E2B IT на основе google/gemma-4-E2B-it. Это плотная авторегрессионная языковая модель с архитектурой Gemma4ForCausalLM; из исходной мультимодальной модели удалены компоненты обработки изображений и аудио и соответствующие специальные токены, а текстовый блок и языковая голова сохранены. Карточка указывает 4,65 млрд параметров, 35 слоёв и размер скрытого состояния 1536, тогда как метаданные каталога приводят 1,6 млрд параметров; точный размер поэтому расходится между источниками. Метаданные указывают контекст до 131072 токенов и поддержку диалогового режима. Модель предназначена для генерации текста и диалоговых сценариев, где вход и выход представлены текстом. Она не принимает изображения или аудио, в отличие от исходной Gemma 4 E2B IT. README сообщает, что новые обучающие данные и дообучение не добавлялись: изменён состав компонентов модели. Репозиторий распространяется по лицензии Apache 2.0.

ibm-granite_granite-4.1-8b-GGUF — это квантизированная версия языковой модели granite-4.1-8b, разработанной IBM (ibm-granite) и подготовленной пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель имеет около 8 миллиардов параметров и доступна в вариантах от BF16 до различных уровней квантизации Q2–Q8 и IQ. Размер файлов составляет примерно от 4,07 до 17,59 ГБ, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью работы. Для взаимодействия используется специальный шаблон промпта с ролями system, user и assistant. Сведения о поддерживаемых языках, архитектуре исходной модели, модальностях помимо текста и размере контекстного окна в представленном README не указаны. Сильными сторонами являются широкий выбор квантизаций, возможность локального инференса и совместимость с распространёнными инструментами. Более точные варианты, включая Q6_K и Q6_K_L, обеспечивают качество, близкое к исходному, тогда как варианты Q3 и Q2 рассчитаны на системы с ограниченным объёмом памяти, но сопровождаются заметным снижением качества. Модель распространяется по лицензии Apache-2.0.

K2-Horizon-MoVA-36B-A4B-GGUF — набор GGUF-квантизаций модели K2-Horizon-MoVA-36B-A4B, разработанной Institute of Foundation Models (IFM) при MBZUAI и выпущенной 3 сентября 2026 года. Модель предназначена для генерации текста, рассуждений и работы с длинным контекстом; заявлена поддержка английского языка. Формат GGUF ориентирован на запуск через llama.cpp и совместимые инструменты. Модель использует архитектуру k2_horizon и сочетает разреженную Mixture-of-Experts (MoE) с механизмом Mixture-of-Values (MoVA), применяющим разреженную маршрутизацию внутри attention. Всего предусмотрено около 36 млрд параметров, из которых примерно 4 млрд активируются для каждого токена. Архитектура включает 48 слоёв, 100 маршрутизируемых экспертов с 8 активными и одним общим экспертом на MoE-слой, а также 64 value-эксперта с 4 активными на attention-слой. Нативное контекстное окно составляет до 524 288 токенов. Доступны варианты от BF16 до низкобитных Q2 и IQ-квантизаций, что позволяет выбирать между качеством, размером файлов и требованиями к памяти. При этом активация только 4 млрд параметров на токен не означает, что модель требует память уровня 4 млрд параметров: все веса объёмом около 10–70 ГиБ должны находиться в RAM или VRAM, а память под KV-кэш и служебные расходы учитывается отдельно. Для загрузки GGUF необходима ветка model/K2Horizon форка llama.cpp от MBZUAI-IFM либо версия upstream после добавления поддержки архитектуры k2_horizon. Лицензия модели — Apache 2.0.

EXAONE-4.0-32B-GGUF — это набор GGUF-квантизаций языковой модели EXAONE-4.0-32B, разработанной LGAI-EXAONE. Квантизации подготовлены пользователем bartowski с помощью llama.cpp версии b5934 и imatrix на основе исходной модели LGAI-EXAONE/EXAONE-4.0-32B. Модель предназначена для генерации текста и может использоваться локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от BF16 размером около 64 ГБ до компактных IQ3 и Q3 размером примерно 13–17 ГБ, а также более качественные Q4–Q8. Рекомендуемым вариантом по умолчанию указан Q4_K_M; варианты Q5 и Q6 обеспечивают более высокое качество при значительных требованиях к памяти, а низкобитные варианты подходят для систем с ограниченным объёмом RAM, но могут заметно уступать в качестве. Из README известно, что модель содержит 32 миллиарда параметров и работает в текстовой модальности. Архитектура, поддерживаемые языки, размер контекстного окна и точные характеристики исходной модели здесь не указаны. Шаблон чата также не задан: в README приведён предполагаемый формат, который может быть некорректным и требует проверки по карточке оригинальной модели. Лицензия в предоставленных данных не указана.

Llama-3.1-Storm-8B-GGUF — это набор GGUF-квантизаций языковой модели Llama-3.1-Storm-8B, подготовленный bartowski на базе модели akjindal53244. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, рассуждений и function calling. Она поддерживает текстовый ввод и вывод, а заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Архитектура и размер исходной модели обозначены как Llama-3.1 и 8B; размер контекста в README не указан. Модель распространяется в формате GGUF для запуска через llama.cpp и совместимых приложений, включая LM Studio. Доступны варианты от f32 и Q8_0 до более компактных Q2_K и IQ2_M, поэтому можно выбирать между качеством генерации и требованиями к памяти. Квантизации созданы с использованием imatrix; отдельные варианты применяют Q8_0 для embedding- и output-весов, что заявлено как способ сохранить более высокое качество. Сильными сторонами являются широкий выбор размеров файлов, локальный запуск и поддержка задач instruction following, reasoning и function calling. Ограничения зависят от выбранной квантизации: варианты с низкой битностью имеют заметно более низкое качество, а некоторые прямо не рекомендуются. Лицензия указана как llama3.1; дополнительные условия использования в README не раскрыты.

unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF — модель в формате GGUF, подготовленная Unsloth на основе Meta Llama 4 Maverick 17B-128E-Instruct. Она предназначена для работы в режиме instruct: диалогов, следования инструкциям и решения широкого спектра текстовых задач. В README указана поддержка арабского, немецкого, английского, испанского, французского, хинди, индонезийского, итальянского, португальского, тайского, тагальского и вьетнамского языков. Из доступных данных известны обозначенные в названии характеристики: 17B и 128E, а также формат GGUF, обычно ориентированный на локальный инференс в совместимом программном обеспечении. Сведения о длине контекста, точной архитектуре, модальностях, вариантах квантования, требованиях к оборудованию, результатах тестирования и ограничениях качества в README не приведены, поэтому их нельзя оценить по имеющимся данным. Модель распространяется в соответствии с Llama 4 Community License от Meta. Лицензия предоставляет ограниченные безвозмездные права на использование, копирование, распространение и создание производных работ при соблюдении условий, включая передачу текста лицензии, указание «Built with Llama» при распространении материалов или продуктов, сохранение обязательного уведомления об атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей предусмотрено дополнительное лицензионное условие Meta.

Meta-Llama-3.1-8B-Claude-GGUF — набор GGUF-квантизаций модели Meta-Llama-3.1-8B-Claude, базовой моделью которой указана Undi95. Квантизации подготовлены bartowski с использованием llama.cpp версии b3472 и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio; для работы используется формат промпта Llama 3 с ролями system, user и assistant. Доступны варианты от полных весов F32 размером 32,13 ГБ до низкобитных IQ2_M размером 2,95 ГБ. Рекомендуемые варианты включают Q4_K_M, Q5_K_M, Q6_K и другие; более высокие уровни квантизации обеспечивают лучшее качество, а низкие требуют меньше оперативной памяти, но могут заметно снижать качество генерации. В README не указаны архитектурные детали исходной модели, поддерживаемые языки, размер контекста, модальности или лицензия, поэтому эти характеристики нельзя достоверно определить.

Ministral-3-14B-Instruct-2512-textonly-NVFP4 — текстовая производная модели Ministral-3-14B-Instruct-2512-BF16 от Mistral, подготовленная сообществом ppetermann. Модель предназначена для генерации текста и использования в формате instruct, включая развёртывание сервиса вывода через vLLM и OpenAI-совместимый API. Модель содержит только языковую часть исходного мультимодального чекпойнта: поддержка изображений и другие функции компьютерного зрения удалены. Она основана на архитектуре MistralForCausalLM и имеет заявленный размер исходной модели 14B параметров. Веса полностью квантизованы в формате NVFP4 и сохранены в формате compressed-tensors, что ориентировано на эффективное выполнение при поддержке соответствующего аппаратного и программного стека. README не указывает языки, размер контекста и точные характеристики качества. Сильными сторонами являются уменьшенный формат хранения и ориентация на производительное серверное инференс-развёртывание; автор сообщает около 21 токена в секунду на запрос при работе через vLLM на машине с GB10. Ограничения включают отсутствие мультимодальности и зависимость от совместимости с vLLM и NVFP4. Модель распространяется по лицензии Apache-2.0.

mistral-7b-openhermes-sft — дообученная методом supervised fine-tuning модель семейства Mistral, разработанная CorticalStack на базе unsloth/mistral-7b-bnb-4bit с использованием набора данных teknium/openhermes. Это плотная авторегрессионная языковая модель с 7,1 млрд параметров и контекстом до 32 768 токенов, предназначенная для генерации текста.

Это GGUF-квантизированная версия языковой модели Magistral-Small-2506, разработанной Mistral AI и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Карточка указывает поддержку английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Доступны варианты от BF16 до различных уровней квантизации, с размером файлов примерно от 10,65 до 47,15 ГБ. Для запуска предусмотрен специальный формат промпта с системной инструкцией и пользовательским запросом. Архитектура, число параметров, размер контекстного окна и мультимодальные возможности в README не указаны. Основное преимущество набора — возможность выбрать компромисс между качеством и требованиями к памяти: варианты Q5 и Q6 заявлены как высококачественные, а Q4 подходят для большинства сценариев и экономят ресурсы. Более компактные варианты позволяют работать при ограниченном объёме оперативной памяти, но могут заметно уступать по качеству. Модель предназначена для текстовых задач; поддержка изображений или других модальностей не заявлена. Распространяется по лицензии Apache-2.0.

Mistral-Nemo-12B-ArliAI-RPMax-v1.1-GGUF — это набор GGUF-квантизированных файлов модели Mistral-Nemo-12B-ArliAI-RPMax-v1.1, разработанной ArliAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться, в частности, в LM Studio с шаблоном запроса <s>[INST]{prompt}[/INST]. Доступны варианты от исходных весов F16 размером 24,50 ГБ до более компактных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ4_XS/IQ3_M; размеры файлов варьируются примерно от 5,72 до 24,50 ГБ. Старшие варианты квантизации обеспечивают качество, близкое к исходному, а младшие подходят для систем с ограниченным объёмом оперативной памяти, но могут заметно уступать в качестве. Отдельные варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. В README не указаны модальности, языки и размер контекста. Распространение заявлено по лицензии Apache-2.0.

Mistral-Nemo-Instruct-2407-bnb-4bit — это 4-битная версия инструкционной языковой модели Mistral Nemo, опубликованная Unsloth. Модель предназначена для генерации и обработки текста по инструкциям, диалоговых сценариев, а также для дообучения на собственных наборах данных с использованием экосистемы Transformers и инструментов Unsloth. Из README известно, что модель относится к семейству Mistral Nemo и рассчитана на работу с английским языком. Она доступна в формате 4-битного квантования bnb, что снижает требования к памяти и делает запуск и дообучение более доступными на ограниченных GPU-ресурсах. Указана интеграция с Transformers, а после дообучения модель можно экспортировать в GGUF или использовать через vLLM. Точный размер модели, архитектурные параметры и длина контекста в представленном README не указаны. К сильным сторонам относятся экономичное использование памяти и поддержка сценариев быстрого дообучения, включая beginner-friendly ноутбуки Unsloth. Ограничения связаны с тем, что README не содержит результатов оценки качества, подробностей о датасете и точных характеристик производительности именно этой версии. Модель распространяется по лицензии Apache-2.0.

Mistral-Nemo-NT-Ko-12B-sft — многоязычная диалоговая модель на архитектуре Mistral, дообученная автором werty1248 на базе mistralai/Mistral-Nemo-Base-2407. Модель содержит 12,1 млрд параметров и распространяется в формате safetensors по лицензии Apache-2.0. Она предназначена для диалогов и генерации инструктивных ответов на английском, корейском, китайском и японском языках. Дообучение ориентировано на языковое выравнивание, перенос знаний между языками и форматирование ChatML; модель обычно отвечает на языке запроса, если не задан другой язык. В карточке приведены результаты тестирования на LogicKor и MT-Bench. Контекст обучения составил 8 тыс. токенов, хотя для базовой модели указано окно до 128 тыс. токенов. Это промежуточная версия без оптимизации предпочтений. Длина ответов зависит от языка: английские ответы обычно длиннее, корейские — короче; поведение на японском и китайском автор продолжает наблюдать. Рекомендуемая температура генерации — 0,3–0,7.

Mistral-Small-3.2-24B-Instruct-2506-4bit — это 4-битная квантованная версия инструкционной языковой модели Mistral Small 3.2 24B Instruct 2506, преобразованная сообществом mlx-community в формат MLX из варианта bf16. Модель предназначена для генерации текста и работы с диалоговыми запросами, включая использование chat template, и ориентирована на запуск через библиотеку mlx-lm. Модель поддерживает английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и ряд других языков, перечисленных в карточке. Известный размер исходной модели — 24 миллиарда параметров; в данном варианте используется 4-битное представление, что может снизить требования к памяти по сравнению с bf16, но потенциально уменьшает точность. Архитектура и размер контекстного окна в README не указаны. Для работы требуется MLX и mlx-lm; в карточке приведён пример загрузки и генерации текста на Python. Модель распространяется по лицензии Apache-2.0. Ограничения, результаты тестирования и рекомендации по аппаратным требованиям в README не описаны.

Это набор GGUF-квантизаций модели Mistral-Small-3.2-24B-Instruct-2506, первоначально разработанной Mistral AI и модифицированной независимым автором llmfan46. Модель обработана методикой Heretic v1.2.0 с использованием Arbitrary-Rank Ablation (ARA), чтобы снизить количество отказов и ограничений при сохранении исходных возможностей. Заявлены 2 отказа из 100 против 98 из 100 у оригинальной версии, при KL-дивергенции 0,0369. Модель предназначена для диалогов, выполнения инструкций, генерации текста и function calling. Она поддерживает мультимодальный сценарий image-text-to-text: для работы с изображениями требуется отдельный Vision Projector, совместимый с GGUF. Указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Размер модели — 24 миллиарда параметров; сведения о длине контекста и точной архитектуре в карточке не приведены. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S и Q4_K_M с разным соотношением качества, размера и требований к памяти. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами, поддерживающими GGUF. Основное преимущество — более свободная генерация и сохранение близкого к оригиналу поведения; ограничениями являются возможное снижение качества из-за квантизации, необходимость Vision Projector для изображений и уменьшенные встроенные механизмы отказа, что повышает риски при использовании без дополнительного контроля безопасности. Лицензия — Apache 2.0.

Это версия NVIDIA Nemotron 3 Ultra 550B A55B в формате GGUF BF16, опубликованная DevQuasar как копия модели NVIDIA. Она предназначена для генерации текста и диалоговых сценариев, включая сложные рассуждения, работу с длинным контекстом и агентные приложения. В метаданных указана возможность чата, а README называет версию Zeroshot. Модель основана на nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16. Репозиторий описывает её как квантованную версию, хотя формат указан как GGUF BF16; подробности о способе квантования и аппаратных требованиях не приведены. Лицензия в предоставленных данных не указана.

Это GGUF-квантизация модели Qwen3.8-27B-Uncensored, разработанной orcarouter и подготовленной пользователем bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для локального запуска в совместимых инструментах, включая llama.cpp. Модель поддерживает работу с текстом и изображениями при использовании отдельного файла mmproj, а также speculative decoding через MTP. Она ориентирована на рассуждения, function calling, vision-language-сценарии, red teaming и другие задачи генерации и анализа контента. Заявлены английский и китайский языки. README не указывает размер контекстного окна и конкретную архитектуру базовой модели. Доступны варианты от BF16 до различных уровней квантования GGUF. Q6 и Q5 позиционируются как варианты очень высокого или высокого качества, а Q4_K_M — как сбалансированный вариант по размеру и качеству; менее точные варианты требуют меньше оперативной памяти. К ограничениям относятся необходимость значительных аппаратных ресурсов для крупных файлов, зависимость мультимодального режима от mmproj и отсутствие в README подробных результатов оценки качества. Указанная лицензия — Apache-2.0.

Qwen2.5-72B-0.6x-Instruct-GGUF — набор GGUF-квантизированных версий инструкционной языковой модели Qwen2.5-72B-0.6x-Instruct. Квантизацию выполнил bartowski с использованием llama.cpp b4058 и метода imatrix. Модель предназначена для текстовой генерации и диалоговых сценариев, включая работу в LM Studio; README указывает английский язык и формат чата с системными и пользовательскими сообщениями. Доступны варианты квантизации от Q8_0 размером 77,26 ГБ до IQ1_M размером 25,49 ГБ. Версии Q6_K, Q5_K_M, Q5_K_S и Q4_K_M обозначены как рекомендованные благодаря хорошему соотношению качества и размера, при этом более сильная квантизация уменьшает требования к памяти, но может снижать качество ответов. Q3 и Q2-варианты рассчитаны на системы с ограниченным объёмом RAM и характеризуются более низким качеством. Некоторые форматы оптимизированы для ARM и AVX, а Q4_0_8_8 требует поддержки SVE на ARM и не рекомендуется для Mac. Модель использует лицензию Qwen; ссылка на текст лицензии ведёт к лицензии исходной модели Qwen2.5-72B-Instruct. В README не указаны архитектурные детали, размер контекстного окна, полный список поддерживаемых языков, мультимодальные возможности и результаты бенчмарков, поэтому эти характеристики нельзя надёжно определить по предоставленным данным.