II.8Инженерия данных и аналитика

Kanana-2-30B-A3B-Instruct — языковая модель Kakao для диалогов и сценариев агентного ИИ. Она дообучена на базе kakaocorp/kanana-2-30b-a3b-base и построена на архитектуре DeepSeek V3 с MLA и MoE: всего 30 млрд параметров, из которых активируются около 3 млрд. В репозитории указаны 48 слоёв, 128 экспертов и выбор 6 экспертов на токен. Модель предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов. Она генерирует текст и поддерживает контекст до 32 768 токенов. Семейство Kanana-2 рассчитано на корейский, английский, японский, китайский, тайский и вьетнамский языки. Для контекстов длиннее 32 768 токенов README описывает расширение до 128 000 с помощью YaRN и изменением конфигурации; это может ухудшить качество на коротких текстах. Для запуска с Transformers требуется версия не ниже 4.51.0. Лицензия указана как other, поэтому условия использования следует сверить с файлами лицензии репозитория.

giannisan/llama3.1-70B-upscaled-105B — плотная авторегрессионная языковая модель семейства Llama 3.1, созданная методом passthrough-сборки в mergekit из двух перекрывающихся диапазонов слоёв предобученной Llama 3.1 70B. Веса сохранены в формате safetensors; размер модели — около 103,7 млрд параметров, длина контекста — до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Большой контекст подходит для работы с длинными документами и многоходовыми диалогами. Карточка не описывает отдельное обучение или специализированную предметную область. Лицензия в предоставленных данных не указана.

LLaMa-3.1-Instruct-13B — языковая модель, созданная сообществом mergekit-community с помощью mergekit из unsloth/Meta-Llama-3.1-8B-Instruct. Применён метод passthrough: в итоговую модель включены указанные диапазоны слоёв исходной модели. Это плотная архитектура Llama для генерации текста и диалогов; размер составляет 12,5 млрд параметров, нативный контекст — до 131 072 токенов. Модель подходит для ответов на вопросы, диалоговых сценариев и генерации текста; метаданные также указывают интерфейс вызова инструментов. В репозитории используются веса safetensors, библиотека — Transformers. В карточке указана лицензия исходной модели Llama 3.1: используйте модель в соответствии с её условиями.

Карточка модели context-labs/meta-llama-Llama-3.2-3B-Instruct-FP16 на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-3B-Instruct, поэтому описание составлено по ней. Meta разработала Llama 3.2 3B Instruct — мультиязычную авторегрессионную языковую модель на архитектуре Transformer для генерации текста. Версия Instruct дообучена с помощью контролируемой настройки и обучения с подкреплением на основе обратной связи от людей; модель оптимизирована для диалогов с ассистентом и задач, связанных с агентными приложениями. Модель подходит для ответов в чате, поиска сведений и суммаризации, а также для мобильных помощников по написанию текста и переформулированию запросов. Она принимает текст и генерирует текст, в том числе код. В карточке семейства указан контекст до 128 тысяч токенов, а среди официально поддерживаемых языков перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель использует Grouped-Query Attention и рассчитана в том числе на запуск в средах с ограниченными ресурсами. По сравнению с более крупными моделями у компактных вариантов могут отличаться баланс безопасности и полезности; разработчикам следует проверять поведение модели в своём сценарии. Использование регулируется пользовательской коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 — квантизированная версия большой языковой модели NVIDIA Nemotron-Nano-3-30B-A3B, разработанная NVIDIA Corporation. Модель обучена с нуля и предназначена для генерации текста, решения задач с рассуждением и без него, а также создания специализированных AI-агентов. Она поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Модель использует гибридную архитектуру Mixture-of-Experts, включающую 23 слоя Mamba-2 и MoE, а также 6 Attention-слоёв. Всего модель содержит 30 млрд параметров, из которых 3,5 млрд активируются для каждого токена. В каждом MoE-слое используются 128 экспертов и один общий эксперт, при этом на токен активируются 6 экспертов. Модель может сначала формировать reasoning trace, а затем итоговый ответ; режим рассуждений настраивается через chat template. Отключение промежуточных рассуждений сокращает вывод, но может немного снизить точность на сложных задачах. Размер контекста в README не указан. К сильным сторонам относятся сочетание эффективности разреженной MoE-архитектуры с возможностями рассуждения, поддержка нескольких языков и готовность к коммерческому использованию. FP8-квантизация может снизить требования к ресурсам по сравнению с полноточной версией, однако конкретные требования к оборудованию не приведены. Показатели на опубликованных тестах у FP8-версии немного ниже, чем у базовой BF16-версии, например 87,7 против 89,1 на AIME25 без инструментов и 78,1 против 78,3 на MMLU-Pro. Использование модели регулируется NVIDIA Nemotron Open Model License.

bartowski/Phi-3.5-mini-instruct-GGUF — набор GGUF-квантизаций модели Phi-3.5-mini-instruct, разработанной Microsoft и преобразованной в GGUF с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев и задач обработки естественного языка, включая работу с кодом. В README заявлена мультиязычная поддержка и формат взаимодействия с системными и пользовательскими сообщениями. Доступны варианты от полных весов F32 размером 15,29 ГБ до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ различных размеров — примерно от 1,68 до 4,06 ГБ. Квантизации позволяют выбирать компромисс между качеством и требованиями к памяти; отдельные варианты оптимизированы для ARM-инференса. Для запуска рекомендуется использовать llama.cpp или LM Studio и соблюдать указанный формат prompt. Контекст модели, точное число параметров и перечень поддерживаемых языков в предоставленном README не указаны. Сильной стороной набора является широкий выбор уровней квантизации, включая варианты, ориентированные на высокое качество, экономию памяти и ARM-устройства. Ограничения зависят от выбранного варианта: более компактные квантизации могут заметно снижать качество, а некоторые требуют специфической аппаратной поддержки. В метаданных указана лицензия MIT; исходная модель размещена Microsoft.

Phi-3.5-MoE-instruct-GGUF — это набор GGUF-квантизованных версий инструкционной языковой модели Phi-3.5-MoE-instruct, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с кодом и многоязычными запросами, и может запускаться локально через llama.cpp или LM Studio. В набор входят варианты от F16 до низкоразрядных Q2 и IQ-квантизаций размером примерно от 15 до 84 ГБ. Доступны версии с различным компромиссом между качеством, требованиями к памяти и скоростью работы; наиболее качественными считаются F16, Q8_0 и Q6, а Q4-варианты ориентированы на более широкий круг локальных сценариев. Модель относится к архитектуре Mixture of Experts, однако точные сведения о числе параметров, длине контекста и поддерживаемых языках в README не указаны; заявлена многоязычность. Сильные стороны — широкий выбор форматов, локальный запуск и возможность подобрать размер модели под доступные ресурсы. Ограничения зависят от уровня квантизации: уменьшение размера может снижать качество, а даже компактные варианты требуют значительного объёма памяти. Модель распространяется по лицензии MIT.

bartowski/Phi-3-medium-4k-instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Phi-3-medium-4k-instruct, разработанной Microsoft. Модель предназначена для генерации текста и кода, диалоговых сценариев, ответов на пользовательские инструкции и локального запуска через llama.cpp или совместимые приложения, включая LM Studio. В README указана поддержка multilingual-сценариев, однако конкретный перечень языков не приведён. Модель работает с текстом и имеет контекст длиной 4K токенов, что следует из её названия и исходной модели. Доступны варианты от F32 до Q2_K и IQ-квантизаций с размером файлов примерно от 4,72 до 55,84 ГБ. Квантизации подготовлены bartowski с использованием llama.cpp и imatrix; обновление llama.cpp также учитывает исправление rope scaling. Более высокие варианты обычно обеспечивают лучшее качество, а низкобитные требуют меньше оперативной памяти, но могут заметно уступать по точности. Основные ограничения связаны с ограниченным контекстом 4K токенов, отсутствием заявленной поддержки изображений или других немультимодальных входов и возможной потерей качества при сильной квантизации. Формат prompt требует специальных маркеров ролей <|user|>, <|end|> и <|assistant|>. Для модели указана лицензия MIT.

Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Qwen3-24B-A4B-Freedom-HQ-Thinking-Abliterated-Heretic-NEOMAX-Imatrix-GGUF — модель от DavidAU, созданная на базе шести моделей Qwen3 4B и их производных, включая варианты с дистилляцией рассуждений из более крупных моделей. Это текстовая reasoning-модель с архитектурой dense Mixture of Experts: по умолчанию активен один эксперт, но доступны конфигурации с двумя–шестью экспертами, соответствующие заявленным уровням 4–24B параметров. Модель распространяется в формате GGUF с различными вариантами квантования и рассчитана на локальный запуск на GPU или CPU. Модель предназначена для широкого спектра задач: генерации и продолжения художественных текстов, ролевых сценариев, диалогов, написания кода, математики, обучения, исторических и научных объяснений, включая задачи высокого уровня. Заявлена поддержка контекста до 256K токенов и английского языка. Модель ориентирована на подробные рассуждения, планирование и точное следование инструкциям; увеличение числа активных экспертов может повысить доступную вычислительную мощность и качество ответов. К сильным сторонам относятся большой контекст, гибкая настройка числа активных экспертов, reasoning-возможности и сниженный уровень отказов благодаря применению Heretic и abliterated-подхода. При этом модель может требовать более явных указаний для получения желаемого уровня резкости, ненормативной лексики или откровенного содержания. Для локального запуска потребуются соответствующие вычислительные ресурсы, особенно при активации нескольких экспертов; заявленные показатели скорости зависят от оборудования и настроек. В README указана лицензия Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP — мультимодальная модель с 27 млрд параметров на архитектуре Qwen3.5, дообученная DavidAU совместно с участниками проекта на базе Qwen/Qwen3.6-27B. Она предназначена для диалогов общего назначения, следования инструкциям, решения задач, рассуждений, программирования и работы с изображениями. В карточке также заявлены возможности творческого письма и ролевого общения. Модель принимает текст и изображения и генерирует текст; в метаданных отмечены интерфейс вызова инструментов и поддержка зрения. Обучение включало несколько этапов дообучения и слияния, а также данные для рассуждений и письма. Указаны английский и китайский языки. Репозиторий использует Transformers и формат safetensors; лицензия — Apache 2.0. Автор сообщает об улучшениях следования инструкциям и рассуждений, однако приведённые сравнительные результаты являются заявлениями карточки и не гарантируют качество на конкретных задачах. Упомянуты также варианты GGUF-квантования с отдельными рекомендациями по настройкам MTP, но в текущих метаданных форматом репозитория указан safetensors.

schwyzquant/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. В README указано участие нескольких авторов и команд, включая DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; модель создана с использованием Unsloth и рассчитана на запуск на потребительском оборудовании. Она распространяется в форматах GGUF, включая обычные и MTP-варианты с multi-token prediction, а также 4- и 8-битные квантизации. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, ролевых сценариев и диалогов. Заявлена поддержка текста и изображений, английского и китайского языков. Среди ключевых свойств указаны улучшенное следование инструкциям, решение задач и reasoning, сохранение возможностей базовой Qwen-модели, а также uncensored/heretic-настройка. Контекстное окно, точные архитектурные характеристики и параметры мультимодального компонента в README не приведены. Автор заявляет высокие результаты на ряде бенчмарков и превосходство базовой Qwen3.6-27B по шести из семи указанных тестов, однако эти утверждения следует воспринимать как данные из карточки модели. Сильными сторонами называются качество рассуждений, универсальность, поддержка vision и эффективность квантизированных версий; возможное ограничение — отсутствие подробных независимых результатов и недостаток технических сведений о размере контекста. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель, созданная HauhauCS на основе Qwen/Qwen3.6-35B-A3B. Это вариант с усиленным снятием ограничений на отказы: по заявлению автора, модель отвечает на запросы без отказов, сохраняя исходные наборы данных и возможности базовой модели. Она предназначена для диалогов, генерации и анализа текста, программирования, рассуждений, а также обработки изображений и видео. Модель использует гибридную архитектуру с линейным и полноразмерным softmax-вниманием в соотношении 3:1 и содержит 40 слоёв. Это MoE-модель с 35 млрд общих параметров и примерно 3 млрд активных параметров на проход; используются 256 экспертов, из которых для каждого токена выбираются 8. Заявлен нативный контекст до 262 тысяч токенов. Поддерживаются текст, изображения и видео, а среди языков указаны английский, китайский и многоязычная обработка. Доступны GGUF-квантизации, включая специализированные варианты K_P, оптимизированные для сохранения качества. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшое число активных параметров для MoE-архитектуры и широкий выбор квантизаций для локального запуска через llama.cpp, LM Studio и другие совместимые среды. Ограничение модели — агрессивное отключение защитных отказов: она может генерировать небезопасный или нежелательный контент и не предоставляет встроенных гарантий безопасного использования. Для поддержки зрения требуется отдельный файл mmproj; для сохранения возможностей режима рассуждений рекомендуется контекст не менее 128 тысяч токенов. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Abliterated — модифицированная мультимодальная модель на базе Qwen3.8-27B, разработанная Grimxlock. Она предназначена для диалогов, генерации и анализа текста и изображений, следования инструкциям, программирования, рассуждений и многоязычных сценариев. В README указано, что базовая модель имеет размер 27 млрд параметров и работает в формате BF16; для использования заявлены Transformers, AutoProcessor и AutoModelForMultimodalLM. Точные поддерживаемые языки и размер контекстного окна не указаны. Модель создана методом targeted activation steering / ablation: из residual stream, attention- и MLP-компонентов удалялось или перенаправлялось направление, связанное с отказами. В заявленном тесте на 450 вредоносных запросах модель не отказала ни разу, при этом не было зафиксировано вырожденных ответов. По сравнению с исходной моделью отмечено небольшое ухудшение perplexity и результатов capability-бенчмарка: пройдено 14 из 15 заданий вместо 15 из 15; единственная ошибка была в простом числовом вопросе о седьмом числе Фибоначчи. Основное преимущество модели — сохранение заявленных способностей к письму, структурированному рассуждению, следованию инструкциям, программированию и многоязычной работе при существенно сниженном числе отказов. Ограничения включают возможное снижение точности и отсутствие стандартного защитного поведения, поэтому модель требует ответственного применения и дополнительного контроля результатов. В README указана лицензия Apache-2.0; поскольку это производная модель, базовые веса Qwen3.8-27B также подчиняются исходным условиям Qwen.

OptimizeLLM/Qwen3.8-27B-heretic-MTP-BF16 — плотная мультимодальная модель, созданная на основе Qwen/Qwen3.8-27B с помощью направленной абляции HERETIC, уменьшающей склонность модели отказываться от ответов. Это исходный чекпойнт в формате BF16; сохранены MTP-головы и полная башня обработки изображений. Базовая архитектура содержит 27,8 млрд параметров и 64 слоя, сочетает линейное внимание с полным и поддерживает изображения и видео. Модель предназначена для диалогов, анализа изображений и видео, программирования и многошаговых задач; в репозитории также заявлен интерфейс вызова инструментов. По описанию автора, на тестовом наборе из 100 запросов о вредоносных действиях модель отказала один раз, но снижение числа отказов не означает нейтральности: она может сохранять склонности базовой модели. Для этой версии указана лицензия Apache-2.0. Чекпойнт опубликован для дальнейшей квантизации в нужный формат.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-AWQ-MTP — это 4-битная AWQ-квантизованная версия модели HauhauCS/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF, опубликованная twolven. Модель предназначена для генерации текста, рассуждений, работы с изображениями и вызова инструментов; поддерживает speculative decoding через встроенную NextN/MTP draft head при использовании vLLM. В карточке указан английский язык и мультимодальный режим image-text-to-text. Модель содержит около 27 млрд параметров и использует гибридную архитектуру Qwen3.5: 64 декодерных слоя, включая 48 слоёв с линейным вниманием Qwen3_5GatedDeltaNet и 16 слоёв с полным вниманием, а также 27-слойную vision tower. Основные линейные слои квантизованы в формате W4A16 с размером группы 128 и асимметричным квантованием; vision tower, lm_head, MTP head и отдельные компоненты сохранены в bf16. Размер модели на диске составляет около 19 ГБ. Проверки показали связное поведение, арифметическое рассуждение, распознавание форм и цветов на изображениях, работу tool calling и извлечение данных из контекстов до 229 200 токенов. К сильным сторонам относятся мультимодальность, сохранённая поддержка MTP для ускорения генерации, совместимость с vLLM, инструментами и длинным контекстом, а также отсутствие отказов в заявленных тестах uncensored-профиля. Главное ограничение — модель восстановлена из GGUF-квантизации Q8_K_P, а затем повторно квантизована до 4 бит, поэтому накопленная ошибка выше, чем у сборки, созданной непосредственно из исходных BF16-весов. Производительность MTP зависит от характера запроса и может различаться примерно на 30%; единое значение скорости генерации не приводится. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — квантованная GGUF-версия плотной языковой модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также работы с изображениями и видео; поддерживает текстово-визуальный ввод через отдельный vision-проектор. Заявлены языки English, Chinese и multilingual. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, размер FFN 17408 и словарь на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохранены встроенные механизмы MTP/NextN, а также добавлен профиль ускорения HauhauCS FastMTP 32K для speculative decoding. Нативный контекст составляет 262 144 токена, с заявленной возможностью расширения до 1 000 000 токенов. Доступны варианты квантования от Q8_K_P до IQ2_M размером примерно от 10,32 до 31,46 ГБ; для изображений и видео требуется отдельный BF16 vision-проектор размером 931 МБ. К сильным сторонам относятся большой контекст, мультимодальность, поддержка рассуждений и агентских задач, а также заявленное ускорение генерации FastMTP до 3,02 раза для документов и до 1,93 раза для рассуждений по сравнению с вариантами без MTP. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и практически отсутствующим отказным поведением, поэтому может быть менее подходящим для критически важных длинных агентских сценариев, где предпочтительнее более сбалансированный профиль. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-2B-Instruct-FP8 — это FP8-квантизированная версия мультимодальной модели Qwen3-VL-2B-Instruct, разработанной командой Qwen. Квантование выполнено методом fine-grained FP8 с размером блока 128; согласно README, показатели почти идентичны исходной версии в формате BF16. Модель предназначена для задач image-text-to-text и обработки текста, изображений и видео. Модель ориентирована на визуальное понимание и рассуждение, распознавание текста на изображениях, анализ документов, пространственное восприятие, понимание видеосцен и временных событий, а также взаимодействие с графическими интерфейсами и инструментами. Она может применяться для визуального программирования, генерации Draw.io/HTML/CSS/JS по изображениям и видео, STEM- и математических задач, OCR и агентских сценариев. Заявлена поддержка OCR на 32 языках, однако полный перечень языков в README не приведён. Архитектура относится к семейству Qwen3-VL и включает механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Указан нативный контекст 256K с возможностью расширения до 1M, но эти характеристики описаны для поколения Qwen3-VL в целом и не уточнены отдельно для данной 2B-версии. Размер модели — 2B параметров по идентификатору базовой модели. README рекомендует развёртывание через vLLM или SGLang и отмечает, что Transformers пока не поддерживает прямую загрузку этих весов. Модель распространяется по лицензии Apache-2.0.

Карточка модели eyes-dot-ml/GLM-5.3-Flash-BF16 на Hugging Face совпадает с карточкой zai-org/GLM-5.3-Flash-BF16, поэтому описание составлено по ней. GLM-5.3-Flash-BF16 — мультимодальная модель семейства GLM от Z.ai для диалогов и задач с изображениями. По карточке модели, она содержит 320 млрд параметров, из которых 18 млрд активны при обработке. Архитектура GLM5 Next сочетает разреженное и линейное внимание; модель обучена с нуля и использует мультимодальную предобучающую выборку объёмом 30 трлн токенов. Модель предназначена для анализа изображений и текста, программирования и агентных сценариев. В README заявлены улучшения относительно GLM-5.2 и эффективность при работе с длинным контекстом. Доступны уровни reasoning_effort low, high и max; для локального развёртывания перечислены Transformers, vLLM, SGLang и другие фреймворки. Метаданные указывают поддержку английского и китайского языков и интерфейс чата с обработкой изображений. Лицензия — MIT.

Hermes-2-Pro-Llama-3-8B-GGUF — квантизированная GGUF-версия языковой модели Hermes 2 Pro, разработанной NousResearch на основе Meta Llama 3 8B. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для текстового диалога, генерации текста и инструкций, а также сценариев с function calling и выдачей структурированных данных в JSON. Модель содержит около 8 миллиардов параметров, работает в текстовой модальности и ориентирована преимущественно на английский язык. В карточке указаны дообучение с применением DPO и RLHF, использование синтетических данных, дистилляции и датасета OpenHermes-2.5, а также формат запросов ChatML. Размер контекста в предоставленных данных не указан. Главное преимущество этой версии — доступность большого набора квантизаций с разным балансом качества, размера и требований к памяти: от Q8_0 до низкоразрядных IQ- и Q-вариантов. Более качественные варианты Q6_K и Q5_K_M рекомендованы для большинства задач, тогда как низкоразрядные версии подходят для систем с ограниченной памятью, но могут заметно уступать в качестве. Модель распространяется по лицензии Apache 2.0.

K-EXAONE-236B-A23B-FP8 — мультиязычная языковая модель, разработанная LG AI Research. Это FP8-квантизированная версия K-EXAONE-236B-A23B, предназначенная для генерации текста, рассуждений, работы с общими знаниями, многоязычного понимания, обработки длинного контекста и агентских сценариев с использованием инструментов и поиска. Модель использует архитектуру Mixture-of-Experts с 236 млрд параметров, из которых 23 млрд активируются при инференсе. Она поддерживает Multi-Token Prediction для ускорения самоспекулятивного декодирования примерно в 1,5 раза, 256K токенов контекста и гибридную схему внимания 3:1 со скользящим окном размером 128 токенов. В составе архитектуры 128 экспертов, 8 активных экспертов и один общий эксперт; словарь SuperBPE содержит 153 600 токенов. Поддерживаются корейский, английский, испанский, немецкий, японский и вьетнамский языки. Дата отсечения знаний — декабрь 2024 года. Сильные стороны модели — высокая эффективность MoE-архитектуры, длинный контекст, заявленные возможности рассуждения и работы в агентских системах, а также учет корейского культурного и исторического контекста. FP8-квантизация может снизить требования к ресурсам по сравнению с полноразмерной моделью, но модель всё равно остается крупной и требует специализированной инфраструктуры. Данные о мультимодальности отсутствуют, поэтому модель следует рассматривать как текстовую. Лицензия указана как специальная k-exaone; условия использования следует уточнять в файле LICENSE.

Llama-3.1-Nemotron-70B-Instruct-GGUF — квантованная версия инструкционной модели Llama 3.1 Nemotron 70B, разработанной NVIDIA и опубликованной в формате GGUF сообществом Backyard AI. Модель основана на nvidia/Llama-3.1-Nemotron-70B-Instruct-HF и предназначена для локального текстового общения, генерации текста и решения задач, требующих рассуждений. Модель содержит около 70,6 млрд параметров, поддерживает текстовую модальность и английский язык. Заявленный размер контекста составляет до 131 072 токенов. Формат GGUF совместим с приложениями на базе llama.cpp и позволяет распределять вычисления между CPU и GPU, снижая требования к видеопамяти по сравнению с полноразмерными форматами. Квантование уменьшает потребление ресурсов, но при низкой точности квантования может ухудшать связность и качество ответов. Сильными сторонами модели заявлены улучшенные способности к рассуждению и потенциальное превосходство над значительно более крупными моделями в соответствующих задачах. Ограничениями являются высокая вычислительная требовательность 70-миллиардной модели, зависимость качества от используемого уровня квантования и отсутствие заявленной поддержки языков, кроме английского. Модель распространяется по лицензии Llama 3.1.

MiniCPM4.1-8B-GPTQ — квантизированная в формате GPTQ версия большой языковой модели MiniCPM4.1-8B, разработанной командой OpenBMB. Модель предназначена для генерации и обработки текста, включая диалоговые приложения, следование инструкциям, задачи, требующие рассуждений, понимание длинных текстов и вызов инструментов. Она поддерживает китайский и английский языки и рассчитана на эффективное использование на периферийных устройствах и конечных пользовательских системах. Модель содержит 8 миллиардов параметров и относится к гибридным reasoning-моделям: её можно использовать в режиме глубокого рассуждения и в обычном режиме без рассуждений. В архитектуре заявлен механизм разреженного внимания InfLLM v2, при котором при обработке текста длиной до 128K токенов каждый токен взаимодействует менее чем с 5% токенов, что должно снижать вычислительные затраты. GPTQ-квантизация уменьшает требования к памяти и может ускорить инференс на совместимом оборудовании, однако README не содержит точных требований к ресурсам, результатов тестирования именно этой сборки или подробностей о влиянии квантизации на качество. К сильным сторонам относятся ориентация на эффективный инференс, поддержка длинного контекста, гибридный режим рассуждений и наличие оптимизаций для локального запуска. Ограничения и перечень конкретных поддерживаемых аппаратных платформ в README не раскрыты. Модель распространяется по лицензии Apache-2.0.

Mistral-7B-Instruct-v0.3 — инструкционная языковая модель семейства Mistral, разработанная Mistral AI и преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.16.0. Модель содержит около 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Модель предназначена для диалогового взаимодействия, генерации ответов на инструкции, написания и преобразования текста, суммирования и ответов на вопросы. Формат MLX ориентирован на запуск через библиотеку mlx-lm на совместимом оборудовании Apple. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Mistral-Small-3.2-24B-Instruct-2506-NVFP4 — квантизированная FP4-версия инструкционной текстовой модели unsloth/Mistral-Small-3.2-24B-Instruct-2506, разработанная RedHatAI. Модель принимает текст и генерирует текст, поэтому предназначена для диалоговых сценариев, выполнения инструкций и задач общего назначения, включая объяснение понятий и программирование. Указаны языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако README отдельно ограничивает использование английским языком. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в формат FP4 с группировкой 16; для квантизации использовался LLM Compressor и калибровочные данные UltraChat. По сравнению с 16-битным представлением это примерно на 75% уменьшает размер модели на диске и требования к GPU-памяти, что делает модель подходящей для более эффективного инференса. Для запуска заявлена совместимость с vLLM версии 0.9.1 и выше. Ключевое преимущество модели — снижение потребления памяти и размера при сохранении назначения базовой инструкционной модели; качество оценивалось на бенчмарках OpenLLM v1, OpenLLM v2 и HumanEval_64, но подробные результаты в представленном README не приведены. Ограничения включают возможные потери качества из-за агрессивной 4-битной квантизации, отсутствие данных о размере контекстного окна и мультимодальности, а также заявленное ограничение использования английским языком. Модель распространяется по лицензии Apache-2.0.

Dans-PersonalityEngine-V1.3.0-24b-GGUF — квантизированная версия модели Dans-PersonalityEngine V1.3.0 с 24 млрд параметров, опубликованная PocketDoc и подготовленная bartowski в формате GGUF для llama.cpp. Модель предназначена для генерации текста общего назначения, ролевого общения, написания и продолжения историй, совместного творчества, выполнения инструкций, рассуждений, математических и научно-технических задач, программирования, работы с инструментами и агентскими сценариями. В датасетах обучения также представлены материалы по химии, биологии, климату, праву, медицине и финансам. Модель поддерживает английский, арабский, немецкий, французский, испанский, хинди, португальский, японский и корейский языки. Архитектура исходной модели в README не указана; доступна в нескольких вариантах точности и квантизации, включая BF16, Q8_0, Q6_K_L, Q6_K, Q5_K и Q4. Варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M и Q5_K_S отмечены как рекомендуемые благодаря высокому качеству. Размеры файлов составляют примерно от 14,87 до 47,15 ГБ в зависимости от варианта. Сильными сторонами являются широкий набор обучающих сценариев, поддержка многоязычной генерации, возможности ролевого общения и написания текстов, а также совместимость с llama.cpp и LM Studio. Ограничения включают значительные требования к дисковому пространству и памяти, зависящие от выбранной квантизации; длина контекста, мультимодальность и точные характеристики архитектуры в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-32B-Instruct-MLX-4bit — языковая instruction-tuned модель для генерации текста и диалоговых сценариев, основанная на Qwen2.5-32B-Instruct, разработанной командой Qwen. Данная версия подготовлена сообществом LM Studio: MLX-квантизацию в формате 4-bit выполнил bartowski с использованием mlx-examples. Модель предназначена для работы на компьютерах Mac с Apple Silicon. Модель поддерживает обработку и генерацию текста, понимание структурированных данных и работу с длинным контекстом до 32 тысяч токенов; заявленный максимальный объём генерации составляет 8 тысяч токенов. Поддерживается более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся большой размер модели, многоязычность, поддержка длинного контекста и оптимизация для запуска на Apple Silicon благодаря MLX и 4-bit квантизации. Ограничения включают зависимость от совместимого оборудования и возможное снижение точности по сравнению с исходной моделью из-за квантизации. Как и другие генеративные модели, она может создавать неточные, вредные или неподходящие ответы. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-FP8-Dynamic — квантизированная версия модели Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled, подготовленная пользователем mconcat. Это Qwen3.5-27B, дообученная методом distillation на данных с рассуждениями, связанными с Claude Opus, и предназначенная для генерации текста, решения сложных задач и сценариев, требующих развитого reasoning. Модель поддерживает английский и китайский языки, а также имеет визуальный энкодер, однако README не уточняет полный набор мультимодальных возможностей. Модель использует гибридную архитектуру DeltaNet и softmax attention: 64 слоя, из которых 48 используют DeltaNet, а 16 — обычное внимание; применяется GQA с 24 query-heads и 4 KV-heads. Размер скрытого представления — 5120, промежуточный размер MLP — 17408, словарь содержит 248320 токенов, максимальная длина позиции — 262144 токена. Благодаря рекуррентному состоянию DeltaNet только 16 слоёв требуют растущего KV-кэша, что повышает эффективность работы с длинным контекстом. Используется динамическая FP8 W8A8-квантизация в формате compressed-tensors: веса линейных слоёв хранятся в FP8, а чувствительные компоненты, включая lm_head, embeddings, нормы, роутеры MoE и визуальный энкодер, сохраняются в BF16. Размер модели на диске составляет около 29 ГБ, заявленная деградация perplexity относительно BF16 — около 1,4%. Для работы рекомендуется GPU с объёмом памяти от 48 ГБ, оптимально NVIDIA RTX PRO 6000 на 96 ГБ; на одной RTX 5090 модель практически не оставляет памяти для контекста. Поддерживаются vLLM, Transformers и SGLang, но не llama.cpp/GGUF; для отдельных 32-гигабайтных Blackwell GPU указаны проблемы совместимости с vLLM. Лицензия — Apache-2.0.

Qwen3.5-abliterated-MAX-AIO-GGUF — экспериментальная серия моделей, разработанная prithivMLmods на основе Qwen3.5 от Alibaba. Репозиторий содержит GGUF-варианты размеров 0,8B, 2B, 4B и 9B, а также ссылки на вариант 27B. Модели предназначены для локального и периферийного развертывания с использованием llama.cpp и других совместимых средств инференса. Серия ориентирована на генерацию текста, рассуждения, программирование, математические задачи и мультимодальные сценарии с обработкой изображений и текста. Согласно README, модели используют гибридную архитектуру Gated DeltaNet, поддерживают контекст до 262K токенов, словарь для 201 языка и переключаемые режимы рассуждения. Для мультимодального применения доступны отдельные файлы mmproj, а для разных требований к памяти — варианты BF16, F16, F32 и Q8_0. Ключевая особенность — модификация alignment и снижение количества отказов следовать инструкциям, что может быть полезно для исследовательских задач, создания датасетов и приложений, требующих менее ограниченного поведения. При этом такие изменения ослабляют стандартные защитные механизмы, поэтому модели требуют самостоятельной оценки безопасности. Заявленные улучшения производительности основаны на сообщественных тестах и не подтверждены официальными оценками. Лицензия — Apache-2.0.

satgeze/Qwen3.6-35B-Uncensored-HauhauCS-1M-GGUF — GGUF-сборка модели Qwen3.6-35B-A3B, основанная на uncensored-варианте HauhauCS. Модель предназначена для генерации текста, диалоговых и агентских сценариев, работы с длинными документами и задач, требующих анализа изображений. Поддерживаются llama.cpp и Ollama; заявлена совместимость с агентскими клиентами через Anthropic Messages API. Модель использует исходный контекст 262 144 токена, расширенный до 1 048 576 токенов с помощью YaRN RoPE scaling с коэффициентом 4. В сборку включён слой MTP для speculative decoding: по данным README, на RTX 5090 скорость выросла с 284,6 до 380,1 токена в секунду, а результат декодирования остаётся идентичным стандартному режиму. Визуальный ввод обеспечивается отдельной башней mmproj размером около 899 МБ, которая подключается во время запуска. Основной файл Q4_K_M имеет размер около 21,7 ГБ. К сильным сторонам относятся очень длинный контекст, проверенная авторами работа поиска информации на диапазоне до 1M токенов, поддержка изображений и ускоренное декодирование через MTP. Ограничения включают необходимость совместимого рантайма и значительных аппаратных ресурсов, а также отдельную установку vision-компонента для визуальных задач. Сведения о поддерживаемых языках и точной архитектуре в README не приведены. Модель распространяется по лицензии Apache-2.0.