II.8Инженерия данных и аналитика

OsaurusAI Spark-X2.5-4B-JANG_6M — производная версия Spark-X2.5-4B от XHToken, подготовленная Jinho Jang для Apple Silicon и MLX. Это плотная авторегрессионная модель примерно на 3,8 млрд параметров для генерации текста, диалога, рассуждений и вызова инструментов; веса упакованы в смешанной точности: внимание и связанные эмбеддинги — 8-битные, MLP — 6-битный, масштабы групп — bfloat16, отдельные компоненты и нормы сохранены в полной точности. Репозиторий занимает около 3,41 GiB. Модель предназначена для запуска в оболочке Osaurus и поддерживает разговорный шаблон с включённым по умолчанию режимом рассуждений и интерфейсом вызова инструментов. В README заявлен нативный контекст до 1 048 576 токенов, при этом в контракте конкретной сборки указан контекст 131 072. По данным измерений авторов, скорость декодирования на M5 Max составила 104,7 токена в секунду; результаты получены в заданном тестовом режиме и не гарантируют такую же скорость на другом оборудовании. Карточка указывает английский и китайский языки; исходная модель описана как многоязычная и предназначенная также для кода, перевода и агентных задач. Сборка ориентирована на Apple Silicon и требует совместимой среды MLX и оболочки Osaurus; это текстовая модель. Лицензия Apache-2.0 унаследована от базовой модели XHToken/Spark-X2.5-4B.

Edmon02/gemma-4-12B-it-GGUF — это общественное GGUF-зеркало инструкционно дообученной мультимодальной модели Gemma 4 12B IT от Google DeepMind, основанное на google/gemma-4-12B-it. Репозиторий поддерживается Edmon02 и содержит наборы квантованных весов, синхронизированные из bartowski/gemma-4-12B-it-GGUF, для локального запуска на пользовательском оборудовании. Модель предназначена для генерации текста, создания локальных агентов, программирования, а также мультимодальных сценариев с анализом изображений и аудио. Она имеет около 12 млрд плотных параметров, поддерживает текст, vision и audio, использует encoder-free архитектуру без отдельных визуального и аудиокодировщиков. Для обработки изображений в llama.cpp требуется дополнительный файл mmproj-*.gguf. Точное значение контекстного окна в README не указано. Заявлена поддержка английского языка; отдельно упоминаются сценарии исследований на армянском и английском, но полноценный перечень языков не приведён. К сильным сторонам относятся широкий выбор квантований, возможность запуска на устройствах с примерно 8–24 ГБ видеопамяти и интеграция с llama.cpp, LiteRT-LM, LM Studio, Ollama и MLX. Рекомендуемый вариант Q4_K_M рассчитан примерно на 16 ГБ памяти. Ограничения включают необходимость проверять качество общественных квантований относительно официальной версии BF16, возможную потребность в самых свежих сборках llama.cpp или LM Studio для аудио, а также требование принять лицензию и получить доступ к исходному gated-репозиторию Google. Указана лицензия Apache 2.0.

mlx-community/gemma-4-12B-it-qat-OptiQ-4bit — 12-миллиардная унифицированная модель Gemma-4, разработанная Google и представленная в MLX-совместимой квантизованной сборке сообществом mlx-community. Квантизация выполнена инструментарием mlx-optiq поверх QAT-базы google/gemma-4-12B-it-qat-q4_0-unquantized: чувствительные компоненты используют 8-битную точность, остальные — 4-битную. Модель предназначена для локального запуска на Apple Silicon без PyTorch и облачной инфраструктуры. Модель поддерживает генерацию текста, а также сценарии image-text-to-text с отдельной vision-башней в формате bf16. Заявлены задачи рассуждения, программирования, следования инструкциям, агентского взаимодействия и вызова инструментов. Всего квантизовано 328 компонентов, размер группы — 64, эффективная разрядность — 5,25 бит на вес, объём на диске составляет около 8,3 ГБ. Смешанная точность превосходит равномерную 4-битную квантизацию той же QAT-базы на 1,37 пункта Capability Score; особенно заметен прирост в длинном контексте HashHop. При этом в BFCL результат немного ниже, чем у равномерной 4-битной версии. Для работы требуется MLX и актуальная версия mlx-lm из основного репозитория, а для регистрации типа gemma4_unified — mlx-optiq. Поддерживаются языковые и мультимодальные сценарии через optiq; также возможен speculative decoding с указанной моделью-drafter. Лицензия — Apache-2.0.

CyberFitz/gemma-4-26B-A4B-it-NVFP4 — квантизированная версия Gemma 4, разработанная CyberFitz на базе модели Google gemma-4-26b-a4b-it. Это мультимодальная Mixture-of-Experts-модель для генерации и понимания текста, обработки изображений и совместных текстово-визуальных запросов. Она подходит для чат-ботов, анализа документов и изображений, а также для задач, требующих длинного контекста. Модель содержит 25,2 млрд параметров, из которых около 3,8 млрд активируются для каждого токена. Архитектура использует 128 экспертов с маршрутизацией top-8 и поддерживает контекст до 262 144 токенов. Квантизация NVFP4 с 4-битными весами уменьшает размер примерно с 49 до 16 ГБ и снижает требования к памяти примерно до 18 ГБ. Для сохранения качества маршрутизаторы MoE, vision-компоненты, embeddings и LM head оставлены в формате bfloat16. Указана поддержка multilingual-сценариев, однако конкретный перечень языков не приведён. Сильные стороны модели — существенно меньший размер, поддержка текста и изображений, очень длинный контекст и сохранение чувствительных компонентов в полной точности. Ограничения включают зависимость от совместимого NVIDIA-оборудования и программного стека, необходимость специальной поддержки NVFP4 и MoE при обслуживании, а также отсутствие опубликованных на момент создания README результатов бенчмарков. Модель распространяется по лицензии Gemma, унаследованной от базовой модели Google.

RedHatAI/granite-3.1-8b-instruct-quantized.w4a16 — это квантизированная версия текстовой инструкционной модели ibm-granite/granite-3.1-8b-instruct с архитектурой Granite 3.1 и примерно 8 млрд параметров. Модель разработана на основе IBM Granite; квантизацию выполнила Neural Magic. Она принимает текст и генерирует текст, ориентирована на диалоговые сценарии, ответы на вопросы и другие задачи text-to-text. В карточке указан английский язык. Модель использует квантизацию весов и активаций до INT4; для линейных операторов внутри трансформерных блоков квантизированы только веса. По сравнению с исходным представлением это примерно на 75% уменьшает размер на диске и требования к видеопамяти, что делает модель более подходящей для эффективного инференса. Она подготовлена для запуска с vLLM версии 0.5.2 и выше и совместима с Red Hat AI Inference Server, Red Hat Enterprise Linux AI и Red Hat OpenShift AI. На OpenLLM benchmark v1 модель получила средний результат 69,81 против 70,30 у неквантизированной версии, что указывает на небольшое снижение качества после сжатия. Модель предназначена для развертывания на GPU и использования через vLLM, включая OpenAI-совместимый сервер. Максимальный контекст модели в README явно не указан; приведенные значения длины контекста относятся к примерам конфигурации запуска. Лицензия — Apache License 2.0.

Карточка модели kakaocorp/kanana-2-30b-a3b-thinking-2601 на Hugging Face совпадает с карточкой kakaocorp/kanana-2-30b-a3b-instruct-2601, поэтому описание составлено по ней. Kanana-2-30B-A3B-Instruct-2601 — инструктивная языковая модель компании Kakao для диалогов и сценариев агентного ИИ. Она предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов; модель можно развернуть, например, через vLLM или SGLang с поддержкой выбора инструментов. Модель основана на архитектуре DeepSeek V3 с механизмом внимания MLA и разреженной смесью экспертов (MoE): всего 30 млрд параметров, из которых активируются около 3 млрд. Контекст составляет до 32 768 токенов. Семейство поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки. README указывает лицензию как отличную от стандартных вариантов, поэтому перед использованием следует проверить условия на странице репозитория Hugging Face. Для обработки контекста свыше 32 768 токенов требуется отдельно настроить YaRN; такая настройка может повлиять на качество коротких текстов. Метаданные указывают 2,9 млрд параметров, что расходится с описанием серии в README (30 млрд всего и около 3 млрд активных).

Meta-Llama-3.1-70B-Instruct-iMat-GGUF — это квантизированная версия инструкционной языковой модели Meta-Llama-3.1-70B-Instruct, разработанной Meta. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. Доступна в формате GGUF для использования с совместимыми инструментами, в частности с актуальными версиями llama.cpp. Модель содержит около 70 миллиардов параметров и работает с текстовыми данными. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Представлены варианты квантизации от Q8_0 до IQ1_S, включая экспериментальные варианты; при квантизации использовалась importance matrix (imatrix), призванная уменьшить потери качества. Длина контекста в README не указана. Сильной стороной модели является сочетание крупного размера, инструкционного обучения и широкого набора вариантов квантизации, позволяющих выбирать компромисс между качеством, скоростью и требованиями к памяти. Ограничения связаны с тем, что качество и ресурсоёмкость зависят от выбранного варианта квантизации, а для работы требуется современная сборка совместимого программного обеспечения. Модель распространяется по лицензии llama3.1.

MiMo-V2-Flash-Base — базовая языковая модель Xiaomi для генерации текста, рассуждений и агентных сценариев. Карточка описывает семейство Mixture-of-Experts с гибридным вниманием, сочетающим локальные окна и глобальное внимание, а также механизмом Multi-Token Prediction для ускорения генерации. В README семейства указаны 309 млрд параметров всего и 15 млрд активных; метаданные этого репозитория указывают 12B параметров и формат safetensors FP8, поэтому размер в каталоге может отражать иной способ подсчёта или вариант весов. Модель рассчитана на длинные контексты до 256 тыс. токенов и задачи генерации текста, сложного рассуждения и работы в агентных процессах. Метаданные также отмечают разговорный режим и интерфейс вызова инструментов. README приводит результаты базовой и постобученной версий семейства, но не позволяет однозначно приписать все заявленные возможности именно этому базовому чекпойнту. Модель создана Xiaomi и распространяется по лицензии MIT. Заявленные характеристики ориентированы на эффективный инференс и работу с длинными контекстами; фактическая скорость и качество зависят от оборудования и используемой конфигурации.

Muse-Glimmer-30B-GGUF — набор GGUF-сборок модели Muse Glimmer 30B, разработанной Meta и опубликованной AtomicChat в формате, совместимом с llama.cpp. Модель предназначена для генерации текста, мультимодального анализа изображений, диалоговых сценариев, работы с инструментами, а также задач программирования, написания текстов и рассуждений. Указан pipeline image-text-to-text, однако точная архитектура, поддерживаемые языки и максимальный контекст модели в README не раскрыты. Доступны варианты квантования от Q8_0 и BF16 до IQ2_XXS объёмом примерно от 9,3 до 55,7 ГБ. Для работы с изображениями требуется отдельный vision-проектор mmproj размером около 3,9 ГБ, а для ускоренной генерации можно подключить drafter dflash, добавляющий около 5,5 ГБ к требованиям по памяти. Рекомендуемая сборка AD-IQ4_XS рассчитана примерно на 24 ГБ видеопамяти вместе с vision-проектором и обеспечивает компромисс между размером и качеством; на RTX 5090 заявлена скорость до 39,6 токена в секунду без drafter и до 71,8 с ним. Сильные стороны модели — мультимодальность, поддержка tool calling, несколько вариантов квантования и возможность запуска на одной потребительской видеокарте. Качество снижается по мере уменьшения разрядности, особенно на низких вариантах IQ; speculative decoding требует дополнительной памяти и снижает скорость обработки промпта. Для запуска нужен llama.cpp, собранный из актуальной ветки master с поддержкой Muse Glimmer, а также параметр --jinja для корректной работы шаблона чата и разбора вызовов инструментов. Лицензия — Apache 2.0.

prithivMLmods/Olmo-3-7B-Instruct-AIO-GGUF — набор GGUF-квантизаций модели Olmo-3-7B-Instruct, разработанной Allen Institute for AI. Это авторегрессионная трансформерная языковая модель примерно на 7 миллиардов параметров, дообученная методами supervised fine-tuning и direct preference optimization на наборах данных Tulu 2 и UltraFeedback. Модель предназначена для генерации текста, ответов на вопросы, следования инструкциям, многошагового диалога и сценариев с использованием инструментов. Она поддерживает английский язык, контекст до 2048 токенов и ориентирована на создание контекстно-зависимых и безопасных ответов, включая задачи в технической, образовательной и юридической областях. Доступны варианты в форматах BF16, F16, F32 и различных уровнях квантизации, что позволяет выбирать между качеством, размером файла и требованиями к ресурсам. К сильным сторонам относятся открытость модели и обучающего кода, поддержка диалоговых и инструкционных сценариев, а также широкий выбор GGUF-вариантов для эффективного локального запуска. Ограничениями являются заявленная длина контекста 2048 токенов и поддержка только английского языка; сведения о мультимодальности отсутствуют, поэтому модель следует рассматривать как текстовую. Модель распространяется по лицензии Apache 2.0.

RedHatAI/Qwen3-32B-NVFP4 — квантованная версия языковой модели Qwen/Qwen3-32B, разработанная RedHatAI. Модель принимает текст и генерирует текст, предназначена для задач текстовой генерации и развёртывания через vLLM, включая совместимый с OpenAI API режим сервинга. Релиз модели состоялся 25 июня 2025 года, версия — 1.0. В модели применена FP4-квантизация весов и активаций линейных операторов внутри блоков Transformer. Квантизация выполнена с помощью LLM Compressor по схеме NVFP4; веса квантизуются с группой 16, а активации используют калиброванный глобальный масштаб. По сравнению с 16-битным представлением это примерно на 75% уменьшает размер модели на диске и требования к GPU-памяти. Для инференса заявлена совместимость с vLLM версии 0.9.1 и выше, возможен тензорный параллелизм на нескольких GPU. Модель сохраняет близкие к исходной Qwen3-32B результаты на указанных бенчмарках OpenLLM, MMLU, GSM8K, HellaSwag, ARC и HumanEval, однако FP4-квантизация может влиять на точность в отдельных сценариях. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, но документация ограничивает использование английским языком и запрещает применение с нарушением законодательства. Лицензия — Apache 2.0.

Qwen3.5-4B-GGUF — это GGUF-представление мультимодальной модели Qwen3.5-4B, разработанной командой Qwen; репозиторий подготовлен с использованием Unsloth. Модель предназначена для задач, объединяющих работу с текстом и изображениями, включая рассуждения, программирование, агентские сценарии и визуальное понимание, а также для локального запуска и дообучения. Модель представляет собой causal language model с vision encoder и содержит около 4 млрд параметров. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; заявлены 32 слоя, скрытая размерность 2560 и гибридное сочетание линейного и gated-внимания. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект, однако конкретные языковые характеристики GGUF-квантизации в README не уточняются. К сильным сторонам относятся мультимодальность, высокая заявленная эффективность инференса, большой контекст и возможность локального использования. Ограничения связаны с тем, что README не содержит подробностей о конкретном типе и параметрах GGUF-квантизации, системных требованиях, фактической производительности и ограничениях применения; приведённые результаты относятся к базовой Qwen3.5-4B. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-NVFP4 — квантизированная версия модели Qwen3.5-9B, разработанной командой Qwen и опубликованной в репозитории apolo13x. Это мультимодальная модель формата image-text-to-text: она принимает текст и изображения, а генерирует текстовые ответы. Модель предназначена для диалоговых сценариев, анализа изображений и решения текстовых задач. Веса и активации сжаты до формата NVFP4 (4-bit) с помощью llm-compressor. Для калибровки использовано 512 образцов из набора nvidia/Nemotron-Post-Training-Dataset-v2, включая 256 примеров с рассуждением и 256 без него. Размер модели уменьшен с 18,0 до 11,5 ГБ, примерно в 1,6 раза; заявленное среднее восстановление точности составляет 97,3%. Максимальная длина последовательности при калибровке — 4096 токенов. По результатам оценки в режиме рассуждений модель набрала в среднем 86,11% против 88,36% у исходной Qwen3.5-9B: 74,24% на GPQA Diamond, 92,69% на IFEval и 91,39% на MMLU-Redux. Квантизация снижает требования к хранению и инференсу, но может приводить к некоторой потере качества относительно исходной модели. Указана поддержка vLLM 0.17.0 и reasoning parser qwen3. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-imatrix-GGUF — это квантизированная GGUF-версия базовой модели Qwen3.6-35B-A3B, подготовленная liodon-ai с использованием калибровки importance matrix (iMatrix). Базовую модель разработала команда Qwen компании Alibaba Cloud. Модель предназначена для локальной генерации текста, диалогов и выполнения инструкций через llama.cpp, Ollama, LM Studio и Jan. Модель использует MoE-архитектуру с 35 млрд параметров, из которых активно 3,5 млрд, и поддерживает контекст до 128K токенов. Доступны варианты квантизации от Q2_K до Q8_0, включая i-кванты IQ2_M, IQ3_M и IQ4_XS. iMatrix-калибровка повышает связность и качество следования инструкциям при низкой разрядности по сравнению со стандартной квантизацией, сохраняя меньший размер файлов. Ограничения зависят от выбранного варианта: более сильная квантизация снижает качество, а для запуска требуются от 6 до 36,9 ГБ памяти в зависимости от файла. Лицензия Apache 2.0.

Qwen3.8-27B-abliterated-AWQ-MTP — квантизированная модель, опубликованная пользователем twolven на базе JonathanColetti/Qwen3.8-27B-Uncensored и исходной Qwen3.8-27B от Qwen. Модель использует AWQ-квантизацию W4A16 с размером группы 128, сохраняя модуль MTP для speculative decoding. Лицензия — Apache-2.0. Модель предназначена для генерации и понимания текста, диалоговых приложений, tool calling и обработки изображений с текстовыми запросами. Это vision-language model с гибридной архитектурой: 64 слоя, включая 48 слоёв linear attention на базе Qwen3_5GatedDeltaNet и 16 полноценных attention-слоёв. Зрительная башня содержит 27 слоёв и оставлена в формате bfloat16. Заявленный контекст — 262 144 токена; модуль MTP содержит один скрытый слой и также не квантизирован. Ключевые преимущества — заметно меньшее потребление памяти по сравнению с FP8-версией, поддержка изображений без дополнительного ухудшения со стороны квантизации vision tower и ускорение генерации при корректно работающем MTP. На конфигурации с двумя RTX 3090 автор получил медианную скорость около 84 токенов в секунду и подтвердил работу извлечения данных из длинного контекста, tool calling и распознавания содержимого изображений. Точность относительно исходной bfloat16-модели отдельно не оценивалась, поэтому степень потери качества из-за W4A16 неизвестна. Модель имеет ограничения: MTP требует правильной настройки и при некорректной загрузке может снизить производительность; абсолютные показатели скорости зависят от характера запросов. Не рекомендуется использовать greedy decoding с temperature 0, поскольку возможны зацикливание и повторение предложений. Следует применять repetition_penalty около 1.05 и ненулевую temperature. Термин «abliterated» означает удаление исходных механизмов отказа, поэтому поведение модели в отношении безопасных ограничений может отличаться от оригинальной Qwen3.8-27B.

Qwen3.8-27B-GGUF — это мультимодальная модель для работы с текстом и изображениями, основанная на Qwen/Qwen3.8-27B. Репозиторий подготовлен Feiteng при спонсорской поддержке Draw Things. Модель распространяется в формате GGUF и предназначена прежде всего для локального запуска через llama.cpp, а также совместима с экосистемой Transformers. Заявленные языки включают английский, китайский, испанский, русский и японский. Основная особенность репозитория — квантизированные варианты языковой модели с эффективностью ниже 4 бит на вес: DT-bpw2.96-IQ3_XXS размером 9,71 GiB и DT-bpw2.48-IQ2_S размером 8,20 GiB. Доступны мультимодальные сценарии благодаря отдельным квантизированным vision encoder-файлам; для Q4_K его размер составляет 314,46 MiB, а сходство выходов с исходной FP32-моделью — 0,99537 по косинусной метрике. Модель поддерживает генерацию текста, рассуждения, программирование, использование инструментов и function calling. Для DT-bpw2.96-IQ3_XXS также заявлена поддержка MTP и предварительная доля принятия черновых токенов около 60% при максимальной длине черновика 3. По приведённым оценкам обе DT-версии набрали 100% на AIME 2026; DT-bpw2.96-IQ3_XXS показала 86,36% на GPQA Diamond, 93,90% на IFEval и 68,06% на BFCL v4, а DT-bpw2.48-IQ2_S — 77,27%, 93,16% и 69,56% соответственно. Квантизация существенно уменьшает требования к хранению, но может снижать точность по сравнению с BF16-версией, особенно на более агрессивных уровнях. Для vision encoder доступны варианты BF16, FP16, Q8_0, Q6_K, Q5_K и Q4_K; их показатели зависят от формата. Лицензия модели — Apache-2.0.

Qwen3.8-Flash-Next 4-bit — экспериментальная 4-битная квантованная версия модели Qwen/Qwen3.8-Flash-Next, подготовленная и обслуживаемая проектом Rapid-MLX для компьютеров Apple Silicon. Модель предназначена для генерации текста, диалоговых приложений, программирования и других задач локального инференса через MLX; поддерживаются OpenAI- и Anthropic-совместимые серверные интерфейсы. В данной реализации доступен только текстовый режим: vision tower не включён. Архитектура исходной модели включает около 180 млрд параметров, примерно 6 млрд активируемых на токен, 512 экспертов с маршрутизацией 10 экспертов и одного общего, 48 слоёв, гибрид Gated DeltaNet и sparse attention, а также нативный контекст до 262 144 токенов. Артефакт использует смешанную 4-битную аффинную квантализацию, занимает около 105 ГБ при скачивании и требует примерно 103–105 ГБ активной unified memory во время работы. Поддержка native multi-token prediction доступна как опция и может ускорять генерацию длинных ответов, однако увеличивает требования к памяти и время до первого токена. Сильными сторонами модели являются большой контекст, высокая вычислительная эффективность за счёт разреженной смеси экспертов, локальная работа на Apple Silicon и оптимизации Rapid-MLX для длинного контекста и повторного использования промптов. Ограничения — экспериментальный статус, значительные требования к unified memory, отсутствие физического тестирования на системах с 128 ГБ памяти и недоступность визуального режима. Для использования требуется Rapid-MLX версии 0.13.2 или новее; в Rapid-MLX Desktop модель допускается на Mac с объёмом unified memory от 128 ГБ. Указана лицензия qwen-community-1.0.

cyankiwi/Qwen3-VL-4B-Instruct-AWQ-4bit — квантованная 4-битная версия мультимодальной инструкционной модели Qwen3-VL-4B-Instruct, разработанной командой Qwen. Модель предназначена для задач, где требуется совместное понимание текста и изображений, включая описание и анализ изображений, визуальное рассуждение, распознавание текста, работу с документами, анализ видео, пространственное понимание, генерацию кода и взаимодействие с графическими интерфейсами через визуального агента. Модель использует плотную архитектуру и относится к классу vision-language моделей; заявленный размер базовой модели — 4 млрд параметров. Поддерживаются текстовые и визуальные входы, включая изображения и видео. Среди архитектурных особенностей указаны Interleaved-MRoPE для моделирования временных и пространственных измерений, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками. Заявлена нативная длина контекста 256K токенов с возможностью расширения до 1M, а OCR поддерживает 32 языка, однако полный список языков в README не приведён. Сильные стороны модели — расширенное понимание изображений и видео, пространственное и мультимодальное рассуждение, OCR в сложных условиях, обработка длинных документов и видеоматериалов, а также сценарии визуального программирования и управления интерфейсами. Ограничения, конкретные показатели производительности и требования к аппаратному обеспечению для данной AWQ-версии в README не указаны; 4-битное квантование может влиять на точность по сравнению с полной точностью. Модель распространяется по лицензии Apache-2.0.

QuantFactory/WizardLM-2-7B-abliterated-GGUF — это квантизированная версия WizardLM-2 7B, разработанная QuantFactory с использованием llama.cpp на основе fearlessdots/WizardLM-2-7B-abliterated. Базовая модель WizardLM-2 создана командой WizardLM при Microsoft AI и основана на Mistral-7B-v0.1. Модель предназначена для генерации текста, диалогов и выполнения сложных инструкций, включая задачи письма, программирования, математики, рассуждений, агентских сценариев и многоязычного общения. Поддерживаются многоходовые диалоги с шаблоном запросов Vicuna. Модель содержит около 7 миллиардов параметров и работает только с текстом. Вариант abliterated использует ортогонализованные веса bfloat16, а текущая версия распространяется в квантизированном формате GGUF, что ориентировано на более эффективный запуск и снижение требований к памяти по сравнению с полноразмерными весами. В README не указаны точное окно контекста, поддерживаемые языки и конкретные параметры квантизации. Заявлены высокая скорость для своего класса и конкурентные результаты среди открытых моделей сопоставимого размера, однако приведённые оценки относятся к WizardLM-2 7B и не обязательно полностью характеризуют данный GGUF-вариант. Лицензия модели указана как Apache 2.0. Специфические ограничения, связанные с abliterated-модификацией, в README не описаны; поэтому качество, безопасность и соответствие ответов требованиям конкретного применения следует проверять отдельно.

Bonsai-2-27B-CRACK-1.75bit-JANG — языковая модель семейства Qwen3.5, подготовленная dealign.ai на основе тернарно-квантованной модели prism-ml/Ternary-Bonsai-2-27B-mlx-2bit. Это плотная модель на 27 млрд параметров с гибридной архитектурой: 48 слоёв GatedDeltaNet SSM и 16 слоёв полнослойного внимания, а также отдельной визуальной башней. Весовые данные языковой части упакованы с плотностью 1,75 бита на параметр; заявленный размер набора — около 6,1 ГБ. Указан контекст до 262 тысяч токенов. Модель предназначена для диалоговой генерации текста, рассуждений, программирования и вызова инструментов через XML-интерфейс. README также заявляет обработку изображений и видео и поддержку английского и китайского языков. В карточке приведены результаты MMLU: 77,19% на указанном наборе из 2280 вопросов, близко к базовой модели. Отказное поведение удалено на уровне весов, поэтому модель может выдавать ответы на запросы, которые базовая модель могла бы отклонить. Для запуска требуется MLX на Apple Silicon и среда vMLX с JANG-Hadamard runtime и загрузчиком ternary_packed_26b; обычный mlx_lm.load() с этим набором, по README, даёт некорректные результаты. Лицензия — Apache 2.0. Это производная модель, а заявленные характеристики и результаты приведены авторами карточки.

RedHatAI/DeepSeek-R1-Distill-Qwen-32B-FP8-dynamic — это квантизированная версия языковой модели DeepSeek-R1-Distill-Qwen-32B, разработанная Neural Magic. Модель построена на архитектуре Qwen2ForCausalLM, принимает текстовые входные данные и генерирует текст, поэтому предназначена для задач диалога, рассуждений, ответов на вопросы и других сценариев применения каузальных языковых моделей. Поддерживаемые языки и размер контекстного окна в README не указаны. Модель содержит около 32 млрд параметров и использует FP8-квантизацию весов и активаций, что примерно вдвое снижает объём хранения и требования к GPU-памяти по сравнению с представлением FP16. Квантизации подвергаются линейные операторы внутри трансформерных блоков: веса квантизуются симметрично по каналам, а активации — симметрично по токенам. Для подготовки использован LLM Compressor, а эффективное развертывание рекомендуется через vLLM. По приведённым результатам FP8-версия сохраняет около 99% средних показателей исходной модели на тестах рассуждений и OpenLLM Leaderboard, хотя на отдельных наборах качество немного снижается. Ограничения включают возможные потери точности из-за квантизации, необходимость совместимого программного и аппаратного окружения для эффективной работы с FP8, а также отсутствие в README сведений о контекстном окне и языковом охвате. Модель распространяется по лицензии MIT.

Firefly-LLaMA2-Chinese 13B Chat — китайско-английская разговорная модель семейства LLaMA 2, разработанная командой Firefly. Авторы расширили китайский словарь токенизатора LLaMA 2, провели дополнительное предобучение на китайских и английских текстах, а затем дообучили модель на многоходовых инструкциях. Репозиторий содержит веса PyTorch; модель имеет 13 млрд параметров и контекст 4096 токенов. Модель предназначена для диалогов и выполнения текстовых инструкций на китайском и английском языках: она может отвечать на вопросы, создавать и переписывать тексты, суммировать, переводить, извлекать информацию, решать задачи по чтению и генерировать код. Расширенный китайский словарь сокращает число токенов для китайского текста примерно на 54% по сравнению с исходным LLaMA 2, что повышает эффективность его обработки. Авторы сообщают об оценках на китайских и английских тестах и ручном сравнении, но отмечают, что дополнительное предобучение использовало около 2 млрд токенов и было ограничено по объёму и распределению данных; это сказывается, в частности, на результатах CMMLU. Лицензия в предоставленных данных не указана.

unsloth/gemma-3-4b-it-unsloth-bnb-4bit — 4B-параметричная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind и представленная в 4-битном формате BNB благодаря Unsloth. Модель основана на google/gemma-3-4b-it и предназначена для запуска и дообучения с использованием библиотеки Transformers, в том числе на устройствах с ограниченными ресурсами. Модель поддерживает мультимодальный ввод: текст и изображения, при этом генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Заявлены контекст до 128K токенов для версии 4B и максимальный объём генерируемого ответа до 8192 токенов. Поддерживается более 140 языков, однако в метаданных этой конкретной карточки явно указан английский язык. Ключевое преимущество — уменьшенный размер и 4-битное квантование, упрощающие локальное развертывание и снижающие требования к памяти; Unsloth также заявляет о selectively quantized Dynamic Quants с улучшенной точностью по сравнению со стандартным 4-битным квантованием. Ограничения включают возможные потери качества из-за квантования, а также отсутствие в представленном README подробных данных о точной архитектуре, показателях качества и поддерживаемом наборе языков именно для этой сборки. Использование регулируется лицензией Gemma и соответствующими условиями Google.

QuantTrio/GLM-5.2-Int4-Int8Mix — квантизированная версия языковой модели GLM-5.2, разработанной командой zai-org. Репозиторий содержит data-free квантизацию без использования калибровочного набора данных и подготовлен прежде всего для инференса через vLLM с форматом compressed-tensors. Модель предназначена для генерации текста, диалоговых приложений, программирования и выполнения сложных долгосрочных задач. Базовая GLM-5.2 поддерживает контекст до 1 млн токенов и использует архитектурные улучшения IndexShare, разреженное внимание и MTP для спекулятивного декодирования. В данной версии применено смешанное weight-only-квантизирование: обычные линейные веса преимущественно W8A16, веса MoE-экспертов W4A16, с group size 128; отдельные компоненты сохранены в BF16, FP32 или квантизированы поканально. Размер файлов модели составляет около 378 GiB. Основное преимущество версии — снижение требований к памяти по сравнению с полноразмерными весами при сохранении высокой производительности. В приведённом ориентировочном тесте AIME25 результат составил 92,92% при reasoning_effort=max и 86,46% при medium-high, однако это не является полноценным формальным бенчмарком. Ограничение — заявлена совместимость прежде всего с vLLM и compressed-tensors; совместимость с SGLang и другими runtime не гарантируется. Проверка проводилась на конфигурации из 8 GPU H200 с vLLM 0.23.0 и Transformers 5.12.1. Модель распространяется по лицензии MIT.

Карточка модели kakaocorp/kanana-2-30b-a3b-base-2601 на Hugging Face совпадает с карточкой kakaocorp/kanana-2-30b-a3b-instruct-2601, поэтому описание составлено по ней. Kanana-2-30B-A3B-Instruct-2601 — инструктивная языковая модель компании Kakao для диалогов и сценариев агентного ИИ. Она предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов; модель можно развернуть, например, через vLLM или SGLang с поддержкой выбора инструментов. Модель основана на архитектуре DeepSeek V3 с механизмом внимания MLA и разреженной смесью экспертов (MoE): всего 30 млрд параметров, из которых активируются около 3 млрд. Контекст составляет до 32 768 токенов. Семейство поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки. README указывает лицензию как отличную от стандартных вариантов, поэтому перед использованием следует проверить условия на странице репозитория Hugging Face. Для обработки контекста свыше 32 768 токенов требуется отдельно настроить YaRN; такая настройка может повлиять на качество коротких текстов. Метаданные указывают 2,9 млрд параметров, что расходится с описанием серии в README (30 млрд всего и около 3 млрд активных).

Kanana-2-30B-A3B-Instruct-2601 — инструктивная языковая модель компании Kakao для диалогов и сценариев агентного ИИ. Она предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов; модель можно развернуть, например, через vLLM или SGLang с поддержкой выбора инструментов. Модель основана на архитектуре DeepSeek V3 с механизмом внимания MLA и разреженной смесью экспертов (MoE): всего 30 млрд параметров, из которых активируются около 3 млрд. Контекст составляет до 32 768 токенов. Семейство поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки. README указывает лицензию как отличную от стандартных вариантов, поэтому перед использованием следует проверить условия на странице репозитория Hugging Face. Для обработки контекста свыше 32 768 токенов требуется отдельно настроить YaRN; такая настройка может повлиять на качество коротких текстов. Метаданные указывают 2,9 млрд параметров, что расходится с описанием серии в README (30 млрд всего и около 3 млрд активных).

Карточка модели kakaocorp/kanana-2-30b-a3b-mid-2601 на Hugging Face совпадает с карточкой kakaocorp/kanana-2-30b-a3b-instruct-2601, поэтому описание составлено по ней. Kanana-2-30B-A3B-Instruct-2601 — инструктивная языковая модель компании Kakao для диалогов и сценариев агентного ИИ. Она предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов; модель можно развернуть, например, через vLLM или SGLang с поддержкой выбора инструментов. Модель основана на архитектуре DeepSeek V3 с механизмом внимания MLA и разреженной смесью экспертов (MoE): всего 30 млрд параметров, из которых активируются около 3 млрд. Контекст составляет до 32 768 токенов. Семейство поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки. README указывает лицензию как отличную от стандартных вариантов, поэтому перед использованием следует проверить условия на странице репозитория Hugging Face. Для обработки контекста свыше 32 768 токенов требуется отдельно настроить YaRN; такая настройка может повлиять на качество коротких текстов. Метаданные указывают 2,9 млрд параметров, что расходится с описанием серии в README (30 млрд всего и около 3 млрд активных).

Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

Meta разработала Llama 3.2 3B — авторегрессионную языковую модель с оптимизированной архитектурой Transformer и механизмом Grouped-Query Attention. Вариант на 3,21 млрд параметров предназначен для генерации текста и обучен на общедоступных данных; модель принимает и выдаёт текст, включая код. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленная длина контекста семейства — до 128 тысяч токенов. Модель подходит для диалоговых приложений, поиска знаний, суммаризации, мобильных помощников для письма и переформулирования запросов. Карточка описывает семейство с предварительно обученными и настроенными на инструкции вариантами; конкретный репозиторий — базовая модель для генерации текста. Меньший размер рассчитан в том числе на устройства с ограниченными ресурсами, но качество и безопасность могут уступать более крупным моделям и требуют проверки под конкретный сценарий. Знания модели ограничены данными до декабря 2023 года. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

unsloth/Llama-3.2-3B-Instruct — текстовая диалоговая модель семейства Llama 3.2, разработанного Meta и опубликованного Unsloth в виде модели на базе meta-llama/Llama-3.2-3B-Instruct. Это плотный авторегрессионный трансформер с архитектурой LlamaForCausalLM и примерно 3,2 млрд параметров; веса представлены в формате safetensors. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и предназначена для многоязычных диалогов. Модель подходит для генерации ответов, суммаризации, поиска знаний в диалоговых сценариях и построения приложений с вызовом инструментов. В карточке Unsloth также приведены ноутбуки для дообучения и экспорта моделей, но это описание относится к самому чекпойнту. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; метаданные отдельно отмечают английский. Использование регулируется лицензией Llama 3.2 Community License — специальной коммерческой лицензией Meta.