I.11Классификация, ранжирование и сопоставление

salamanderDixon/LFM2.5-2.6B-heretic — декензурированная версия текстовой модели LiquidAI/LFM2.5-2.6B, созданная с помощью Heretic v1.4.0. Это плотная причинно-языковая модель семейства LFM2 с 2,6 млрд параметров, рассчитанная на диалоговое использование и локальное развёртывание. Модель принимает текст и генерирует текст; заявленный контекст — 131 072 токена, поддерживается 16 языков, включая русский. Версия Heretic изменяет поведение отказов: в приведённом сравнении отказы снизились с 96 до 4 из 100, а KL-дивергенция относительно исходной модели составляет 0,0263. Исходная карточка рекомендует семейство для агентных сценариев, вызова инструментов, извлечения данных, RAG и работы с длинным контекстом, но не рекомендует его для агентного программирования и задач, требующих обширных знаний. Репозиторий использует формат safetensors и библиотеку Transformers. Указана лицензия other; конкретные условия лицензии в предоставленных данных не раскрыты.

unsloth/Llama-3.2-1B — текстовая модель генерации на базе Meta Llama 3.2, представленная Unsloth. Это плотная авторегрессионная трансформерная архитектура Llama с 1,2 млрд параметров; репозиторий содержит веса в формате safetensors и предназначен для использования через Transformers. В README Unsloth также предлагает ноутбуки для дообучения модели и экспорта полученных моделей. Модель принимает текст и генерирует текст. Семейство Llama 3.2 предназначено для генерации и диалога; в карточке указаны сценарии суммаризации и агентного поиска, а также поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Контекстное окно составляет 131072 токена. Модель опубликована 25 сентября 2024 года и распространяется по лицензии Llama 3.2 Community License, условия которой следует соблюдать при использовании и распространении.

RedHatAI/Llama-3.3-70B-Instruct-quantized.w4a16 — это квантизированная инструкционно настроенная языковая модель на базе Meta Llama-3.3-70B-Instruct, разработанная Red Hat совместно с Neural Magic. Модель принимает текст и генерирует текст, поэтому предназначена для диалоговых ассистентов, задач генерации естественного языка, а также для создания синтетических данных и дистилляции других моделей. Модель содержит 70 миллиардов параметров и использует INT4-квантизацию весов линейных операторов в трансформерных блоках. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритм GPTQ, реализованный в библиотеке llm-compressor. Переход с 16 на 4 бита уменьшает размер модели на диске и требования к памяти GPU примерно на 75%. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для эффективного развертывания рекомендуется vLLM; модель также валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. В README приведён пример запуска с максимальной длиной контекста 32768 токенов, однако этот параметр указан для конфигурации развертывания. К сильным сторонам относятся существенно сниженные требования к дисковой и GPU-памяти при сохранении назначения исходной instruct-модели и поддержка многоязычных диалоговых сценариев. Ограничения включают работу только с текстом, возможное влияние квантизации на качество по сравнению с исходной моделью и запрет использования для языков, не перечисленных в документации. Модель распространяется по Llama 3.3 Community License; также необходимо соблюдать применимое законодательство и Acceptable Use Policy.

lmstudio-community/Meta-Llama-3.1-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta Llama 3.1 70B Instruct, подготовленная сообществом lmstudio-community и квантизированная bartowski. Базовую модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии обработки естественного языка. Модель относится к семейству Llama 3.1 и использует архитектуру, поддерживаемую библиотекой Transformers; доступна в формате GGUF для локального запуска в совместимых инструментах. Заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер контекста, конкретный вариант квантизации и модальности в README не указаны; по представленным данным это текстовая модель. К сильным сторонам относятся большой размер 70B и инструкционная настройка, потенциально обеспечивающие высокое качество ответов и следование запросам. Ограничениями являются высокая потребность в вычислительных ресурсах даже после квантизации, а также отсутствие в предоставленных данных подробных сведений о производительности, точности и поддерживаемом контексте. Модель распространяется по Llama 3.1 Community License Meta с требованиями к атрибуции, указанию «Built with Llama» при распространении и соблюдению Acceptable Use Policy.

RedHatAI/Meta-Llama-3.1-8B-quantized.w8a8 — квантизированная версия языковой модели Meta-Llama-3.1-8B, разработанная Neural Magic. Модель предназначена для генерации текста и ассистентских диалогов, а также для коммерческого и исследовательского использования в многоязычных сценариях. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель использует архитектуру Meta-Llama-3 и работает только с текстовыми входами и выходами. Веса и активации линейных операторов в трансформерных блоках квантизированы в INT8 по схеме W8A8 с применением GPTQ. Используются статическая поканальная квантизация весов и динамическая потокенная квантизация активаций. Заявленная максимальная длина контекста при развертывании составляет 8192 токена. Модель оптимизирована для работы с vLLM и совместимого с OpenAI API сервинга. Ключевые преимущества — примерно двукратное снижение требований к памяти GPU и увеличение пропускной способности матричных умножений примерно в два раза, а также сокращение размера модели на диске примерно на 50%. При этом качество близко к исходной модели: средний результат на OpenLLM Leaderboard составляет 62,71 против 63,03 у неквантизированной версии. Ограничения включают возможное небольшое снижение точности из-за квантизации, текстовую модальность и зависимость от совместимого окружения развертывания. Модель распространяется по лицензии Llama 3.1.

Mungert/Meta-Llama-3-8B-Instruct-GGUF — это версия инструкционно дообученной языковой модели Meta Llama 3, подготовленная пользователем или организацией Mungert в формате GGUF. Базовую модель разработала Meta. Она предназначена для генерации текста по инструкциям и диалоговых сценариев; в карточке указана специализация text-generation и поддержка английского языка. Из идентификатора следует, что модель относится к семейству Llama 3 с размером около 8 миллиардов параметров и ориентирована на локальный инференс в совместимых инструментах, поддерживающих формат GGUF. Точные характеристики архитектуры, размер контекста, варианты квантования, системные требования и перечень модальностей в README не указаны; по доступным данным модель является текстовой и не предназначена для обработки изображений или других мультимодальных входов. Лицензия — Meta Llama 3 Community License: она допускает использование, копирование, модификацию и распространение с установленными условиями, включая соблюдение Acceptable Use Policy, указание атрибуции и требований к маркировке продуктов. Для крупных сервисов с более чем 700 миллионами месячных пользователей предусмотрено получение отдельного разрешения Meta.

unsloth/Phi-4-mini-instruct-unsloth-bnb-4bit — это квантованная 4-битная версия Phi-4-mini-instruct, разработанной Microsoft, с исправлениями и оптимизациями от Unsloth. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, решения математических задач, программирования и других задач обработки естественного языка. В README заявлена поддержка мультиязычных сценариев и контекста до 128K токенов. Модель построена на данных, включающих синтетические примеры и отфильтрованные общедоступные веб-источники, с акцентом на качественные данные для рассуждений. Для Phi-4-mini-instruct указано применение supervised fine-tuning и direct preference optimization, направленных на точное следование инструкциям и повышение безопасности. Версия Unsloth исправляет обработку padding и EOS-токенов, шаблон чата и unk_token, а также использует селективное динамическое 4-битное квантование, призванное лучше сохранять точность по сравнению со стандартным 4-битным форматом. К сильным сторонам относятся небольшой размер относительно более крупных моделей семейства Phi-4, длинный контекст, поддержка диалогов, кода и математики, а также сниженные требования к памяти благодаря квантованию. Ограничения включают возможную потерю качества из-за 4-битного представления, отсутствие в предоставленных данных точных сведений о размере модели и перечне поддерживаемых языков, а также текстовую, а не мультимодальную специализацию. В карточке указана лицензия MIT, унаследованная от microsoft/Phi-4-mini-instruct.

Qwen2.5-14B-Instruct-MLX-4bit — это 4-битная MLX-квантизация инструкционно дообученной языковой модели Qwen2.5-14B-Instruct. Исходную модель разработала команда Qwen, а квантизацию предоставил bartowski на основе mlx-examples. Модель предназначена для запуска на компьютерах Mac с Apple Silicon и использования в сценариях генерации текста и диалогового взаимодействия. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов, ориентирована на работу со структурированными данными и их генерацию. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Квантизация снижает требования к памяти, но README не содержит количественных оценок производительности и качества, поэтому её сильные стороны и ограничения относительно полной версии нельзя точно сравнить. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может генерировать неточную, вредную или неподходящую информацию, поэтому результаты требуют проверки.

Qwen2.5-32B-Instruct-MLX-8bit — квантованная 8-битная версия инструкционной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантование в формате MLX выполнено bartowski на основе инструментов mlx-examples. Модель предназначена для генерации текста и диалоговых сценариев, включая понимание и создание структурированных данных, работу с широким спектром знаний и использование в совместимых приложениях на Mac с Apple Silicon. Модель содержит 32 миллиарда параметров, поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Заявлена поддержка более 29 языков, среди которых английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Квантование снижает требования к ресурсам по сравнению с полной версией, однако README не приводит точных показателей производительности или требований к памяти. Как и другие генеративные модели, она может создавать неточный, вредный или неподходящий контент. Модель распространяется по лицензии Apache-2.0.

ThomasBaruzier/Qwen2.5-3B-Instruct-GGUF — набор GGUF-квантизированных версий инструкционно дообученной языковой модели Qwen2.5-3B-Instruct. Исходную модель разработала команда Qwen компании Alibaba Cloud; данный репозиторий содержит квантизации, созданные с помощью llama.cpp и метода imatrix с использованием калибровочного файла Bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая следование инструкциям, создание длинных текстов, работу со структурированными данными и JSON, программирование и математические задачи. Она поддерживает более 29 языков, среди явно указанных — китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Это каузальная Transformer-модель с RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Модель содержит 3,09 млрд параметров, 36 слоёв и использует Grouped-Query Attention с 16 головами для Q и 2 для KV. Заявлена длина контекста до 32 768 токенов и генерация до 8192 токенов. Главное преимущество репозитория — выбор компромиссов между размером файлов, качеством и требованиями к памяти: варианты занимают примерно от 755 МБ до 5,9 ГБ, при этом качество квантования различается, поэтому наиболее компактные версии могут заметно уступать F16. Лицензия указана как qwen-research; применяются условия лицензии исходной модели Qwen2.5-3B-Instruct.

Qwen3-1.7B-MLX-4bit — компактная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Это MLX-версия модели Qwen3-1.7B-Base с 4-битным квантованием, предназначенная для локального запуска и генерации текста. Она подходит для диалогов, следования инструкциям, генерации кода, математических и логических рассуждений, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к embedding-слою, и имеет 28 слоёв. Используется Grouped Query Attention с 16 головами для запросов и 8 головами для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Модель поддерживает более 100 языков и диалектов и допускает переключение между режимом рассуждений и нерaссуждающим режимом в рамках одной модели: первый ориентирован на сложные задачи, математику и программирование, второй — на более быструю генерацию и общий диалог. К сильным сторонам относятся сочетание небольшого размера, локального формата MLX и 4-битного квантования, мультиязычность, поддержка диалогов и инструкций, а также гибкое управление режимом рассуждений. Ограничения включают меньшую ёмкость по сравнению с крупными моделями и отсутствие в предоставленных данных подробных результатов бенчмарков, требований к оборудованию и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

Qwen3-1.7B-unsloth-bnb-4bit — компактная каузальная языковая модель семейства Qwen3, представленная Unsloth и основанная на базовой модели Qwen/Qwen3-1.7B, разработанной командой Qwen. Данная версия предназначена для запуска и дообучения в формате 4-bit с использованием Transformers, что снижает требования к памяти по сравнению с полноразмерными вариантами. Модель подходит для генерации текста, диалогов, следования инструкциям, математических и логических задач, программирования, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает переключение между thinking mode для сложного рассуждения и non-thinking mode для более быстрой генерации. Заявлена поддержка более 100 языков и диалектов, однако в карточке явно указан язык English. Архитектура — causal language model с 1,7 млрд параметров, из которых 1,4 млрд не являются embedding-параметрами; модель содержит 28 слоёв, использует GQA с 16 головами для Q и 8 для KV, а максимальная длина контекста составляет 32 768 токенов. К сильным сторонам относятся небольшой размер, сниженное потребление памяти благодаря 4-bit-квантизации, мультиязычность, режимы рассуждения и эффективная работа в задачах диалога, инструкций, кода и агентского взаимодействия. Ограничения включают меньшую ёмкость по сравнению с крупными моделями, возможное снижение точности из-за квантизации и отсутствие в README подробных результатов бенчмарков, требований к оборудованию и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-REAM — сжатая версия Qwen3-30B-A3B-Instruct-2507, представленная как модель Samsung SAIL Montréal. Она предназначена для диалогов, выполнения инструкций и генерации текста. В MoE-слоях число экспертов уменьшено со 128 до 96 методом REAM; README сообщает о 23 млрд параметров и объёме файлов 44 ГБ против 31 млрд параметров и 57 ГБ у исходной модели. Это снижает требования к хранению и памяти GPU примерно на 25%. По оценке авторов, модель сохраняет не менее 94% исходной производительности на ряде тестов, хотя результаты зависят от задачи. Модель принимает текст и генерирует текст. Метаданные указывают контекст до 262 144 токенов, библиотеку Transformers и формат safetensors. В README приведены тесты на следование инструкциям, математические задачи, вопросы с вариантами ответа и генерацию кода. Метаданные указывают лицензию Apache-2.0. В README заявлено 23 млрд параметров, тогда как метаданные каталога указывают 2,6 млрд; размер параметров стоит сверить с файлами модели перед планированием вычислительных ресурсов.

surogate/Qwen3.5-2B-FP8 — вариант модели Qwen3.5-2B, опубликованный Surogate и основанный на Qwen/Qwen3.5-2B-Base. Это каузальная языковая модель с vision encoder для текстово-визуальных задач, включая рассуждения, программирование, агентские сценарии и анализ изображений. В README вариант рекомендован для движка обучения агентов Surogate и совместим с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель содержит около 2 млрд параметров, 24 слоя, скрытое измерение 2048 и нативное контекстное окно до 262 144 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Представленные веса подвергнуты мелкозернистому FP8-квантованию с размером блока 128. По данным README, такая оптимизация сохраняет показатели, близкие к исходной модели, одновременно снижая требования к памяти и повышая эффективность инференса. Сильными сторонами являются мультимодальность, большое контекстное окно, компактный размер и пригодность для высокопроизводительного развертывания и агентских систем. Ограничения включают возможную потерю точности, характерную для квантования, а также то, что README не содержит подробных сведений о качестве на всех языках, ограничениях безопасности и результатах визуальных тестов. Модель распространяется по лицензии Apache 2.0.

Infatoshi/Qwen3.6-35B-A3B-GGUF — это набор GGUF-конверсий базовой модели Qwen/Qwen3.6-35B-A3B, подготовленный Infatoshi для запуска в llama.cpp. Модель предназначена для генерации и обработки текста, а также для мультимодальных сценариев с изображениями и видео; для работы с визуальными входными данными требуется отдельный файл vision projector. Модель использует разреженную MoE-архитектуру: 35 млрд параметров суммарно, около 3 млрд активных параметров, 256 экспертов и один общий эксперт, маршрутизация top-8. В архитектуре сочетаются слои Gated-DeltaNet и Gated-Attention в соотношении 3:1, заявлен нативный контекст до 262 тысяч токенов. Указана поддержка английского, китайского и многоязычного применения. Доступны варианты квантования Q4_K_M, Q5_K_M, Q8_0 и BF16 с объёмом файлов от 20 до 65 ГБ. Сильными сторонами являются существенно сниженное число активных параметров при большом общем размере модели, поддержка длинного контекста и мультимодальный ввод. Вариант Q4_K_M рассчитан на одну видеокарту с 24 ГБ памяти, тогда как более качественные или менее квантованные варианты требуют 32–40 ГБ видеопамяти, частичной выгрузки или CPU. Производительность и требуемые ресурсы зависят от варианта квантования, размера контекста и режима инференса; варианты Q5_K_M, Q8_0 и BF16 не помещаются на одной 24-гигабайтной видеокарте при практически применимом контексте. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель, созданная HauhauCS на основе Qwen/Qwen3.6-35B-A3B. Это вариант с усиленным удалением отказов: по заявлению автора, модель не отказывается от запросов и сохраняет функциональность исходной модели, хотя иногда может добавлять короткие дисклеймеры. Подходит для диалогов, генерации и анализа текста, программирования, рассуждений, а также работы с изображениями и видео. Модель использует архитектуру MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на один проход. Она содержит 256 экспертов, из которых для каждого токена выбираются 8, включает 40 слоёв и гибридное сочетание linear attention и full softmax attention в соотношении 3:1. Заявлен нативный контекст до 262K токенов. Поддерживаются текст, изображения и видео; в README указаны английский, китайский и многоязычный режимы. Для работы с изображениями требуется дополнительный файл mmproj. Основные преимущества — высокая заявленная устойчивость к отказам, мультимодальность, большой контекст и доступность множества GGUF-квантизаций, включая оптимизированные HauhauCS варианты K_P. Ограничения включают отсутствие встроенных защитных ограничений в Aggressive-варианте, значительные требования к памяти: размер файлов варьируется примерно от 11 до 44 ГБ, а также необходимость корректно настроить совместимый runtime, например llama.cpp или LM Studio. Для сохранения возможностей режима рассуждений рекомендуется использовать контекст не менее 128K токенов. Модель распространяется по лицензии Apache-2.0.

Qwen3-Next-80B-A3B-Instruct — языковая модель от команды Qwen, предназначенная для диалогов, генерации текста и сценариев с вызовом инструментов. Это причинная модель семейства Qwen3-Next с разреженной архитектурой смеси экспертов (MoE), гибридной обработкой контекста через Gated DeltaNet и Gated Attention и поддержкой ускорения вывода с помощью Multi-Token Prediction. В модели 80 млрд параметров, из которых активируются около 3 млрд на токен; при этом метаданные Hugging Face указывают размер 2,3 млрд параметров. Модель рассчитана на инструкции в обычном, нетщательном режиме и поддерживает контекст до 262 144 токенов; в README описано расширение контекста примерно до миллиона токенов с YaRN. Подходит для длинных диалогов и документов, генерации ответов и агентных сценариев с инструментами. Карточка сообщает о результатах на ряде бенчмарков, но не приводит полный набор таблиц в предоставленном тексте. Лицензия Apache-2.0.

QuantTrio/Qwen3-VL-30B-A3B-Thinking-AWQ — это AWQ-квантизированная версия мультимодальной модели Qwen3-VL-30B-A3B-Thinking, разработанной командой Qwen. Модель распространяется в формате для генерации текста и предназначена для локального инференса, в частности через vLLM. Размер набора файлов указан как 17 ГБ, а базовая модель использует MoE-архитектуру с обозначением 30B-A3B. Точный создатель самой квантизированной сборки в README явно не указан; репозиторий связан с идентификатором QuantTrio. Модель предназначена для обработки текста, изображений и видео, включая визуальное распознавание, OCR, анализ документов, пространственное рассуждение, STEM- и математические задачи, понимание видеосцен и взаимодействие с графическими интерфейсами и инструментами. Заявлены генерация Draw.io, HTML, CSS и JavaScript по изображениям или видео, а также поддержка длинного контекста: базово 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный список языков в README не приведён. Ключевые архитектурные особенности базовой модели включают Interleaved-MRoPE для работы с временными и пространственными измерениями, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. Сильными сторонами являются мультимодальное рассуждение, детальное восприятие изображений, обработка длинных документов и видео, а также возможность более экономичного запуска благодаря AWQ-квантизации. Ограничения включают зависимость от совместимого ПО и аппаратной конфигурации; приведённый пример vLLM рассчитан на использование двух GPU, а показатели производительности в README представлены только изображениями без числовой расшифровки. Модель распространяется по лицензии Apache-2.0.

AI21-Jamba-Reasoning-3B — компактная модель рассуждений компании AI21 для генерации текста и диалогов. Она предназначена для решения задач, требующих пошагового анализа, и работы с длинными входными материалами; в карточке заявлено преимущество на совокупности нескольких интеллектуальных бенчмарков по сравнению с рядом моделей сходного размера. Модель содержит около 2,3 млрд параметров по метаданным каталога. Её гибридная архитектура Jamba сочетает слои Transformer и Mamba: 26 слоёв Mamba и 2 слоя внимания, 20 голов внимания с multi-query attention и словарь размером 64 тыс. токенов. Контекст достигает 262 144 токенов. Модель принимает текст и генерирует текст; в метаданных также заявлен интерфейс для вызова инструментов. Поддерживаются английский, испанский, французский, португальский, итальянский, нидерландский, немецкий, арабский и иврит. AI21 рекомендует запуск через vLLM версии 0.11.0 или выше с настройкой кэша Mamba; README также описывает локальный запуск через отдельную GGUF-сборку. Репозиторий распространяется под лицензией Apache-2.0. Практические ограничения: опубликованные в README сравнительные результаты приведены не для всех конкурентов в доступном фрагменте, а обучение через VeRL на момент карточки ещё описано как будущее расширение.

EXAONE-3.5-7.8B-Instruct-GGUF — языковая модель для генерации текста и выполнения инструкций. Оригинальная модель разработана LGAI-EXAONE, а данная версия представляет собой GGUF-квантизацию, подготовленную bartowski на основе llama.cpp. Модель рассчитана на работу с английским и корейским языками. Модель имеет размер 7,8 млрд параметров и поддерживает контекст до 32 000 токенов. Она предназначена для диалоговых и прикладных сценариев, требующих следования инструкциям, решения математических задач и генерации или анализа программного кода. Формат GGUF делает её подходящей для локального запуска в совместимых инструментах, включая LM Studio и llama.cpp. К сильным сторонам относятся заявленные высокие результаты среди моделей с сопоставимой длиной контекста, хорошее следование инструкциям, математические и программные способности. Ограничения включают зависимость качества и скорости работы от выбранного уровня квантизации и оборудования, а также типичные для языковых моделей риски неточных, вредных или неподходящих ответов. Модель распространяется по лицензии EXAONE; README не содержит подробных условий лицензии, поэтому перед использованием следует ознакомиться с файлом LICENSE.

ente-ai/gemma-4-E2B-it-GGUF — это GGUF-версия инструкционно настроенной мультимодальной модели Gemma 4 E2B, разработанной Google DeepMind и подготовленной для распространения в формате GGUF. Модель принимает текст, изображения и аудио, а генерирует текст; поддерживает более 140 языков. Она предназначена для локального запуска на ноутбуках и мобильных устройствах, а также для генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев с вызовом функций. Модель имеет 2,3 млрд эффективных параметров, или 5,1 млрд с учётом embedding-слоёв, 35 слоёв и контекстное окно до 128K токенов. В архитектуре используется гибридное внимание: локальное sliding window attention с окном 512 токенов чередуется с глобальным вниманием. Поддерживаются настраиваемые режимы рассуждений, системные промпты и native function calling. Небольшой размер и оптимизация для устройств являются сильными сторонами, однако по возможностям и качеству сложных задач модель уступает более крупным вариантам семейства; конкретные характеристики также зависят от используемой GGUF-квантизации. Модель распространяется по лицензии Apache 2.0. README не указывает точный уровень квантизации данного файла и требования к аппаратному обеспечению.

manjunathshiva/gpt-oss-20b-tq3 — это 3-битная MLX-квантизация модели openai/gpt-oss-20b, созданная с помощью TurboQuant-MLX. Базовая модель представляет собой Mixture-of-Experts с 21 млрд параметров, 32 экспертами и примерно 3,6 млрд активных параметров на токен. Квантизация использует вращение Hadamard и кодовую книгу Lloyd-Max с group_size=64 и не требует калибровочных данных. Модель предназначена для генерации текста, диалогов, ответов на вопросы, творческого письма, программирования, математических задач и многошагового рассуждения. Она поддерживает контекст до 131 000 токенов. Размер файлов составляет около 9,5 ГБ, пиковое потребление связанной оперативной памяти при декодировании — около 11 ГБ. Модель рассчитана на Apple Silicon M1–M4 с unified memory объёмом от 16 ГБ; заявленная скорость генерации на чипах серии M составляет примерно 60–80 токенов в секунду. Сильные стороны модели — компактное размещение, возможность полностью держать веса в памяти Mac с 16 ГБ, высокая скорость и поддержка длинного контекста. Дополнительное сжатие KV-кэша в смешанной точности K8/V3 может уменьшить его размер примерно в четыре раза. Ограничения связаны с 3-битной квантизацией и зависимостью от платформы MLX: при более высокой температуре генерации модель может нестабильно решать математические и программные задачи, поэтому для них рекомендуется температура 0,3. Веса распространяются по лицензии Apache-2.0.

infosave/Granite-4.2-cmf — набор квантизированных плотных reasoning-моделей семейства IBM Granite 4.2, основанных на моделях IBM Granite 3B, 8B и 30B. Репозиторий подготовлен для среды Cortiq и содержит артефакты CMF с весами, токенизатором, точным шаблоном чата и хешами целостности. Модели предназначены для генерации текста, диалогов, многошагового рассуждения, работы с инструментами и многоходовым контекстом. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Доступны профили Q4TP и Q8_2F. Q4TP использует смешанную точность: основные проекции квантизированы в 4-битный формат, а границы словаря — в 8-битный; Q8_2F обеспечивает более высокое качество за счёт 8-битного представления проекций. Размер файлов составляет примерно от 2,17 до 29,31 ГБ в зависимости от варианта. Поддерживаются CPU, Vulkan, DX12 и Metal без обязательной установки Python, PyTorch или CUDA toolkit. Контекст модели — 131 072 токена; заявленное IBM расширение до 512K в этих файлах не реализовано. Преимущества — компактность, переносимость, сохранение специфичной архитектуры Granite и возможность работы при ограниченной VRAM с переносом части слоёв на CPU. Ограничения — необходимость значительных ресурсов для вариантов 8B и 30B, снижение качества у Q4TP по сравнению с Q8_2F и отсутствие заявленной поддержки контекста 512K. Распространение осуществляется по лицензии Apache-2.0.

InternLM2.5-7B-Chat-1M — диалоговая языковая модель команды InternLM, вариант InternLM2.5-7B-Chat для работы с контекстом до 262 144 токенов по метаданным. Это плотная авторегрессионная модель семейства InternLM2 с 7,4 млрд параметров, предназначенная для генерации текста в ответ на запросы и ведения диалога. Модель рассчитана на анализ длинных документов, поиск сведений в большом контексте, математические рассуждения и сценарии с использованием инструментов. В README заявлена оценка на текстах длиной до миллиона токенов и приводится рекомендация использовать LMDeploy для инференса с таким контекстом; Transformers не поддерживает этот режим напрямую. Поэтому заявленную длину в миллион токенов следует считать характеристикой описанного в README режима, тогда как метаданные указывают native context в 262 144 токена. Репозиторий содержит веса в формате safetensors. README сообщает, что код распространяется по Apache-2.0, а для весов открыто академическое исследование и предусмотрена бесплатная коммерческая лицензия по запросу. Модель ориентирована на практическое применение, но её заявления о качестве приведены разработчиком по результатам собственных оценок.

Карточка модели aoiandroid/LFM2.5-2.6B на Hugging Face совпадает с карточкой LiquidAI/LFM2.5-2.6B, поэтому описание составлено по ней. LFM2.5-2.6B — компактная текстовая модель Liquid AI из семейства гибридных LFM2.5, настроенная для локального запуска на устройствах и агентных сценариев. Это дообученная версия LFM2.5-2.6B-Base с 2,6 млрд параметров; архитектура LFM2 использует 30 слоёв, включая блоки свёртки с двойным гейтингом и слои GQA. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и работает с 17 языками, включая русский. Модель предназначена для вызова инструментов, следования инструкциям, многошаговых агентных задач, извлечения данных, RAG и работы с длинным контекстом. В карточке заявлены скорость до 220 токенов в секунду на Apple M5 Max и до 113 токенов в секунду на процессоре AMD Ryzen при использовании менее 2,5 ГБ памяти; фактические показатели зависят от оборудования и конфигурации. Liquid AI не рекомендует её для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other; её условия следует уточнить в репозитории модели.

LFM2.5-2.6B — компактная текстовая модель Liquid AI из семейства гибридных LFM2.5, настроенная для локального запуска на устройствах и агентных сценариев. Это дообученная версия LFM2.5-2.6B-Base с 2,6 млрд параметров; архитектура LFM2 использует 30 слоёв, включая блоки свёртки с двойным гейтингом и слои GQA. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и работает с 17 языками, включая русский. Модель предназначена для вызова инструментов, следования инструкциям, многошаговых агентных задач, извлечения данных, RAG и работы с длинным контекстом. В карточке заявлены скорость до 220 токенов в секунду на Apple M5 Max и до 113 токенов в секунду на процессоре AMD Ryzen при использовании менее 2,5 ГБ памяти; фактические показатели зависят от оборудования и конфигурации. Liquid AI не рекомендует её для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other; её условия следует уточнить в репозитории модели.

MaziyarPanahi/Mistral-Small-Instruct-2409-GGUF — это набор квантованных файлов в формате GGUF для Mistral-Small-Instruct-2409, опубликованный MaziyarPanahi. Исходную модель разработала Mistral AI; она представляет собой instruct-дообученную языковую модель для диалогов, генерации и обработки текста, включая сценарии с function calling. Репозиторий предназначен для запуска через llama.cpp и совместимые локальные приложения и библиотеки. Модель имеет около 22 млрд параметров, архитектуру MistralForCausalLM и контекст до 32 768 токенов. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Доступны варианты квантования от низкой разрядности до 8-bit, что позволяет уменьшить требования к памяти и запускать модель на совместимом CPU или GPU, однако более сильное квантование может снизить качество по сравнению с исходными весами; для полной модели требуются значительные вычислительные ресурсы. Исходная Mistral-Small-Instruct-2409 распространяется по Mistral Research License (MRL). Указанные условия разрешают использование в некоммерческих исследовательских целях; для коммерческого использования модели, производных версий или их предоставления требуется отдельная коммерческая лицензия Mistral AI.

mlx-community/Llama-3.3-70B-Instruct-8bit — 8-битная версия инструкционно настроенной большой языковой модели Llama 3.3 70B, разработанной Meta и адаптированной сообществом mlx-community для экосистемы MLX. Модель предназначена для генерации и понимания текста, диалоговых сценариев, ответов на вопросы, суммаризации, обработки инструкций и других задач, выполняемых языковыми моделями. По названию модели можно заключить, что она использует 8-битное представление весов, однако точные сведения о формате квантования и требованиях к оборудованию в README не указаны. В заявленных языках присутствуют английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий. Модель является текстовой; сведения о поддержке изображений или других модальностей отсутствуют. Размер базовой модели составляет 70 миллиардов параметров, но длина контекста и другие архитектурные характеристики в предоставленных данных не указаны. Большой размер и инструкционная настройка предполагают высокое качество в сложных языковых и диалоговых задачах, тогда как 8-битное представление может снизить требования к памяти по сравнению с полноразмерными весами. Ограничения включают возможные ошибки и непредсказуемость генерируемых ответов, а также отсутствие подтверждённых в README характеристик производительности. Модель распространяется по Llama 3.3 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama» и сохранение установленного уведомления об авторских правах. Также требуется соблюдать применимое законодательство и Acceptable Use Policy; для продуктов и сервисов с более чем 700 миллионами ежемесячных активных пользователей предусмотрено получение отдельной лицензии от Meta.

llm-jp-4-32b-a3b-thinking-gguf — языковая модель на базе Transformer, разработанная Research and Development Center for Large Language Models при National Institute of Informatics в Японии. Это thinking-вариант серии LLM-jp-4, предназначенный для генерации текста, диалогов и решения инструктивных задач на японском и английском языках, а также для работы с программным кодом на распространённых языках программирования. Модель использует архитектуру Mixture-of-Experts: 32 слоя, 128 маршрутизируемых экспертов, из которых для каждого входа активируются 8. Общее число параметров составляет около 32,1 млрд, при этом активируется около 3,83 млрд параметров. Контекстное окно — 65 536 токенов. Токенизатор основан на Unigram byte-fallback и совместим с шаблоном диалога OpenAI Harmony, однако необходимо использовать токенизатор из этого репозитория. Thinking-модель обучалась с помощью supervised fine-tuning и direct preference optimization без reinforcement learning; предварительное и промежуточное обучение проводилось на 11,7 трлн токенов. К сильным сторонам относятся специализированная поддержка японского языка, длинный контекст, MoE-архитектура с относительно небольшим числом активных параметров и дополнительное обучение для рассуждений и следования инструкциям. Ограничения включают отсутствие заявленных количественных результатов в доступной части README и необходимость специальной версии llama.cpp: стандартная upstream-версия может некорректно обрабатывать токенизацию и чат. Модель распространяется по лицензии Apache-2.0.

Meta-Llama-3.1-70B-Instruct-iMat-GGUF — это квантизированная версия инструкционной языковой модели Meta-Llama-3.1-70B-Instruct, разработанной Meta. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. Доступна в формате GGUF для использования с совместимыми инструментами, в частности с актуальными версиями llama.cpp. Модель содержит около 70 миллиардов параметров и работает с текстовыми данными. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Представлены варианты квантизации от Q8_0 до IQ1_S, включая экспериментальные варианты; при квантизации использовалась importance matrix (imatrix), призванная уменьшить потери качества. Длина контекста в README не указана. Сильной стороной модели является сочетание крупного размера, инструкционного обучения и широкого набора вариантов квантизации, позволяющих выбирать компромисс между качеством, скоростью и требованиями к памяти. Ограничения связаны с тем, что качество и ресурсоёмкость зависят от выбранного варианта квантизации, а для работы требуется современная сборка совместимого программного обеспечения. Модель распространяется по лицензии llama3.1.