I.11Классификация, ранжирование и сопоставление

Gemma 2 9B Instruct — языковая instruction-tuned модель Google из семейства Gemma, распространяемая в формате GGUF для локального запуска. Квантизация выполнена bartowski на основе llama.cpp; исходная модель — google/gemma-2-9b-it. Модель предназначена для диалогов, генерации и анализа текста, работы с кодом, математическими задачами и сценариев общего назначения. Модель содержит около 9 миллиардов параметров и обучалась на 8 триллионах токенов, включая преимущественно англоязычные веб-документы, код и математические материалы. Большой словарный запас способствует работе с многоязычным текстом и программированием, однако README не указывает точный набор поддерживаемых языков и размер контекстного окна. Формат GGUF и относительно небольшой размер делают модель подходящей для систем с ограниченными ресурсами, но качество и скорость зависят от выбранного уровня квантизации и оборудования. Для корректной работы в LM Studio 0.2.27 или новее рекомендуется выбрать шаблон «Google Gemma Instruct». Системные сообщения не поддерживаются. Модель может создавать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face необходимо принять условия этой лицензии.

axolotl-ai-co/gpt-oss-120b-dequantized — версия с преобразованной точностью модели gpt-oss-120b, разработанной OpenAI. Это разреженная MoE-модель для генерации текста, диалога, рассуждений и агентных сценариев; README указывает 117 млрд параметров и 5,1 млрд активных параметров, а метаданные этой версии — 2,1 млрд параметров. Модель поддерживает контекст до 131 072 токенов и использует архитектуру GptOssForCausalLM. Репозиторий содержит веса safetensors и рассчитан на библиотеку Transformers. Модель предназначена для ответов на запросы, сложного анализа, работы с инструментами и генерации структурированных ответов. В README также описаны вызов функций и агентные сценарии с браузером и исполнением Python; для корректной работы требуется формат диалога Harmony. Уровень рассуждений можно настраивать, балансируя глубину ответа и скорость. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование и дообучение. README предупреждает, что цепочку рассуждений не следует показывать конечным пользователям; качество вывода зависит от соблюдения формата Harmony. Название репозитория указывает на dequantized-вариант, однако точный исходный формат преобразования и его влияние на качество не описаны.

Это конвертированная версия открытой весовой модели gpt-oss-20b, разработанной OpenAI и опубликованной axolotl-ai-co. Модель предназначена для генерации текста, диалога, рассуждений и агентных сценариев, включая вызов функций и работу с инструментами. Архитектура — разреженная смесь экспертов (MoE); карточка модели указывает 21 млрд параметров, из которых активно 3,6 млрд, тогда как метаданные репозитория содержат значение 1,6 млрд. Контекст составляет 131 072 токена. Модель обучена работать в формате Harmony и может запускаться через Transformers и vLLM. Среди возможностей — настройка уровня рассуждений, дообучение под специализированные задачи и использование для локальных сценариев с меньшей задержкой. В README заявлена нативная точность MXFP4 для слоёв MoE и возможность работы в пределах 16 ГБ памяти. Модель принимает текст и выдаёт текст. Лицензия Apache-2.0 допускает коммерческое использование. Следует применять формат Harmony: вне него модель может работать некорректно; цепочку рассуждений не следует показывать конечным пользователям.

K-EXAONE — мультиязычная языковая модель LG AI Research для диалога, рассуждений, работы с инструментами и обработки длинных текстов. Она использует архитектуру Mixture of Experts: в README указаны 236 млрд параметров всего и 23 млрд активных при инференсе; метаданные каталога приводят 21,3 млрд параметров. Модель поддерживает контекст до 262 144 токенов и языки корейский, английский, испанский, немецкий, японский и вьетнамский. Архитектура включает 128 экспертов, из которых активируются 8, а также механизм Multi-Token Prediction для ускорения генерации. Модель предназначена для ответов на вопросы, рассуждений, многоязычного общения, анализа длинных документов и агентных сценариев с вызовом инструментов. README сообщает о специальной поддержке корейских культурных и исторических контекстов. Модель доступна в формате safetensors и работает с Transformers; для сервинга также описаны vLLM и SGLang. В README лицензия не названа, а метаданные указывают «other», поэтому точные условия использования следует проверять на странице модели. Возможны фактические ошибки, устаревшие ответы, предвзятость и неподходящие генерации; заявленная дата среза знаний — декабрь 2024 года.

QuantFactory/Llama-3-8B-Instruct-262k-GGUF — это квантизированная версия GradientAI модели Llama-3-8B-Instruct-262k в формате GGUF, созданная с использованием llama.cpp. Модель разработана Gradient на основе Meta-Llama-3-8B-Instruct при спонсорской поддержке вычислительных ресурсов Crusoe Energy. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также работы с большими текстовыми документами и контекстами. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention, содержит около 8 миллиардов параметров и работает только с текстом на входе и выходе. Контекстное окно расширено с исходных 8K до более чем 160K токенов; обучение проводилось с последовательностями до 262144 токенов. Для расширения контекста применялись NTK-aware interpolation, оптимизация параметра RoPE theta и прогрессивное обучение. Сильной стороной модели является поддержка очень длинного контекста при относительно небольшом размере, что подходит для анализа крупных документов и продолжительных диалогов. Ограничения включают ориентацию преимущественно на английский язык, текстовую модальность и возможные потери качества, связанные с квантизацией. Модель основана на Llama 3, предназначенной для коммерческого и исследовательского использования, и распространяется по пользовательской коммерческой лицензии Llama 3.

Olmo-3.1-32B-Instruct — авторегрессионная языковая модель на архитектуре Transformer, разработанная Allen Institute for AI (Ai2). Это плотная модель семейства OLMo 3 с 31,7 млрд параметров, дообученная на основе allenai/Olmo-3.1-32B-Instruct-DPO; карточка также описывает этапы SFT, DPO и обучения с подкреплением на данных Dolci. Модель рассчитана на диалог, выполнение инструкций, общие знания, математику и программирование; поддерживает интерфейс вызова инструментов. Основной язык — английский, контекст — до 65 536 токенов. Модель можно применять для ответов на вопросы, помощи с кодом и математическими задачами, а также для диалоговых и общих текстовых запросов. Доступна в формате Safetensors и работает с Transformers версии 4.57.0 или выше. Лицензия Apache 2.0; разработчик указывает на исследовательское и образовательное применение в соответствии с рекомендациями Ai2 по ответственному использованию.

Ornith-1.5-397B-MXFP4 — квантизированная версия модели Ornith-1.5-397B, опубликованная truespirit на базе модели ornith-ai. Это генеративная текстовая модель для задач общего рассуждения, программирования и агентских сценариев; сервер предоставляет OpenAI-совместимый API. README не содержит сведений о поддерживаемых языках и полном наборе модальностей, хотя в архитектуре упоминаются визуальные компоненты. Модель использует архитектуру Qwen3.5 MoE / Ornith 1.5 с 397 млрд параметров. Квантизация выполнена по формату OCP MXFP4 с размером блока 32 с помощью AMD Quark 0.12.post1. В MXFP4 переведены веса маршрутизируемых MoE-экспертов, а attention, shared experts, gates, MTP, визуальные компоненты и lm_head сохранены в BF16. Размер чекпойнта составляет около 239 ГБ, что примерно вдвое меньше исходной версии. Сборка ориентирована на запуск на одной AMD Instinct MI355X с 288 ГБ HBM и TP=1. В протестированной конфигурации с SGLang ROCm достигались примерно 180–200 токенов/с при однопоточном декодировании и около 290 токенов/с при четырёх одновременных запросах; измеренный предел входа составлял около 86 тысяч токенов, а в конфигурации сервера задан контекст до 81920 токенов. Эти показатели зависят от оборудования и программного окружения и не являются оценкой качества модели. Квантизация может приводить к численным отличиям от исходного FP8-чекпойнта. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

Richard Young выпустил эту версию Qwen3-4B-Instruct-2507, обработанную методом abliteration с помощью Heretic v1.4.0. Это плотная причинная языковая модель на 3,7 млрд параметров для генерации текста и диалогов; она рассчитана на режим без пошагового рассуждения и имеет контекстное окно 262 144 токена. Модель предназначена для следования инструкциям, ответов на вопросы, логических и математических задач, программирования, работы с длинными текстами и сценариев с вызовом инструментов. В README автор сообщает, что при его проверке модель отказала в 3 из 100 запросов, тогда как исходная версия отказала во всех 100; это описывает результаты конкретной оценки, а не гарантирует поведение на других запросах. Репозиторий содержит веса Safetensors для Transformers. Указанная лицензия — Apache-2.0. README отмечает поддержку нескольких языков, но не перечисляет их, поэтому основной язык определить нельзя.

TheCluster/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive-MLX-mxfp4 — это квантизированная версия мультимодальной модели Qwen3.5-35B-A3B, основанная на варианте HauhauCS/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive. Модель преобразована в формат MLX и предназначена для локального запуска, генерации текста, программирования, рассуждений, а также обработки изображений и видео. Вариант Aggressive отличается усиленным удалением отказов от ответов; при этом модель иногда может добавлять стандартные дисклеймеры, не отказываясь от генерации основного содержания. Архитектура включает 35 миллиардов общих параметров и около 3 миллиардов активных параметров на токен благодаря MoE с 256 экспертами, из которых для каждого токена выбираются 8 маршрутизируемых и 1 общий эксперт. Используется гибридная схема Gated DeltaNet linear attention и полноформатного softmax-внимания в соотношении 3:1, всего 40 слоёв. Нативное контекстное окно составляет 262 тысячи токенов и может быть расширено до 1 миллиона с помощью YaRN. Модель поддерживает текст, изображения и видео, multi-token prediction, словарь из 248 тысяч токенов и 201 язык, включая русский, английский и китайский. К сильным сторонам относятся мультимодальность, очень длинный контекст, высокая вычислительная эффективность MoE и отсутствие встроенных отказов в Aggressive-варианте. Ограничения включают квантизацию mxfp4 с качеством около 4,402 bpw, зависимость производительности от совместимости с MLX и аппаратных ресурсов, а также потенциально менее предсказуемое поведение из-за снятия ограничений безопасности. В README указана лицензия Apache-2.0.

QuantTrio/Qwen3.5-9B-AWQ — квантованная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen. Репозиторий содержит веса в формате, совместимом с Transformers и сервером инференса vLLM; квантование выполнено методом, не использующим обучающие данные. README не уточняет состав команды, выполнившей квантование. Модель предназначена для генерации и понимания текста и изображений, рассуждений, программирования, агентских сценариев и вызова инструментов. Это каузальная языковая модель с vision-энкодером, поддерживающая 201 язык и диалект. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; модель содержит около 9 млрд параметров, 32 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Размер файлов модели составляет около 12 ГиБ. Ключевое преимущество — сочетание мультимодальности, длинного контекста и сниженных требований к памяти благодаря формату AWQ, что делает модель подходящей для локального и серверного инференса. Ограничения включают зависимость от актуальных версий vLLM и Transformers, необходимость CUDA 12.8 и возможные проблемы совместимости или настройки среды; количественные результаты бенчмарков в предоставленных данных отсутствуют. Модель распространяется по лицензии Apache-2.0.

Mungert/Qwen3.5-9B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-9B, опубликованная Mungert и основанная на Qwen/Qwen3.5-9B-Base. Модель предназначена для генерации и понимания текста и изображений, включая рассуждения, программирование, работу с агентами и визуальное понимание. Она совместима с llama.cpp и экосистемой инструментов, поддерживающих формат GGUF. Модель содержит около 9 млрд параметров и объединяет языковую модель с vision encoder. Архитектура сочетает Gated Delta Networks, разреженную Mixture-of-Experts и Gated Attention; языковая часть включает 32 слоя, скрытую размерность 4096 и промежуточную размерность feed-forward-блоков 12288. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Особенность этой сборки — модифицированная квантизация GGUF: для отдельных важных слоёв вручную повышается точность сверх стандартной конфигурации IMatrix. Это увеличивает размер файла, но, по заявлению автора, может улучшать точность при низкой разрядности, особенно для моделей с MoE. Конкретные результаты тестирования данной сборки и доступные варианты квантизации в README не приведены. Модель распространяется по лицензии Apache-2.0.

Shiftedx/qwen3.8-27b-aeon-ultimate-uncensored-attention8-bf16recurrence-vision-mtplx — независимая конверсия сообщества на базе AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED, подготовленная для Apple Silicon, MLX и MTPLX. Это плотная модель на 27 млрд параметров с гибридной архитектурой attention/Gated DeltaNet, поддерживающая работу с текстом и изображениями, рассуждения, вызов инструментов и структурированный вывод. Релиз не является официальным продуктом AEON-7, Qwen, Apple, MLX или MTPLX. Модель использует смешанную точность: аффинное 4-битное и 8-битное квантование весов, а отдельные рекуррентные проекции, vision tower и native multi-token prediction head сохранены в BF16. Репозиторий занимает около 23,84 ГБ, рассчитан на конфигурацию с 64 ГБ или более unified memory и поддерживает контекст до 262 144 токенов; квалификационное тестирование выполнено до 131 072 токенов. Заявлены языки English, Chinese и multilingual. Для ускорения предусмотрена спекулятивная генерация с MTP-head, квалифицированная на глубине 3. По опубликованным тестам модель получила 8/10 в проверке качества, 15/15 в тестах длинного контекста, 6/6 в вызове инструментов, 2/2 в лёгких агентских сценариях и 4/4 в vision-тестах. Сильными сторонами являются ориентация на качество локального запуска, мультимодальность, инструменты, длинный контекст и оптимизация под Apple Silicon. Ограничения включают высокие требования к памяти и зависимость производительности от оборудования и версии MTPLX; заявленные результаты относятся к конкретному Apple M4 Max с 64 ГБ памяти и не гарантируют аналогичную скорость на других системах. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной линейки.

Qwen3.8-27B-GPTQ-INT4-FP8KV — квантованная версия мультимодальной модели Qwen3.8-27B, опубликованная пользователем abhishekchohan на базе Qwen/Qwen3.8-27B. Модель предназначена для диалогов, рассуждений, решения математических и научных задач, программирования, следования инструкциям, работы с длинным контекстом и анализа изображений. Поддерживаемые языки в README не указаны. Используется 4-битное GPTQ-квантование весов в формате W4A16 с асимметричными группами размера 32, а также FP8 E4M3 KV-кэш с откалиброванными масштабами. Размер модели — 27B параметров; текстовая часть включает 64 гибридных слоя attention и DeltaNet, а визуальная часть основана на замороженном ViT-энкодере. Сохраняется нативный контекст до 262 144 токенов, с расширением YaRN до 524 288 токенов на GPU с 48 ГБ и до 1 млн токенов на 96 ГБ, однако поиск за пределами 262 144 токенов не валидировался. Контрольная точка занимает около 20 ГБ и рассчитана на запуск через vLLM, включая speculative decoding. Главные преимущества — существенно сниженное потребление памяти, возможность обслуживания нативного длинного контекста на одной 48-ГБ GPU и результаты бенчмарков, сопоставимые с BF16-версией: средний показатель на заявленном наборе тестов составил 70,29 против 70,04 у базовой модели, а извлечение информации из контекста прошло без деградации на 262 144 токенах. Ограничения включают возможную зависимость результатов генерации от GPU и конфигурации, а также неизбежные риски квантования; отдельные тесты показали небольшое снижение качества. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-KTopt-GGUF — квантизированная GGUF-сборка базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем wiklif. Она предназначена для генерации текста, решения сложных вопросов, следования инструкциям, программирования и задач, требующих рассуждений, включая работу с длинным контекстом. Модель содержит около 27 млрд параметров, использует trellis-квантизацию типов KT и занимает примерно 10,31 ГБ, или около 3,06 бит на вес. Это текстовая модель без vision tower. На видеокарте с 16 ГБ памяти заявлена поддержка контекста от 160 тысяч до полного нативного объёма 262 тысячи токенов, а на 12 ГБ — примерно 64–96 тысяч токенов. В комплект входят опциональный EoRA-адаптер размером 32,4 МБ и drafter для speculative decoding. Сильная сторона модели — близкое к Q8_0 качество при значительно меньшем размере и пригодность для запуска на одной 16-ГБ видеокарте. На указанных тестах средний результат составил 86,7 против 87,5 у Q8_0; при ограничении вывода 64 тысяч токенов модель превзошла сопоставимую UD-IQ3_XXS на 2,8 процентного пункта. Для работы требуется специальная сборка lrozewicz/kt-llama-cpp с поддержкой KT-квантизации, VBR KV-кэша и DFlash2; модель не загружается в основной llama.cpp, LM Studio или Ollama. Лицензия — Apache-2.0.

Qwen3.8-35B-A3B — текстовая дистилляция от Empero на базе Qwen/Qwen3.6-35B-A3B. Это причинная языковая модель с архитектурой MoE: 35 млрд параметров всего, около 3 млрд активируются на токен; используется 40 слоёв, 256 экспертов и 8 маршрутизируемых экспертов на токен. Модель распространяется в формате Transformers и поддерживается стандартными средами запуска с поддержкой архитектуры Qwen3.6. Модель предназначена для диалогов, математических задач, программирования, общих рассуждений, следования инструкциям и вызова инструментов. Она обучена методом дистилляции на отфильтрованных трассах внутренних моделей-учителей Qwen3.8; базовая модель поддерживает контекст до 262 144 токенов. Обучение было текстовым, поэтому визуальные возможности унаследованы от мультимодальной основы, но не дообучались и не оценивались. В сравнении с базовой моделью README сообщает о близком результате на MMLU и улучшении на ARC-Challenge. Известные ограничения: ответы обычно короче, чем у основы, длинные цепочки рассуждений могут обрываться, а жадное декодирование при длинной генерации может приводить к повторениям. Для работы нужны актуальная версия Transformers с поддержкой Qwen3.6 и CUDA-совместимые ядра Gated DeltaNet; веса выпущены под лицензией Apache-2.0.

Qwen3.8-Flash-Next-FP8 — экспериментальная модель семейства Qwen, разработанная командой Qwen. Это каузальная языковая модель с vision encoder, представленная в формате Hugging Face Transformers и предназначенная для генерации и обработки текста, мультимодальных сценариев с изображениями, длинноконтекстного анализа и агентных приложений. Версия FP8 содержит квантизированные веса постобученной модели и совместима с Transformers, vLLM, SGLang и TokenSpeed. Модель имеет 125 млрд параметров, из которых около 6 млрд активируются при обработке запроса, а также 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура включает 48 слоёв, Mixture of Experts с 512 экспертами, гибридное внимание на основе Gated DeltaNet и Qwen Sparse Attention, Gated Residual и n-gram embedding. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 000 000 токенов. README не указывает точный перечень поддерживаемых языков. К сильным сторонам относятся высокая эффективность при работе с длинным контекстом, сниженная вычислительная и память-затраты благодаря разреженному вниманию, MoE и FP8-квантизации, а также сохранение показателей производительности, близких к исходной модели. Ограничения связаны с экспериментальным статусом архитектуры, отсутствием в README подробных результатов бенчмарков и неуказанными требованиями к аппаратному обеспечению и профилю мультимодальных возможностей. Модель распространяется по лицензии qwen-community-1.0; дополнительные условия следует проверять в файле LICENSE.

unsloth/Qwen3-VL-8B-Instruct-bnb-4bit — 4-битная квантованная версия мультимодальной модели Qwen3-VL-8B-Instruct, опубликованная Unsloth на основе модели Qwen от Qwen Team. Она предназначена для работы с текстом и изображениями, а также для анализа видео, визуального распознавания, OCR, пространственного и мультимодального рассуждения. Модель имеет размер 8B параметров и поддерживает контекст длиной 256K токенов с возможностью расширения до 1M. Среди её возможностей заявлены управление графическими интерфейсами компьютеров и мобильных устройств, генерация Draw.io, HTML, CSS и JavaScript по изображениям и видео, анализ пространственных отношений, понимание длительных видео с временной локализацией событий, STEM- и математическое рассуждение, а также распознавание широкого спектра объектов и сцен. OCR поддерживает 32 языка и устойчив к низкому освещению, размытию и наклону текста. К архитектурным особенностям относятся Interleaved-MRoPE для временных и пространственных измерений, DeepStack для объединения признаков разных уровней ViT и выравнивание текста с временными метками. Квантованный 4-битный формат ориентирован на более экономичное по памяти развёртывание, однако README не приводит точные требования к оборудованию, результаты для данной квантованной версии или детальные ограничения качества. Модель распространяется по лицензии Apache-2.0.

Карточка модели TreezzZ/r2s-scienceworld-qwen3-8b-student на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

miifanboy/Spark-X2.5-4B-i1-GGUF — набор GGUF-вариантов модели Spark-X2.5-4B, разработанной XHToken и опубликованной Mii Fanboy. Это компактная универсальная языковая модель для диалогов, написания текстов, перевода, рассуждений, программирования, использования инструментов и агентских сценариев. Модель предназначена для локального запуска через Ollama и LM Studio с совместимой реализацией llama.cpp. Spark-X2.5-4B использует гибридную архитектуру внимания, имеет размер 4B параметров, поддерживает нативный контекст до 1 млн токенов и более 200 языков; в метаданных явно указаны английский и китайский. Репозиторий содержит imatrix-квантизованные варианты IQ3, Q3, IQ4, Q4, Q5, Q6 и Q8 с размером файлов примерно от 1,68 до 4,07 ГБ. Квантизация позволяет снизить требования к памяти при сохранении близкого к базовой модели качества; наиболее качественными в приведённых тестах являются Q6_K и Q8_0, а IQ4_XS рекомендован при ограниченном объёме VRAM. Сильные стороны модели — универсальность, поддержка длинного контекста, широкого набора языков и нескольких уровней квантизации для локального развертывания. Ограничения зависят от варианта: низкобитные кванты могут требовать подробных системных подсказок и заметнее уступать базовой модели, а IQ-варианты медленнее работают на CPU; для CPU рекомендуется использовать Q-кванты. Лицензия — Apache-2.0.

Yi-1.5-6B-Chat — диалоговая языковая модель от 01.AI, основанная на архитектуре Llama и содержащая 5,8 млрд параметров. Модель предназначена для генерации ответов в чате, следования инструкциям, понимания текста, рассуждений, решения математических задач и помощи с программированием. Семейство Yi-1.5 прошло дополнительное предварительное обучение на 500 млрд токенов и тонкую настройку на 3 млн примеров; карточка конкретной модели подтверждает контекст 4096 токенов. Модель работает с текстом и выдаёт текст. README отмечает улучшения в программировании, математике, рассуждениях и следовании инструкциям, а также способности к пониманию языка, здравому смыслу и чтению. Лицензия — Apache 2.0. README не приводит отдельные оценки качества именно версии 6B; результаты больших вариантов семейства нельзя напрямую переносить на неё.

Yi-1.5-9B-32K — плотная авторегрессионная языковая модель семейства Llama, разработанная компанией 01.AI. Это базовая версия модели Yi-1.5 с 8,6 млрд параметров и контекстным окном до 32 768 токенов. Семейство Yi-1.5 прошло дополнительное предобучение на высококачественном корпусе объёмом 500 млрд токенов и настройку на 3 млн разнообразных примеров. Модель предназначена для генерации текста и может служить основой для задач понимания языка, чтения и ответов по тексту, рассуждений, математики, программирования и следования инструкциям. Карточка семейства отмечает улучшения в этих задачах относительно Yi; конкретные сценарии зависят от приложения и настроек генерации. Доступна в формате safetensors и выпущена под лицензией Apache 2.0. Карточка не приводит отдельной оценки качества именно версии с контекстом 32K; как базовая модель, она может требовать дополнительной настройки для диалогового или специализированного применения.

Apertus-70B-Instruct-2509 — многоязычная языковая модель Swiss AI Initiative для диалогов и генерации текста. Это дообученная версия Apertus-70B-2509 с архитектурой декодерного трансформера; в метаданных указано 97,7 млрд параметров и контекст до 65 536 токенов. Модель принимает текст и выдаёт текст, поддерживает более 1 800 языков и умеет использовать инструменты в агентных сценариях. Модель предназначена для ответов на вопросы, диалогов и других задач генерации текста, в том числе с длинным контекстом. Разработчики заявляют об открытых весах, данных и описании обучения, а также о соблюдении согласия владельцев данных. Модель распространяется по лицензии Apache-2.0. Ответы могут содержать фактические ошибки, логические несоответствия и смещения. Фильтр для удаления персональных данных в комплект не входит; важные сведения следует проверять.

Apodex-1.1-mini MLX — MLX-конверсия модели Apodex-1.1-mini от Apodex AI, предназначенная для исследовательских задач, работы с данными, файлами, кодом и инструментами. Это текстовая модель для генерации текста, оптимизированная для запуска на устройствах Apple silicon с библиотекой mlx-lm. Заявлены поддерживаемые языки — английский и китайский. Модель построена на архитектуре Qwen3.5 MoE и содержит 35,95 млрд параметров. Релиз использует аффинное 4-битное квантование с размером группы 64; веса маршрутизатора MoE и общих экспертов сохранены в 8-битном формате. Размер MLX-весов составляет 19,5 ГБ, поэтому для работы требуется дополнительная unified memory под выполнение модели и KV-кэш, особенно при длинном контексте. В этой версии отсутствуют обработка изображений и native MTP. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/calme-2.1-rys-78b — диалоговая языковая модель, дообученная на базе dnhkng/RYS-XLarge. Она использует архитектуру Qwen2 с 76,7 млрд параметров, принимает текст и генерирует текст; для диалога применяется шаблон ChatML. Контекст модели составляет 32 768 токенов. Модель предназначена для ответов на вопросы, чат-ботов и виртуальных помощников, генерации и суммаризации контента, работы с кодом и решения сложных задач. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH, без достаточных сведений для независимой оценки качества в конкретных сценариях. Модель выпущена под лицензией MIT. Как и другие большие языковые модели, она может воспроизводить смещения и давать ошибочные ответы; при практическом применении рекомендуется проверка человеком.

RedHatAI/gemma-4-31B-it-NVFP4 — мультимодальная instruction-tuned модель, разработанная RedHatAI на основе google/gemma-4-31B-it от Google. Она принимает текст и изображения, а генерирует текст; предназначена для диалоговых приложений, генерации текста, рассуждений, следования инструкциям и вызова инструментов. Модель использует архитектуру Gemma4ForConditionalGeneration и поддерживает режим thinking, function calling и tool calling. Доступна для инференса через vLLM; в README указана максимальная длина контекста 32 768 токенов. Вариант NVFP4 применяет 4-битное квантование весов и активаций линейных слоёв трансформерных блоков с group_size=16 и локальным масштабированием по группам. Vision tower, embeddings и output head сохраняются в исходной точности, что снижает требования к дисковому пространству и памяти GPU примерно на 75% по сравнению с 16-битным представлением. К сильным сторонам относятся поддержка текстово-визуальных сценариев, вызова инструментов, режима рассуждений и эффективный инференс на совместимом оборудовании. К ограничениям относятся зависимость от NVFP4-совместимого окружения и vLLM, а также возможная небольшая потеря качества из-за квантования; в приведённых оценках результаты сопоставлялись с исходной моделью, но полный набор таблиц в представленном README обрезан. Модель распространяется по лицензии Apache-2.0.

Infinity-Instruct-3M-0613-Llama3-70B — диалоговая языковая модель, разработанная Beijing Academy of Artificial Intelligence (BAAI). Это плотная модель семейства Llama с 69,5 млрд параметров, дообученная методом supervised instruction tuning на наборах Infinity-Instruct-3M и Infinity-Instruct-0613 без RLHF. Она предназначена для следования инструкциям и многошагового диалога, в том числе для ответов на вопросы, задач по коду и математике. Модель принимает текст и генерирует текст, использует шаблон чата Llama 3 Instruct и имеет контекст 8192 токена. В карточке приведены результаты оценок AlpacaEval 2.0 и MT-Bench; они не гарантируют качество для конкретных запросов. Модель доступна в формате safetensors под лицензией Apache-2.0 в метаданных Hugging Face. При этом README ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение; перед использованием следует учитывать это ограничение и проверить применимые условия распространения.

InternLM-20B 是上海人工智能实验室联合商汤科技、香港中文大学和复旦大学发布的 плотная авторегрессионная языковая модель с архитектурой InternLM. В карточке указано, что модель содержит 19,6 млрд параметров, имеет 60 слоёв и предварительно обучена на более чем 2,3 трлн токенов английского, китайского и программного кода. Её основное назначение — генерация текста; модель также ориентирована на понимание, рассуждения, математику, программирование и вызов инструментов. Модель принимает текст и генерирует текст. Метаданные указывают контекст до 4096 токенов; README сообщает о возможности расширения до 16 тыс. токенов с помощью экстраполяции при инференсе. В карточке описана базовая предварительно обученная версия; SFT и RLHF относятся к отдельной Chat-версии. README сообщает о сравнительных результатах на языковых и экзаменационных тестах, но они не гарантируют качество для конкретного применения. Лицензия репозитория — Apache-2.0; в README отдельно сказано, что для коммерческого использования весов требуется запросить разрешение. Модель может генерировать предвзятый, дискриминационный или иной вредоносный текст.

Это точная копия весов, токенизатора и конфигурации Llama 3.1 8B Instruct от Meta, размещённая Positron AI как зафиксированный исходный снимок для собственных GPTQ-квантизаций организации. Модель представляет собой плотную авторегрессионную языковую модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов; поддерживает диалоги и генерацию текста, включая интерфейс вызова инструментов. Модель предназначена для инструкционного диалога и генерации текста. Метаданные перечисляют английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Репозиторий использует формат safetensors и лицензию Llama 3.1. Это неизменённая перепубликация базовой модели, поэтому её возможности и ограничения соответствуют исходной карточке Meta; отдельные оценки качества и дополнительные ограничения в этой карточке не приведены.

RedHatAI/Ministral-3-14B-Instruct-2512-FP8-dynamic — текстовая генеративная языковая модель на архитектуре MistralForCausalLM, разработанная Red Hat совместно с Neural Magic. Она основана на mistralai/Ministral-3-14B-Instruct-2512-BF16 и предназначена для генерации текста по инструкциям. Модель ориентирована на рассуждения, вызов функций, многоязычное следование инструкциям, перевод и создание предметно-ориентированных решений посредством дообучения. Она принимает текст и генерирует текст. В README указано использование контекстного окна до 262144 токенов в конфигурации оценки. Поддержка конкретного набора языков не уточняется. Ключевая особенность — динамическое FP8-квантизование весов и активаций линейных операторов внутри transformer-блоков. По сравнению с BF16 это уменьшает число бит на параметр с 16 до 8, размер на диске и требования к GPU-памяти примерно на 50%, что делает модель удобнее для инференса. Рекомендуемый backend развертывания — vLLM, включая OpenAI-совместимый сервер. Ограничения включают возможное снижение точности из-за квантизации и отсутствие в представленном README итоговых числовых результатов бенчмарков. Модель предназначена для законного использования и распространяется по лицензии Apache 2.0.

hermes42/Mistral-7B-Instruct-v0.3-imatrix-GGUF — это GGUF-квантизированная версия Mistral-7B-Instruct-v0.3, разработанного командой Mistral AI. Модель представляет собой инструкционно дообученную большую языковую модель примерно на 7 млрд параметров для генерации текста и диалогового взаимодействия. Модель предназначена для следования инструкциям, чат-сценариев, ответов на вопросы, создания и обработки текста, а также задач, связанных с программным кодом. Исходная Mistral-7B-Instruct-v0.3 поддерживает function calling, использует tokenizer v3 и расширенный словарь размером 32768 токенов. Поддержка языков и размер контекстного окна в предоставленных данных не указаны. Версия в данном репозитории дополнительно обработана с помощью importance matrix на наборе group_10_merged.txt, что направлено на улучшение perplexity, и подготовлена с использованием llama.cpp. К сильным сторонам относятся компактный размер по меркам современных LLM, возможность локального запуска через совместимые инструменты GGUF и llama.cpp, инструкционное обучение и поддержка вызова функций в исходной модели. Ограничения включают отсутствие встроенных механизмов модерации, возможные потери качества из-за квантизации и отсутствие сведений о конкретном формате квантизации, контекстном окне и языковом покрытии этой сборки. Модель распространяется по лицензии Apache-2.0.