I.11Классификация, ранжирование и сопоставление

EasierAI/Phi-4-14B — текстовая языковая модель на 14 млрд параметров, разработанная Microsoft Research и основанная на Microsoft Phi-4. В данном варианте модель преобразована в архитектуру, совместимую с Llama, для более удобного использования и дообучения; также заявлены исправления Unsloth. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, решения математических задач и программирования. Она принимает текстовые входы и лучше всего работает с запросами в чат-формате. Модель представляет собой плотный decoder-only Transformer с контекстом до 16 000 токенов и поддерживает английский язык. Phi-4 обучалась на сочетании синтетических данных, отфильтрованных общедоступных веб-источников, академических книг и наборов вопросов и ответов, а для улучшения поведения использовались supervised fine-tuning и direct preference optimization. К сильным сторонам относятся ориентация на качественные данные, развитое рассуждение, следование инструкциям и возможности для локального запуска и дообучения в форматах, поддерживаемых экосистемой Unsloth и llama.cpp. Ограничения включают текстовую модальность, заявленную специализацию на английском языке и необходимость учитывать ресурсы, требуемые для запуска 14B-модели; конкретные показатели качества в README не приведены. Лицензия указана как MIT. README описывает этот репозиторий как конверсию Phi-4 и ссылается на базовую модель microsoft/phi-4; сведения о точном формате или квантовании данной версии в предоставленных данных отсутствуют.

Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Qwen2.5-32B-Instruct-MLX-4bit — языковая instruction-tuned модель для генерации текста и диалоговых сценариев, основанная на Qwen2.5-32B-Instruct, разработанной командой Qwen. Данная версия подготовлена сообществом LM Studio: MLX-квантизацию в формате 4-bit выполнил bartowski с использованием mlx-examples. Модель предназначена для работы на компьютерах Mac с Apple Silicon. Модель поддерживает обработку и генерацию текста, понимание структурированных данных и работу с длинным контекстом до 32 тысяч токенов; заявленный максимальный объём генерации составляет 8 тысяч токенов. Поддерживается более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся большой размер модели, многоязычность, поддержка длинного контекста и оптимизация для запуска на Apple Silicon благодаря MLX и 4-bit квантизации. Ограничения включают зависимость от совместимого оборудования и возможное снижение точности по сравнению с исходной моделью из-за квантизации. Как и другие генеративные модели, она может создавать неточные, вредные или неподходящие ответы. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-1.7B-quantized.w4a16 — компактная языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на основе Qwen/Qwen3-1.7B от Qwen. Модель предназначена для рассуждений, function calling, многоязычного следования инструкциям, перевода и создания специализированных решений после дообучения. Она принимает текст и генерирует текст, поддерживая архитектуру Qwen3ForCausalLM и контекст длиной до 40960 токенов в конфигурации оценки. Ключевая особенность модели — INT4-квантизация весов линейных операторов в трансформерных блоках. Используется асимметричная поканальная по группам схема с размером группы 64 и алгоритм GPTQ, реализованный в llm-compressor; веса lm_head не квантизуются. Переход с 16 до 4 бит уменьшает размер на диске и требования к GPU-памяти примерно на 75%, что делает модель более удобной для эффективного развертывания, в частности через vLLM. К ограничениям относятся возможные потери качества, связанные с квантизацией, а также отсутствие в README количественных результатов оценки и подробного перечня поддерживаемых языков. Лицензия модели — Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

AMD Qwen3-235B-A22B-Instruct-2507-MXFP4 — текстовая instruction-tuned модель на архитектуре Qwen3MoeForCausalLM, созданная Advanced Micro Devices на базе Qwen/Qwen3-235B-A22B-Instruct-2507. Модель принимает текст и генерирует текст; в карточке указана поддержка английского языка. Обозначение модели относится к классу 235B с разреженной MoE-архитектурой и примерно 22B активных параметров, однако подробные архитектурные характеристики в README не приведены. Модель предназначена для задач генерации и понимания текста, включая диалоговые и инструкционные сценарии, а также развёртывание инференса на ускорителях AMD MI300 и MI350/MI355 под Linux. Она оптимизирована для SGLang и vLLM, использует AMD-Quark 0.11 и статическую квантизацию весов в OCP MXFP4 с динамической квантизацией активаций. В конфигурации оценки применялось максимальное окно 32768 токенов; это значение отражает проверенный сценарий запуска. На GSM8K модель получила 0,897 против 0,909 у исходной модели, что соответствует восстановлению 98,64% исходной точности. Квантизация снижает требования к памяти и ориентирована на эффективный инференс, но может немного ухудшать точность по сравнению с оригиналом. Для работы требуются совместимые AMD-ускорители, ROCm 7.0, PyTorch 2.8.0 и Transformers 4.57.0; поддержка других аппаратных платформ и языков в README не заявлена. Базовая лицензия — Apache-2.0; модификации AMD защищены авторским правом Advanced Micro Devices, Inc.

Qwen3-24B-A4B-Freedom-HQ-Thinking-Abliterated-Heretic-NEOMAX-Imatrix-GGUF — модель от DavidAU, созданная на базе шести моделей Qwen3 4B и их производных, включая варианты с дистилляцией рассуждений из более крупных моделей. Это текстовая reasoning-модель с архитектурой dense Mixture of Experts: по умолчанию активен один эксперт, но доступны конфигурации с двумя–шестью экспертами, соответствующие заявленным уровням 4–24B параметров. Модель распространяется в формате GGUF с различными вариантами квантования и рассчитана на локальный запуск на GPU или CPU. Модель предназначена для широкого спектра задач: генерации и продолжения художественных текстов, ролевых сценариев, диалогов, написания кода, математики, обучения, исторических и научных объяснений, включая задачи высокого уровня. Заявлена поддержка контекста до 256K токенов и английского языка. Модель ориентирована на подробные рассуждения, планирование и точное следование инструкциям; увеличение числа активных экспертов может повысить доступную вычислительную мощность и качество ответов. К сильным сторонам относятся большой контекст, гибкая настройка числа активных экспертов, reasoning-возможности и сниженный уровень отказов благодаря применению Heretic и abliterated-подхода. При этом модель может требовать более явных указаний для получения желаемого уровня резкости, ненормативной лексики или откровенного содержания. Для локального запуска потребуются соответствующие вычислительные ресурсы, особенно при активации нескольких экспертов; заявленные показатели скорости зависят от оборудования и настроек. В README указана лицензия Apache-2.0.

Qwen3.6-27B-Fable-Uncensored — 27-миллиардная плотная модель семейства Qwen3.5 от Lemura Labs, дообученная на основе lemuralabs/Qwen3.6-27B-Fable-Agentic. Она предназначена для диалогов, пошаговых рассуждений, общих вопросов и многошагового вызова инструментов. Архитектура поддерживает текст и изображения; README описывает работу с инструментами в нескольких ходах диалога. В тестах, приведённых авторами, модель показала 88,29% на MMLU-Pro, 97,67% на GSM8K и 56,57% на GPQA-Diamond. У модели снижено число отказов от запросов, поэтому она может отвечать на запросы, которые отклонила бы модель с более строгими ограничениями. Указанная в метаданных лицензия — Apache-2.0; README также рекомендует учитывать лицензии базовой модели и обучающих данных. Длина контекста в метаданных не приведена; пример запуска задаёт максимальную длину 16 384 токена, что является параметром конфигурации запуска.

Minachist/Qwen3.6-35B-A3B-INT8-AutoRound — неофициальная INT8-квантизированная версия модели Qwen3.6-35B-A3B, разработанная Minachist на основе Qwen от команды Qwen. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, однако в README конкретные поддерживаемые языки и полный перечень задач не указаны. Она рассчитана на запуск через Transformers и vLLM, включая использование в качестве языковой модели, генерацию кода, рассуждения и вызовы инструментов при соответствующей настройке vLLM. Модель использует схему W8A16 и квантизацию AutoRound от Intel. Доступны варианты с group size 128 и 32, а основная ветка использует конфигурацию, требующую примерно на 3,2 ГБ меньше VRAM, чем вариант gs32, при почти идентичном качестве. Часть компонентов, включая visual, mtp, linear_attn, mlp.gate, shared_expert, embed_tokens и lm_head, не квантизирована; в отдельных вариантах также сохраняется self_attn. Размер базовой модели обозначен как 35B-A3B, но сведения о контекстном окне и точных модальностях базовой модели отсутствуют. Сильными сторонами являются существенное снижение требований к памяти при сохранении качества, близкого к BF16: для MMLU-Redux указано 93,28% против 93,3% в официальной оценке BF16. Ограничения включают зависимость от совместимых версий vLLM и CUDA, необходимость подходящей GPU-конфигурации, а также известные проблемы с vLLM v0.20.1. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-FP8-Pessoa — квантованный вариант мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для обработки текста, изображений и видео, включая сценарии визуально-языкового анализа и генерации текста по мультимодальному вводу. Квантование выполнено с использованием llm-compressor; веса сохранены в формате compressed-tensors для непосредственного применения с vLLM. Лицензия — Apache-2.0. Языковая часть содержит около 27 млрд параметров, vision tower — 460,7 млн, а MTP-голова — 82,3 млн. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания с GQA; нативный контекст составляет 262 144 токена. Поддерживается многоязычный ввод. Линейные, MLP- и полные attention-слои используют weight-only FP8 E4M3 W8A16 с BF16-активациями, GPTQ-коррекцией и поканальным масштабированием. Vision tower и MTP-голова оставлены в BF16, поэтому сохраняются возможности понимания изображений и видео, а также speculative decoding. Главные преимущества — уменьшенный до 31,24 ГБ размер чекпойнта против 55,6 ГБ у BF16-версии и низкая ошибка квантования. Компромисс заключается в более низкой скорости предварительной обработки по сравнению с W8A8 из-за деквантования перед GEMM, а также в высоких требованиях к памяти и ускорителям. Для работы рекомендуется vLLM 0.26.1rc0 с FlashInfer; заявлена поддержка NVIDIA Blackwell, Ampere и Hopper с поддержкой FP8 E4M3.

Qwen3.8-35B-A3B-Distill-GGUF — это набор GGUF-квантизаций дистиллированной модели Qwen3.8-35B-A3B, разработанный и выпущенный Empero. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и другие совместимые среды. Указанный базовый вариант создан на основе архитектуры Qwen3.6-35B-A3B и доступен для задач рассуждения и общего текстового вывода; заявленный язык — английский. Модель использует разреженную Mixture-of-Experts-архитектуру: всего около 35 млрд параметров, из которых примерно 3 млрд активны для каждого токена. Архитектура включает 30 слоёв Gated DeltaNet и 10 слоёв полной attention, а также 256 экспертов с маршрутизацией 8 экспертов на токен. Доступны варианты квантизации от 2-битных до BF16 размером примерно от 12,6 до 71,1 ГБ. Контекстный размер в карточке не указан. Для работы требуется свежая версия llama.cpp с поддержкой Qwen3.6, Gated DeltaNet и MoE. Разреженность архитектуры делает инференс заметно быстрее плотной модели аналогичного общего размера и повышает практичность запуска на CPU или при частичном переносе на GPU. При этом весь файл весов должен помещаться в оперативную или видеопамять, а при длинном контексте дополнительные затраты на KV-кэш могут существенно увеличить требования к памяти. Поддерживается ввод изображений через отдельный vision projector, однако поведение визуальной части не оценивалось. Модель выводит рассуждения в блоках <think>, которые при необходимости следует удалять перед показом ответа пользователю. Весовые файлы распространяются по лицензии Apache-2.0, унаследованной от базовой модели Qwen. Для квантизаций рекомендуется выбирать вариант с учётом доступной памяти и требуемого качества; в карточке наиболее сбалансированным указан Q4_K_M.

JANGQ-AI/Qwen3.8-Flash-Next-JANG_4M — квантованная версия Qwen/Qwen3.8-Flash-Next, подготовленная Jinho Jang для Apple Silicon и MLX. Это мультимодальная модель с архитектурой Qwen4-architecture preview: 125 млрд параметров, из которых активно около 6 млрд, 512 экспертов, гибридными слоями Gated DeltaNet и Qwen Sparse Attention, а также хешированной n-граммной таблицей эмбеддингов. В комплект входят текстовые, визуальные и видео-компоненты; заявлен контекст 262 144 токена с расширением до 1 млн через YaRN. Модель предназначена для диалогов, рассуждений, анализа изображений и видео, а также агентных сценариев с вызовом инструментов. В README указана поддержка нативной multi-token prediction и измерения качества квантования относительно bf16. Для работы предусмотрена библиотека MLX; авторы рекомендуют запуск через vMLX и Apple Silicon, а таблица n-грамм может обслуживаться с SSD на поддерживаемом runtime. Вызовы инструментов используют диалект Qwen-XML, поэтому runtime должен поддерживать соответствующий парсер; Hermes-only парсеры могут некорректно обрабатывать такие вызовы. Доступ к vMLX указан как ограниченный одобрением. Лицензия обозначена как other, поэтому конкретные условия следует проверять в репозитории модели и базовой модели.

Qwen3-VL-30B-A3B-Instruct — мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Она принимает текст и изображения, а также анализирует видео, отвечая на вопросы и выполняя инструкции в диалоге. Модель предназначена для визуального анализа, распознавания текста на изображениях и документах, пространственных рассуждений и взаимодействия с графическими интерфейсами через инструменты. Архитектура — Qwen3-VL-MoE; обозначение модели указывает на 30 млрд параметров всего и 3 млрд активных параметров на токен. В README заявлен контекст 256 тыс. токенов с возможностью расширения до 1 млн. Модель поддерживает OCR на 32 языках, работу с видео с привязкой событий ко времени, а также генерацию кода и разметки интерфейсов по изображениям и видео. Доступна в формате safetensors и использует библиотеку Transformers. Модель подходит для визуальных вопросов и ответов, разбора документов, анализа видео и управления интерфейсами с помощью инструментов. Заявлены улучшения в распознавании деталей и пространственных отношениях, но в карточке нет численных результатов бенчмарков. Лицензия — Apache-2.0.

Qwen3-VL-4B-Thinking — плотная мультимодальная модель с 4 млрд параметров из семейства Qwen3-VL, опубликованная FuriosaAI в виде сборки для Furiosa-LLM и RNGD. Репозиторий содержит веса Qwen/Qwen3-VL-4B-Thinking и исполняемый пакет Furiosa; модель также поддерживается другими фреймворками инференса. Модель принимает изображения и текст, а отвечает текстом. Визуальный энкодер и трансформерный декодер используют позиционные эмбеддинги Interleaved-MRoPE и слияние признаков DeepStack. Она предназначена для распознавания текста на изображениях, анализа документов и диаграмм, пространственных рассуждений и понимания видео; поддерживает вызов инструментов. Версия Thinking формирует явный ход рассуждений перед итоговым ответом. Для запуска через Furiosa-LLM модель рассчитана на ускоритель FuriosaAI RNGD, где использует тензорный параллелизм на 8 вычислительных элементах одной карты. Квантизация не применялась, используются веса в точности исходной модели. Лицензия — Apache-2.0. Длина контекста и список поддерживаемых языков в предоставленных данных не приводятся.

Sarvam-30B — языковая модель семейства Sarvam, разработанная Sarvam AI. Это модель Mixture-of-Experts для генерации текста и диалогов; в README указано 2,4 млрд активных параметров без эмбеддингов, а метаданные репозитория — 3,7 млрд параметров. Модель ориентирована на практическое развёртывание, рассуждения, программирование и диалоги на индийских языках. Поддерживает вызов инструментов; архитектура включает 128 экспертов и маршрутизацию top-6. Контекст по метаданным — до 131 072 токенов. Основной упор сделан на индийский контекст и 22 индийских языка. В метаданных явно перечислены английский, хинди, бенгальский, тамильский, телугу, маратхи, гуджарати, каннада, малаялам, пенджаби, ория, ассамский, урду, санскрит, непальский, синдхи, конкани, майтхили, догри, манипури, сантали, кашмирский и тибетский. Модель может применяться для многоязычных голосовых звонков в составе речевой системы, но сама карточка описывает её как текстовую генеративную модель. Распространяется по лицензии Apache-2.0.

Swift-Qwen3.8-27b-int4-AMD — квантованная версия модели Swift-Qwen3.8-27B, разработанная UkisAI на базе Qwen3.8-27B. Модель предназначена для задач рассуждения, генерации текста, программирования и структурированного вывода, а также заявлена как image-text-to-text модель с поддержкой визуального компонента. Swift оптимизирована для сокращения избыточных рассуждений: по данным разработчика, она использует на 58,3% меньше thinking-токенов при потере производительности менее 1% и ускорении до 1,95 раза на ряде задач. Данный выпуск использует квантование AMD Quark AWQ INT4 в формате W4A16: веса имеют точность INT4, активации — BF16, применяется симметричное группирование с размером группы 128. Квантованы 496 линейных слоёв языковой модели, а vision tower, embeddings, output head и 15 MTP-тензоров сохранены в BF16. Размер файлов весов составляет около 19,5 ГБ против 55,6 ГБ у BF16-версии. Калибровка выполнена на 128 образцах Pile по 512 токенов. Сильными сторонами являются снижение объёма весов и потенциальное ускорение инференса при сохранении основных возможностей базовой модели. Проверки показали небольшой рост perplexity на Wikitext-2, успешную арифметическую и JSON-генерацию, однако это не является полноценным сравнением качества. Ключевое ограничение выпуска состоит в том, что квантование и проверка проводились на NVIDIA H100, а работа и производительность на AMD/ROCm ещё не валидировались; требуется совместимый с native Quark INT4 runtime. Vision inference и MTP decoding отдельно не тестировались. Модель распространяется по лицензии swift-open-license-1.0.

ZEUS-8B-V16 — объединённая инструкционная языковая модель T145, созданная методом DARE TIES с помощью mergekit на основе нескольких моделей Llama 3.1. В объединение вошли VAGOsolutions/Llama-3.1-SauerkrautLM-8b-Instruct, arcee-ai/Llama-3.1-SuperNova-Lite, unsloth/Llama-3.1-Storm-8B и unsloth/Meta-Llama-3.1-8B-Instruct. Модель имеет архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и принимает запросы в контексте до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; интерфейс также поддерживает вызов инструментов. В README приведены результаты Open LLM Leaderboard, включая 79,25% на IFEval и 32,53% на BBH, однако этих показателей недостаточно для выводов о качестве во всех сценариях. Лицензия в предоставленных данных не указана.

ZEUS-8B-V26 — объединённая языковая модель на архитектуре Llama 3.1, созданная с помощью mergekit методом DARE TIES. В объединение вошли instruct- и reasoning-модели, включая HuatuoGPT-o1, Skywork-o1, Llama-3.1-Storm, SauerkrautLM и другие; базой в README названа unsloth/Meta-Llama-3.1-8B-Instruct. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов; интерфейс также поддерживает вызов инструментов. Метаданные указывают библиотеку Transformers и формат safetensors. В README приведены результаты Open LLM Leaderboard, включая 67,08% на IFEval и 32,25% на BBH; эти показатели относятся к указанной оценке и сами по себе не гарантируют качество в других сценариях. Данные о лицензии и поддерживаемых языках в предоставленных источниках отсутствуют. В README также не описаны специальные ограничения на применение.

ZEUS-8B-V8 — объединённая языковая модель, опубликованная пользователем T145 и созданная с помощью mergekit. В основе объединения лежит unsloth/Meta-Llama-3.1-8B-Instruct; также использованы SicariusSicariiStuff/LLAMA-3_8B_Unaligned_BETA, arcee-ai/Llama-3.1-SuperNova-Lite и akjindal53244/Llama-3.1-Storm-8B. Применён метод DARE TIES. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и предназначена для генерации текста и диалогового взаимодействия. Заявленная длина контекста — до 131 072 токенов; поддерживаются интерфейсы чата и вызова инструментов. В карточке приведены результаты оценивания, включая IFEval и BBH. Модель принимает текст и генерирует текст. README не уточняет языковой охват и не описывает детально ограничения качества. Лицензия — llama3.1.

mrcuddle/arcee-fusion-lumaid-12B — объединённая языковая модель на архитектуре Mistral, созданная с помощью mergekit и метода Arcee Fusion. В качестве базовой модели использована mistralai/Mistral-Nemo-Instruct-2407; в объединение также вошла NeverSleep/Lumimaid-v0.2-12B. Модель содержит 12,1 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалога и генерации текста по инструкциям. Её можно применять для ответов на вопросы, написания и редактирования текстов, а также сценариев с интерфейсом вызова инструментов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. В метаданных и README не приведены результаты оценки качества или условия лицензии, поэтому пригодность для конкретных задач и правомерность использования следует проверять по исходным карточкам обеих базовых моделей и условиям публикации этой модели.

DeepSeek-R1-Distill-Llama-70B-GGUF — это квантизированная версия языковой модели DeepSeek-R1-Distill-Llama-70B, разработанной командой deepseek-ai и подготовленной в формате GGUF участником bartowski на основе llama.cpp. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая LM Studio. Модель дистиллирована из reasoning-модели DeepSeek-R1 и настроена на задачи рассуждения и генерации цепочек рассуждений. Заявлена поддержка контекста до 128 000 токенов. В README не указаны точный вариант квантования, перечень поддерживаемых языков и дополнительные модальности, поэтому её следует рассматривать как текстовую модель. К сильным сторонам относятся большой размер 70B параметров, ориентация на сложное рассуждение и возможность использования квантизированной сборки в локальной инфраструктуре. Ограничения включают потенциально высокие требования к ресурсам, зависимость характеристик от выбранного уровня квантования и типичные для генеративных моделей риски неточных, вредных или неподходящих ответов. Лицензия в предоставленных данных не указана; условия использования следует уточнять в исходном репозитории модели.

mlx-community/DeepSeek-R1-Distill-Qwen-32B-abliterated — 32-миллиардная языковая модель для генерации текста и диалогов. Репозиторий mlx-community содержит версию в формате MLX, преобразованную из huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated с помощью mlx-lm 0.21.1. По метаданным, модель построена на плотной архитектуре Qwen2, поддерживает контекст до 131 072 токенов и предназначена для текстовых задач, включая рассуждения. Вариант abliterated модифицирован для уменьшения отказов. Лицензия в предоставленных данных не указана.

Solstice-AI/DeepSeek-V4-Flash-Vision-Exp-MXFP4 — производственная MXFP4-версия экспериментальной мультимодальной модели DeepSeek-V4-Flash-Vision-Exp, разработанной DeepSeek-AI и подготовленной, проверенной и упакованной Solstice-AI. Модель предназначена для обработки текста и изображений, мультимодального рассуждения, анализа визуального содержания, генерации кода и задач, требующих работы с длинным контекстом. README также указывает совместимость с Transformers, vLLM, SGLang и TensorRT-LLM, а также готовность к speculative decoding через DSpark. Архитектура включает 305 млрд параметров в конфигурации Mixture-of-Experts, из которых 13 млрд активируются для каждого токена. Указаны 43 скрытых слоя, 256 маршрутизируемых экспертов с шестью активными на токен, Multi-Head Latent Attention и отдельный 32-слойный vision encoder. Заявлена поддержка контекста до 1 048 576 токенов. Основная часть экспертных весов предварительно обучена в формате OCP MXFP4, а исполнение использует схему W4A16: веса представлены в 4-битном формате, активации сохраняются в 16-битном BF16; ряд компонентов, включая vision encoder, маршрутизаторы и нормализации, сохраняется в более высокой точности. К сильным сторонам относятся высокая вычислительная и memory-bandwidth эффективность по сравнению с полноразмерным представлением, мультимодальность и очень длинное контекстное окно. Ограничения — значительный общий размер модели и требовательность к GPU-инфраструктуре: для практического развёртывания README рекомендует конфигурации от нескольких GPU, а полный контекст в 1 млн токенов рассчитан на крупные кластеры. Модель обозначена как экспериментальная, а приведённые в README результаты тестирования представлены неполностью. Лицензия — MIT.

Dolphin X1 8B — диалоговая языковая модель команды Dolphin, полученная дообучением Meta Llama 3.1 8B Instruct. Модель предназначена для генерации текста общего назначения и диалогов; она сохраняет возможности базовой модели и рассчитана на настройку поведения через системный промпт. В каталоге указано 7,5 млрд параметров, архитектура Llama с плотной сетью, формат safetensors и контекст до 131 072 токенов. Модель подходит для чат-ботов, ответов на вопросы, написания и редактирования текстов, а также интерфейсов с вызовом инструментов. Карточка описывает её как менее ограниченную в отказах и оставляющую владельцу приложения настройку системных правил. В README приведены результаты оценок MMLU и IFEval, но они сами по себе не гарантируют качество на конкретных задачах. Модель использует лицензию Llama 3.1; при использовании необходимо соблюдать её условия.

Eidolon-v1-14B — объединённая методом SLERP языковая модель семейства Qwen2.5 от Lambent, созданная с помощью mergekit из двух моделей arsenic. Она предназначена для диалогов, генерации текста и выполнения инструкций; в метаданных также заявлен интерфейс для вызова инструментов. Модель содержит 14 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. В README указано, что модели в объединении прошли abliteration и DPO; автор отмечает возможные проблемы с отказами на нежелательные запросы и необходимость подбирать системный промпт под сценарий. EQ-bench показал 76,1336 балла, но автор сообщает о проблемах с синтаксисом тестирования. Модель доступна в формате safetensors; лицензия в предоставленных данных не указана.

Gemma 4 12B IT INT4 — MLP-only, AutoRound — это квантизированный вариант модели google/gemma-4-12B-it, опубликованный aleksandard. Модель предназначена для диалоговых и генеративных задач, включая работу с текстом, изображениями и аудио, поскольку базовая модель имеет unified-мультимодальную архитектуру и pipeline image-text-to-text. Она подходит для локального запуска через vLLM или Transformers при наличии совместимой аппаратной и программной инфраструктуры. В основе лежит плотная модель примерно на 11,95 млрд параметров. Квантизация выполнена методом intel/auto-round в режиме RTN по схеме W4A16 с размером группы 128 и симметричным представлением, с экспортом в GPTQ-совместимый формат. До 4 бит уменьшены только линейные слои MLP: gate_proj, up_proj и down_proj. Проекции внимания q/k/v/o, эмбеддинги, lm_head, а также vision- и audio-эмбеддеры сохранены в BF16 или полной точности. Размер чекпойнта составляет около 11 ГБ вместо примерно 24 ГБ для BF16, что снижает требования к памяти. Сильная сторона сборки — компромисс между уменьшением объёма модели и сохранением качества внимания: чувствительные квантизации компоненты оставлены в BF16. Ограничения связаны с наследованием всех ограничений и смещений базовой Gemma 4, а также с возможным дополнительным снижением качества из-за 4-битной RTN-квантизации без калибровки. Для vLLM требуется nightly-сборка с поддержкой Gemma 4; на Blackwell необходимо отключать FlashInfer sampler. В README указана лицензия Apache 2.0, унаследованная от базовой модели.

gemma-4-12B-it-QUASAR-Q4_0-GGUF — мультимодальная квантованная версия модели Gemma 4 12B Instruct, разработанная QUASAR-QAT на базе google/gemma-4-12B-it. Модель предназначена для диалогов, генерации и понимания текста, работы с изображениями, рассуждений, вызова функций и инструментов, а также агентских сценариев. Заявлена поддержка английского и других языков, однако полный перечень языков и размер контекстного окна в README не указаны. Модель поставляется в формате GGUF с нативной 4-битной INT4-квантизацией Q4_0, выполненной методом quantization-aware training. Указан размер базовой модели 12B параметров; мультимодальная поддержка обеспечивается vision projector из исходной BF16-модели. Формат совместим со стандартными средствами llama.cpp, Ollama и LM Studio. По измерениям авторов, на отложенных чат-запросах модель показала KL-дивергенцию 0,048 и совпадение top-1 с BF16-версией на уровне 94,3%; эти результаты помечены как непроверенные. К сильным сторонам относятся сохранение близкого к BF16 поведения при меньшем размере и требованиях к ресурсам, а также поддержка текста и изображений. Ограничения включают возможные потери качества из-за 4-битной квантизации, зависимость мультимодальных возможностей от совместимого рантайма и отсутствие в README точных требований к памяти, производительности и максимальному контексту. Модель распространяется по лицензии Apache-2.0.

systalyze/gemma-4-26B-A4B-it-ExpertsINT4-FP8 — это оптимизированная для инференса смешанно-точная квантованная версия мультимодальной модели google/gemma-4-26B-A4B-it, разработанной Google DeepMind. Квантование и выпуск модели выполнены Systalyze. Архитектура Gemma4ForConditionalGeneration принимает текст и изображения и генерирует текст; модель предназначена для мультимодального чата, следования инструкциям, рассуждений и работы с инструментами. Базовая модель представляет собой MoE-архитектуру с 30 слоями и 128 экспертами. Веса MoE-экспертов квантованы в INT4 методом GPTQ с размером группы 64, а остальные линейные слои Transformer используют динамическое FP8-квантование с активациями FP8 на уровне токенов. Router, эмбеддинги, lm_head и vision tower сохраняются без квантования. Чекпойнт занимает около 16 ГБ против 49 ГБ у BF16-версии, то есть примерно в 3,1 раза меньше, и загружается напрямую в vLLM через формат compressed-tensors. Сильная сторона модели — существенное снижение требований к памяти и высокая производительность при низкой и средней конкурентности: в приведённых тестах прирост относительно FP8 достигал 54,4% при concurrency 8. При высокой конкурентности 16–32 запросов обычная FP8-версия производительнее, поэтому выбор зависит от профиля нагрузки. Качество в целом близко к базовой модели, однако на отдельных задачах, включая GPQA Diamond, MMLU-Pro, HumanEval и DROP, наблюдается снижение результатов. Веса модели распространяются по лицензии Apache-2.0.

ddalcu/gemma-4-e2b-it-4bit-textonly — облегчённая сборка Google Gemma 4 E2B, подготовленная в формате MLX на основе mlx-community/gemma-4-e2b-it-4bit. Это instruction-tuned языковая модель для генерации и обработки текста, предназначенная прежде всего для текстовых чат-приложений и локального запуска на устройствах Apple, включая сценарии on-device inference. Модель использует 4-битное affine-квантизование языкового backbone и эмбеддингов, полностью сохраняя веса и качество текстовой генерации исходной модели. Из неё удалены веса vision tower и audio tower: 1 415 из 2 511 тензоров. Размер загрузки сокращён примерно с 3,55 до 2,5 ГБ, то есть приблизительно на 30%. Модель поддерживает только взаимодействие «текст на входе — текст на выходе»; изображения и аудио она не обрабатывает. Сведения о размере контекста и языках в README не указаны. Основные преимущества — меньший размер по сравнению с мультимодальной сборкой и сохранение её текстовых возможностей при работе с MLX. Ограничение — отсутствие мультимодальных входов; для обработки изображений и аудио рекомендуется исходная модель mlx-community/gemma-4-e2b-it-4bit. README указывает лицензию Gemma. Для некоторых версий mlx-vlm при загрузке может потребоваться режим strict=False из-за отсутствующих весов vision-модуля.

GPT-3.5 Turbo Instruct — вариант модели OpenAI, настроенный на выполнение инструкций в текстовых запросах и не ориентированный на диалоговые оптимизации. Он предназначен для генерации текста в ответ на инструкции и запросы пользователя. В README указан предел знаний в виде обучающих данных по сентябрь 2021 года. Сведения об архитектуре, размере, контекстном окне и лицензии в предоставленных источниках отсутствуют.

Hunyuan-A13B-Instruct-GGUF — GGUF-квантизированная версия инструкционной модели Hunyuan-A13B-Instruct, разработанной Tencent. Квантизацию выполнил bartowski на основе llama.cpp версии b5845; модель представлена в рамках программы Community models сообщества LM Studio, но LM Studio не является её разработчиком или владельцем. Модель предназначена для генерации текста по инструкциям и оптимизирована для агентских задач с гибридным рассуждением. Это MoE-модель с 80 млрд общих параметров, из которых при обработке активируются 13 млрд. Заявлена поддержка контекста до 256 тысяч токенов, при этом значение по умолчанию составляет 32 тысячи токенов. Сведения о поддерживаемых языках и модальностях в README не указаны; по имеющимся данным, модель относится к текстовым моделям. К сильным сторонам относятся большой контекст, архитектура MoE с меньшим числом активных параметров и ориентация на агентские сценарии и рассуждение. Ограничения включают отсутствие в README подробных результатов оценки, перечня языков, информации о требованиях к оборудованию и характеристиках отдельных вариантов квантизации. Модель распространяется по лицензии tencent-hunyuan-a13b; указана ссылка на лицензию Tencent Hunyuan.