I.11Классификация, ранжирование и сопоставление

onnx-community/gemma-3n-E2B-it-ONNX — ONNX-версия инструкционной мультимодальной модели Gemma 3n E2B IT, разработанной Google DeepMind и подготовленной для использования с Transformers.js. Модель предназначена для эффективного запуска на устройствах с ограниченными ресурсами и принимает текстовые, графические, видео- и аудиовходы, генерируя текстовые ответы. Она подходит для вопросов и ответов, суммаризации, анализа изображений и видео, распознавания речи и автоматического перевода речи. Модель использует архитектуру MatFormer и технологию выборочной активации параметров. При общем размере около 6 млрд параметров её эффективный размер соответствует примерно 2 млрд параметров, поскольку матрицы с низкой частотой использования могут выгружаться с ускорителя. Изображения обрабатываются в разрешениях 256×256, 512×512 или 768×768 и кодируются в 256 токенов каждое; аудио представляется со скоростью 6,25 токена в секунду для одного канала. Максимальный входной контекст составляет 32 тысячи токенов, а суммарная длина генерации — до 32 тысяч токенов за вычетом входа. Обучение проводилось на данных более чем 140 разговорных языков. К сильным сторонам относятся сочетание мультимодальности, компактного эффективного размера и возможности локального выполнения через Transformers.js, включая сценарии с WebGPU. Ограничения включают зависимость от поддерживаемого окружения ONNX и Transformers.js, а также отсутствие в предоставленной карточке подробных результатов бенчмарков, точного перечня языков и количественной оценки качества по отдельным задачам. Модель распространяется на условиях лицензии Gemma; применяются соответствующие Terms of Use Google.

Gemma-4-12B-Heretic-Abliterated-GGUF — набор GGUF-квантизаций модели culturerevolt/gemma-4-12b-heretic-abliterated, созданной на основе архитектуры Google Gemma-4 12B Instruction Tuned. Репозиторий разработан culturerevolt; в README также отмечен вклад Google DeepMind в архитектуру и Philipp Emanuel Weidmann в разработку подхода Heretic abliteration. Модель предназначена для локальной генерации текста, диалогов, рассуждений, творческого письма и агентских сценариев, включая обработку структурированного вывода и JSON. Поддержка изображений заявлена через отдельный мультимодальный проектор gemma-4-12b-it-mmproj-f16.gguf. Доступны варианты Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и IQ3_XS с разным соотношением качества, скорости и требований к памяти. Для части вариантов использована калибровка iMatrix, ориентированная на сохранение логики, синтаксиса, инструментального вызова и качества повествования при квантовании. Точный список языков и базовый размер контекстного окна в README не указаны; для IQ4_XS упоминается возможность работы с контекстом до 131 тысяч токенов в определённых конфигурациях. Сильные стороны модели — широкий выбор степеней квантования, возможность запуска на локальном оборудовании и оптимизация низкобитных вариантов с помощью importance matrix. Ограничения связаны с неизбежной потерей точности при более агрессивном квантовании, зависимостью мультимодального режима от совместимого backend и отдельного projector-файла, а также с тем, что аблитерированная версия позиционируется как decensored и может иметь меньше встроенных отказов от нежелательных запросов. Лицензия — Apache-2.0.

AEON-7/Gemma-4-12B-it-AEON-Abliterated-MLX-8bit — это 8-битная MLX-квантизованная версия модели AEON-7/Gemma-4-12B-it-AEON-Abliterated-K4-BF16, созданная сообществом AEON-7 на базе Gemma 4. Модель предназначена для локального запуска на компьютерах с Apple Silicon через mlx-vlm и поддерживает диалоговые, агентские, программные и рассуждающие сценарии, а также вызов функций и инструментов. Модель содержит около 12 млрд параметров и использует формат mxfp8 с группами по 32 элемента для линейных слоёв языкового декодера; связанная выходная голова и проекторы для vision и audio сохранены в bf16. Поддерживаются текст, изображения и аудио, включая описание изображений и транскрибацию речи. В README явно указан английский язык. Для сервера MLX заявлен размер KV-кэша до 32768 токенов, однако точное максимальное контекстное окно модели не указано. Ключевое преимущество — высокая близость к исходной BF16-версии при существенно меньших требованиях к памяти: заявлены near-lossless качество, 0,924 совпадения top-1 токенов и медианный KL около 0,002 ната на собственной выборке. Модель рассчитана на Apple Silicon, оптимально с 24 ГБ и более unified memory; размер на диске около 13,4 ГБ, рекомендуемый объём памяти — от 32 ГБ, поэтому для Mac с 16 ГБ она может быть непрактична. Это abliterated-версия с удалёнными или ослабленными механизмами отказа, что может расширять диапазон ответов, но также снижать предсказуемость защитного поведения. Указана лицензия Gemma.

urs-rs/gemma-4-26B-A4B-it-FP8-DYNAMIC — это производственная FP8-квантизованная версия инструкционной модели google/gemma-4-26B-A4B-it, разработанная на базе Gemma 4 от Google DeepMind. Квантование выполнено с помощью llm-compressor методом oneshot() с паттерном load_context(), который корректно обрабатывает объединённую структуру MoE-экспертов Gemma 4. Модель предназначена для развёртывания через vLLM, в том числе для многоходовых диалогов и голосовых AI-сценариев. Модель имеет архитектуру Mixture-of-Experts; в идентификаторе указаны конфигурация 26B и A4B, однако подробности об архитектуре, языках, модальностях и исходном размере контекста в README не приведены. Линейные слои квантизованы в FP8 по схеме W8A8: веса используют 8-битное поканальное симметричное представление, а активации — 8-битное динамическое токен-ориентированное представление. Веса маршрутизатора, нормализационные слои и lm_head сохранены в BF16 для стабильности выбора экспертов и генерации. Размер чекпойнта составляет около 13,3 GiB, что на 47% меньше версии BF16. По заявленным результатам, потери на MMLU-Pro составляют 0,26 процентного пункта относительно BF16, а заметного ухудшения качества многоходовых диалогов не обнаружено. На H100 NVL при контексте 16K заявлена максимальная конкурентность 21,3 запроса и примерно на 80% больше параллельных вызовов при сопоставимой задержке по сравнению с BF16. Ограничения включают зависимость от совместимого окружения vLLM 0.20.2rc1+ и CUDA 12.9, а также высокие требования к оборудованию: рекомендуется NVIDIA A100 40 GB или H100 80 GB. Чекпойнт распространяется по Gemma Community License, то есть на условиях лицензии базовой модели google/gemma-4-26B-A4B-it.

furiosa-ai/gemma-4-31B-it-FP8-block — оптимизированная сборка мультимодальной модели Gemma 4 31B, разработанной Google, с упаковкой Furiosa Executable Bundle для запуска на ускорителях FuriosaAI RNGD через Furiosa-LLM. Модель предназначена для диалоговых и генеративных задач, а исходная версия также поддерживает обработку изображений вместе с текстом. В текущей FXB-реализации доступен только режим текст-текст, поэтому она подходит для текстового инференса и развёртывания через OpenAI-совместимый API. Архитектура модели — плотная Gemma 4 с vision encoder и transformer decoder, сочетающим слои sliding-window и full attention. Текстовый трансформер подвергнут статическому FP8 block quantization линейных слоёв с блоками 128×128; активации динамически квантизуются в FP8 группами по 128 значений. Vision tower, embeddings, output head и KV cache сохраняются в 16-битной точности. Для работы на RNGD используется tensor parallelism с 32 PE, что соответствует четырём картам RNGD. К сильным сторонам относятся мультимодальная архитектура исходной модели, поддержка опционального reasoning и native tool calling на уровне upstream-модели, а также снижение требований к вычислительным ресурсам благодаря FP8-квантизации. Ограничения текущей FXB — отсутствие поддержки изображений, reasoning parser и tool-call parser в Furiosa-LLM; автоматический выбор инструментов и соответствующие расширенные режимы поэтому недоступны. Модель распространяется по лицензии Apache 2.0.

RedHatAI/GLM-5.3-Flash-NVFP4 — квантизированная версия модели zai-org/GLM-5.3-Flash, разработанная RedHatAI. Модель использует архитектуру Glm5NextForConditionalGeneration, принимает текст и изображения и генерирует текст. Заявленные языки — английский и китайский. Размер модели и длина контекста в предоставленных данных не указаны. Веса и активации линейных операторов MoE-экспертов квантизированы в формат FP4 (NVFP4), а слои MTP сохранены в FP8. Квантизация выполнена с помощью LLM Compressor, модель экспортирована в формате compressed-tensors и предназначена для инференса через vLLM. По данным README, такое сжатие примерно на 50% уменьшает объём диска и требования к памяти GPU для квантизированных весов по сравнению с 8-битным представлением. Также заявлена поддержка speculative decoding и автоматического выбора инструментов при соответствующей настройке vLLM. Модель ориентирована на мультимодальные и текстовые сценарии генерации, включая задачи рассуждения. В приведённой оценке она показала 97,74% на GSM8K Platinum, 94,87% на MATH-500, 86,67% на AIME 2025 и 90,57% на GPQA Diamond; результаты усреднены по нескольким запускам. Ключевое преимущество — снижение потребления дисковой и GPU-памяти при сохранении возможностей исходной модели, однако FP4-квантизация может влиять на качество и требует совместимой инфраструктуры. Модель распространяется по лицензии MIT.

Huihui-Qwen3.5-27B-Opus-abliterated-YaRN-1M — текстовая генеративная модель на архитектуре Qwen3.5 с 27 млрд параметров, представленная в GGUF BF16. Это версия модели HuihuiAI с расширением контекста YaRN и включённым пошаговым рассуждением; в README также указана поддержка изображений через файл mmproj. Модель предназначена для диалогов, генерации текста и работы с длинными контекстами: заявлено 262 тысячи токенов активного контекста и до 1 млн токенов с YaRN, а максимальная длина ответа — 81 920 токенов. Карточка указывает английский язык. Для контекста 262K заявлено около 60 ГБ видеопамяти, для 1M — около 90 ГБ. Модель основана на HuihuiAI/Huihui-Qwen3.5-27B-Opus-abliterated; исходное семейство разработано командой Qwen. Лицензия — Apache-2.0. Термин «abliterated» указывает на изменение поведения модели, однако README не уточняет его влияние на безопасность или качество; длинный контекст требует значительных ресурсов видеопамяти.

Infinity-Instruct-3M-0625-Qwen2-7B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), созданная дообучением Qwen2-7B на наборах инструкций Infinity-Instruct-3M и Infinity-Instruct-0625 с supervised instruction tuning, без RLHF. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров; она принимает текст и ведёт диалог по шаблону Qwen2-7B-Instruct. Заявленная длина контекста — 131 072 токена. Модель предназначена для выполнения инструкций, ответов на вопросы и многоходового диалога; авторы сообщают о результатах на AlpacaEval 2.0 и MT-Bench, включая вопросы по коду, математике и повседневные диалоги. Поддерживаемый язык в метаданных — английский. Модель распространяется по лицензии Apache-2.0, однако карточка проекта ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение. Авторы также предупреждают, что точность ответов не гарантируется.

InternVL2-26B — мультимодальная диалоговая модель с настройкой по инструкциям, разработанная командой OpenGVLab. Она объединяет визуальный энкодер InternViT-6B-448px-V1-5, MLP-проектор и языковую модель internlm2-chat-20b; заявленный размер — около 25,5 млрд параметров. Модель предназначена для диалога по изображениям и видео, а также для анализа документов, диаграмм, инфографики и текста на изображениях, решения научных и математических задач. Модель принимает текст и изображения; видео может обрабатываться через кадры. Она обучена на контекстном окне 8k и данных с длинными текстами, несколькими изображениями и видео. README заявляет конкурентные результаты на мультимодальных бенчмарках, включая задачи OCR и понимания документов. Метаданные отмечают поддержку многоязычного режима, но конкретные языки не перечислены. Репозиторий распространяется по лицензии MIT.

IFM/K2-Horizon-32B-GGUF — GGUF-версия модели K2-Horizon-32B-Stage1, разработанной IFM. Это открытая плотная decoder-only языковая модель с 32 млрд параметров, предназначенная для генерации текста, а также для задач, связанных с агентными сценариями, программированием и рассуждениями. Указан английский язык; модель относится к текстовой модальности. Модель поддерживает контекстное окно размером 524 288 токенов. Тензоры сохранены в исходной точности BF16, а файлы GGUF содержат метаданные токенизатора и шаблон чата, совместимый с llama.cpp. Для запуска требуется версия llama.cpp с поддержкой архитектуры K2 Horizon; на момент публикации такая поддержка находилась в разработке, а доступный checkpoint относится к первой стадии обучения. К сильным сторонам относятся большой контекст, полностью открытая модель, публикация обучающих данных, рецепта и кода обучения, а также наличие промежуточных checkpoint для изучения изменений возможностей в процессе обучения. Ограничения связаны с необходимостью специальной поддержки архитектуры в llama.cpp и с тем, что это Stage 1, тогда как финальный checkpoint ещё должен быть выпущен. Лицензия — Apache 2.0.

primitive-ai/K2-Horizon-MoVA-36B-A4B-NVFP4 — это квантованная версия модели IFM/K2-Horizon-MoVA-36B-A4B, подготовленная командой Primitive AI. Модель предназначена для генерации текста, рассуждений и сценариев с вызовом инструментов; поддерживает использование через Transformers и vLLM. Архитектура — MoE с 36B параметров и 4B активируемых параметров. Модель имеет контекст до 32 768 токенов и рассчитана на запуск на одной видеокарте без tensor parallelism. Языки и мультимодальные возможности в README не указаны. Веса 13 500 маршрутизируемых экспертных проекций представлены в формате NVFP4, остальные компоненты сохранены в BF16. Размер модели составляет 36,74 ГБ — примерно вдвое меньше BF16-версии и на 24% меньше официальной FP8-версии. По приведённым измерениям, уровень знаний и способность воздерживаться от неподходящих вызовов инструментов сопоставимы с BF16 и FP8, а пропускная способность при высокой конкуренции выше официальной FP8-версии. Слабее всего пострадала точность аргументов при выполняемых вызовах инструментов: она ниже FP8 примерно на 3,1 процентного пункта. Сборка совместима с GPU архитектур Ampere и Blackwell, включая проверенный запуск на NVIDIA A100 40 ГБ, и предназначена для компактного локального или серверного развертывания. Для работы требуется версия vLLM из main или nightly с поддержкой K2-Horizon; стабильные релизы до 0.28.1rc1.dev388 эту поддержку не содержат. Режим рассуждений выбирается на уровне сервера. Модель распространяется по лицензии Apache-2.0.

Kimi-Linear-48B-A3B-Instruct — разговорная языковая модель от Moonshot AI на архитектуре Kimi Linear. Это гибридная MoE-модель с Kimi Delta Attention и глобальными слоями MLA: в семействе указаны 48 млрд общих и 3 млрд активируемых параметров. Репозиторий содержит веса safetensors и предназначен для генерации текста в диалоговом формате. Модель рассчитана на диалоги и задачи с длинным контекстом. В README для версии Instruct заявлена длина контекста до 1 млн токенов, а архитектура сокращает потребность в KV-кэше и ускоряет декодирование на длинных последовательностях. Для запуска предлагаются Transformers с fla-core и развёртывание через vLLM. Лицензия — MIT. README описывает результаты бенчмарков, но не приводит оценки по всем сценариям; фактическая скорость и качество зависят от оборудования и настроек инференса.

Карточка модели hemanthdegapudi/LFM2.5-1.2B-Instruct на Hugging Face совпадает с карточкой LiquidAI/LFM2.5-1.2B-Instruct, поэтому описание составлено по ней. LFM2.5-1.2B-Instruct — плотная гибридная языковая модель Liquid AI для локального и периферийного развертывания. Это версия общего назначения, дообученная следовать инструкциям на базе LiquidAI/LFM2.5-1.2B-Base. В карточке указано 1,17 млрд параметров, 16 слоёв (10 блоков double-gated convolution и 6 блоков GQA), а метаданные Hugging Face указывают 1,5 млрд параметров. Модель принимает текст и генерирует текст; поддерживает контекст до 32 768 токенов по README, тогда как метаданные каталога указывают нативный контекст 128 000 токенов. Модель рассчитана на агентные сценарии, извлечение данных, ответы по документам в RAG и вызов функций. Liquid AI заявляет высокую скорость локального вывода и возможность работы с ограниченной памятью. Поддерживаемые языки: английский, арабский, китайский, французский, немецкий, японский, корейский и испанский. Модель не рекомендуется для задач, требующих обширных знаний, и программирования. Лицензия обозначена в метаданных как other; конкретные условия следует сверить с лицензией репозитория.

unsloth/LFM2.5-1.2B-Instruct — версия инструкционной модели Liquid AI, опубликованная Unsloth с исправлениями шаблона чата. Это компактная плотная языковая модель семейства LFM2: в README указано 1,17 млрд параметров и гибридная архитектура из 10 блоков LIV с двойной маршрутизацией и 6 блоков GQA. Модель принимает и генерирует текст; она рассчитана на локальный запуск на устройствах и поддерживает контекст до 32 768 токенов по README, тогда как метаданные указывают 128 000 токенов. Модель предназначена для диалогов общего назначения, агентных сценариев с вызовом инструментов, извлечения данных и ответов с опорой на документы в RAG. В карточке перечислены английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. README не рекомендует использовать её для задач, требующих обширных знаний, и программирования. Репозиторий содержит веса в формате safetensors и использует лицензию, обозначенную в метаданных как other; конкретные условия лицензии следует сверить с карточкой модели.

FireFunction V2 — языковая модель Fireworks AI для диалогов и вызова функций, дообученная на Llama 3. Она построена на плотной архитектуре Llama, содержит 69,5 млрд параметров и принимает текстовый контекст длиной до 8192 токенов. Модель поддерживает обычные инструкции и чат, одиночный и параллельный вызов функций, а также извлечение структурированной информации; в одном запросе можно описать до 20 функций. В карточке Fireworks сообщает о результатах, сопоставимых с GPT-4o на наборе публичных оценок вызова функций, и об улучшении относительно FireFunction v1. Модель не оптимизирована для сотен описаний функций или вложенных вызовов. Лицензия указана как llama3; применение следует сверять с её условиями.

Llama-3-Giraffe-70B-Instruct — разговорная языковая модель Abacus.AI, созданная на основе Meta Llama 3 70B Instruct с расширенным контекстом. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров; в метаданных указана длина контекста 8192 токена, а авторы заявляют эффективную длину около 128 тысяч токенов. Для расширения контекста применялись PoSE и динамическая NTK-интерполяция; обучающий адаптер переносили с Llama-3-70B-Base на Instruct-версию и выпустили слитую модель. Модель предназначена для диалогов, следования инструкциям и ответов на вопросы по длинным текстам, включая поиск информации в большом контексте. В README приведены результаты MT-Bench, близкие к исходной Llama 3 70B Instruct, и эксперименты Needle-in-a-Haystack до 128 тысяч токенов; оценивание эффективности авторы продолжают. Модель принимает текст и генерирует текст, карточка указывает английский язык. Репозиторий содержит веса Safetensors. Лицензия — Llama 3 License (llama3).

lumikabra-behemoth-123b — объединённая языковая модель, собранная с помощью mergekit методом della_linear. В основе слияния лежит schn apper79_lumikabra-123B_v0.3, также использована TheDrummer_Behemoth-123B-v1; веса смешаны с указанными в конфигурации параметрами. Модель построена на плотной архитектуре MistralForCausalLM и содержит 122,2 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия. Контекстное окно составляет 131 072 токена; в метаданных также заявлен интерфейс вызова инструментов. Репозиторий содержит веса safetensors, а конфигурация слияния задаёт тип данных bfloat16. Поддерживаемые языки в предоставленных данных не определены. Лицензия в источниках не указана.

Luna-8B-Instruct-262k — объединённая модель на архитектуре Llama 3, созданная Ppoyaa с помощью LazyMergekit. В состав входят gradientai/Llama-3-8B-Instruct-262k, jondurbin/bagel-8b-v1.0, mlabonne/ChimeraLlama-3-8B-v3 и nbeerbower/llama-3-wissenschaft-8B; в конфигурации указан метод model_stock и формат bfloat16. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы. В репозитории заявлено окно контекста до 262 144 токенов; размер составляет 7,5 млрд параметров. Использование предусмотрено через Transformers и формат safetensors. Лицензия в предоставленных данных не указана.

FriendliAI/Meta-Llama-3.1-8B-Instruct-fp8 — языковая instruction-tuned модель для генерации текста, диалогов и выполнения текстовых инструкций. Модель разработана FriendliAI на базе Meta-Llama-3.1-8B от Meta и предназначена для использования в сценариях, требующих компактной модели с пониженной точностью представления FP8. Модель работает с текстом и заявлена для семи языков: английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского. В карточке указаны размер 8B параметров и формат FP8, однако сведения об архитектуре, длине контекста, методе квантования и конкретных показателях качества отсутствуют. Сильной стороной является сочетание инструкционного обучения и относительно небольшого размера, что может упростить развертывание; ограничения и фактическая производительность зависят от инфраструктуры и прикладного сценария. Модель распространяется по лицензии Llama 3.1 Community License. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии Meta, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 миллионами ежемесячных активных пользователей требуется отдельное разрешение Meta.

mindy-7b-v2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением mindy-labs и Mistral-7B-Instruct-v0.2 методом SLERP. Модель построена на архитектуре Mistral с 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции в формате чата. Контекст — до 32 768 токенов. Модель принимает текст и генерирует текстовые ответы; в карточке указана поддержка диалогового режима. Она может применяться для чат-ботов, ответов на вопросы и выполнения инструкций. Репозиторий содержит веса в формате safetensors. Лицензия — Apache 2.0.

Это набор GGUF-квантизаций модели Mistral-Small-3.2-24B-Instruct-2506, первоначально разработанной Mistral AI и модифицированной независимым автором llmfan46. Модель обработана методикой Heretic v1.2.0 с использованием Arbitrary-Rank Ablation (ARA), чтобы снизить количество отказов и ограничений при сохранении исходных возможностей. Заявлены 2 отказа из 100 против 98 из 100 у оригинальной версии, при KL-дивергенции 0,0369. Модель предназначена для диалогов, выполнения инструкций, генерации текста и function calling. Она поддерживает мультимодальный сценарий image-text-to-text: для работы с изображениями требуется отдельный Vision Projector, совместимый с GGUF. Указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Размер модели — 24 миллиарда параметров; сведения о длине контекста и точной архитектуре в карточке не приведены. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S и Q4_K_M с разным соотношением качества, размера и требований к памяти. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами, поддерживающими GGUF. Основное преимущество — более свободная генерация и сохранение близкого к оригиналу поведения; ограничениями являются возможное снижение качества из-за квантизации, необходимость Vision Projector для изображений и уменьшенные встроенные механизмы отказа, что повышает риски при использовании без дополнительного контроля безопасности. Лицензия — Apache 2.0.

Moxie — специализированная большая языковая модель и агент, разработанные Moxiegen Business Group. Модель демонстрирует собственный Moxiegen Method — алгоритмический подход к устранению избыточности в весах. Доступна через Moxie Desktop и Moxie Cloud, а также может работать локально в вариантах light, standard и full. Модель основана на оптимизированной transformer-архитектуре и использует методы удаления избыточных весов. Согласно README, Lossless Pointer-Based Weight Mapping позволяет сопоставлять одинаковые числовые значения с единой ссылкой без потери точности вычислений FP32. В основе возможностей заявлены дистиллированные компоненты моделей Qwen для программирования и математики, GLM для длинного контекста и следования инструкциям, а также Gemma для быстрой обработки запросов и автоматизации. Поддерживаемый язык — английский. Точный размер модели и длина контекстного окна не указаны. Moxie предназначена для настольной автоматизации, выполнения shell-команд, работы с файлами, анализа данных в форматах CSV, Excel, Word и SQLite, оркестрации многошаговых задач, поиска в интернете, обработки документов и создания или анализа текстового, графического, видео- и аудиоконтента. Сильными сторонами заявлены низкие требования к GPU, высокая скорость и возможность гибридной работы с переносом сложных вычислений в облако. Ограничения включают зависимость от Moxie Desktop и Moxie Cloud для части функций, а также отсутствие подтверждённых независимых оценок качества и производительности. Весы модели и inference engine являются проприетарными и принадлежат Moxiegen. Использование предназначено для работы в Moxie Desktop в соответствии с пользовательским соглашением и политикой конфиденциальности на сайте Moxiegen; лицензия обозначена как other.

Kaoeiri/MS_a-coolyte-2409-22B — языковая модель для диалогов и генерации текста, созданная с помощью mergekit. Это плотная модель архитектуры Mistral с 22 млрд параметров, полученная слиянием unsloth/Mistral-Small-Instruct-2409 и rAIfle/Acolyte-LORA методом task arithmetic; веса представлены в формате Safetensors. Модель рассчитана на текстовый ввод и генерацию текста, поддерживает чат и интерфейс вызова инструментов. Контекст — до 131 072 токенов. Модель можно использовать для диалоговых ассистентов, генерации и продолжения текста, а также сценариев, где ответ опирается на длинный контекст или вызов инструментов. README указывает, что плотность слияния подбиралась для целевого training loss 0,3. Сведения о конкретных поддерживаемых естественных языках и лицензии в предоставленных источниках отсутствуют.

Muse Glimmer 30B GGUF — это квантизированная версия 30-миллиардной каузальной языковой модели Muse Glimmer, разработанной Meta Superintelligence Lab и дистиллированной из Muse Spark. Репозиторий содержит сборки в формате GGUF для локального запуска через llama.cpp на пользовательском оборудовании без облачной инфраструктуры и сетевого доступа. Релиз датирован августом 2026 года, лицензия — Apache 2.0. Модель предназначена для автономных агентных задач, многошагового рассуждения, надёжного использования инструментов, мультимодального понимания и восстановления после сбоев. Базовые GGUF-файлы работают с текстом, а для обработки изображений требуется отдельный perception encoder. Дополнительно доступен DFlash drafter для ускорения генерации с помощью speculative decoding. Указан контекст до 131072 токенов при запуске сервера, однако конкретная доступная длина зависит от конфигурации и ресурсов устройства. Доступны две текстовые квантизации: Q4_K_M размером около 16,8 ГБ, ориентированная на видеокарты с 24 ГБ памяти, и Dynamic Q4_K_XL размером около 19,7 ГБ для систем с 32 ГБ памяти. Вместе с энкодером изображений и drafter требуется примерно до 23 ГБ памяти. Сильными сторонами являются локальная работа, поддержка агентных сценариев, рассуждения и изображений; ограничениями — крупный размер, необходимость совместимой версии llama.cpp не ниже b10353 и отсутствие опубликованной bf16 GGUF-сборки в этом репозитории.

Это конвертированное представление мультимодальной модели NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning для нативного инференса через Swift/MLX на компьютерах Apple Silicon. В репозитории сохранены веса BF16 исходной модели: значения тензоров не квантизировались, не округлялись и не обучались заново; изменена раскладка экспертных тензоров для пути MLX gather-matmul. Размер весов составляет около 66,03 ГБ. Модель предназначена для диалоговой работы и рассуждений с текстом, изображениями, аудио и видео; базовая карточка указывает сценарии транскрибации, OCR, суммаризации и обработки документов. Репозиторий поддерживает интерфейс вызова инструментов, но использует специальный нативный формат checkpoint и рассчитан на Nemotron Omni Swift/MLX runtime; он не является готовым checkpoint для Transformers. Лицензия указана как other, поэтому условия использования следует сверять с лицензией исходной модели NVIDIA.

NVIDIA Nemotron Nano 12B v2 VL — мультимодальная модель NVIDIA на архитектуре Transformer с визуальным энкодером CRadioV2-H и языковой частью NVIDIA Nemotron Nano 12B v2. Модель содержит 12,6 млрд параметров и принимает текст, изображения и видео; контекст вместе с ответом — до 128 тысяч токенов. Для изображений поддерживается до четырёх входных кадров или страниц за запрос, для видео — от 8 до 128 кадров с частотой 2 кадра в секунду. Модель предназначена для мультимодального анализа документов, визуальных вопросов и ответов, суммаризации изображений и видео, а также рассуждений по визуальному содержимому. Подходит для извлечения сведений из счетов, чеков и руководств, а также для обработки нескольких страниц документа за один запрос. README указывает английский как поддерживаемый язык; обучающие данные включают также китайский и другие языки для отдельных визуальных задач, что не подтверждает полноценную поддержку этих языков в диалоге. Модель выдаёт текст, поддерживает чат и интерфейс вызова инструментов. Для обработки видео кадры необходимо извлечь заранее; видео декодирование не входит в модельный пайплайн. Указаны ограничения по числу и разрешению изображений, а также ориентация на системы с GPU NVIDIA. README заявляет готовность к коммерческому использованию, однако в метаданных лицензия обозначена как other, поэтому конкретные условия следует проверить в лицензии репозитория.

OpenHermes-2.5-neural-chat-v3-3-Slerp-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая языковая модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и Weyaxi/OpenHermes-2.5-neural-chat-v3-3-Slerp методом SLERP. Модель содержит 7,1 млрд параметров, предназначена для генерации текста и ответов на инструкции в формате диалога. Контекст — до 32 768 токенов. Модель принимает текст и выдаёт текст; в метаданных отмечена возможность чата. Репозиторий содержит веса в формате Safetensors, а конфигурация слияния указывает тип данных bfloat16. Лицензия — Apache 2.0. Подходит для диалоговых приложений и выполнения текстовых инструкций; конкретные языки, оценка качества и ограничения в предоставленных данных не описаны.

duyntnet/Phi-3-medium-128k-instruct-imatrix-GGUF — набор GGUF-квантизаций модели Phi-3-Medium-128k-Instruct, разработанной Microsoft и опубликованной пользователем duyntnet. Репозиторий предназначен для локального запуска модели через совместимые инструменты, включая llama.cpp; указано, что квантизации созданы с использованием актуальной версии llama.cpp. Модель относится к классу text-generation и работает с текстом. Исходная Phi-3-Medium-128k-Instruct — инструкционная языковая модель для диалогов, ответов на вопросы, генерации текста и решения задач по пользовательским запросам. Она рассчитана на использование в chat-формате и поддерживает контекст до 128 000 токенов; размер словаря токенизатора — до 32 064 токенов. В README указан английский язык. Архитектура и точное число параметров в представленных данных не раскрыты. Сильной стороной модели является большой контекст и наличие готовых GGUF-квантизаций для более эффективного локального инференса. Ограничения включают зависимость от совместимого рантайма и конкретного варианта квантизации, а также отсутствие в README подробных характеристик качества, требований к ресурсам и данных о поддерживаемых модальностях помимо текста. Лицензия указана как other; её точные условия требуют отдельной проверки в исходном репозитории Microsoft.

Microsoft Phi-3 Medium-4K-Instruct в этом репозитории представлен в формате ONNX и оптимизирован для инференса через ONNX Runtime на NVIDIA GPU с CUDA. Это конверсия инструкционной модели семейства Phi-3 с плотной архитектурой Phi3ForCausalLM и примерно 13,8 млрд параметров; исходная модель прошла дообучение с учителем и оптимизацию по предпочтениям для следования инструкциям и повышения безопасности. Модель принимает текст и генерирует текстовые ответы в диалоговом формате; поддерживает контекст до 4096 токенов. В README описаны варианты FP16 и INT4, причём INT4 получен квантованием RTN; метаданные указывают формат ONNX. Модель подходит для диалоговых ассистентов, ответов на вопросы, рассуждений, математики и генерации кода. README сообщает о тестировании на NVIDIA A100 и минимальном требовании CUDA GPU с Compute Capability 7.0 или выше; приведённые замеры производительности относятся к A100 и не гарантируют таких же результатов на другом оборудовании. Лицензия — MIT.

Qwen1.5-110B-Chat-GGUF — квантизированная GGUF-версия диалоговой языковой модели Qwen1.5-110B-Chat, разработанной командой Qwen. Квантизацию выполнила Second State Inc. Модель предназначена для генерации текста и ведения диалогов, включая использование в чат-приложениях и локальных сервисах инференса через LlamaEdge. Модель содержит 110 млрд параметров, работает с текстовой модальностью и ориентирована на английский язык. Для взаимодействия используется шаблон ChatML, заявленный размер контекста — 32 000 токенов. Доступны варианты квантизации Q2_K, Q3_K, Q4_0, Q4_K_M, Q4_K_S, Q5_0 и Q5_K_M с разными компромиссами между размером, требованиями к ресурсам и качеством. В README рекомендуются варианты Q4_K_M и Q5_K_M; более низкие уровни квантизации обеспечивают меньший размер, но могут приводить к существенной потере качества. К сильным сторонам относятся большой размер исходной модели, диалоговая специализация, поддержка длинного контекста и возможность запуска в формате GGUF с LlamaEdge. Ограничениями являются значительные требования к памяти даже у квантизированных вариантов, а также ухудшение качества при сильной квантизации. Модель распространяется по лицензии Tongyi Qianwen; точные условия определяются текстом лицензии, указанным в репозитории исходной модели.