I.1Поиск и навигация по информации

Pareto — мультимодальная составная модель, предназначенная для исследований, программирования и агентных сценариев. По карточке модели, она рассчитана на широкий круг задач общего назначения и заявляет высокий уровень производительности. Метаданные каталога относят её к моделям типа image-text-to-text, поэтому она принимает изображения и текст и формирует текстовые ответы. Сведений об архитектуре, размере, языковой поддержке и лицензии в доступных данных нет. Карточка позиционирует модель для исследовательских и агентных рабочих процессов, но не описывает конкретные возможности, ограничения или условия применения.

thesven/Phi-3.5-mini-instruct-awq — это сторонняя AWQ-квантизованная версия Microsoft Phi-3.5-mini-instruct, опубликованная пользователем thesven. Базовая модель разработана Microsoft и предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и задач NLP, включая многоязычные сценарии. Репозиторий содержит 4-битные веса в формате Safetensors с AWQ и требует custom code для архитектуры Phi-3. Модель имеет около 4 млрд параметров, архитектуру decoder-only causal language model Phi3ForCausalLM, 32 слоя, 32 attention heads и заявленный контекст до 128K токенов. Это текстовая, а не мультимодальная модель; в карточке базовой модели заявлена многоязычная поддержка, включая английский, немецкий, испанский, французский, японский, русский, тайский и китайский. Квантизация уменьшает размер репозитория примерно до 2,28 ГБ и предназначена для более компактного локального запуска, однако для самой AWQ-версии отдельные результаты качества и подробные ограничения не опубликованы. Лицензия и условия использования у репозитория thesven явно не указаны. Для базовой Microsoft Phi-3.5-mini-instruct указана лицензия MIT. Поэтому при использовании квантизованной версии следует отдельно проверить права на распространение самой производной сборки и учитывать ограничения базовой модели, включая возможные пробелы многоязычного качества и необходимость тестирования в конкретном приложении.

Qwen3-235B-A22B-Instruct-2507-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp, а распространение модели представлено в рамках программы LM Studio Community Models. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального запуска через совместимое программное обеспечение, включая LM Studio и llama.cpp. Из доступных данных известно, что исходная модель имеет размер 235B параметров, из которых 22B являются активными, однако сведения о конкретном типе квантизации, поддерживаемых языках, модальностях и размере контекста в README не указаны. К сильным сторонам относятся крупный масштаб исходной модели, инструкционная настройка и возможность использования GGUF-формата в локальной инфраструктуре. Ограничения связаны с отсутствием в предоставленной карточке подробностей о производительности, точности, аппаратных требованиях, вариантах квантизации и лицензии. Модель предоставляется третьими сторонами; LM Studio не является её разработчиком и не гарантирует точность, безопасность или пригодность результатов.

Qwen3.5-4B-AWQ — квантизированная версия мультимодальной vision-language модели Qwen3.5-4B, разработанной командой Qwen (Alibaba Group). Модель принимает текст, изображения и видео во взаимно чередующемся формате и генерирует текст; поддерживает режим рассуждений, включённый по умолчанию. Она предназначена для анализа изображений и видео, визуально-текстового диалога, описания изображений и других задач image-text-to-text, а также для текстовых запросов. Базовая модель содержит около 4 млрд параметров и использует гибридную архитектуру Hybrid Gated DeltaNet + sparse MoE с vision encoder. Нативная длина контекста составляет 262 144 токена и может быть увеличена с помощью RoPE scaling. Заявлена поддержка 201 языка и диалекта. В этой версии применена AWQ-квантизация W4A16: веса линейных слоёв языковой модели представлены в 4 битах, а активации — в 16 битах; формат — compressed-tensors pack-quantized. Vision tower, router gates и lm_head сохранены в более высокой точности, что должно способствовать сохранению качества обработки изображений. Ключевое преимущество модели — уменьшенный размер на диске и расход VRAM при сохранении мультимодальных возможностей, благодаря чему она ориентирована на запуск на одной потребительской GPU. Для работы требуются GPU с поддержкой INT4 Marlin kernels, актуальная версия vLLM с поддержкой архитектуры Qwen3_5ForConditionalGeneration и совместимая конфигурация compressed-tensors. В README указана проверка на NVIDIA Blackwell (sm_120); конкретные показатели качества и бенчмарки не приведены. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой Qwen3.5-4B.

Mercor дообучила Qwen3.6-35B-A3B методом постобучения с подкреплением на готовых наборах данных APEX-Agents. Это мультимодальная модель семейства Qwen3.5 MoE для диалогов и анализа изображений; заявленная карточка Hugging Face задача — image-text-to-text. Модель доступна в формате Safetensors и рассчитана на применение через Transformers. Постобучение ориентировано на агентные сценарии и задачи, связанные с профессиональной работой со знаниями. Базовая модель описана как модель с 35 млрд параметров для диалогов, агентного программирования и анализа изображений; данных о длине контекста и поддерживаемых языках в предоставленных источниках нет. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GGUF — это квантизированная GGUF-версия модели Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем qtum для работы с llama.cpp. Модель предназначена для мультимодальных сценариев, включая обработку текста, изображений и видео с генерацией текста. Она может использоваться для анализа визуального содержимого, ответов на вопросы и других задач, поддерживаемых базовой vision-language моделью. Модель имеет плотную архитектуру с 27,8 млрд параметров с учётом vision tower и 64 декодерными слоями. Архитектура гибридная: 16 слоёв используют grouped-query full attention, а 48 слоёв — Gated DeltaNet linear attention. Длина контекста составляет 262 144 токена с возможностью дальнейшего расширения через YaRN. Поддерживаются английский и китайский языки. Для обработки изображений и видео требуется отдельный файл vision projector (mmproj); без него модель работает только в текстовом режиме. Доступны различные уровни квантизации от Q8_0 до IQ2_XXS, позволяющие выбирать баланс между размером файлов, требованиями к памяти и качеством. К сильным сторонам относятся мультимодальность, очень длинный контекст и сниженные требования к KV-кэшу благодаря гибридной архитектуре. Ограничения включают значительный объём памяти даже у квантизированных вариантов, необходимость совместимой версии llama.cpp и отдельного mmproj для визуального ввода; более агрессивная квантизация может снижать качество. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored-NVFP4-W4A16-T336 — производная модель, опубликованная esatapedico на основе DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored, которая, в свою очередь, основана на Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и развёртывания через vLLM; настройка TWIN-TURBO ориентирована на сокращение количества токенов рассуждений при сохранении качества ответов. Это 27-миллиардная языковая модель с архитектурой Qwen3_5ForCausalLM, 64 слоями, гибридной архитектурой GatedDeltaNet, поддержкой мультиязычных сценариев и заявленным контекстом до 262144 токенов. В репозитории также сохранены vision tower и MTP head, пригодный для speculative decoding. Контрольная точка использует формат compressed-tensors NVFP4: веса W4A16 с группировкой 16 и масштабами FP8; часть наиболее чувствительных компонентов оставлена в BF16. Калибровочные данные не применялись, размер файла model.safetensors составляет около 21 ГБ. Главные преимущества — значительное сжатие весов, совместимость с vLLM, сохранение полноточных компонентов, влияющих на качество, а также измеренная близкая к родительской модели perplexity на англоязычном наборе. Ограничения включают зависимость от vLLM-совместимых движков, необходимость подходящей аппаратной конфигурации и отсутствие GGUF в репозитории; заявленная проверка проводилась при tensor parallel 2 и контексте 2048 токенов, поэтому практические характеристики на максимальном контексте могут отличаться. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-max-Reasoning-Distilled-GGUF — компактная языковая модель, разработанная khazarai и созданная методом дистилляции знаний из Qwen3.8-max. Модель предназначена для задач рассуждения, включая анализ вариантов, решение вопросов из разных предметных областей и генерацию структурированных ответов. Формат GGUF ориентирован на использование с llama.cpp, а тег vision-language-model и pipeline image-text-to-text указывают на поддержку сценариев работы с изображениями и текстом, однако подробности о реализации визуального ввода в README не приведены. Ключевая особенность модели — оптимизированная цепочка рассуждений: она стремится выдавать линейную, последовательную и решительную логику, сокращая повторные проверки, колебания и циклы «переобдумывания». Благодаря дистилляции модель рассчитана на более эффективный инференс с меньшим числом генерируемых токенов при сохранении качества ответов. Размер архитектуры, объём параметров, максимальная длина контекста и полный набор поддерживаемых языков не указаны; явно заявлен английский язык. Модель может быть полезна там, где важны компактность, скорость и экономный расход токенов. Ограничением является то, что для чрезвычайно сложных многошаговых математических задач может потребоваться явный запрос на пошаговые промежуточные вычисления. Результаты следует проверять при использовании в медицинских, юридических и финансовых сценариях. Указанная лицензия — Apache-2.0.

Swift-Qwen3.8-27b-oQ4e-fp16-mtp — плотная мультимодальная модель класса 27B, разработанная на основе Swift-Qwen3.8-27b от UkisAI и преобразованная в формат MLX. Она предназначена для задач, сочетающих работу с текстом и изображениями, включая генерацию и понимание текстово-визуального содержимого. Модель содержит текстовый backbone, vision encoder и один слой multi-token prediction (MTP). Текстовая часть включает 64 слоя со скрытым размером 5 120 и feed-forward-размером 17 408. В архитектуре используются 48 слоёв linear attention и 16 слоёв full attention; полный attention применяется на каждом четвёртом слое. Словарь содержит 248 320 токенов, заявленный предел контекста составляет 262 144 токена, однако фактическая доступная длина зависит от настроек runtime и объёма памяти. Vision encoder состоит из 27 слоёв со скрытым размером 1 152, 16 attention heads и обрабатывает изображения через патчи 16×16; визуальные признаки проецируются в пространство размерности 5 120. Чекпойнт использует смешанную квантизацию: по умолчанию применяются аффинные 4-битные веса с группами по 64 значения, а для 187 модулей заданы 5-битные переопределения. Часть параметров MTP, включая fusion matrix и веса нормализации, сохраняется в FP16, поэтому суффикс fp16 не означает полностью FP16-модель. Такой формат снижает требования к памяти по сравнению с полноразмерными весами, но точные характеристики производительности и совместимость зависят от MLX runtime и оборудования. Языки в README не указаны. Модель распространяется на условиях Swift Open License v1.0; преобразование не изменяет условия upstream-лицензии. Перед использованием необходимо ознакомиться с условиями лицензии и ограничениями доступа исходной модели.

Ternary-Bonsai-8B-gguf — языковая модель для генерации текста, разработанная Prism ML на базе Qwen3-8B. Она предназначена для локального и встраиваемого запуска, включая сценарии on-device, через llama.cpp и совместимые инструменты. Модель распространяется в формате GGUF Q2_0 и ориентирована на задачи диалога, ответов на вопросы, рассуждений и программной интеграции. Модель содержит 8,19 млрд параметров, включая около 6,95 млрд параметров без учёта эмбеддингов, и использует 36 декодерных Transformer-блоков с GQA, архитектурой SwiGLU, RoPE и RMSNorm. Длина контекста составляет 65 536 токенов, размер словаря — 151 936 токенов. Веса квантизованы до троичного представления {-1, 0, +1} с групповым масштабированием FP16; размер рекомендуемого файла Q2_0 составляет около 2,03 GiB, или 2,18 GB. Главное преимущество модели — существенное снижение требований к памяти: примерно в 7,5 раза по сравнению с FP16 при заявленном сохранении информации для троичных весов. По приведённым бенчмаркам она показывает высокое качество среди моделей сопоставимого размера, но уступает исходной Qwen3-8B по среднему результату. Для работы с форматом Q2_0 требуется специальная ветка Prism ML для llama.cpp, поскольку поддержка этого формата ещё не включена в основную ветку проекта. Языки, на которых модель оптимизирована, в README не указаны. Лицензия — Apache 2.0.

airoboros-13b-gpt4-1.1 — дообученная модель семейства LLaMA с 12,9 млрд параметров, созданная Jon Durbin на синтетических данных, сгенерированных GPT-4. Она предназначена для диалоговой генерации текста и отвечает на вопросы, выполняет рассуждения и решает задачи по программированию, математике, викторинам, тестам с выбором ответа и заданиям на заполнение пропусков. Особенность версии 1.1 — улучшенные инструкции для работы с контекстом и около тысячи дополнительных примеров по программированию. В режиме ответов по заданному контексту модель обучена опираться на предоставленные сведения и ограничивать ответ ими, что может помогать снижать галлюцинации. Для этого используется формат с явными разделителями блоков контекста и инструкций. Модель использует шаблон диалога Vicuna 1.1 и имеет контекстное окно 2048 токенов. Модель принимает текст и генерирует текст; карточка не заявляет поддержку конкретных естественных языков. Автор отмечает, что математические рассуждения остаются слабой стороной. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

airoboros-c34b-2.2 — экспериментальная инструкционная языковая модель, разработанная Jon Durbin и дообученная на преимущественно синтетических данных набора airoboros-2.2. Это плотная модель семейства LLaMA с 33,5 млрд параметров, рассчитанная на генерацию текста и следующие инструкции; заявленная длина контекста — 16 384 токена. Карточка описывает формат диалога с отдельными строками USER и ASSISTANT и рекомендует останавливать генерацию при начале следующей реплики USER. Модель ориентирована на ответы по предоставленному контексту, выполнение инструкций, викторины и вопросы с вариантами ответа, генерацию кода и планов для сценариев с инструментами. Она также умеет формировать JSON или YAML для запросов, похожих на вызов функций, но сама по себе не вызывает инструменты. Автор отмечает, что модель может следовать системным инструкциям, однако их можно переопределить; контекстное обучение призвано ограничивать ответы источником, но не гарантирует отсутствия галлюцинаций. Для весов указана лицензия Llama 2. Карточка называет модель экспериментальной и описывает обучение на синтетических данных; отдельные языки и специализированная предметная область не заявлены.

airoboros-l2-70b-2.2.1 — экспериментальная языковая модель автора jondurbin, основанная на Llama 2 и дообученная на преимущественно синтетических данных Airoboros 2.2.1. Это обновлённая версия airoboros-l2-70b-2.2: в ней заново сгенерированы ответы для письма, добавлены более длинные контекстные блоки, удалены примеры ролевой игры, смягчена степень снятия ограничений и проведено четыре эпохи обучения. Модель предназначена для выполнения инструкций и генерации текста общего назначения, включая ответы на вопросы по заданному контексту, суммаризацию, написание текстов и помощь с кодом. Архитектура — плотная LlamaForCausalLM примерно на 68,7 млрд параметров; поддерживает контекст до 4096 токенов. Карточка также описывает генерацию аргументов функций и планов выполнения, но для реального вызова инструментов требуется внешняя система. Для диалога используется текстовый формат с метками USER и ASSISTANT. В карточке указана лицензия Llama 2. Автор предупреждает, что квантование Q4_0 работает некорректно; также советует настроить остановку генерации на маркере USER, чтобы модель не продолжала диалог от имени собеседника.

AquilaChat2-34B — чат-модель семейства Aquila2, разработанная BAAI. Она предназначена для диалогового общения и генерации ответов на текстовые запросы. Модель имеет плотную архитектуру AquilaForCausalLM, содержит 33,1 млрд параметров и рассчитана на контекст до 4096 токенов. Модель выпущена в формате PyTorch. В субъективной оценке по восьми направлениям возможностей разработчик сообщает о результатах, близких к GPT-3.5 или превосходящих их. В обучающих данных обнаружили утечку тестовых примеров GSM8K; результаты оценки на GSM8K были исключены. Лицензия указана как other, поэтому условия использования следует уточнять в материалах разработчика.

AbuYahya2/deepseek-marsad-v2 — объединённая языковая модель, созданная с помощью mergekit методом TIES. В качестве базовой использована deepseek-ai/DeepSeek-R1-Distill-Llama-8B; в слияние также вошли arcee-ai/Llama-3.1-SuperNova-Lite, FuseAI/FuseChat-Llama-3.1-8B-Instruct и richardyoung/Llama-3.1-8B-Instruct-abliterated-obliteratus. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров. Модель предназначена для генерации текста и диалогового общения. Среди возможных сценариев — ответы на вопросы, помощь с задачами на рассуждение и программирование, а также вызов инструментов через предусмотренный интерфейс. Заявленная длина контекста — 131 072 токена. Модель принимает текст и генерирует текст; в карточке указана библиотека Transformers и формат весов safetensors. Карточка не приводит результатов оценки качества или подробного описания ограничений. Лицензия в предоставленных данных не указана.

collinzrj/DeepSeek-R1-Distill-Llama-8B-abliterate — версия DeepSeek-R1-Distill-Llama-8B с применённой abliteration; автор карточки сообщает, что при оценке HarmBench итоговый показатель вырос с 0,35 у базовой модели до 0,68. Модель основана на DeepSeek-R1-Distill-Llama-8B, разработанной DeepSeek и дистиллированной на данных рассуждений, и предназначена для генерации текста в диалогах, решения задач и других сценариев, где нужны рассуждения языковой модели. Это плотная причинная языковая модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Метаданные указывают контекст до 131 072 токенов, поддержку китайского и английского языков и формат весов safetensors. Указана лицензия MIT. Карточка содержит сравнение по HarmBench, но не описывает методику abliteration и не приводит полные результаты по всем категориям.

Jebadiah/dolphin-hermes-stone-l3-8b-1m — слитая разговорная языковая модель на архитектуре Llama 3, созданная с помощью mergekit из cognitivecomputations/dolphin-2.9-llama3-8b-1m и NousResearch/Hermes-2-Pro-Llama-3-8B. Модель содержит 7,5 млрд параметров и предназначена для генерации текста в диалогах и ответов на инструкции. Заявленная длина контекста — 1 048 576 токенов. Модель доступна в формате safetensors и рассчитана на использование через Transformers. Карточка не сообщает о специализированной предметной области или поддерживаемых языках. Лицензия в предоставленных данных не указана.

litert-community/gemma-3-270m-it — компактная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind на основе исследований и технологий Gemini. Она предназначена для локального и ресурсоограниченного развертывания, включая мобильные устройства, веб-приложения, настольные системы и собственную облачную инфраструктуру, с использованием LiteRT и совместимых инструментов Google AI Edge. Модель содержит 270 млн параметров и поддерживает генерацию текста для ответов на вопросы, суммаризации документов, анализа и рассуждений. Для семейства Gemma 3 заявлены мультимодальные возможности с обработкой текста и изображений и генерацией текста; изображения нормализуются до 896 × 896 и кодируются в 256 токенов. Для вариантов 1B и 270M указан контекст до 32K токенов на запрос, включая вход и доступный объём вывода. Поддерживается более 140 языков. Данные обучения имеют срез знаний по август 2024 года и включают веб-тексты, код, математические материалы и изображения. Сильными сторонами модели являются небольшой размер, возможность работы на устройствах с ограниченными ресурсами, открытые веса и пригодность для встроенных приложений. Ограничения включают меньший объём параметров по сравнению с крупными вариантами Gemma 3, возможные ограничения качества в сложных задачах и то, что GPU-ускорение для Gemma 3 270M в указанных сценариях на момент публикации README ещё находилось в разработке. Использование регулируется лицензией Gemma и соответствующими условиями Google.

Gemma 3n E4B IT — мультимодальная инструктивная модель Google из семейства Gemma, рассчитанная на эффективный запуск на устройствах с ограниченными ресурсами. Она принимает текст, изображения, видео и аудио, а выдаёт текст; доступна для использования через библиотеку Transformers. В модели около 8 млрд параметров, но выборочная активация параметров и перенос редко используемых матриц позволяют запускать её с затратами памяти, сопоставимыми с обычной моделью на 4 млрд параметров. Архитектура MatFormer включает вложенную подмодель E2B и поддерживает создание вариантов разных размеров методом Mix-and-Match. Модель подходит для диалога, генерации и суммаризации текста, описания визуальных материалов, транскрибирования речи и перевода аудио в текст. Обучающие данные охватывают более 140 устных языков, но в карточке не перечислены языки, поддерживаемые в конкретных задачах. Модель может ошибаться в фактах, упускать языковые нюансы и отражать предвзятости обучающих данных; сложные задачи и неоднозначные инструкции могут снижать качество ответов. Лицензия — Gemma License.

granite-3.0-2b-instruct-GGUF — это GGUF-квантизированная версия языковой модели Granite 3.0 2B Instruct, разработанной IBM и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и выполнения инструкций, включая ответы на вопросы, понимание прочитанного, рассуждения, математические задачи, синтез кода и многоязычные сценарии. Модель содержит около 2 миллиардов параметров и распространяется в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от F16 до квантизаций Q4–Q8 с размером файлов примерно от 1,52 до 5,27 ГБ. README не указывает точное максимальное окно контекста, архитектурные детали или полный список поддерживаемых языков; при этом приведены результаты тестирования на наборе PAWS-X для семи языков. К сильным сторонам относятся компактный размер, возможность локального запуска и несколько вариантов квантизации с разным соотношением качества и требований к памяти. Квантизированные версии могут уступать исходным весам в точности, особенно при более агрессивном сжатии. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная. Лицензия — Apache 2.0.

Это независимая производная модель Huihui-Qwen3.8-27B-abliterated, подготовленная на основе исходных BF16-весов Huihui и с использованием схемы NVFP4 от Gittensor. Релиз не является официальным продуктом Huihui, Gittensor, Qwen, NVIDIA или SGLang. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая агентские задачи, работу с инструментами и сложные задачи рассуждения и программирования. Она основана на архитектуре Qwen3.8 с 27 млрд параметров и использует квантование NVFP4 W4A4 с размером группы 16. В процессе подготовки vision-компоненты, embeddings и отдельные слои Gated-DeltaNet были исключены из NVFP4; native MTP head удалён из deployment-варианта. Поддерживается контекст до 262 144 токенов при конфигурации SGLang, указанной в карточке. Сведения о языках обучения или полном перечне поддерживаемых языков отсутствуют. К сильным сторонам относятся сниженные требования к памяти благодаря NVFP4, совместимость с layout и метаданными Gittensor, а также возможность запуска на одной NVIDIA RTX 5090 с SGLang. Для ускоренного декодирования предусмотрена отдельная совместимая модель-черновик DSpark. Ограничения включают ориентацию на конкретную GPU-конфигурацию и serving-стек, необходимость специальной настройки SGLang, отсутствие встроенного MTP head и зависимость ускоренного режима от отдельного DSpark checkpoint. Архитектурные и поведенческие последствия абляции слоёв 18–51 по описанию исходной модели и слоёв 17–51 по прямому сравнению тензоров отдельно не оценены.

Instruct_Llama3_8B — авторегрессионная языковая модель на архитектуре Llama 3, дообученная Brillibits на разнообразных источниках данных. Модель содержит 7,5 млрд параметров и рассчитана на генерацию текста по инструкциям на английском языке; для общения используется формат промпта с системной частью и инструкцией. Модель обучали два этапа эпох с использованием QDora; в README указан контекст обучения 4096 токенов, а в метаданных — нативный контекст 8192 токена. Подходит для ответов на вопросы, выполнения текстовых инструкций и других сценариев генерации текста. Доступна в формате safetensors по лицензии Llama 3.

IoGPT-A1-Instruct-i1-GGUF — GGUF-квантизированная версия инструкционной модели IoGPT-A1-Instruct, разработанной galaxyMindAiLabs и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста, ответов на вопросы и агентских сценариев; в метаданных она также классифицируется как vision-модель, однако подробности о поддерживаемом формате изображений не указаны. Доступны файлы mmproj в статическом репозитории модели. Заявлены языки: английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский, индонезийский, малайский, непальский, польский, румынский, сербский, шведский, турецкий, украинский, вьетнамский, хинди и бенгали. В тегах указана архитектурная принадлежность к Mistral, но размер модели, длина контекста и точная архитектура не раскрыты. Представлены квантизации от i1-IQ1_S до i1-Q6_K размером примерно от 5,4 до 19,4 ГБ: более лёгкие варианты экономичнее по памяти, но могут заметно терять в качестве; Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q6_K — как вариант, близкий по качеству к статической Q6_K. Модель распространяется по лицензии Apache-2.0.

K2-Horizon-MoVA-36B-A4B-GGUF — это набор общественных GGUF-квантизаций модели K2-Horizon-MoVA-36B-A4B, разработанной IFM и опубликованной пользователем ngquocvinh. Модель предназначена для запуска через llama.cpp и задач генерации текста, рассуждений, программирования, агентских сценариев и работы с длинным контекстом. Исходная модель использует разреженную архитектуру Mixture-of-Experts с механизмом Mixture-of-Values attention (MoVA): всего заявлено 36 млрд параметров, из которых на каждый токен активируется около 4 млрд. Указано нативное контекстное окно до 524 288 токенов и поддержка английского языка. В набор входят варианты квантизации от Q8_0 до крайне компактных профилей Q1_0; они различаются размером файлов, требованиями к памяти и близостью поведения к эталонной BF16-модели. Практическими вариантами названы Q5_K_M с повышенной точностью, Q4_K_M как сбалансированный профиль и IQ3_M как компактный вариант с квантизацией с учётом важности. Измерения на ограниченном наборе WikiText показывают высокое совпадение старших вариантов с BF16, однако не являются прямой оценкой сохранённых способностей. Профили с экстремальным сжатием, особенно Q1_0, существенно отклоняются от эталона и должны рассматриваться как экспериментальные. Для работы требуется совместимая сборка llama.cpp; длинный контекст может потребовать значительно больше памяти, а полная выгрузка модели на ускоритель может быть недоступна. В метаданных указана лицензия Apache-2.0. README описывает именно квантизированные GGUF-файлы и не содержит полного набора результатов или подробностей исходной модели; за ними рекомендуется обращаться к официальной карточке IFM/K2-Horizon-MoVA-36B-A4B.

LeoScorpius-7B-Chat-DPO-Mistral-7B-Instruct-v0.1 — чат-модель, созданная MaziyarPanahi слиянием Mistral-7B-Instruct-v0.1 и LeoScorpius-7B-Chat-DPO методом SLERP. Она предназначена для генерации ответов на инструкции и ведения диалогов. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текстовые ответы. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Метаданные не указывают языковую специализацию модели.

AtomicChat/LFM2.5-8B-A1B-GGUF — это текстовая генеративная модель в формате GGUF, созданная Atomic Chat на основе LiquidAI/LFM2.5-8B-A1B. Репозиторий содержит самостоятельно выполненные квантования исходных весов с использованием importance matrix, рассчитанной для каждого тензора, поэтому модель предназначена для локального и полностью офлайн-использования через llama.cpp, MLX, vLLM, SGLang и совместимые приложения. Модель рассчитана на роль персонального помощника на устройствах с ограниченными ресурсами: она поддерживает диалог, сложные инструкции, последовательные вызовы инструментов и агентские сценарии. Это текстовая Mixture-of-Experts-модель с 8,5 млрд параметров, 24 слоями и 32 экспертами, из которых для обработки выбираются 4; архитектура также включает 32 attention heads и 8 KV heads. Заявленная длина контекста — до 128 000 токенов, размер словаря — 128 000 токенов. Поддерживаемая модальность — текст; сведения о языках в README не указаны. Сильные стороны модели — высокая скорость инференса на CPU и GPU, широкий выбор квантований от Q2_K до Q8_0 и хорошее сохранение качества при использовании importance matrix. В качестве сбалансированного варианта рекомендуется Q4_K_M, а Q6_K и Q8_0 ориентированы на более высокую точность. К ограничениям относятся неизбежная потеря качества в низкобитных вариантах, требования к памяти, зависящие от выбранного квантования, и необходимость применять chat template LFM2.5 с параметром --jinja; без него возможны некорректно сформированные диалоговые ходы. Лицензия обозначена как other, подробные условия находятся в файле LICENSE.

Meta Llama 3.1 70B — большая авторегрессионная языковая модель на оптимизированной архитектуре Transformer с Grouped-Query Attention. Она генерирует текст и рассчитана на многоязычный диалог; семейство включает предварительно обученные и настроенные версии, а настроенные модели используют SFT и RLHF. В этой карточке описана модель размером 70B, но не уточняется, является ли именно этот репозиторий предварительно обученной или настроенной версией. Модель подходит для диалогового помощника, генерации текста и создания синтетических данных. Она принимает и выдаёт текст; заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. В README отмечены более длинное контекстное окно и возможность интеграции с внешними инструментами, но конкретная длина контекста не приведена в предоставленных данных. Модель разработана Meta и выпущена в июле 2024 года. Использование регулируется специальной коммерческой лицензией Llama 3.1 Community License и Acceptable Use Policy; перед применением необходимо соблюдать их условия. К ограничениям относятся статичность модели, риски небезопасных или неточных ответов и сниженная заявленная пригодность для общения на языках вне списка поддержки.

Llama3.1-8b-Instruct-CPT-SFT-DPO-09022024 — плотная авторегрессионная языковая модель семейства Llama 3.1 с 7,5 млрд параметров, опубликованная на Hugging Face в формате safetensors для библиотеки Transformers. По названию это инструкционная модель, прошедшая этапы CPT, SFT и DPO; сведения о разработчике и подробностях обучения в карточке не приведены. Модель предназначена для генерации текста в диалоговом формате и поддерживает интерфейс вызова инструментов. Метаданные указывают контекст до 131 072 токенов. Подтверждённых сведений о поддерживаемых естественных языках, специальных прикладных областях и лицензии нет, поэтому область применения и условия распространения следует уточнять у владельца модели. Карточка не содержит результатов оценки или описания ограничений; как и другие генеративные языковые модели, она может выдавать ошибочные или необоснованные ответы.

RedHatAI/Llama-3.1-8B-Instruct-NVFP4 — квантованная версия Meta-Llama-3.1-8B-Instruct, разработанная RedHatAI для коммерческого и исследовательского использования. Модель предназначена для диалоговых ассистентов и генерации текста на основе текстовых запросов; поддерживает ввод и вывод только в текстовой модальности. В метаданных заявлены языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако README отдельно ограничивает использование английским языком. Модель основана на архитектуре Meta-Llama-3.1 и имеет 8 млрд параметров. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP4 с использованием LLM Compressor; размер группы для весов — 16. Это снижает количество бит на параметр с 16 до 4, а требования к дисковому пространству и GPU-памяти примерно на 75%, что делает модель подходящей для эффективного инференса с vLLM версии 0.9.1 и выше. Контекстная длина в README не указана; для калибровки использовалась максимальная последовательность длиной 2048 токенов. К сильным сторонам относятся уменьшенные требования к памяти и возможность производительного развертывания через vLLM, включая OpenAI-совместимый сервер. Ограничением является потенциальное снижение качества по сравнению с неквантизированной базовой моделью, хотя README сообщает о сравнительной оценке без подробных результатов. Модель распространяется по лицензии llama3.1; применение должно соответствовать действующему законодательству, включая требования торгового контроля.

ark4004/llama3.8-27b-uc-fp8-jh — размещённая пользователем на Hugging Face производная модель семейства Qwen3.8-27B; точный автор исходной модификации и метод её создания в карточке не указаны. Репозиторий предназначен для генерации текста и мультимодальных сценариев, включая работу с изображениями; доступны интеграции с Transformers, vLLM и SGLang. Модель содержит около 28 млрд параметров и использует формат FP8 F8_E4M3 с отдельными компонентами BF16. По назначению исходной Qwen3.8-27B она ориентирована на понимание текста, изображений и видео, программирование, мультимодальное рассуждение, обработку длинного контекста, вызов инструментов и агентские задачи. Для конкретной производной модели длина контекста, поддерживаемые языки, результаты тестирования и точные архитектурные особенности не указаны, поэтому её сильные и слабые стороны относительно исходной модели надёжно оценить нельзя. Для репозитория указана лицензия Apache-2.0. FP8-квантизация может снизить требования к памяти и ускорить инференс по сравнению с полноточными весами, но потенциально влияет на качество; количественные данные о таком влиянии отсутствуют. Модель не была доступна через провайдеров инференса на момент проверки.