I.1Поиск и навигация по информации

OrionLLM_LRM-3.2-GGUF — это набор GGUF-квантизаций модели LRM-3.2, разработанной OrionLLM и квантизированной bartowski с использованием llama.cpp. Модель имеет 27 млрд параметров и распространяется в нескольких вариантах точности и размера, включая BF16, Q8_0, Q6, Q5, Q4, Q3 и IQ-квантизации. Модель предназначена для обработки текста и изображений; для мультимодального режима требуется дополнительный файл mmproj. README не уточняет поддерживаемые языки, максимальный размер контекста и конкретные прикладные сценарии. Формат GGUF позволяет запускать модель через совместимые инструменты, включая llama.cpp. MTP не поддерживается, для квантизации использовалась imatrix. Сильной стороной является выбор вариантов квантизации: от полноразмерной BF16 до компактных версий для устройств с ограниченным объёмом оперативной памяти. Q4_K_M указан как сбалансированный вариант по размеру и качеству, а Q5–Q6 — как более качественные. Более сильное сжатие уменьшает требования к памяти, но снижает качество; низкобитные варианты могут быть непригодны для требовательных задач. Модель распространяется по лицензии Apache-2.0.

Rubra Enhanced Phi-3 Mini 128k Instruct — языковая модель Rubra AI, полученная дополнительным постобучением microsoft/Phi-3-mini-128k-instruct на закрытом наборе инструкций, диалогов и примеров вызова функций. Модель предназначена для выполнения инструкций, многошаговых бесед и взаимодействия с инструментами через вызовы функций. Она построена на плотной архитектуре Phi-3 с 4,6 млрд параметров и использует Transformers и формат safetensors. README сообщает об оценках на наборах MMLU, GPQA, GSM-8K, MATH и MT-bench, а также о сравнительных результатах в задачах вызова функций. Указанная в метаданных длина контекста — 4096 токенов. Карточка описывает английский язык; модель генерирует текст и поддерживает чат. Лицензия — MIT. Модель может выдавать неверные или предвзятые ответы, поэтому её результаты требуют проверки, особенно в чувствительных и критически важных сценариях.

Swicked86/phi4-mm-gguf — набор GGUF-квантизаций мультимодальной модели Phi-4-multimodal-instruct, разработанной Microsoft. Модель содержит 5,6 млрд параметров и принимает текст, изображения и аудио; репозиторий подготовлен с помощью llama.cpp build b8347 для локального запуска на CPU и GPU. Модель предназначена для диалогов, ответов на вопросы по изображениям, визуального анализа, распознавания и объяснения содержимого графиков и документов, а также для обычных текстовых задач. Заявлен английский язык. Доступны варианты F16 размером 7,17 ГБ, Q8_0 размером 3,90 ГБ и Q4_K_M размером 2,37 ГБ. Для обработки изображений требуется отдельный файл vision encoder mmproj-phi4-mm-f16.gguf размером 825 МБ, совместимый со всеми текстовыми вариантами. В текстовом режиме README указывает поддержку контекста до 65 536 токенов, а в примерах мультимодального запуска используется контекст 8 192 токена. Q8_0 обеспечивает качество, близкое к F16, тогда как Q4_K_M требует меньше памяти и подходит для CPU или систем с ограниченной VRAM, но уступает по показателю perplexity. Ориентировочные требования VRAM при полной выгрузке на GPU составляют около 10 ГБ для F16, 5,4 ГБ для Q8_0 и 3,5 ГБ для Q4_K_M. Для работы с изображениями необходимо скачивать основной GGUF-файл вместе с mmproj; без него модель работает только с текстом. Мультимодальные оценки в README на момент публикации не завершены. Распространение заявлено по лицензии MIT, как и у исходной модели Microsoft.

mergekit-community выпустил объединённую языковую модель Qwen2.5-14B, созданную методом Model Stock на основе Qwen/Qwen2.5-14B и пяти других моделей: SauerkrautLM-v2-14b-SFT, Rombos-LLM-V2.6-Qwen-14b, Qwen2.5-14B-Instruct-abliterated-v2, SuperNova-Medius и Virtuoso-Small. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров, предназначенная для генерации текста и диалогов; заявленный размер контекста — до 131 072 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Модель подходит для генерации ответов в чате и других текстовых сценариев; метаданные также указывают интерфейс вызова инструментов. В README приведены метод объединения, состав моделей и конфигурация с типом данных bfloat16, но нет отдельных результатов оценки качества. Лицензия в предоставленных данных не указана.

CultriX/Qwen2.5-14B-Wernicke — объединённая плотная авторегрессионная языковая модель семейства Qwen2.5, созданная с помощью mergekit методом Model Stock. В основу слияния взята Qwen/Qwen2.5-14B; в объединение также вошли EVA-Qwen2.5-14B-v0.0, Qwen2.5-14B-Instruct, SuperNova-Medius, Rombos-LLM-V2.6-Qwen-14b и Qwen2.5-Lumen-14B. Модель содержит 14 млрд параметров и рассчитана на генерацию текста и диалоги. Модель подходит для ответов на запросы, свободного продолжения текста и формирования структурированных ответов; в метаданных также отмечен интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает английский язык, а заявленная длина контекста составляет 131 072 токена. Для оценки приведены результаты Open LLM Leaderboard, включая IFEval и BBH, но данных недостаточно, чтобы определить практическое качество в конкретных сценариях. Распространяется по лицензии Apache-2.0.

DmitryDB/Qwen3.6-35B-A3B-Heretic-MOE-v3 — производная мультимодальная MoE-модель на базе Qwen/Qwen3.6-35B-A3B. Релиз подготовлен с использованием инструментов Heretic-MOE, разработанных dborzoff. Модель предназначена для обработки текста и изображений с генерацией текстовых ответов; точные поддерживаемые языки и размер контекстного окна в README не указаны. Доступны варианты Balanced и Max, отличающиеся степенью удаления отказов при сохранении качества исходной модели. Для обоих вариантов опубликованы веса BF16, INT8 Lean ConvRot, NVFP4_W4A16 и NVFP4_W4A4, а также форматы GGUF с различными уровнями квантования. Мультимодальный проектор поставляется отдельно и остается неизменным относительно исходной модели. Варианты NVFP4 ориентированы на снижение потребления памяти, причем W4A4 дополнительно рассчитан на более быстрое выполнение на системах Blackwell. Сильными сторонами являются широкий набор форматов, наличие мультимодального проектора, опубликованные манифесты воспроизводимости и контроль дрейфа perplexity в пределах установленного порога 0,5%. Ограничения включают необходимость совместимого загрузчика для специализированных INT8 и NVFP4 форматов, отдельную установку проектора для GGUF и проверенную совместимость GGUF только с конкретной зафиксированной версией llama.cpp. Лицензия — Apache-2.0; перед использованием рекомендуется ознакомиться с лицензией исходной модели Qwen3.6.

Qwen3.6-35B-A3B-NInfer — это конвертированная версия мультимодальной модели Qwen3.6-35B-A3B, подготовленная разработчиком Neroued для нативного формата NInfer. Артефакт предназначен исключительно для запуска в NInfer и не является checkpoint для Transformers, Safetensors-дистрибутивом или файлом GGUF. Дополнительные веса DFlash предоставлены проектом z-lab/Qwen3.6-35B-A3B-DFlash. Модель рассчитана на диалоговую генерацию текста, работу с изображениями и видео, а также сценарии локального инференса через CLI или HTTP-сервер NInfer. Архитектура указана как Qwen3_5MoeForCausalLM; размер файла составляет около 21,23 GiB. В артефакт входят текстовые и vision-компоненты, MTP, DFlash, оптимизированная proposal head и frontend-ресурсы. Поддерживаются speculative decoding через MTP и DFlash, мультимодальные запросы и контекст до 240 000 токенов при серверном запуске. В README не указаны полный перечень языков и точное число активных или всех параметров, однако обозначение модели содержит 35B-A3B. К сильным сторонам относятся мультимодальность, большой заявленный контекст, локальный запуск и ускорение генерации с помощью MTP или DFlash. В приведённых оценках модель получила 90% на AIME 2025 и AIME 2026 и 85,35% на GPQA-Diamond; результаты заявлены для режима zero-shot. Ограничения включают жёсткую зависимость от NInfer, 64-битного Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a и CUDA Toolkit 13.1 или новее, а также необходимость сборки NInfer из исходного кода. Распространение указано по лицензии Apache-2.0.

Sohailhosseini/Qwen3.8-9B-Distill-AWQ-W4A16 — квантизированная версия модели empero-ai/Qwen3.8-9B-Distill, подготовленная пользователем Sohailhosseini. Модель предназначена для генерации текста и диалогового взаимодействия, а заявленный pipeline_tag указывает на поддержку сценариев image-text-to-text. В README также отмечена пригодность для instruction-тuned и многоязычных моделей, однако конкретный набор поддерживаемых языков не указан. Модель содержит 9,7 млрд параметров и использует схему AWQ-W4A16 с 4-битными весами в формате compressed-tensors. Размер на диске составляет около 8,6 ГБ — примерно в 2,24 раза меньше исходных 19,3 ГБ. Квантизация выполнена на GPU A40 с использованием 256 образцов из набора HuggingFaceH4/ultrachat_200k. Слои lm_head и компоненты, связанные с visual, vision_tower, vision_model, multi_modal_projector и merger, оставлены без квантизации, что соответствует мультимодальной конфигурации. Основные преимущества — сниженные требования к хранению и потенциально более эффективный запуск при сохранении качества исходной модели; README отдельно отмечает быструю калибровку и обычно более высокую устойчивость на instruction-тuned и многоязычных моделях. Для запуска рекомендуется vLLM с максимальной длиной контекста 32768 токенов. Ограничение схемы заключается в её асимметричности: некоторые старые ядра vLLM могут лучше работать с симметричным W4A16. Лицензия — Apache-2.0, унаследованная от исходной модели.

ggml-org/Qwen3-8B-GGUF — это квантизированная версия языковой модели Qwen3-8B, автоматически преобразованная в формат GGUF проектом ggml-org. Исходная модель разработана командой Qwen; в карточке также указаны связанные исходные модели Qwen/Qwen3-8B, z-lab/Qwen3-8B-DFlash-b16 и deepseek-ai/dspark_qwen3_8b_block7. Модель предназначена для генерации текста и может использоваться через совместимые инструменты, включая llama.app. Объём модели составляет 8B параметров; формат GGUF и квантизация ориентированы на более удобный запуск и эффективное использование ресурсов по сравнению с полноразмерной версией. Сведения о конкретном варианте квантизации, архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Модель распространяется по лицензии Apache-2.0. Ограничения по качеству, точности, требованиям к оборудованию и рекомендуемым сценариям использования отдельно не описаны.

ISTA-DASLab/Qwen3-8B-GGUF-GSQ — это квантизированная версия языковой модели Qwen3-8B, разработанной командой Qwen и доработанной ISTA-DASLab с применением метода GSQ (Gumbel-Softmax Quantization). Модель предназначена для генерации текста и запуска локальных больших языковых моделей с пониженным потреблением памяти. Модель поставляется в формате GGUF K-Quant с вариантами разной точности, включая Q2_K, Q4_K и Q6_K. Квантизация начинается с публичной инициализации Unsloth GGUF, после чего дискретные значения весов уточняются методом GSQ и упаковываются обратно в тот же формат K-Quant. Размер модели составляет 8 миллиардов параметров. Поддерживаются llama.cpp, Ollama, LM Studio и другие программы, совместимые с GGUF. Ключевое преимущество модели — улучшение качества при агрессивной низкобитной квантизации: для варианта Q2_K средний результат бенчмарков повышен с 50,03 до 56,28 относительно исходной инициализации Unsloth. При этом сохраняются стандартная структура GGUF K-Quant и совместимость с существующими инструментами. Ограничения включают возможную потерю качества по сравнению с полной точностью и отсутствие в README сведений о языках, максимальном контексте, поддерживаемых модальностях и подробных результатах по отдельным тестам. Модель распространяется по лицензии Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-oQ2-MTP — это общественная MLX-конверсия модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для генерации текста и обработки изображений и видео в совместимых vision-language сценариях на устройствах Apple Silicon. Это не официальный релиз Qwen, а квантованная версия, преобразованная из официального BF16-чекпойнта в формат MLX safetensors. Модель использует архитектуру qwen4_exp с разреженной смесью экспертов (MoE), Gated DeltaNet, Qwen Sparse Attention, расширенными gated residual streams и hashed n-gram embeddings. Общее число параметров языковой модели составляет около 125 млрд, активных — около 6 млрд; дополнительно указаны 51 млрд параметров n-gram embedding и 4 млрд параметров native MTP-блока. Архитектура включает 48 слоёв, 512 маршрутизируемых экспертов, 10 активных экспертов и один общий эксперт. Контекст настроен на 262 144 токена и может быть расширен upstream до 1 000 000 токенов. Ключевая особенность — чувствительно-ориентированное смешанное квантование oQ2: базовое представление использует 2-битное affine-квантование с размером группы 32, а отдельные модули — 3, 4, 5, 6 и 8 бит. В чекпойнте сохранён один native MTP draft-блок для speculative decoding. На Apple M3 Studio в тестах скорость генерации составила 26,1398 токена в секунду без MTP и 25,9290 токена в секунду с MTP глубины 3; в данном тесте MTP снизил производительность на 0,81%, поэтому рекомендуется отключать его по умолчанию. Для запуска требуется runtime с явной поддержкой qwen4_exp и native MTP; без такой поддержки загрузка может завершиться ошибкой. Модель распространяется по лицензии Qwen Community License 1.0. Размер весов составляет около 70,782 ГБ, поэтому необходимы значительные объёмы памяти и совместимое оборудование. README не содержит полного описания ограничений исходной модели и предупреждает, что результаты производительности зависят от длины запроса, размера контекста, состояния кэша, версии runtime, нагрузки на память и температуры устройства.

Qwen3.8-Flash-Next-Uncensored — это MLX-квантованная версия модели orcarouter/Qwen3.8-Flash-Next-Uncensored, опубликованная пользователем ddark-il. Модель предназначена для локального запуска на компьютерах Apple Silicon, прежде всего на M5 Max с 128 ГБ памяти, и поддерживает сценарии генерации текста и обработки изображений с текстом. Модель использует архитектуру qwen4_exp с mixture-of-experts (MoE), vision-language возможностями и механизмом multi-token prediction (MTP). Исходный размер составляет около 180 млрд параметров; в данном варианте применяется смешанная affine-квантизация MLX со средней точностью 4,857 бит на параметр. Размер файлов — 109,29 ГБ, заявлена поддержка контекста до 262 тысяч токенов. Основная часть весов квантизирована в 4, 6 и 8 битах с различными размерами групп, причём для o_proj используется 8-битная квантизация. По измерениям авторов, версия обеспечивает меньшую ошибку относительно исходных bf16-весов, чем предыдущая ревизия, и достигает 90,7% совпадения top-1 предсказаний с bf16-версией. Сильными сторонами являются существенно меньшие требования к памяти по сравнению с bf16, высокая точность для квантизированной модели, поддержка длинного контекста и мультимодальных входов. Ограничения включают очень большой размер, зависимость от MLX и Apple Silicon, возможное влияние квантизации на качество, а также требования к пропускной способности SSD и кэшированию при работе с крупными таблицами и экспертами. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-VL-32B-Instruct-GGUF — квантованная версия мультимодальной инструкционной модели Qwen2.5-VL-32B-Instruct, разработанной командой Qwen и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста по инструкциям и мультимодальных сценариев, включая работу с визуальными данными; в метаданных указан английский язык. Точные сведения о поддерживаемых форматах изображений, контекстном окне и внутренней архитектуре в README не приведены. Доступны варианты от BF16 и Q8_0 до низкобитных Q3- и IQ-квантований размером примерно от 14,39 до 65,54 ГБ. Квантования выполнены с использованием imatrix и поддерживаются llama.cpp, LM Studio и другими совместимыми проектами. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно терять в качестве; для большинства сценариев рекомендуется Q4_K_M как компромисс между размером и качеством. Для запуска необходима совместимая конфигурация, способная разместить выбранный файл модели. Распространение указано по лицензии Apache-2.0. README не содержит подробных результатов тестирования, ограничений мультимодального ввода или гарантированных характеристик производительности, поэтому качество и скорость будут зависеть от выбранного уровня квантования и аппаратного обеспечения.

bartowski/Qwen_Qwen3.5-4B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-4B, разработанной Qwen. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска в совместимых инструментах, включая llama.cpp, LM Studio, KoboldCpp, Jan AI и Text Generation WebUI. В метаданных указана задача image-text-to-text, однако подробные сведения о поддерживаемых модальностях, языках и максимальном контексте в README не приведены. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, а также IQ-квантизации. Размер файлов составляет примерно от 2,4 до 8,67 ГБ. В README варианты Q6 и Q5 описаны как обеспечивающие очень высокое или высокое качество, а Q4_K_M рекомендован как сбалансированный вариант для большинства сценариев. Более компактные варианты экономят оперативную память, но снижают качество; часть форматов предназначена для ARM- и AVX-совместимого CPU-инференса. Поддерживаются MTP-слои при использовании актуальной версии llama.cpp и параметра draft-mtp. Преимущество модели — возможность локального запуска с выбором компромисса между качеством, размером и требованиями к памяти. Ограничения зависят от выбранного уровня квантизации и совместимости используемого инструмента; для недавно поддерживаемых моделей может потребоваться обновление программного обеспечения. Распространение указано по лицензии Apache-2.0.

RefalMachine RuadaptQwen2.5-32B-Pro-Beta — русскоязычная адаптация модели T-pro-it-1.0, опубликованная RefalMachine. Она основана на плотной архитектуре Qwen2.5 с 32 млрд параметров и предназначена для диалоговой генерации текста на русском языке. Модель объединяет базовые модели Qwen/Qwen2.5-32B и t-tech/T-pro-it-1.0, а затем адаптирована с помощью замены токенизатора, продолженного предобучения на русскоязычном корпусе и техники Learned Embedding Propagation (LEP). В метаданных указан контекст 32 768 токенов. Расширенный токенизатор на основе cl100k и униграммного словаря размером 48 тысяч токенов, по заявлению авторов, повышает скорость генерации русскоязычного текста до 60% относительно T-pro-it-1.0 при сравнении на одинаковых последовательностях. Модель подходит для русскоязычного диалога, ответов на вопросы и написания текстов; также заявлен интерфейс для вызова инструментов. Она выпущена под лицензией Apache-2.0. Авторы предупреждают, что ответы отражают данные обучения, а предобучение исходной сторонней модели ими не контролировалось; результаты оценки качества в карточке приведены не полностью.

Tess-M-v1.3 — языковая модель общего назначения из серии Tess, разработанной migtissera. Модель построена на архитектуре Llama и дообучена на базе Yi-34B-200K; размер составляет 33,9 млрд параметров. Она принимает текст и генерирует текст, используя формат диалога с ролями SYSTEM, USER и ASSISTANT. Модель предназначена для диалогов и генерации ответов, в том числе при работе с длинным контекстом до 200 000 токенов. В README указано, что версия 1.3 — стабильный выпуск, а при тестировании на длинных контекстах наблюдались редкие незначительные повторы. Лицензия обозначена в метаданных как other; конкретные условия следует проверять на странице модели.

Triangulum-5B-it — мультиязычная инструкционная языковая модель от prithivMLmods, построенная на авторегрессионной архитектуре LLaMA. Модель содержит 4,9 млрд параметров, принимает текст и генерирует текст; максимальная длина контекста составляет 8192 токена. В метаданных указана библиотека Transformers, формат весов safetensors и лицензия CreativeML OpenRAIL-M. Модель предназначена для диалога и генерации текста, включая ответы на вопросы, суммаризацию, анализ текста, перевод и создание контента. В README заявлены обучение на синтетических данных с длинными цепочками рассуждений, supervised fine-tuning и RLHF. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. README содержит несогласованности: в одном месте упоминается Triangulum 10B, а пример запуска ссылается на GGUF, тогда как метаданные этой модели указывают 4,9B параметров и safetensors. Качество рассуждений и заявленные методы обучения отдельно не подтверждены. Использование регулируется лицензией CreativeML OpenRAIL-M.

arcee-ai/DeepSeek-V3-0324-bf16 — конверсия модели DeepSeek V3 от Arcee AI в формат BF16. По метаданным это плотная авторегрессионная языковая модель архитектуры DeepseekV3ForCausalLM с 37,6 млрд параметров и контекстом до 163 840 токенов. Предназначена для генерации текста в диалогах и сценариях с интерфейсом вызова инструментов. Модель принимает текст и выдаёт текст. В карточке указана лицензия MIT. README сообщает о преобразовании весов из FP8 в BF16, но не даёт подробностей об обучении или результатах оценки.

DeepSeek-V4-Flash-Vision-Exp — экспериментальная мультимодальная модель семейства DeepSeek-V4, разработанная DeepSeek AI. Она построена на архитектуре DeepSeek-V4-Flash, дополненной визуальными модулями и дообученной для понимания изображений. Модель предназначена для мультимодальных агентских сценариев, анализа визуальной информации, работы с диаграммами и задач, где требуется сочетать текстовые и графические входные данные. Для текстовых агентских задач она сохраняет сопоставимую с DeepSeek-V4-Flash-0731 производительность. В репозитории заявлена поддержка OpenAI-style сообщений с блоками изображений и компактного TXT-формата с тегами <image>. Доступны tokenizer, средства кодирования запросов и минимальная реализация инференса на PyTorch, включающая vision encoder и aligner, DFlash attention, Mixture-of-Experts, Hyper-Connections и DSpark forward path. Точные размер модели, длина контекста, перечень поддерживаемых языков и характеристики визуального входа в представленном README не указаны. Сильная сторона модели — улучшенные мультимодальные агентские возможности по сравнению с DeepSeek-V4-Flash-0731; в README приведены результаты на ApexBench, Agents' Last Exam, Chartography и ZeroBench, а также набор текстовых агентских бенчмарков. Ограничения включают экспериментальный статус и отсутствие подробных сведений о масштабах, языках и требованиях к аппаратному обеспечению. Репозиторий распространяется по лицензии MIT.

EuroLLM-9B-Instruct-2512 — мультиязычная языковая модель с 8,6 млрд параметров, разработанная консорциумом Instituto Superior Técnico — University of Lisbon, Instituto de Telecomunicações, University of Edinburgh, Aveni, Unbabel и другими научными и коммерческими организациями при финансировании Европейского союза. Это дообученная версия EuroLLM-9B-2512 для диалогового взаимодействия и генерации текста; в ней применены расширение контекста и обновлённая схема постобучения. Модель использует плотную архитектуру семейства Llama и поддерживается библиотекой Transformers. Модель предназначена для генерации ответов и ведения диалога на европейских и других языках, включая русский, английский, арабский, китайский, хинди, японский и корейский. Родной размер контекста — 32 768 токенов. Веса опубликованы в формате Safetensors, лицензия — Apache License 2.0. Разработчики предупреждают, что модель не выровнена по человеческим предпочтениям и может галлюцинировать, выдавать вредоносный контент или ложные утверждения. Эти особенности следует учитывать при использовании ответов без проверки.

gemma-4-31B-it-GGUF — квантованная модель Gemma 4 с 31 млрд параметров, разработанная Google и представленная в формате GGUF организацией ggml-org. Это instruction-tuned модель на базе google/gemma-4-31B-it, предназначенная для запуска и инференса в совместимых средах, включая llama.app. По указанным метаданным модель поддерживает сценарии image-text-to-text, то есть обработку текстовых и визуальных входных данных с генерацией текста. Ключевая особенность этой версии — формат GGUF и квантование, направленные на снижение требований к памяти и упрощение локального запуска. README не содержит сведений о конкретном варианте квантования, размере файла, длине контекста, поддерживаемых языках, аппаратных требованиях или результатах тестирования, поэтому эти характеристики нельзя определить по предоставленным данным. Модель автоматически преобразована с использованием инструментария ggml-org/convert, что может влиять на совместимость и доступные способы запуска. Модель распространяется по лицензии Apache 2.0. Ограничения README не описывает; при практическом использовании следует учитывать ограничения исходной Gemma 4, особенности квантованной версии и возможности выбранного движка инференса.

GLM-5.3-Flash-VQ-2.7bpw — векторно-квантизированная версия мультимодальной модели GLM-5.3-Flash от zai-org, подготовленная TheDrainFlorist для Apple Silicon. Модель поддерживает работу с текстом и изображениями, ориентирована на задачи генерации и понимания текста, анализа изображений, программирования и других сценариев, доступных базовой vision-модели. Заявлены английский и китайский языки. Точная длина контекста в README не указана. Модель использует архитектуру MoE и занимает около 101,9 GiB. В основе применяется data-free vector quantization: большинство экспертных слоёв представлены кодами d=4/K=512, а восемь слоёв имеют повышенный размер кодбука d=4/K=2048; attention, эмбеддинги и выходная голова используют 8-битное affine-квантование, нормы, маршрутизаторы и vision tower из 347 тензоров сохраняются в bf16. Такой компромисс позволяет разместить модель на Mac с 128 ГБ памяти и обеспечивает лучшее качество, чем указанный affine q3 сопоставимого размера, хотя качество заметно ниже исходной bf16-модели и более крупных вариантов квантования. Для запуска требуется совместимый стек MLX: mlx-lm с поддержкой model_file и mlx-vlm версии не ниже 0.6.17 для изображений. Встроенный runtime поставляется внутри checkpoint, поэтому загрузчик должен поддерживать параметр model_file. Основные ограничения — большой объём памяти, зависимость от Apple Silicon и специализированного MLX-окружения; показатели производительности и качества приведены для конкретных тестовых корпусов и не гарантируют аналогичные результаты во всех задачах. В карточке указана лицензия MIT.

ibm-granite/granite-4.2-30b-fp8 — это версия модели Granite-4.2-30B в формате FP8, разработанная IBM и опубликованная в семействе моделей IBM Granite. Репозиторий предназначен для использования с библиотекой Transformers и содержит модель, оптимизированную по формату представления чисел FP8 относительно исходной версии ibm-granite/granite-4.2-30b. Модель относится к языковым моделям, однако README не содержит подробностей о её архитектуре, точном числе параметров, поддерживаемых языках, размере контекста, модальностях, целевых сценариях применения, производительности или известных ограничениях. За дополнительными характеристиками README направляет к карточке исходной модели Granite-4.2-30B. Модель распространяется по лицензии Apache-2.0. Практические условия запуска и требования к аппаратному обеспечению в предоставленных данных не указаны.

Kimi-Linear-48B-A3B-Base — базовая языковая модель Moonshot AI с архитектурой Kimi Linear и разреженной смесью экспертов. В карточке указаны 48 млрд параметров всего и около 3 млрд активируемых параметров; метаданные каталога отдельно приводят 2,7 млрд параметров. Модель использует гибридное внимание Kimi Delta Attention и MLA с соотношением 3:1 и предназначена для генерации текста, включая диалоги и задачи с длинным контекстом. Заявленная длина контекста — до 1 млн токенов. Архитектура нацелена на эффективную работу с длинными последовательностями: в README заявлены сокращение KV-кэша до 75% и ускорение декодирования до 6 раз в некоторых сценариях. Это базовая версия, поэтому для диалога и следования инструкциям может потребоваться дополнительная настройка. Указана лицензия MIT.

Megrez2-3x7B-A3B-Preview — предварительная версия языковой модели от Infinigence на архитектуре Mixture-of-Experts (MoE). Модель обучена на 5 трлн токенов; в карточке указано 3×7 млрд параметров, из которых активируются 3 млрд. Метаданные каталога указывают 2,7 млрд параметров. Модель принимает текстовые запросы и генерирует текст, в том числе в диалоговом режиме; заявлена длина контекста 163 840 токенов. Модель предназначена для генерации ответов и диалогов, а также для задач рассуждения и работы с агентами; разработчик описывает её как компактную модель с MoE, сочетающую сильные стороны экспертной и плотной архитектур. Доступны веса в формате safetensors, поддерживаются Transformers, vLLM и SGLang. Для инференса рекомендуется Transformers версии 4.52.4 или новее. Модель распространяется по лицензии Apache-2.0. Это preview-релиз: разработчик сообщает, что будущая официальная версия будет обучена на большем объёме данных и получит улучшенные способности к рассуждению и агентной работе. README не приводит численные результаты бенчмарков, поэтому качество для конкретных сценариев следует оценивать отдельно.

MeliodasPercival_01_Strangemerges_32Inex12 — объединённая текстовая модель на архитектуре Mistral, созданная слиянием automerger/MeliodasPercival_01-7B и automerger/Strangemerges_32Inex12-7B. Она предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом до 32 768 токенов. Модель содержит 7,1 млрд параметров и распространяется в формате Safetensors. Модель принимает текст и выдаёт текст. В доступных сведениях не названы целевые языки и специализированные предметные области. Лицензия — Apache-2.0.

unsloth/Meta-Llama-3.1-70B-bnb-4bit — это 4-битно квантованная версия базовой модели Meta Llama 3.1 70B, подготовленная Unsloth для эффективного использования и дообучения. Модель предназначена прежде всего для генерации и обработки текста, включая диалоговые сценарии, продолжение текста и адаптацию под специализированные наборы данных с помощью fine-tuning или DPO. Указан английский язык и поддержка библиотеки Transformers; мультимодальность не заявлена. Ключевая характеристика модели — размер 70 млрд параметров и представление в формате bnb-4bit, снижающее требования к памяти по сравнению с полной точностью. README не содержит сведений о длине контекста, точной архитектуре, вычислительной производительности именно этой версии или результатах оценки качества. К сильным сторонам относятся крупный размер базовой модели и возможность более доступного запуска и дообучения; ограничениями являются повышенные требования к вычислительным ресурсам по сравнению с меньшими моделями и возможные потери качества из-за 4-битной квантизации. Модель распространяется по лицензии llama3.1.

NousResearch публикует инструкционно настроенную модель Meta Llama 3.1 70B Instruct — плотную авторегрессионную языковую модель на архитектуре Transformer с 69,5 млрд параметров. Она принимает и генерирует текст, а версия Instruct предназначена для многоязычного диалога и работы в роли ассистента. Настройка включает дообучение с учителем и обучение с подкреплением на основе отзывов людей; модель поддерживает контекст до 131 072 токенов и использует Grouped-Query Attention для повышения эффективности вывода. Модель подходит для диалоговых приложений, ответов на вопросы и генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Её можно запускать через Transformers; карточка также описывает варианты загрузки в 4- и 8-битном формате для снижения требований к памяти. Русский язык не входит в перечень поддерживаемых языков. Ответственность за безопасную интеграцию, включая подключение внешних инструментов, лежит на разработчике приложения. Модель разработана Meta и распространяется по лицензии Llama 3.1 Community License с условиями, изложенными в лицензии и Acceptable Use Policy. Это статический чекпойнт, обученный на офлайн-данных; качество и безопасность ответов требуют проверки в целевом сценарии.

MaziyarPanahi/Mixtral-8x22B-v0.1-GGUF — это квантованная версия базовой языковой модели Mixtral-8x22B-v0.1, разработанной Mistral AI и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных сценариях инференса, включая работу через llama.cpp. Базовая модель допускает дообучение. Модель использует разреженную архитектуру Mixture of Experts (MoE): заявлено 176 млрд параметров, из которых около 35 млрд активны при обработке токена; в другом описании также указано 141 млрд параметров MoE. Заявленная длина контекста составляет до 65 тысяч токенов. Доступны варианты квантования от 2 до 8 бит, а также 16-битный вариант, что позволяет выбирать между требованиями к памяти и качеством. Указана поддержка английского, французского, испанского, итальянского и немецкого языков. Сильной стороной модели являются большой контекст, высокая емкость MoE-архитектуры и возможность локального запуска в квантованных вариантах: для FP16 требуется около 260 ГБ видеопамяти, для INT4 — около 73 ГБ. Ограничения включают значительные аппаратные требования даже при квантовании, а также отсутствие в README подробных результатов оценки качества и гарантии одинаковых характеристик для всех вариантов квантования. Модель распространяется по лицензии Apache 2.0.

Nemostein-3-Nano-Omni-30b-a3b-i1-GGUF — это GGUF-квантизированная версия модели GestaltLabs/Nemostein-3-Nano-Omni-30b-a3b. Квантизацию выполнил mradermacher с использованием weighted/imatrix-подхода. Модель предназначена для генерации текста на английском языке, диалоговых сценариев, задач рассуждения, использования инструментов и function calling. В метаданных модель отмечена как mixture-of-experts и связана с архитектурой Nemotron-H; обозначение базовой модели содержит параметры 30b-a3b, однако точное число активных параметров, размер контекста и подробности архитектуры в README не указаны. Поддержка других модальностей, кроме текстовой, также не подтверждена, несмотря на слово Omni в названии. Доступно множество вариантов GGUF-квантизации размером примерно от 18 до 33,6 ГБ, что позволяет выбирать компромисс между размером, скоростью и качеством. Сильными сторонами являются поддержка англоязычной генерации, reasoning, conversational use, tool use и function calling, а также широкий выбор уровней квантизации. Ограничения связаны с потерями качества, зависящими от выбранного варианта квантизации; некоторые низкобитные варианты в README прямо характеризуются как имеющие низкое качество. Лицензия указана как other, без дополнительных условий в представленном README.