II.3Рефакторинг, миграция и модернизация

RedHatAI/Meta-Llama-3.1-8B-Instruct-FP8 — квантизированная FP8-версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая instruction-tuned модель для генерации текста и ассистентского диалога, предназначенная для коммерческого и исследовательского использования. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако в документации отдельно указано ограничение на использование только английского языка. Модель содержит 8 млрд параметров и использует архитектуру Meta-Llama-3.1. Веса и активации линейных слоёв внутри трансформерных блоков квантизированы в FP8 с симметричной поканальной для всего тензора схемой; выходной слой lm_head не квантизируется. По сравнению с 16-битной версией это примерно вдвое снижает размер на диске и требования к памяти GPU. Модель оптимизирована для инференса через vLLM, включая совместимый с OpenAI интерфейс. К преимуществам относятся уменьшенное потребление памяти и эффективное развёртывание при сохранении близкого к исходной модели качества: средний результат на OpenLLM составляет 73,44 против 73,79 у неквантизированной версии. Ограничения связаны с возможной потерей качества из-за квантизации, зависимостью от vLLM и заявленным ограничением области применения. Модель распространяется по лицензии llama3.1; также необходимо соблюдать применимое законодательство и условия исходной лицензии Meta.

Ornith-1.5-35B-A3B-NInfer — квантованный артефакт модели Ornith-1.5-35B-A3B, разработанной shisa-ai на базе архитектуры Ornith и с компонентами, связанными с Qwen3.6-35B-A3B. Модель упакована в единый файл формата NInfer и предназначена для локального сервинга через NInfer, включая совместимый с OpenAI API интерфейс. Она ориентирована на текстовые и визуально-текстовые сценарии, а также на ускоренную генерацию с использованием speculative decoding. Модель построена по архитектуре Mixture-of-Experts размером 35B параметров: используется 256 экспертов, из которых 8 активируются для каждого токена. Архитектура включает 40 гибридных слоёв с линейным и полным вниманием, vision tower, однос слой MTP и контекст длиной до 262144 токенов. В артефакт встроены квантованные groupwise-int веса, MTP-голова, DFlash draft-модель, vision tower, токенизатор и официальный frontend Qwen. Размер файла составляет около 21,22 GiB; заявлена работа на одной видеокарте RTX 5090 с 32 ГБ памяти, при этом NInfer ориентирован на sm_120a. Сильными сторонами являются большое контекстное окно, поддержка изображений, единый переносимый артефакт и ускорение генерации за счёт MTP и DFlash. В README указано ожидаемое принятие спекулятивных токенов около 80% и примерно 3,4 токена за раунд для окна из 3 токенов, однако на дообученных сценариях скорость может снижаться, поэтому производительность следует измерять на собственных данных. Артефакт распространяется по лицензии Apache-2.0; он не является официальным релизом Qwen, shisa-ai, ornith-ai или NInfer.

microsoft/Phi-3-mini-4k-instruct-gguf — репозиторий с файлами в формате GGUF для Phi-3-Mini-4K-Instruct, разработанной Microsoft. Это компактная языковая модель для генерации текста и выполнения инструкций на английском языке, предназначенная для коммерческого и исследовательского использования, включая приложения с ограниченными ресурсами памяти и вычислений, требованиями к низкой задержке, а также задачи рассуждения, математики, логики, понимания языка и работы с контекстом. Модель содержит 3,8 млрд параметров и поддерживает контекст до 4096 токенов. Она обучалась на данных Phi-3, включающих синтетические примеры и отфильтрованные общедоступные веб-данные с акцентом на качество и плотность рассуждений. Постобучение включает supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и безопасности. Репозиторий предлагает варианты GGUF, включая 4-битную квантизацию Q4_K_M размером около 2,2 ГБ и FP16 размером около 7,2 ГБ. Сильными сторонами являются малый размер, эффективность в ресурсоограниченных и чувствительных к задержке сценариях, а также заявленная высокая производительность среди моделей с менее чем 13 млрд параметров. Модель не предназначена специально и не оценивалась для всех прикладных сценариев; перед использованием в ответственных областях необходимо проверять точность, безопасность и справедливость результатов. Модель распространяется по лицензии MIT.

Qwen2.5-14B-Instruct-MLX-8bit — квантованная 8-битная версия языковой модели Qwen2.5-14B-Instruct, адаптированная для MLX и Apple Silicon Mac. Исходную модель разработала команда Qwen, а MLX-квантизацию предоставил bartowski на основе инструментов mlx-examples. Модель предназначена для генерации текста, диалоговых сценариев и задач, требующих понимания и генерации структурированных данных. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Она обучена на большом наборе данных и заявлена как поддерживающая более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Архитектура и точное число параметров исходной модели обозначены в идентификаторе как 14B; сведения о конкретной архитектуре в README не приведены. К сильным сторонам относятся широкий языковой охват, длинный контекст, возможности работы со структурированными данными и локальный запуск на совместимых Mac с Apple Silicon. Ограничения включают зависимость от MLX и совместимого оборудования, а также типичные для генеративных моделей риски неточностей, вредного или неподходящего содержания. Модель распространяется по лицензии Apache-2.0.

Unsloth представил эту версию инструктивно дообученной языковой модели Qwen2.5 с 1,5 млрд параметров. Это плотная авторегрессионная модель семейства Qwen2, рассчитанная на диалоги и генерацию текста; метаданные также отмечают интерфейс для вызова инструментов. Архитектура Qwen2 использует RoPE, SwiGLU, RMSNorm и grouped-query attention. Контекст модели — 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель подходит для чат-ботов, следования инструкциям, генерации длинных и структурированных ответов, включая JSON, а также задач по программированию и математике. В карточке заявлена поддержка более 29 языков, среди них английский, китайский и русский; метаданные отдельно подтверждают английский. Модель загружается через Transformers и сохранена в формате safetensors. Лицензия — Apache-2.0. Компактный размер упрощает применение модели по сравнению с более крупными версиями семейства, однако качество и устойчивость могут быть ниже, чем у более крупных моделей; README не приводит подробных результатов оценки именно этого репозитория. Для работы требуется достаточно свежая версия Transformers: README предупреждает о проблемах с версиями ниже 4.37.0.

Qwen3.5-9B-AWQ — это 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen группы Alibaba. Модель предназначена для генерации текста по текстовым запросам, а также для обработки интерleaved-входов с изображениями и текстом; базовая модель также поддерживает видео. Предусмотрен режим рассуждений, включённый по умолчанию. Модель содержит около 9 млрд параметров и использует гибридную архитектуру Gated DeltaNet и sparse MoE с vision encoder. Нативная длина контекста составляет 262 144 токена, с возможностью расширения посредством RoPE scaling. Заявлена поддержка 201 языка и диалекта. Квантизация выполнена по схеме W4A16: веса линейных слоёв языковой модели представлены в 4-битном формате, а активации — в 16-битном; vision tower, router gates и lm_head сохранены в более высокой точности. Главное преимущество версии AWQ — уменьшенные требования к дисковому пространству и VRAM при сохранении возможностей базовой vision-language модели, что делает её подходящей для запуска на одной потребительской GPU. Для инференса требуется совместимая GPU с поддержкой INT4 Marlin и свежая версия vLLM с поддержкой архитектуры Qwen3_5ForConditionalGeneration; работоспособность проверена на NVIDIA Blackwell. Ограничения включают зависимость от поддержки compressed-tensors в используемом стеке и потенциальные потери точности, характерные для квантизации, хотя vision tower намеренно не квантизован для сохранения качества понимания изображений. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели Qwen3.5-9B.

RedHatAI/Qwen3.5-9B-quantized.w4a16 — квантованная версия мультимодальной модели Qwen3.5-9B, разработанная RedHatAI на базе модели Qwen от Qwen. Она принимает текст и изображения, а генерирует текст; модель предназначена для диалоговых приложений, анализа визуальной информации, выполнения инструкций и задач рассуждения. Для работы рекомендуется использовать vLLM, поддерживаются мультимодальный и текстовый режимы. Модель содержит около 9 млрд параметров и использует квантование весов INT4 по схеме W4A16 при сохранении исходной точности активаций. Квантируются линейные операторы в трансформерных блоках, тогда как vision encoder, токенизаторные embeddings и linear attention layers остаются в BF16. Размер на диске составляет около 11 ГБ против 19,3 ГБ у версии BF16, что снижает требования к памяти. В конфигурации vLLM заявлена максимальная длина контекста 262144 токена. К сильным сторонам относятся существенное сокращение размера и возможность эффективного инференса при сохранении близкой к исходной точности: на опубликованных тестах результаты квантованной версии составили 97,9–100,1% от показателей базовой модели на задачах следования инструкциям. Ограничения связаны с частичным, а не полным квантованием, зависимостью от совместимого стека vLLM и отсутствием в представленном описании сведений о поддерживаемых языках и подробных характеристиках архитектуры. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Brainwaves-Nex-i1-GGUF — это GGUF-квантизированная версия модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex, подготовленная mradermacher. Модель предназначена для локального запуска задач генерации текста и диалогов, включая рассуждения, математику, STEM, программирование и многоязычные сценарии. В README также указано, что это vision-модель, поэтому для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Заявлены языки English, Chinese, Japanese и Spanish. Доступны варианты квантизации i1 от Q2_K до Q6_K, включая IQ-квантизации и imatrix-файл; размер файлов составляет примерно от 13,3 до 29,3 ГБ. Вариант Q4_K_M отмечен как быстрый и рекомендуемый, а Q4_K_S — как компромисс между размером, скоростью и качеством. Точный размер контекста, детальные сведения об архитектуре, результаты тестирования и системные требования в README не указаны. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся неизбежная потеря качества при низких уровнях квантизации, отсутствие подробных бенчмарков и неполная документация по использованию мультимодальных возможностей.

Cyronius/Qwen3.8-Flash-Next-131B-A6B-GGUF — это оптимизированная GGUF-версия Qwen3.8-Flash-Next, основанная на модели Qwen от Qwen и подготовленная автором Cyronius. Модель предназначена для генерации текста, рассуждений и агентских сценариев с вызовом инструментов через llama.cpp. Это текстовая сборка; отдельные vision-тензоры поставляются отдельно, а работа визуального контура после модификации не тестировалась. Модель использует MoE-архитектуру с 48 слоями и 512 экспертами, из которых активируются параметры объёмом около 6B на токен. Общее число параметров сокращено примерно с 176B до 131B за счёт уменьшения n-gram hash-embedding-таблицы с 51,2B до 6,4B параметров: сохранено по одной из восьми голов для каждого типа n-грамм. Основная сборка Q3_K_XL занимает 64,8 GB, также доступна версия Q4_0 размером 75,4 GB. Заявлена поддержка контекста до 256K токенов в исходной архитектуре, но поведение на длинном контексте для этой модификации не проверялось; опубликованные тесты проведены при контексте до 8K. По небольшому набору тестов сборка сохранила показатели базовой модели в tool calling, GSM8K и MMLU, однако perplexity на WikiText-2 ухудшилась с 2,40 до 4,66. Поэтому модель хорошо подходит для рассуждений, задач общего назначения и вызова инструментов, но может быть менее качественной в точном воспроизведении цитат, шаблонного текста и других сценариях, зависящих от поверхностного предсказания продолжений. Q4_0 структурно проверена, но отдельно не тестировалась. Для запуска требуется llama.cpp от 2026-08-27 или новее с поддержкой qwen4exp, а также значительный объём VRAM или оперативной памяти. Модель распространяется по лицензии qwen-community-1.0.

devan-carlin/Qwen3.8-Flash-Next-W4A16 — сообщественная W4A16-квантизированная версия Qwen3.8-Flash-Next, базовую модель и лицензию которой разработала команда Qwen. Репозиторий предоставляет квантизацию и рецепт запуска на Intel XPU с использованием patched vLLM. Модель предназначена для генерации текста, рассуждений, вызова инструментов и мультимодальных сценариев с обработкой изображений; доступны текстовые и графические входы через процессор Qwen3-VL. Модель использует MoE-архитектуру с 125B параметров и примерно 6B активных параметров. Экспертные веса квантизированы в int4 по схеме group-128 с активациями A16, а отдельные компоненты, включая визуальный модуль, эмбеддинги и ряд служебных слоёв, сохранены в BF16. Поддерживается контекст до 256K токенов и FP8 KV-кэш. В составе присутствует 27-блочный vision tower, совместимый с Qwen3-VL. Для корректной работы требуется PLE n-gram table объёмом около 96 ГБ в оперативной памяти. К сильным сторонам относятся большой контекст, MoE-эффективность, поддержка изображений и возможность производительного запуска на Intel Arc Pro B70: заявлено около 53,4 токена в секунду на конфигурации из четырёх ускорителей. Ограничения существенны: необходимы четыре Intel Arc Pro B70 с суммарно 128 ГБ VRAM, не менее 128 ГБ оперативной памяти, специальная версия vLLM и закреплённые версии XPU-зависимостей. Для этого чекпойнта рекомендуется температура не выше примерно 0,7, поскольку при более высоких значениях наблюдаются повторения и деградация вывода. Модель распространяется по Qwen Community License 1.0; лицензия указана как other.

Qwopus-GLM-18B-Merged-GGUF — экспериментальная текстовая модель семейства Qwen3.5, созданная на основе двух дообученных моделей Jackrong: Qwopus3.5-9B-v3.5 и Qwen3.5-9B-GLM5.1-Distill-v1. Модель собрана методом frankenmerge: объединены по 32 слоя каждой исходной модели, всего 64 слоя и около 18 млрд параметров. После объединения выполнено 1000 шагов QLoRA-дообучения для устранения проблем на границе слоёв. В репозитории представлена версия в формате GGUF с квантизацией Q4_K_M размером около 9,2 ГБ. Модель предназначена для генерации текста, рассуждений, диалогов, программирования, структурированного вывода, tool calling и агентских сценариев. Заявлена поддержка английского, китайского, корейского, японского, французского, немецкого и испанского языков. По данным авторского набора из 44 тестов, модель получила 40 успешных результатов, включая максимальные показатели в категориях базовой генерации, рассуждений, вызова инструментов и агентских рабочих процессов. Она ориентирована на локальный запуск и, согласно README, помещается в 12 ГБ видеопамяти; заявленная производительность составляет около 66 токенов в секунду. Сильными сторонами являются tool calling, агентское рассуждение, многоязычная генерация и улучшенная после «лечения» корректность HTML, CSS и JavaScript. Ограничения включают экспериментальный статус, отсутствие полной независимой оценки и остаточные проблемы в программировании: три теста из пятнадцати не пройдены из-за ошибок именования функций, скобок JavaScript и формата блока кода. Размер контекста в README не указан. Модель распространяется по лицензии Apache-2.0.

Qwythos-27B-v1-GGUF — это набор GGUF-квантизаций модели Qwythos-27B-v1, разработанной компанией Empero. Модель предназначена для локального запуска через llama.cpp, Ollama, LM Studio, jan, KoboldCpp и другие совместимые среды. Это плотная гибридная модель семейства Qwen3.5 с 27 миллиардами параметров, прошедшая SFT, DPO и ESFT; представленная версия является предварительной RL-оптимизации v1. Модель поддерживает текстовые задачи и обработку изображений при использовании отдельного vision-проектора mmproj-Qwythos-27B-F16.gguf. Заявлены встроенные MTP-возможности для ускорения генерации, мультимодальность и контекстное окно до 1 048 576 токенов. Доступны варианты от Q4_K_M до BF16 с различным соотношением размера, качества и требований к памяти; Q4_K_M указан как рекомендуемый вариант по умолчанию. На практике полноценное использование длинного контекста требует значительных ресурсов для KV-кэша, а более точные варианты могут потребовать 48–80 ГБ видеопамяти, нескольких GPU или выгрузки части вычислений на CPU. Модель подходит для локальных диалоговых и аналитических сценариев, рассуждений, агентных задач, работы с длинным контекстом и анализа изображений. Сильными сторонами являются сохранённые vision tower и MTP head, большой контекст и широкий выбор квантизаций. Ограничения связаны с высокими требованиями к памяти, зависимостью MTP от свежей версии llama.cpp и необходимостью отдельного vision-проектора для изображений. Модель и её квантизации распространяются по лицензии Apache-2.0.

Swift-Qwen3.8-27B-Uncensored-NVFP4-LocalHessian-ActivationHeadroom-NInfer — мультимодальная модель, разработанная на базе d0xin/Swift-Qwen3.8-27B-Uncensored-BF16 и распространяемая в формате NInfer. Это квантованная сборка семейства Swift-Qwen3.8 с поддержкой текстовых и визуальных входов, рассуждений, агентских сценариев, вызова инструментов и длинного контекста. Модель позиционируется как версия с существенно сниженным количеством отказов, однако это также уменьшает встроенную фильтрацию безопасности. Архитектура использует смешанную точность: MLP-слои 0–55 работают в NVFP4 W4A4, остальные MLP-слои, проекции self-attention и linear-attention/GDN, эмбеддинги и LM head — в row-wise FP8, а GDN a/b — в BF16. Калибровка выполнена с помощью NVIDIA ModelOpt Local-Hessian, activation headroom и подбора FP8-масштабов. Размер модели — 27B параметров; точный набор поддерживаемых языков в README не указан. По заявленным измерениям на NVIDIA RTX PRO 6000 Blackwell сборка обеспечивает на 20,4–26,6% более высокую скорость декодирования, на 33,8–38,2% более высокую скорость prefill и на 15,1% меньшее потребление VRAM по сравнению с FP8. На фиксированной выборке MMLU-Pro она показала 80,36% точности при рекомендованном thinking budget 2048, но результаты зависят от оборудования и конфигурации. Рекомендуется использовать NInfer с NVIDIA Blackwell sm_120a; работа на RTX 5090 ожидается, но непосредственно автором не проверялась. Лицензия — Swift Open License 1.0.

Sakalti/ultiima-72B-v2.0 — объединённая методом DARE TIES языковая модель, созданная с помощью mergekit на основе Sakalti/ultiima-72B с добавлением моделей Homer-v1.0-Qwen2.5-72B и shuttle-3. Модель разработана для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Это плотная архитектура Qwen2 с 71,5 млрд параметров, рассчитанная на контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors; модель использует библиотеку Transformers. Указана лицензия «other», поэтому условия использования следует сверять с лицензиями исходных моделей и карточкой репозитория.

XVERSE-13B — многоязычная языковая модель, самостоятельно разработанная компанией Shenzhen Yuanxiang Technology. Это плотная decoder-only модель на архитектуре Transformer с 13,2 млрд параметров и контекстом до 8192 токенов. Репозиторий содержит веса PyTorch; лицензия Apache-2.0 разрешает коммерческое использование на её условиях. Модель предназначена для генерации текста, многоходового диалога, ответов на вопросы и суммаризации. Она обучалась на разнообразных данных более чем на 40 языках; в карточке особо отмечены китайский и английский, а также русский и испанский. BPE-токенизатор использует словарь размером 100 534 токена. В карточке также приведены оценки на тестах по пониманию языка, рассуждениям, математике и программированию. Как и другие большие языковые модели, XVERSE-13B может генерировать неточные, предвзятые или оскорбительные ответы. Для конкретного применения разработчикам рекомендуется проверять безопасность и качество ответов. В README указана более новая версия XVERSE-13B-2, обученная на большем объёме данных; описываемая здесь модель — исходная версия.

Citaman/command-r-10-layer — языковая модель генерации текста, созданная с помощью mergekit из двух перекрывающихся срезов слоёв модели Citaman/command-r-11-layer, объединённых методом SLERP. Она предназначена для диалогов и генерации текста; в метаданных также отмечен интерфейс вызова инструментов. Модель построена на плотной архитектуре CohereForCausalLM и содержит 10,3 млрд параметров. Модель принимает текст и выдаёт текст. Указанная длина контекста — 8192 токена. Веса опубликованы в формате safetensors и типе bfloat16. Метаданные не называют поддерживаемые естественные языки. Лицензия в предоставленных данных не указана.

Granite-4.0-H-1B-Base — базовая языковая модель команды Granite компании IBM для генерации текста. Это декодерный плотный трансформер семейства GraniteMoeHybrid с компонентами GQA, Mamba2, SwiGLU и RMSNorm. Модель содержит 1,2 млрд параметров, обучена с нуля примерно на 15 трлн токенов и поддерживает контекст до 131 072 токенов. Модель предназначена для краткого и эффективного запуска, в том числе на устройствах с ограниченными ресурсами, и для офлайн-сценариев, где важна приватность. Она может использоваться для суммаризации, классификации и извлечения информации, ответов на вопросы и дополнения кода; поддерживается заполнение пропусков в коде в формате Fill-in-the-Middle. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель распространяется по лицензии Apache 2.0. Она не проходила выравнивание безопасности, поэтому может генерировать проблемный или недостоверный текст; авторы также отмечают риск дословного воспроизведения обучающих данных. Качество следует проверять для конкретной задачи.

haLLAwa3 — объединённая языковая модель AbacusResearch на архитектуре Mistral с 7,1 млрд параметров. Она создана методом слияния mergekit моделей openchat/openchat-3.5-0106 и machinists/Mistral-7B-SQL; в конфигурации указаны метод slerp и точность bfloat16. Модель предназначена для генерации текста и диалоговых ответов, в том числе для задач, где нужны краткие прямые ответы, понимание документов и работа с SQL. Контекст модели составляет до 32 768 токенов. В README приведены результаты Open LLM Leaderboard: средний балл 71,34, включая 67,83 на AI2 Reasoning Challenge и 87,02 на HellaSwag; эти показатели относятся к указанным тестам и не гарантируют точность в конкретном применении. Лицензия — Apache-2.0.

NVIDIA Llama 3.1 405B Instruct NVFP4 — квантованный чекпойнт Meta Llama 3.1 405B Instruct, подготовленный NVIDIA с помощью TensorRT Model Optimizer. Это авторегрессионная плотная трансформерная языковая модель семейства Llama для генерации текста по инструкциям, диалога и интерфейсов вызова инструментов. Веса и активации линейных операторов в блоках трансформера квантованы до FP4; заявленное сокращение требований к диску и памяти GPU составляет примерно 3,5 раза. Модель содержит 403,7 млрд параметров и поддерживает контекст до 131 072 токенов. Модель принимает текст и выдаёт текст. Для инференса предусмотрен TensorRT-LLM; README указывает совместимость с архитектурой NVIDIA Blackwell и Linux. Можно применять для диалоговых ассистентов, генерации и преобразования текста по инструкциям, а также сценариев с вызовом инструментов. README заявляет возможность коммерческого и некоммерческого использования; лицензия в метаданных — llama3.1. Квантование может влиять на точность, а для запуска требуется совместимое оборудование и программный стек TensorRT-LLM.

Карточка модели livil/llama3.1-8b-instruct на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta-Llama-3.1-8B-Instruct — инструктивно дообученная языковая модель семейства Llama 3.1, разработанная Meta. Это плотная авторегрессионная модель на архитектуре Transformer с 7,5 млрд параметров; версия Instruct прошла supervised fine-tuning и обучение с обратной связью от людей. Репозиторий содержит веса в формате safetensors, модель предназначена для генерации текста и диалогов с помощником. Окно контекста — 131 072 токена. Модель рассчитана на многоязычный диалог, ответы на вопросы, написание и преобразование текста, а также может использоваться в приложениях и для создания синтетических данных. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель принимает и выдаёт текст; поддержка инструментов зависит от интеграции разработчиком. Модель выпущена Meta 23 июля 2024 года. Лицензия — Llama 3.1 Community License с условиями использования и Acceptable Use Policy; перед коммерческим применением необходимо ознакомиться с её условиями. Это статический чекпойнт, обученный на офлайн-данных. Качество и безопасность ответов могут различаться между языками, а карточка не заявляет поддержку русского языка.

Это GGUF-квантизированная версия Mistral-Small-3.1-24B-Instruct-2503, разработанного Mistral AI и подготовленного пользователем bartowski. Модель предназначена для диалоговых задач и сценариев, где требуется обработка текста и изображений, и может запускаться через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит 24 млрд параметров и поддерживает мультимодальный режим с входными данными в виде текста и изображений; для работы с изображениями требуется отдельный файл mmproj. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Доступны варианты от BF16 до различных форматов квантования GGUF размером примерно от 12,76 до 47,15 ГБ. В README размер контекста не указан. Основное преимущество — сочетание высокой точности исходной модели с выбором квантизаций, позволяющих адаптировать требования к памяти и качеству; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M рекомендован как типичный компромисс. Ограничения включают значительный объём файлов, зависимость мультимодальной работы от mmproj и возможное снижение качества у более компактных вариантов. Лицензия — Apache-2.0.

Muse Glimmer 30B NVFP4 — квантизированная версия мультимодальной vision-language модели Muse Glimmer 30B с базовой моделью meta-models/Muse-Glimmer-30B. Конверсия выполнена в формат NVIDIA ModelOpt NVFP4 W4A4; публикация содержит модель примерно на 29,8 млрд параметров. Модель предназначена для задач, объединяющих обработку текста и изображений, включая диалоговые, агентские, программные, математические и мультимодальные сценарии. В 52 слоях квантизированы 416 линейных проекций декодера: компоненты attention и MLP. Веса и активации представлены 4-битными значениями с блочной обработкой по 16 элементов, тогда как vision tower, адаптеры и проекции зрения, эмбеддинги, нормализации и LM head сохранены в BF16. KV-кэш не квантизирован. Размер файлов safetensors составляет около 23,38 ГБ без учёта токенизатора и конфигурации. В калибровке использовались данные для программирования, агентских задач, рассуждений, математики, мультиязычных и мультимодальных запросов, однако точный список поддерживаемых языков README не указывает. По заявленным проверкам, на сопоставимом тесте MMLU-Pro квантизированная версия показала тот же результат, что и BF16, а рост perplexity на WikiText-2 составил 4,25%; средняя дивергенция распределений следующего токена — 0,091815 ната. Это указывает на высокую близость к исходной модели, но возможна некоторая потеря качества. Работоспособность квалифицирована на одной NVIDIA RTX PRO 6000 Blackwell с native vLLM, специальным NVFP4-ядром FlashInfer, CUDA graphs и speculative decoding через Muse Glimmer DFlash; совместимость с другими конфигурациями не гарантируется. Модель распространяется по лицензии Apache-2.0.

Phi-3.5-mini-instruct-4bit — инструкционная языковая модель для генерации текста, созданная Microsoft и преобразованная сообществом mlx-community в формат MLX. Модель предназначена для диалоговых сценариев, ответов на вопросы и решения задач обработки естественного языка; в метаданных также указана релевантность для работы с кодом. Поддерживается библиотекой mlx-lm и рассчитана на запуск в экосистеме MLX. Модель представлена в 4-битном варианте, что обычно позволяет снизить требования к памяти по сравнению с полноразмерным представлением, однако точный размер, архитектура, длина контекста и перечень поддерживаемых языков в README не указаны. В метаданных заявлена многоязычность. Сильными сторонами являются инструкционный формат, возможность генерации текста и адаптация к MLX; ограничения и результаты тестирования не приведены. Конвертация выполнена из microsoft/Phi-3.5-mini-instruct с использованием mlx-lm версии 0.17.0. Модель распространяется по лицензии MIT.

attashe/q-2.5-deepseek-r1-veltha-v0.2 — объединённая 14-миллиардная языковая модель, созданная методом SLERP с помощью mergekit на основе deepseek-ai/DeepSeek-R1-Distill-Qwen-14B и djuna/Q2.5-Veltha-14B. Она использует плотную архитектуру Qwen2 для генерации текста и диалогов; модель поддерживает контекст до 131 072 токенов и работает через Transformers с весами в формате safetensors. Модель предназначена для диалоговых сценариев и генерации текста. Базовая модель DeepSeek-R1-Distill-Qwen рассчитана, в частности, на задачи рассуждения, математики и программирования; карточка этой модели не уточняет, насколько хорошо объединённая версия сохраняет эти возможности. В метаданных также отмечен интерфейс вызова инструментов. Лицензия в предоставленных данных не указана.

attashe/q-2.5-deepseek-r1-veltha-v0.4 — объединённая модель языковой модели, созданная с помощью mergekit методом Linear DELLA. В качестве базовой использована arcee-ai/SuperNova-Medius; в объединение также вошли allura-org/TQ2.5-14B-Aletheia-v1, huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2, EVA-UNIT-01/EVA-Qwen2.5-14B-v0.2 и v000000/Qwen2.5-Lumen-14B. Модель построена на архитектуре Qwen2 с плотной 14-миллиардной языковой моделью и предназначена для диалогов и генерации текста. Она загружается через Transformers, использует формат safetensors и поддерживает контекст до 131 072 токенов; метаданные также отмечают интерфейс вызова инструментов. Лицензия в предоставленных данных не указана.

Qwen2.5-1.5B-Instruct-GPTQ-Int4 — это компактная инструкционно дообученная причинная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для чат-ботов, генерации и продолжения текста, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON, а также для задач программирования и математики. Она поддерживает более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, японский и корейский. Модель содержит 1,54 млрд параметров, 28 слоёв и использует архитектуру Transformers с RoPE, SwiGLU, RMSNorm, смещениями QKV в механизме внимания и связанными эмбеддингами слов. Применяется GQA с 12 головами для Q и 2 для KV. Контекст составляет до 32 768 токенов, максимальная длина генерации — 8192 токена. GPTQ-квантизация до 4 бит уменьшает требования к памяти по сравнению с полноразмерной версией, но квантизация может влиять на качество и производительность. Модель ориентирована на локальное и ресурсо-ограниченное развертывание через библиотеку Transformers; для работы рекомендуется использовать актуальную версию библиотеки. README не содержит конкретных результатов тестов, требований к видеопамяти или показателей скорости, поэтому практические характеристики зависят от оборудования и конфигурации. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-GGUF — это квантизированная версия языковой модели Qwen3-4B, разработанной командой Qwen. Квантизацию в формате GGUF выполнил bartowski на основе llama.cpp, релиз b5200. Модель предназначена для локального запуска и генерации текста. Модель поддерживает режимы рассуждения и обычной генерации, а также параметр /no_think для отключения рассуждений. Она ориентирована на следование инструкциям, творческое письмо, ролевые сценарии, многошаговые диалоги, математику, программирование, задачи на здравый смысл и агентские сценарии. Заявлена поддержка более 100 языков и диалектов. Максимальная длина контекста составляет до 131 072 токенов при использовании YaRN, при этом значение по умолчанию указано как 32 000 токенов. Сильными сторонами являются улучшенные способности к рассуждению, широкий языковой охват и возможность выбора между режимами с рассуждением и без него. Ограничения включают типичные для языковых моделей риски неточных, вредных или неподходящих ответов; кроме того, README не содержит сведений о конкретном варианте квантизации, требованиях к ресурсам и лицензии.

Vishva007/Qwen3.5-9B-W4A16-AutoRound-GPTQ — квантизированная версия модели Qwen/Qwen3.5-9B, подготовленная Vishva007 с использованием метода AutoRound от Intel. Модель предназначена для генерации текста, задач рассуждения и обработки изображений с текстом, включая визуальное понимание и OCR. Она поддерживает архитектуру и возможности базовой модели Qwen3.5-9B; точный размер контекста и перечень языков в README не указаны. Используется квантизация W4A16: веса представлены в 4-битном формате, а активации сохраняются в 16-битной точности. Применены симметричная квантизация с размером группы 32, 1200 итераций оптимизации и 512 калибровочных образцов при длине последовательности 4096. По заявлению автора, это снижает потребление памяти примерно на 50% по сравнению с FP16-версией и подходит для развёртывания на потребительских и средних GPU. Vision Tower сохранён в BF16 для сохранения качества визуального анализа и OCR, а модули Multi-Token Prediction — в исходной BF16-точности. Модель поддерживает Multi-Token Prediction и спекулятивное декодирование в совместимых серверных средах, включая vLLM, что может повысить пропускную способность. Совместимость заявлена для transformers и бэкендов, поддерживающих веса AutoRound в формате GPTQ, включая vLLM, SGLang и AutoGPTQ. Ограничения связаны с зависимостью от совместимого программного обеспечения и аппаратной поддержки квантизации; количественные результаты тестов качества в README не приведены. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Fable-Holo3-Qwopus — мультимодальная диалоговая модель, созданная NightmediaAI путём слияния нескольких моделей на базе Qwen3.6-35B-A3B, включая дистиллированную Fable и Holo3-Qwopus. Архитектура относится к семейству Qwen3.5 MoE; каталог указывает класс Qwen3_5MoeForConditionalGeneration. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Модель предназначена для диалогов и следования инструкциям, генерации текста и анализа изображений; метаданные также отмечают интерфейс вызова инструментов. Карточка указывает поддержку английского, китайского, японского и испанского языков. README приводит результаты отдельных бенчмарков и обсуждает варианты квантования Deckard(qx), но не предоставляет подтверждённых данных о контекстном окне или качестве на практических задачах этой итоговой сборки.

satgeze/Qwen3.6-35B-Uncensored-HauhauCS-1M-GGUF — GGUF-сборка модели Qwen3.6-35B-A3B, основанная на uncensored-варианте HauhauCS. Модель предназначена для генерации текста, диалоговых и агентских сценариев, работы с длинными документами и задач, требующих анализа изображений. Поддерживаются llama.cpp и Ollama; заявлена совместимость с агентскими клиентами через Anthropic Messages API. Модель использует исходный контекст 262 144 токена, расширенный до 1 048 576 токенов с помощью YaRN RoPE scaling с коэффициентом 4. В сборку включён слой MTP для speculative decoding: по данным README, на RTX 5090 скорость выросла с 284,6 до 380,1 токена в секунду, а результат декодирования остаётся идентичным стандартному режиму. Визуальный ввод обеспечивается отдельной башней mmproj размером около 899 МБ, которая подключается во время запуска. Основной файл Q4_K_M имеет размер около 21,7 ГБ. К сильным сторонам относятся очень длинный контекст, проверенная авторами работа поиска информации на диапазоне до 1M токенов, поддержка изображений и ускоренное декодирование через MTP. Ограничения включают необходимость совместимого рантайма и значительных аппаратных ресурсов, а также отдельную установку vision-компонента для визуальных задач. Сведения о поддерживаемых языках и точной архитектуре в README не приведены. Модель распространяется по лицензии Apache-2.0.