II.3Рефакторинг, миграция и модернизация

Qwen3.5-0.8B — компактная мультимодальная модель семейства Qwen, представленная в репозитории ensu-app/Qwen3.5-0.8B-GGUF и основанная на Qwen/Qwen3.5-0.8B. README не указывает отдельного разработчика репозитория; модель относится к линейке Qwen. Она предназначена для прототипирования, исследовательских и разработческих задач, а также для дообучения под конкретные сценарии. Поддерживает работу с текстом и изображениями благодаря архитектуре языковой модели с vision encoder, включая задачи рассуждения, программирования, визуального понимания и агентных сценариев. Модель содержит 0,8 млрд параметров, 24 слоя, скрытое измерение 1024 и нативный контекст до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель обучалась в режимах pre-training и post-training, а веса и конфигурации совместимы с Transformers, vLLM, SGLang и KTransformers. Для локального запуска и дообучения рекомендуется использовать инструменты Unsloth. К сильным сторонам относятся малый размер, потенциально высокая скорость и низкая стоимость инференса, мультимодальность, большой контекст и широкое языковое покрытие. Ограничение — относительно небольшой масштаб в 0,8 млрд параметров, поэтому модель ориентирована прежде всего на прототипы, специализированное дообучение и исследования, а не на универсальные задачи максимальной сложности. В README указана лицензия Apache-2.0.

ashuaria/Qwen3.8-Flash-Next-GGUF-FineTuning — GGUF-версия экспериментальной мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen и опубликованной для запуска через llama.cpp или Unsloth Desktop. Модель предназначена для задач обработки текста и изображений, включая мультимодальные приложения и агентские сценарии с длинным контекстом. Это авторегрессионная языковая модель с vision encoder, построенная на гибридной архитектуре Qwen3.8-Flash-Next. Она использует Gated DeltaNet и Qwen Sparse Attention, Gated Residual, n-gram embedding и Mixture of Experts. Заявлено 125 млрд параметров, из которых активируется 6 млрд, дополнительно используются 51 млрд параметров n-gram embedding и 4 млрд для MTP. Модель содержит 48 слоёв, 512 экспертов с 10 маршрутизируемыми и одним общим активируемым экспертом, а её нативный контекст составляет 262 144 токена с возможностью расширения до 1 млн токенов. Сильными сторонами являются высокая эффективность активации параметров, поддержка длинного контекста, разреженное внимание на уровне блоков и сочетание текстовой и визуальной обработки. README не указывает точный список поддерживаемых языков, конкретные значения квантования GGUF, системные требования или результаты бенчмарков. Модель распространяется по лицензии qwen-community-1.0; указано, что это экспериментальный preview архитектуры, которая должна лечь в основу Qwen4, поэтому совместимость и стабильность следует проверять в целевом окружении.

Suzhou 3.1 — созданная Tripplet Models инструкционная языковая модель с архитектурой причинного трансформера Qwen3.5, объединённая методом SLERP. В метаданных указано 7,2 млрд параметров, а README сообщает об округлённом размере 8,95 млрд; модель использует смешанное внимание с линейными и полными слоями и поддерживает контекст до 262 144 токенов. Модель предназначена для диалогов, рассуждений, генерации текста и работы в роли агента с вызовом инструментов в формате Hermes. Заявлена поддержка более 29 языков; метаданные перечисляют английский, китайский, корейский, японский, французский, испанский, немецкий, итальянский, русский и арабский. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0. README описывает модель как пригодную для потребительского оборудования, но не приводит результатов сравнительных тестов.

Swift-Qwen3.8-27B-Uncensored-Dynamic-MTP-GGUF — набор GGUF-квантов модели Swift-Qwen3.8-27B-Uncensored-MTP, разработанный ajgazin. В основе лежит Swift-Qwen3.8-27B от UkisAI — дообученная для эффективного рассуждения версия Qwen3.8-27B. Модель предназначена для генерации текста, диалогов и задач рассуждения, а также поддерживает обработку изображений и видео через отдельный vision projector. Вариант содержит MTP head для self-speculative decoding в llama.cpp и ориентирован на локальный запуск через llama.cpp; заявлена совместимость также с vLLM и SGLang для NVFP4-варианта. Доступны варианты от UD-Q2_K_XL размером 9,2 GiB до UD-Q8_K_XL размером 29,3 GiB, а также исходный BF16-файл размером 50,9 GiB. Разные уровни квантования позволяют запускать модель на GPU с 12, 16, 20, 24, 32 и 48 GiB памяти, при необходимости используя частичную выгрузку на CPU. Для заявленного запуска используется контекст до 32768 токенов. Более крупные варианты ближе к качеству BF16: для UD-Q8_K_XL совпадение наиболее вероятного токена составляет 98,8%, для UD-Q4_K_XL — 95,8%, а для UD-Q2_K_XL — 85,2%. Сильные стороны модели — широкий выбор размеров квантов, поддержка текста, изображений и видео, встроенный MTP head для ускорения генерации и сниженная склонность к отказам: в описании указано 15 отказов из 100 против 98 из 100 у исходной Swift-модели. Ограничения включают потерю точности при агрессивном квантовании, необходимость отдельного mmproj-BF16.gguf для мультимодального ввода и специальной сборки llama.cpp с поддержкой MTP для qwen35. Качество измерялось преимущественно на тесте wikitext-2, поэтому оно не полностью характеризует работу с кодом и диалогами. Модель распространяется по лицензии swift-open-license-1.0; в карточке также указана категория лицензии other.

UltraHermes-Merge — объединённая диалоговая языковая модель, созданная Cas-Warehouse с помощью mergekit. В основе слияния — mlabonne/NeuralHermes-2.5-Mistral-7B; также объединены argilla/CapybaraHermes-2.5-Mistral-7B, joey00072/ToxicHermes-2.5-Mistral-7B и openaccess-ai-collective/DPOpenHermes-7B-v2. Использован метод TIES. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и имеет контекстное окно до 32 768 токенов. Она предназначена для диалога, ответов на инструкции и генерации текста. Доступна в формате safetensors и использует библиотеку Transformers. В карточке не приведены сведения о лицензии и конкретном перечне поддерживаемых языков. Как и другие генеративные языковые модели, она может выдавать неточные или нежелательные ответы; пригодность результатов следует проверять для целевого применения.

SC117/Agents-A1-MTP-APEX-GGUF — сборка модели Agents-A1, подготовленная SC117 в формате GGUF с APEX-квантизацией и слоем Multi-Token Prediction (MTP). Базовая Agents-A1 разработана InternScience: это агентная MoE-модель класса 35 млрд параметров, дообученная на Qwen3.5-35B-A3B. В README также описана версия BF16 и визуальный проектор mmproj-F16 для работы с изображениями и текстом. Модель предназначена для генерации ответов и выполнения многошаговых агентных задач, включая научные рассуждения, поиск и вызов инструментов. README приводит результаты на научных и агентных бенчмарках; GGUF-файлы рассчитаны на запуск через llama.cpp, а также указаны варианты развёртывания через vLLM и SGLang. Для llama.cpp заявлена поддержка контекста до 131072 токенов, для vLLM — до 262144; MTP призван ускорять генерацию. APEX применяет смешанную точность с учётом типа тензоров, а MTP-слой сохраняется в Q8_0. Метаданные указывают форматы GGUF, BF16 и F16. Лицензия — Apache-2.0. Описания производительности и приведённые в README бенчмарки являются заявлениями авторов; качество конкретной квантизированной сборки может зависеть от выбранного файла и среды запуска.

BAAI_AREX-Base-GGUF — это квантизированная версия модели AREX-Base, разработанной BAAI и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp и метода imatrix. Модель ориентирована на агентские сценарии, глубокое исследование, рассуждения, работу с инструментами и задачами с длинным контекстом. В карточке также указана поддержка англоязычных данных и мультимодальный профиль image-text-to-text, однако подробности о поддерживаемых типах изображений и способах их обработки не приведены. Доступны варианты с точностью от BF16 до низкобитных квантов, включая Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3 и Q2. Размер файлов варьируется примерно от 44,48 до 244,31 ГБ; многие варианты разбиты на несколько частей. Более крупные квантизации сохраняют высокое качество, а компактные требуют меньше оперативной памяти, но могут заметно уступать по качеству. В метаданных модель помечена как mixture-of-experts и связанная с Qwen3.5, но точные параметры архитектуры, число экспертов, размер контекста и количество параметров не указаны. Модель предназначена для локального запуска через llama.cpp и совместимые приложения, включая LM Studio, koboldcpp, Jan AI и Text Generation Web UI. Для работы требуется использовать указанный шаблон промпта с тегами ролей и началом блока рассуждений. Лицензия — Apache-2.0. В README не приведены результаты тестирования, ограничения по аппаратному обеспечению, сведения о безопасности или подробная документация по мультимодальным возможностям, поэтому практическое качество следует оценивать отдельно для выбранной квантизации и сценария.

unsloth/gemma-3-270m-it-unsloth-bnb-4bit — квантованная 4-битная версия instruction-tuned модели google/gemma-3-270m-it, подготовленная проектом Unsloth. Исходная модель разработана Google DeepMind как часть семейства Gemma — открытых моделей, созданных на основе исследований и технологий Gemini. Модель предназначена для генерации текста по инструкциям, ответов на вопросы, суммаризации документов, рассуждений и работы с программным кодом. Для версии с размером 270M заявлен контекст до 32K токенов на запрос. Обучение проводилось на данных более чем из 140 языков, включавших веб-тексты, код, математические материалы и изображения; дата отсечения знаний — август 2024 года. В данном репозитории модель представлена как text-generation-модель для Transformers, а 4-битное представление снижает требования к памяти и упрощает локальный запуск. К сильным сторонам относятся небольшой размер, экономичность и пригодность для развёртывания на устройствах с ограниченными ресурсами. Ограничениями являются существенно меньшая ёмкость по сравнению с крупными вариантами Gemma, возможные потери качества из-за квантования и отсутствие в README отдельных результатов оценки именно этой квантованной версии. Модель распространяется по лицензии Gemma; перед использованием необходимо учитывать соответствующие условия Google.

NVIDIA GLM-5 NVFP4 — квантизированная версия языковой модели GLM-5 от Z.ai, подготовленная NVIDIA с помощью Model Optimizer. Это авторегрессионная трансформерная модель для генерации текста и диалогов; в карточке указаны 744 млрд параметров всего и 40 млрд активируемых, а метаданные каталога — 30,4 млрд параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 200 тысяч токенов и рассчитана на запуск через vLLM или SGLang на системах NVIDIA Blackwell. Модель предназначена для чат-ботов, агентных систем, RAG и других приложений на базе ИИ. Квантизация весов и активаций линейных операторов в блоках MoE в формат NVFP4 рассчитана на инференс. Карточка указывает коммерческое и некоммерческое использование; лицензия в метаданных — MIT. Ответы могут содержать ошибки, пропускать важную информацию или быть избыточными. Обучающие данные базовой модели включали токсичный язык и социальные предубеждения, которые могут проявляться в ответах; перед применением модель следует проверить на данных и требованиях конкретного сценария.

Granite-4.0-H-350M-Base — компактная базовая языковая модель IBM Granite Team с архитектурой decoder-only: плотный трансформер с GQA, Mamba2, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Модель содержит 278,4 млн параметров, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Она обучена с нуля на смеси открытых и проприетарных данных примерно на 15 трлн токенов. Модель предназначена для генерации текста и может служить основой для суммаризации, классификации и извлечения информации, ответов на вопросы, а также автодополнения кода, включая Fill-in-the-Middle. Компактный размер рассчитан на сценарии с ограниченными ресурсами, в том числе локальное офлайн-развёртывание на мобильных устройствах и IoT-оборудовании. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель не проходила safety alignment и может генерировать предвзятые, недостоверные или проблемные ответы; для небольшой модели также отмечен риск воспроизведения фрагментов обучающих данных. Лицензия Apache 2.0.

Huihui-Qwen3.6-35B-A3B-abliterated-FP8-DYNAMIC — это FP8-квантизированная версия модели huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated, подготовленная разработчиком coolthor для инференса, прежде всего на NVIDIA DGX Spark с GB10 и 128 ГБ унифицированной памяти. Модель предназначена для генерации и анализа текста, а также обработки изображений; в карточке заявлены английский и китайский языки. Она совместима с vLLM и поддерживает автоматический выбор инструментов и вызовы инструментов через соответствующие парсеры Qwen3. Модель основана на архитектуре Qwen3.6 MoE с конфигурацией 35B-A3B. Используется схема динамической квантизации FP8_DYNAMIC в формате compressed-tensors: около 31 030 линейных модулей переведены в FP8 e4m3fn, а отдельные компоненты, включая визуальный модуль, lm_head и маршрутизаторы экспертов, сохранены в BF16. Размер на диске составляет примерно 36 ГБ вместо 67 ГБ у базовой BF16-версии. Сохранённые MTP-веса позволяют применять speculative decoding; в тесте на DGX Spark скорость достигала 51,72 токена в секунду против 30,71 токена в секунду у BF16-варианта. Рекомендуемая длина контекста при запуске в vLLM — до 32 768 токенов. К сильным сторонам относятся уменьшенный размер, поддержка текстово-визуального ввода и ускорение генерации с MTP. Для работы с изображениями требуется версия контрольной точки после исправления от 3 мая 2026 года; более ранние загрузки имели неисправный визуальный ввод. Карточка также предупреждает о проблемах точности и повторов при использовании FP8 KV-кэша на SM121, поэтому его применение не рекомендуется. Лицензия модели — Apache 2.0.

RedHatAI/Kimi-K3-NVFP4 — квантизированная версия модели moonshotai/Kimi-K3, разработанная RedHatAI. Это мультимодальная модель архитектуры KimiK3ForConditionalGeneration, принимающая текст и изображения и генерирующая текст. Модель предназначена для задач понимания и обработки текста и изображений, включая сценарии инференса через vLLM. В модели применена FP4-квантизация весов и активаций MoE-экспертов с использованием LLM Compressor и формата compressed-tensors. Линейные операторы MoE-экспертов квантизированы с 16 до 4 бит, что уменьшает размер на диске и требования к памяти GPU для этих слоёв примерно на 75%. Attention, shared experts и другие неквантизированные слои сохраняют исходную точность. Размер модели, поддерживаемые языки и длина контекста в README не указаны. К сильным сторонам относятся существенное снижение потребления памяти и готовность к инференсу в vLLM при сохранении высокой доли качества исходной модели: на GPQA Diamond достигнуто 91,0 против 93,5 у неквантизированной версии, что соответствует восстановлению 97,33% качества. Ограничением является небольшое снижение точности, а также необходимость совместимой версии vLLM и специальной конфигурации развертывания; в README приведён сценарий с tensor parallel size 8. Лицензия указана как other, с названием kimi-k3.

KRONOS-8B-V6 — объединённая языковая модель, созданная разработчиком T145 методом TIES с помощью mergekit на базе unsloth/Meta-Llama-3.1-8B-Instruct. В объединение также вошли T145/KRONOS-8B-V1-P2, T145/KRONOS-8B-V1-P3 и mukaj/Llama-3.1-Hawkish-8B. Модель построена на плотной архитектуре Llama и содержит 7,5 млрд параметров. Она предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Контекстное окно составляет до 131 072 токенов. Модель опубликована в формате safetensors и использует библиотеку Transformers. В README приведены результаты оценки, включая 70,22% на IFEval и средний показатель 24,49 по указанной таблице, но без полного контекста этих метрик они не позволяют оценить качество для конкретного применения. Сведения о лицензии и поддерживаемых естественных языках в доступных данных отсутствуют.

Luminea — объединённая диалоговая языковая модель на архитектуре Llama, созданная автором репозитория с помощью mergekit и метода Model Stock. В качестве базовой модели использована NousResearch/Meta-Llama-3.1-70B-Instruct; в объединение также вошли NeverSleep/Lumimaid-v0.2-70B и nvidia/Llama-3.1-Nemotron-70B-Instruct-HF. Модель содержит 69,5 млрд параметров, принимает текстовые запросы и генерирует текст. Она предназначена для диалогов, ответов на инструкции и запросы; заявленная длина контекста — 131 072 токена. Репозиторий использует Transformers и формат safetensors. Качество ответов и ограничения отдельно в карточке не описаны. Лицензия в предоставленных данных отсутствует.

Abiray/LFM2.5-2.6B-Heretic-Abliterated-GGUF — набор GGUF-квантизаций модели LFM2.5-2.6B, разработанной Liquid AI, с изменениями Heretic (abliterated). Модель предназначена для локального запуска, агентских сценариев, многошагового выполнения инструкций и вызова инструментов. Версия Heretic снижает склонность исходной модели к отказам на ограниченные, спорные и явные запросы, сохраняя заявленные возможности базовой модели. Модель имеет плотную архитектуру LFM2.5 с 30 слоями: 22 блока коротких свёрток с двойным управлением и 8 слоёв GQA. Она содержит около 2,69 млрд параметров, поддерживает контекст до 131 072 токенов, словарь размером 128 000 токенов и нативный вызов инструментов. Заявлена поддержка английского, арабского, китайского, французского, немецкого, итальянского, японского, корейского, португальского, испанского, вьетнамского, тайского, индонезийского, хинди, русского и польского языков. Доступны квантизации от Q3_K_M до Q8_0 размером примерно от 1,37 до 2,87 ГБ. Q4_K_M позиционируется как оптимальный вариант для мобильных и периферийных устройств, а Q8_0 — как вариант с минимальными потерями качества для сложных задач и интенсивного использования инструментов. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству. Abliteration уменьшает защитные отказы, однако README не приводит независимой оценки безопасности, качества или стабильности поведения модели. Модель распространяется по лицензии Apache-2.0. Предусмотрен полностью офлайн-запуск на CPU или GPU через llama.cpp; для корректного диалогового режима рекомендуется использовать соответствующий шаблон чата.

Ling-3.0-tiny-GGUF — лёгкая гибридная reasoning-модель с архитектурой Mixture of Experts (MoE), разработанная командой inclusionAI. Модель предназначена для генерации текста, решения задач, требующих рассуждений, и агентских сценариев, где важны широкие возможности при низкой стоимости инференса. Формат GGUF ориентирован на локальное и ресурсно-ограниченное развертывание. Модель содержит 7,9 млрд параметров, при этом для обработки каждого токена активируется около 1,3 млрд параметров, что снижает вычислительные затраты по сравнению с полным использованием всех параметров. README не сообщает поддерживаемые языки, размер контекстного окна, доступные модальности и конкретные ограничения качества. Модель распространяется по лицензии MIT.

Meta Llama 3.2 1B — авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer. Это предварительно обученная многоязычная модель с примерно 1,23 млрд параметров; она принимает и генерирует текст, а также может работать с кодом. В карточке указаны контекст до 128 тысяч токенов, Grouped-Query Attention и обучение на смеси общедоступных данных. Модель предназначена для генерации текста и адаптации к различным задачам обработки естественного языка. Её можно использовать для черновиков и продолжения текста, перефразирования запросов, краткого изложения и диалоговых приложений после соответствующей настройки. Разработчик — Meta; модель доступна через библиотеку Transformers в формате safetensors. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Это предварительно обученная модель, а не версия, настроенная специально для диалога; качество и безопасность ответов следует проверять и при необходимости адаптировать для конкретного применения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

Devs Do Code выпустила инструкционную версию Llama 3 8B с контекстом до 1 048 576 токенов. Это плотная авторегрессионная языковая модель семейства Llama, предназначенная для диалога и генерации текста с использованием длинного контекста. По описанию разработчика, контекст расширен настройкой параметра RoPE theta; для этого этапа обучения использовано 830 млн токенов, а суммарно для всех этапов — 1,4 млрд токенов. Модель подходит для ответов на вопросы и работы с длинными документами в сценариях, где требуется учитывать большой объём входного текста. В карточке указана поддержка английского языка и форматы весов Safetensors. Для запуска можно использовать Transformers или TGI. Модель основана на Meta-Llama-3-8B-Instruct и распространяется по лицензии Llama 3. Как и другие большие языковые модели, она может выдавать неточные ответы и сохраняет остаточные риски безопасности; разработчик рекомендует оценивать риски применительно к сценарию использования и при необходимости добавлять защитные меры.

Карточка модели SillyTilly/Meta-Llama-3.1-70B-Instruct на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-70B-Instruct, поэтому описание составлено по ней. NousResearch публикует инструкционно настроенную модель Meta Llama 3.1 70B Instruct — плотную авторегрессионную языковую модель на архитектуре Transformer с 69,5 млрд параметров. Она принимает и генерирует текст, а версия Instruct предназначена для многоязычного диалога и работы в роли ассистента. Настройка включает дообучение с учителем и обучение с подкреплением на основе отзывов людей; модель поддерживает контекст до 131 072 токенов и использует Grouped-Query Attention для повышения эффективности вывода. Модель подходит для диалоговых приложений, ответов на вопросы и генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Её можно запускать через Transformers; карточка также описывает варианты загрузки в 4- и 8-битном формате для снижения требований к памяти. Русский язык не входит в перечень поддерживаемых языков. Ответственность за безопасную интеграцию, включая подключение внешних инструментов, лежит на разработчике приложения. Модель разработана Meta и распространяется по лицензии Llama 3.1 Community License с условиями, изложенными в лицензии и Acceptable Use Policy. Это статический чекпойнт, обученный на офлайн-данных; качество и безопасность ответов требуют проверки в целевом сценарии.

Это сегментированная по файлам копия Mistral-7B-Instruct-v0.1 от filipealmeida, предназначенная для запуска при ограниченной памяти CPU. В основе лежит плотная трансформерная модель Mistral с 7,1 млрд параметров, дообученная следовать инструкциям на открытых диалоговых наборах данных. Архитектура использует Grouped-Query Attention и Sliding-Window Attention; карточка указывает контекст до 32 768 токенов. Модель принимает текстовые инструкции в формате с маркерами [INST] и [/INST] и генерирует текстовые ответы в диалоговых сценариях. Её можно применять для вопросов и ответов, ведения диалога, составления черновиков и выполнения текстовых инструкций. Разбиение весов на шарды снижает требования к памяти CPU при загрузке, но не является квантизацией и само по себе не меняет вычислительные требования модели во время генерации. Лицензия — Apache-2.0.

Квантизированная версия Ministral-3-3B-Reasoning-2512, разработанной Mistral AI, подготовленная bartowski в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для задач генерации и анализа текста, а также сценариев image-text-to-text, однако подробные сведения о поддерживаемой обработке изображений в README не приведены. Заявлены языки: английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. Модель имеет размер 3B параметров; доступны варианты от BF16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ4 с размером файлов примерно от 1,93 до 6,87 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp, что позволяет выбирать между качеством, потреблением памяти и скоростью локального запуска. Конкретная архитектура, размер контекстного окна, требования к оборудованию и формат промптов в README не указаны; для исходной модели рекомендуется обращаться к её оригинальной странице. Распространение заявлено по лицензии Apache-2.0.

MaziyarPanahi/NeuralHermes-2.5-Mistral-7B-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием mistralai/Mistral-7B-Instruct-v0.1 и mlabonne/NeuralHermes-2.5-Mistral-7B методом SLERP; веса представлены в формате safetensors. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Она поддерживает контекст до 32 768 токенов и обучена работать с форматом диалогов ChatML. Карточка указывает английский язык и возможности чата и следования инструкциям. Модель распространяется по лицензии Apache-2.0. Как и другие модели этого размера, качество её ответов может зависеть от формулировки запроса; README не приводит результатов сравнительных оценок.

Llama2 13B Orca 8K 3319 — языковая модель для генерации текста и диалогового взаимодействия, разработанная OpenAssistant и представленная в GGUF-формате TheBloke. Модель основана на Llama 2 с архитектурой Llama и содержит около 13 миллиардов параметров. В карточке указана поддержка английского языка и контекст длиной до 8K токенов. Модель предназначена для выполнения инструкций, ответов на вопросы, информационного поиска в формате диалога, написания текстов и историй, а также общих задач генерации текста. Она использует шаблон запросов OpenAssistant-System с отдельными ролями system, prompter и assistant. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие решения; возможны CPU- и GPU-сценарии, а доступные варианты квантования позволяют выбирать компромисс между качеством, скоростью и потреблением памяти. В README не приведены подробные результаты бенчмарков или явные ограничения качества, поэтому сильные стороны модели можно оценивать только по заявленным возможностям и расширенному контексту. Указанная лицензия источников обозначена как other; кроме того, поскольку модель основана на Llama 2, на неё распространяются условия лицензии Meta Llama 2. README указывает на возможное двойное лицензирование и рекомендует учитывать обе группы условий.

ShayanCyan/phi4-multimodal-quantisized-gguf — это набор предварительно сконвертированных GGUF-весов модели microsoft/Phi-4-multimodal-instruct, подготовленный для локального запуска через специализированную ветку llama.cpp. Репозиторий содержит квантизированную языковую модель phi4-mm-Q4_K_M.gguf и отдельный мультимодальный проектор phi4-mm-omni.gguf с визуальным энкодером на основе SigLIP/Navit-style и аудиоэнкодером Conformer. Нового обучения или новых обучающих данных набор не добавляет. Модель предназначена для локального инференса, исследований, экспериментов и создания прототипов агентов, работающих с текстом, изображениями и аудио. Она поддерживает следование инструкциям, рассуждения, программирование и многоходовой диалог, визуальные вопросы и ответы, создание описаний изображений, анализ документов и графиков, а также автоматическое распознавание речи, перевод с английского на французский и суммаризацию аудио при наличии соответствующего Conformer-пути. Заявленные языки: английский, урду, немецкий, испанский, турецкий, французский и итальянский. Основная языковая модель использует 4-битную групповую квантизацию Q4_K_M, тогда как мультимодальный проектор хранится в F16/F32 для сохранения качества работы с изображениями и аудио. Для запуска требуются совместимые возможности llama.cpp и одновременное подключение языковой модели и mmproj-файла. К преимуществам относятся локальная работа, поддержка нескольких модальностей и снижение требований к памяти за счёт квантизации. Ограничения включают возможные галлюцинации и ошибки интерпретации; модель не следует применять для медицинских, юридических или критически важных решений без проверки человеком. Использование регулируется лицензией phi4-model-license от Microsoft; необходимо соблюдать условия исходной лицензии.

CultriX/Qwen2.5-14B-Wernicke — объединённая плотная авторегрессионная языковая модель семейства Qwen2.5, созданная с помощью mergekit методом Model Stock. В основу слияния взята Qwen/Qwen2.5-14B; в объединение также вошли EVA-Qwen2.5-14B-v0.0, Qwen2.5-14B-Instruct, SuperNova-Medius, Rombos-LLM-V2.6-Qwen-14b и Qwen2.5-Lumen-14B. Модель содержит 14 млрд параметров и рассчитана на генерацию текста и диалоги. Модель подходит для ответов на запросы, свободного продолжения текста и формирования структурированных ответов; в метаданных также отмечен интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает английский язык, а заявленная длина контекста составляет 131 072 токена. Для оценки приведены результаты Open LLM Leaderboard, включая IFEval и BBH, но данных недостаточно, чтобы определить практическое качество в конкретных сценариях. Распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-NSC-ACE-SABER GGUF MTP — это квантизированная сборка модели, разработанная GestaltLabs на базе Qwen/Qwen3.6-35B-A3B. Репозиторий предоставляет файлы в формате GGUF для совместимых с llama.cpp сред выполнения, включая варианты F16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K. Сборки подготовлены с поддержкой MTP (multi-token prediction) и предназначены для ускорения генерации при наличии соответствующей поддержки в runtime. Модель ориентирована на диалоговую генерацию текста, агентские сценарии и вызов инструментов, а также заявлена как multimodal image-text-to-text модель. В репозитории присутствуют конфигурация мультимодальности, процессор, шаблон чата и visual tower sidecar для обработки изображений и видео. В README указан английский язык. Пример запуска использует контекст 32768 токенов, однако максимальный размер контекста отдельно не подтверждён. К сильным сторонам относятся широкий выбор уровней квантизации, локальный запуск, MTP-ориентированная конвертация и улучшенные относительно базовой модели показатели на приведённой проверке BFCL для tool calling: например, точность имени функции выросла с 92,50% до 95,00%, а точность обязательных значений аргументов — с 79,79% до 83,54%. Ограничения включают зависимость ускорения от версии и возможностей llama.cpp, возможное ухудшение форматирования, точности аргументов и калибровки отказов у низких квантов, а также необходимость отдельно проверять поведение конкретных quant-файлов. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-FP8 — квантованная версия мультимодальной модели Qwen3.8-27B, опубликованная huginnfork на базе модели Qwen/Qwen3.8-27B. Она предназначена для задач, объединяющих работу с текстом и изображениями, включая генерацию и понимание ответов по визуально-текстовым запросам. Модель поддерживает speculative decoding и multi-token prediction, однако конкретный набор языков и максимальная длина контекста в предоставленных данных не указаны. Модель имеет плотную архитектуру семейства Qwen3.5 с гибридом линейного внимания и полного self-attention, vision tower и MTP-head. Квантование выполнено по схеме FP8_DYNAMIC W8A8: веса и активации MLP-проекций квантуются в FP8 E4M3, а активации обрабатываются динамически на уровне токенов. Пути self-attention, linear attention на базе SSM, vision tower, lm_head и MTP-head сохранены в формате bf16. Размер чекпойнта составляет около 35,8 GiB в восьми файлах против 51,7 GiB у версии bf16. Выборочная квантизация MLP снижает объём хранения и, согласно приведённым измерениям, обеспечивает меньшее расхождение с исходной bf16-моделью, чем официальный FP8-релиз, при сохранении сопоставимой perplexity. Ограничения включают необходимость совместимого программного и аппаратного стека для FP8 и отсутствие в предоставленном README подробностей о фактической производительности, поддерживаемых языках и контекстном окне. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4-vllm — квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем kekzle. Модель предназначена для запуска в vLLM и imp; поддерживает текстовые и визуальные входы, при этом в карточке указан английский язык. Это гибридная архитектура с компонентами GDN, vision tower и MTP draft head, однако подробные сведения о точной архитектуре и максимальном контексте не приведены. Линейные веса внимания, MLP и GDN-проекций сжаты в NVFP4 с группами размера 16 по схеме W4A16, а embeddings, lm_head, нормализации, vision tower и MTP draft head сохранены в исходной точности BF16. Размер весов уменьшен примерно с 51,75 до 19,2 ГиБ, что позволяет разместить модель на видеокарте с 32 ГиБ памяти. По приведённым измерениям на RTX 5090 модель достигла perplexity 4,6158, скорости декодирования до 87,4 токена в секунду и результата 45/45 в тестовом наборе качества. Сильные стороны модели — существенная экономия памяти, поддержка работы с текстом и изображениями, совместимость с vLLM и imp, а также возможность запуска на потребительских видеокартах Blackwell sm_120, где опубликованные варианты с FP8 attention могут не работать. Ограничения связаны с экспериментальным характером квантования без калибровки активаций, меньшей производительностью vLLM на sm_120 из-за fallback на Marlin и необходимостью настраивать число последовательностей и параметры памяти. Для многошаговых диалогов рекомендуется выделять не менее примерно 400 токенов на ответ, поскольку бюджет включает внутреннее рассуждение. Модель распространяется по лицензии Apache-2.0. Квантованная версия создана из официального релиза BF16 с помощью экспериментального квантовщика imp.

ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF — это набор GGUF-квантизаций мультимодальной модели Qwen3.8-Flash-Next, разработанный Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель предназначена для текстовых и визуально-текстовых задач и совместима с llama.cpp, Ollama и LM Studio. Для мультимодального режима поставляется отдельный vision projector с vision encoder в формате BF16. В основе лежит разреженная Mixture-of-Experts-архитектура с 512 экспертами на слой, 48 слоями и 10 активными экспертами на каждый токен. Квантизация выполнена методами GSQ и RCO: GSQ оптимизирует скалярное представление весов, а RCO распределяет типы квантизации между тензорами с учётом общего ограничения на размер. Доступны варианты Q2_0, IQ2_XS и IQ3_XXS со средним размером 2,40, 2,50 и 3,00 бит на параметр; общий объём файлов составляет примерно 66,4–75,8 ГБ, не считая vision projector. IQ3_XXS рекомендуется авторами как вариант, сопоставимый с базовой моделью на тесте AIME25. Q2_0 обеспечивает наиболее высокую скорость: заявлены 3,4-кратная производительность обработки промпта и в 1,9 раза меньшая сквозная задержка по сравнению с IQ2_XS, но с некоторой потерей качества. Ограничениями являются большой размер модели, компромисс между качеством и скоростью у разных вариантов квантизации и отсутствие в предоставленных данных сведений о языках и максимальной длине контекста. Лицензия — Apache-2.0.

Карточка модели Rasputin312/Qwen3-Embedding-4B_both_60_pct_8_epochs на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-4B, поэтому описание составлено по ней. Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.