II.1Анализ требований и архитектура ПО

Sci-fi-vy/gemma-3-270m-it-GGUF — модель Gemma 3 270M от Google DeepMind, представленная в формате GGUF. Это instruction-tuned вариант базовой модели google/gemma-3-270m-it, предназначенный для генерации текста по инструкциям и запросам. Модель подходит для ответов на вопросы, суммаризации документов, рассуждений, работы с кодом и других задач генерации текста. Семейство Gemma 3 поддерживает текстовые и графические входы с генерацией текста, однако для вариантов 270M в карточке явно указан контекст до 32K токенов, а параметры обработки изображений для этой размерности не описаны. Заявлена поддержка более 140 языков; обучающие данные включали веб-тексты, код, математические материалы и изображения. Дата отсечения знаний — август 2024 года, размер модели — 270 млн параметров. Небольшой размер облегчает локальное развёртывание на компьютерах с ограниченными ресурсами и в собственной облачной инфраструктуре, но по возможностям и качеству модель может уступать более крупным вариантам Gemma. Для работы рекомендуется использовать temperature 1.0, top_k 64, top_p 0.95 и min_p 0.0. Модель распространяется на условиях лицензии Gemma; точные условия следует уточнять в официальных Terms of Use.

zaakirio/gemma-4-12b-it-uncensored-GGUF — набор GGUF-квантизаций модели zaakirio/gemma-4-12b-it-uncensored, разработанной на основе Google Gemma 4 12B Instruct. Это декензурированная версия, полученная методом Heretic-abliteration, ориентированная на диалоговые сценарии и запуск через llama.cpp. Модель предназначена для генерации текста, общения, анализа изображений и аудио, а также обработки видео через выборку кадров и аудиодорожку. Модель представляет собой encoder-free unified multimodal decoder-only transformer с 12 млрд параметров и контекстным окном до 256K токенов. Поддерживаются текст, изображения, аудио и видео; для мультимодального ввода требуется отдельный проектор mmproj-gemma-4-12B-it-bf16.gguf. Доступны варианты от Q2_K до Q8_0 и f16 размером примерно от 4,50 до 22,20 ГБ. Опциональный MTP-драфтер может ускорить генерацию на GPU. Поддерживается reasoning-режим, а также системная роль. Сильные стороны модели — сочетание мультимодальности, большого контекста, различных уровней квантизации и совместимость с llama.cpp. Обработка аудио в llama.cpp отмечена как экспериментальная, поэтому качество распознавания может быть сниженным; обработка видео зависит от клиента, выполняющего извлечение кадров. Языки модели явно не перечислены, однако в README подтверждена точная многоязычная транскрипция речи. Лицензия указана как gemma.

Alberto-Codes/gemma-4-31B-it-fit24gib-GGUF — это смешанно-точный GGUF-пакет модели Google Gemma 4 31B Instruct, созданный Alberto-Codes на основе QAT-чекпойнта google/gemma-4-31B-it-qat-q4_0-unquantized. Пакет предназначен для локального запуска текстовых и мультимодальных сценариев с обработкой изображений через llama.cpp на видеокарте с 24 ГиБ VRAM. Для работы с текстом требуется файл декодера, а для изображений — также отдельный vision-проектор. Модель относится к классу image-text-to-text и поддерживает текстовый ввод, а также изображения; точный набор языков в карточке не указан. Декодер занимает 14,92 ГиБ, проектор — 629 МиБ. Пакет не использует единую схему квантования: в нём применены тензоры Q5_0, Q8_0, F16 и F32, а эффективная разрядность составляет 9,16 бит на параметр. Заявленная особенность — размещение на карте с 24 ГиБ VRAM и увеличение доступного контекста по сравнению с официальным QAT Q4_0 GGUF: до 86 016 токенов в текстовом режиме и до 73 728 токенов с одним изображением в описанной конфигурации RTX 4090 и llama.cpp. По приведённым измерениям пакет имеет меньший размер и сопоставимое качество с QAT Q4_0: на тестах он показал одну статистически значимую победу и четыре ничьи, однако у базовой версии немного лучше средние KLD и совпадение наиболее вероятного токена. Результаты зависят от конкретной конфигурации запуска, версии llama.cpp, доступной VRAM и используемого проекторного файла. Модель распространяется по лицензии Apache-2.0.

ressl/gemma-4-31B-it-uncensored-GGUF — квантизированная GGUF-версия модели gemma-4-31B-it-uncensored, основанной на Google Gemma 4 31B-it. Формат подготовлен Robert Ressl для запуска через llama.cpp, Ollama и LM Studio; разработчик базовой модели — Google, а адаптация, «uncensored»/abliterated-обработка, конвертация и валидация выполнены Robert Ressl. Модель предназначена для генерации текста, диалоговых задач, локального запуска и сценариев, где требуется ассистент с минимальным количеством отказов, включая этичный анализ безопасности, исследование уязвимостей, анализ вредоносного и exploit-кода, написание правил обнаружения и red-teaming. GGUF-репозиторий является текстовым: мультимодальная vision-компонента удалена. Заявлены английский и немецкий языки. Модель поддерживает режим рассуждений, включаемый по умолчанию в llama.cpp; для прямых ответов его можно отключить. Доступны квантизации от q8_0 до q2_k размером примерно от 31 до 12 ГБ; q4_k_m указан как рекомендуемый баланс качества и размера. Меньшие квантизации снижают требования к памяти, но могут ухудшать качество. README сообщает о 0 эффективных отказов в большинстве уровней квантизации и о скорости около 75 токенов в секунду для q4 на одной RTX PRO 6000, однако эти показатели зависят от среды и методики тестирования. Максимальная длина контекста и архитектурные детали не указаны. Модель распространяется по Apache License 2.0, унаследованной от базовой модели Google Gemma 4; использование должно соответствовать условиям этой лицензии и применимому законодательству.

Inferact/GLM-5.3-NVFP4 — языковая модель для генерации текста, разработанная командой Z.ai на базе zai-org/GLM-5.3-BF16. Модель предназначена прежде всего для сложного программирования, длительных многошаговых задач, работы с инструментами и автоматизации. В README указана поддержка английского и китайского языков, библиотекой по умолчанию является Transformers, а тип конвейера — text-generation. Ключевые сильные стороны модели — улучшенные по сравнению с GLM-5.2 возможности написания кода, решения задач разработки программного обеспечения, поиска уязвимостей и эксплуатации в тестовых средах. Согласно приведённым результатам, модель показывает высокие показатели на Terminal Bench 3.0, CyberGym, AutomationBench и ряде других тестов. Поддерживается управление интенсивностью рассуждений через параметр reasoning_effort со значениями low, high и max; по умолчанию используется max. Для локального развёртывания заявлена совместимость с SGLang, vLLM, Transformers, KTransformers, Unsloth и рядом решений для Ascend NPU. Точный размер модели, архитектура, число параметров, максимальная длина контекста и перечень поддерживаемых модальностей в README не указаны. Данные о результатах зависят от настроек генерации, контекстного окна и используемой инфраструктуры, поэтому показатели нельзя напрямую интерпретировать как универсальное качество. Лицензия обозначена как other, без подробного описания условий использования; перед применением необходимо проверить лицензионные условия исходного репозитория.

Granite-4.0-1B-Base — компактная базовая языковая модель IBM Granite Team для генерации текста в условиях ограниченных вычислительных ресурсов, включая мобильные устройства и IoT. Это декодерный плотный трансформер на 1,6 млрд параметров с архитектурой GraniteMoeHybrid, GQA, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Модель обучена с нуля на смеси открытых и проприетарных данных; контекст — до 131 072 токенов. Поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Также поддерживает заполнение пропусков в коде по префиксу и суффиксу (FIM). Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы и дополнения кода; её также можно использовать как основу для дообучения под конкретные задачи. Небольшой размер рассчитан на быстрое выполнение и локальное использование, в том числе с сохранением данных на устройстве. Модель не прошла выравнивание безопасности и может выдавать предвзятые, неверные или проблематичные ответы, а также воспроизводить фрагменты обучающих данных. Распространяется по лицензии Apache 2.0.

Карточка модели Pq234/Kimi-VL-A3B-Instruct на Hugging Face совпадает с карточкой moonshotai/Kimi-VL-A3B-Instruct, поэтому описание составлено по ней. Kimi-VL-A3B-Instruct — открытая мультимодальная модель Moonshot AI для понимания изображений, видео и текста. Она объединяет языковую модель с архитектурой Mixture-of-Experts, визуальный энкодер MoonViT с обработкой изображений в исходном разрешении и MLP-проектор. Всего модель содержит 16 млрд параметров, при генерации активирует около 3 млрд; контекстное окно — 128 тыс. токенов. Модель предназначена для диалогов с визуальными данными, распознавания текста на изображениях, анализа длинных документов и видео, понимания нескольких изображений и выполнения агентных задач по скриншотам. Поддерживает ввод текста, изображений и видео и выдаёт текстовые ответы. В README приведены результаты на задачах OCR, визуального понимания и взаимодействия с агентами; для сложных рассуждений, включая математику, разработчики рекомендуют вариант Kimi-VL-A3B-Thinking. Модель распространяется по лицензии MIT. Для запуска доступны веса в формате safetensors и библиотека Transformers. README рекомендует температуру 0,2 для Instruct-варианта. Указанные результаты основаны на бенчмарках разработчиков; качество может зависеть от задачи и настроек инференса.

lodestone-base-4096-v1 — модель эмбеддингов предложений и абзацев от Hum-Works, созданная Griffin McCauley, Will Fortin и Dylan DiGioia в 2023 году. Это дообученная версия mosaic-bert-base-seqlen-2048: архитектура BERT с FlashAttention, ALiBi и GLU, около 136,7 млн параметров. Модель кодирует текст в плотный вектор размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель рассчитана на длинные предложения и абзацы: поддерживает последовательности до 4096 токенов, хотя при обучении использовалась длина до 2048 токенов. Она обучена контрастивным методом на большом наборе пар текстов и показывает сопоставимые результаты со стандартными моделями эмбеддингов на типовых бенчмарках. Основной язык карточки — английский; среди источников обучения указаны датасеты вопросов и ответов, научных текстов, Reddit и поиска кода. Лицензия — Apache-2.0. В README отмечены ограниченный размер обучающего батча и недостаток примеров максимально допустимой длины, поэтому качество эмбеддингов для очень длинных текстов может требовать дополнительной настройки. README также предупреждает о возможных смещениях в данных Reddit.

RedHatAI/Meta-Llama-3-70B-Instruct-FP8 — квантизированная версия Meta-Llama-3-70B-Instruct, разработанная Neural Magic. Это текстовая авторегрессионная модель с архитектурой Meta-Llama-3 и примерно 70 млрд параметров, предназначенная для диалоговых сценариев и работы в формате ассистента. Модель ориентирована на коммерческое и исследовательское использование на английском языке. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в FP8. Это сокращает число битов на параметр с 16 до 8, а размер на диске и требования к памяти GPU примерно на 50%. Используется симметричная поэлементно-тензорная квантизация; модель подготовлена для инференса с vLLM версии 0.5.0 и новее. В описанной конфигурации максимальная длина контекста составляла 4096 токенов. К сильным сторонам относятся снижение требований к памяти и близкие к исходной модели результаты: средний балл OpenLLM составляет 79,16 против 79,51 у неквантизированной версии. Ограничения включают специализацию на английском языке и возможное небольшое снижение точности из-за квантизации. Модель не предназначена для использования на языках, кроме английского, а также для сценариев, нарушающих применимое законодательство. Распространяется по лицензии Llama3.

MiMo-V2.5 — мультимодальная модель Xiaomi для диалогов, понимания изображений, видео и аудио, а также агентных сценариев. Она построена на разреженной MoE-архитектуре MiMo-V2-Flash с гибридным вниманием и отдельными визуальным и аудиокодировщиками. Метаданные репозитория указывают 12 млрд параметров и формат safetensors FP8; README описывает семейство MiMo-V2.5 как модель на 310 млрд параметров, из которых активируются 15 млрд. Эти сведения расходятся, поэтому размер конкретного чекпойнта неоднозначен. Модель рассчитана на генерацию текста, мультимодальное понимание и работу с длинным контекстом до 1 048 576 токенов. README заявляет поддержку текста, изображений, видео и аудио, а также обучение для агентных задач; метаданные отмечают чат и интерфейс вызова инструментов. В карточке указаны английский и китайский языки. Репозиторий распространяется по лицензии MIT. Для корректного поведения следует использовать обновлённые config.json и tokenizer_config.json, поскольку устаревшие версии, по сообщению разработчика, могут ухудшить качество.

Многоязычная модель Sentence Transformer, дообученная на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 для получения векторных представлений предложений и абзацев. Архитектура основана на BERT; модель содержит 124,3 млн параметров и формирует плотные векторы размерности 384. README указывает максимальную длину последовательности 128 токенов, а метаданные — контекстное окно 512 токенов. Модель предназначена для семантического поиска и сравнения текстов по косинусному сходству, поиска перефразирований, кластеризации и классификации текста. При обучении использовались 101 072 примера и MultipleNegativesRankingLoss. Модель поддерживает множество языков благодаря многоязычной базовой модели; языки в карточке отдельно не перечислены. Веса опубликованы в формате safetensors и используются через библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.

MiniCPM5-2B-Claude-Fable5-1-Thinking-Agentic-GGUF — это набор GGUF-квантизаций 2-миллиардной текстовой модели MiniCPM5-2B, дообученной на данных Claude с акцентом на агентное использование инструментов, программирование и следование инструкциям. Модель разработана GnLOLot на базе openbmb/MiniCPM5-2B и предназначена для локального запуска через llama.cpp, Ollama, LM Studio, jan, KoboldCpp и другие совместимые среды. Поддерживаются английский и китайский языки, а встроенный шаблон чата MiniCPM5 упрощает интеграцию. Модель ориентирована на генерацию текста, написание и отладку кода, выполнение многошаговых программных задач, function calling и tool use в агентных сценариях, а также диалоговое следование инструкциям. Она работает только в Thinking-режиме, поэтому может выводить блоки рассуждений перед итоговым ответом. Заявленная длина контекста достигает 128K токенов, однако фактический объём зависит от используемого рантайма и доступной памяти. Доступны варианты F16 размером около 4,7 ГБ, Q8_0 около 2,5 ГБ и Q4_K_M около 1,5 ГБ; Q8_0 рекомендуется как вариант по умолчанию, а Q4_K_M — для устройств с ограниченными ресурсами. К сильным сторонам относятся компактность, возможность локального развертывания, поддержка агентного tool calling, программирования и длинного контекста. В ClawBench дообученная модель показала 44,56 балла в QwenClawBench и 24,32 в WildClawBench, превысив базовую MiniCPM5-2B. Ограничения связаны с небольшим размером 2B по сравнению с передовыми моделями, возможным выводом рассуждений и зависимостью производительности от аппаратного обеспечения и настроек рантайма. Модель распространяется по лицензии Apache-2.0.

Карточка модели ushakov15/MNLP_M3_document_encoder на Hugging Face совпадает с карточкой woodx/Qwen3-Embedding-0.6B-SGLang, поэтому описание составлено по ней. Qwen3-Embedding-0.6B-SGLang — дообученная модель семейства Qwen3, представленная в репозитории woodx и основанная на Qwen/Qwen3-0.6B-Base. Она преобразует текст в эмбеддинги для семантического поиска и сопоставления текстов. Модель содержит около 507,6 млн параметров, поддерживает контекст до 32 768 токенов и формирует векторы размерностью от 32 до 1024 с возможностью задавать инструкцию под задачу. Модель предназначена для многоязычного поиска по текстам и коду, классификации и кластеризации текстов, поиска параллельных фрагментов на разных языках и задач семантического сходства. В карточке серии заявлена поддержка более 100 языков. Для улучшения результатов поиска рекомендуется задавать подходящую инструкцию; в многоязычных сценариях авторы советуют формулировать её на английском. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

Muse-Glimmer-30B-ROCmFP4-Strix-Halo-DFlash-GGUF — квантованная GGUF-сборка модели Muse-Glimmer-30B от meta-models/Muse-Glimmer, подготовленная kingjones777 для AMD Strix Halo. Модель мультимодальная: поддерживает текст и изображения, рассуждения с разделением reasoning_content и content, а также tool calling. Сборка предназначена для локального запуска на AMD Ryzen AI Max+ 395 с графикой Radeon 8060S и архитектурой gfx1151. Доступны шесть вариантов квантования ROCmFP4 и ROCmFPX с размером от 13,80 до 27,23 GiB и эффективной точностью 4,25–8,39 BPW. В комплект входят vision projector, chat parser и DFlash для speculative decoding. Проверенный контекст составляет 32768 токенов; пиковое потребление памяти — около 19,99 GiB с моделью, drafter, projector и KV-кэшем. На указанном оборудовании скорость декодирования зависит от задачи и составляет примерно 17–45 токенов в секунду, обычно около 30 токенов в секунду. Сильные стороны модели — сочетание текста, зрения, рассуждений, вызова инструментов и ускоренного декодирования в одной сборке, а также оптимизация под unified memory AMD Strix Halo. Ограничения включают узкую аппаратную совместимость: стандартный llama.cpp эту модель не загружает, требуется специальная ROCmFPX-сборка с поддержкой архитектуры muse-glimmer и типов ROCmFP4. Более быстрые варианты могут генерировать заметно более короткие ответы, поэтому для глубины ответа предпочтителен вариант STRIX. Лицензия указана как other; дополнительные условия в README не раскрыты.

Nemotron-Flash-1B — базовая языковая модель компании NVIDIA из семейства компактных гибридных моделей Nemotron-Flash. Она использует плотную архитектуру NemotronFlashForCausalLM с гибридными операторами, подобранными эволюционным поиском, и нормализацией весов на этапе обучения; размер модели — 520,1 млн параметров, длина контекста — до 36 000 токенов. Модель предназначена для генерации текста и применения в сценариях, где важны задержка и пропускная способность, включая математические задачи, программирование и рассуждения на общеизвестные темы. В README NVIDIA сообщает о сравнительных результатах на задачах математики, кода и здравого смысла, а также об ускорении инференса относительно некоторых небольших моделей. Для запуска приведены примеры с Transformers и CUDA Graph; в README также упоминается интеграция с TRT-LLM AutoDeploy. Это базовая модель, а не вариант Instruct, поэтому её поведение в диалоге может требовать дополнительной настройки. В метаданных указана лицензия other; конкретные условия использования следует сверить с лицензией и документами репозитория.

Карточка модели qianxiaoliuying/paraphrase-multilingual-MiniLM-L12-v2 на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.

Qwen2-1.5B-Instruct-AWQ — инструкционно дообученная языковая модель серии Qwen2, разработанная командой Qwen. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, выполнение инструкций, написание и обработку текстов, а также задачи, связанные с кодом, математикой и рассуждениями. Модель содержит 1,5 млрд параметров и основана на архитектуре Transformer с активацией SwiGLU, смещениями в QKV внимания и group query attention. Она является текстовой авторегрессионной моделью и использует улучшенный токенизатор, адаптированный для нескольких естественных языков и языков программирования. Версия AWQ содержит квантизацию, рассчитанную на снижение потребления памяти и повышение эффективности инференса; конкретные требования к памяти и показатели производительности зависят от среды запуска. К сильным сторонам относятся компактный размер, поддержка диалогового режима и широкий спектр языковых, кодовых, математических и логических задач. По сравнению с более крупными моделями качество и глубина рассуждений могут быть ограничены, а README не содержит данных о длине контекста, точном перечне поддерживаемых языков и количественных результатах бенчмарков. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-0.8B — компактная мультимодальная модель семейства Qwen, представленная в репозитории ensu-app/Qwen3.5-0.8B-GGUF и основанная на Qwen/Qwen3.5-0.8B. README не указывает отдельного разработчика репозитория; модель относится к линейке Qwen. Она предназначена для прототипирования, исследовательских и разработческих задач, а также для дообучения под конкретные сценарии. Поддерживает работу с текстом и изображениями благодаря архитектуре языковой модели с vision encoder, включая задачи рассуждения, программирования, визуального понимания и агентных сценариев. Модель содержит 0,8 млрд параметров, 24 слоя, скрытое измерение 1024 и нативный контекст до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель обучалась в режимах pre-training и post-training, а веса и конфигурации совместимы с Transformers, vLLM, SGLang и KTransformers. Для локального запуска и дообучения рекомендуется использовать инструменты Unsloth. К сильным сторонам относятся малый размер, потенциально высокая скорость и низкая стоимость инференса, мультимодальность, большой контекст и широкое языковое покрытие. Ограничение — относительно небольшой масштаб в 0,8 млрд параметров, поэтому модель ориентирована прежде всего на прототипы, специализированное дообучение и исследования, а не на универсальные задачи максимальной сложности. В README указана лицензия Apache-2.0.

amd/Qwen3.5-397B-A17B-MXFP4 — мультимодальная генеративная модель семейства Qwen, представленная AMD на основе Qwen/Qwen3.5-397B-A17B-FP8. Она предназначена для задач условной генерации текста с обработкой текста, изображений и видео на входе и генерацией текста на выходе. В README указан английский язык. Модель использует архитектуру Qwen3_5MoeForConditionalGeneration и оптимизирована для инференса на AMD MI300, MI350 и MI355 под Linux с ROCm 7.0.0, PyTorch 2.9.1 и Transformers 5.3.0. Для запуска рекомендуются SGLang или vLLM. Экспериментальная конфигурация оценки использовала максимальную длину контекста 262144 токена и распределение по четырём GPU, однако это не подтверждает полный нативный размер контекста модели. Ключевая особенность версии — статическое квантование весов экспертов языковой части и динамическое квантование активаций в формат OCP MXFP4 с помощью AMD-Quark 0.12; визуальные и некоторые другие слои исключены из квантования. На GSM8K модель получила 94,54 против 95,38 у исходной FP8-версии, сохранив 99,12% относительного результата. Ограничения включают зависимость от совместимого оборудования и программного стека AMD, а также ограниченность опубликованной оценки одним бенчмарком. Лицензия — Apache-2.0; для модификаций указаны авторские права Advanced Micro Devices, Inc. за 2026 год.

z-lab/Qwen3.5-9B-PARO — это 4-битная версия языково-визуальной модели Qwen/Qwen3.5-9B, квантованная методом ParoQuant. Модель разработана командой z-lab; метод описан в работе ParoQuant: Pairwise Rotation Quantization for Efficient Reasoning LLM Inference. Модель предназначена для эффективного запуска задач генерации и рассуждений на языковых данных, а также мультимодальных сценариев с обработкой изображений и текста. Она поддерживает работу на NVIDIA GPU через vLLM и Transformers и на устройствах Apple Silicon через MLX. Архитектура и поддерживаемые языки унаследованы от базовой Qwen/Qwen3.5-9B, но их подробные характеристики в README не указаны. Ключевая особенность — квантование языковых компонентов до INT4, обеспечивающее уменьшенный размер и ускоренный inference при заявленном качестве, близком к FP16, и скорости около уровня AWQ. Визуальные компоненты хранятся в исходной точности, поэтому модель крупнее полностью квантованной версии; при отсутствии мультимодальных задач их рекомендуется не загружать для повышения эффективности. Контекстное окно, точные требования к памяти и результаты бенчмарков не указаны. Модель распространяется по лицензии Apache-2.0. Для использования требуется совместимое окружение ParoQuant; README содержит варианты запуска через vLLM, Transformers и MLX.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная версия Qwen3.8-27B, опубликованная HauhauCS. Это плотная языковая модель с поддержкой текста, рассуждений, агентских сценариев, изображений и видео. Она предназначена для прямых ответов без выраженного отказного поведения и минимального вступления, включая сложные запросы. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, FFN-размер 17408 и словарь из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный механизм MTP/NextN, а профиль HauhauCS FastMTP предназначен для ускорения генерации. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000. Поддерживаются английский, китайский и другие языки; для изображений и видео используется отдельный vision-проектор BF16. Сильные стороны модели — мультимодальность, большой контекст, несколько вариантов GGUF-квантизации и ускорение FastMTP. Агрессивный профиль может быть удобен, когда важны краткость и отсутствие отказов, однако для надёжных длинноконтекстных агентских задач автор рекомендует сбалансированный вариант, если он доступен. README не приводит независимых оценок качества и не уточняет риски, связанные с uncensored-поведением. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-30B-A3B-Instruct-3bit — языковая instruction-модель для генерации текста и работы с программным кодом, разработанная Qwen и преобразованная сообществом mlx-community в формат MLX. Модель основана на Qwen/Qwen3-Coder-30B-A3B-Instruct и предназначена для запуска с библиотекой mlx-lm, в частности в сценариях локальной генерации на совместимом оборудовании Apple MLX. Вариант имеет 3-битное представление и относится к семейству Qwen3-Coder; точные сведения об архитектуре, количестве активных параметров, контекстном окне, поддерживаемых языках и модальностях в README не указаны. Заявленный тип задачи — text-generation, поэтому модель ориентирована на генерацию текста, включая ответы в instruction-режиме и программный код. Сжатое 3-битное представление может снизить требования к памяти, однако README не содержит результатов тестирования, сведений о качестве, ограничениях или производительности. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; конвертация выполнена с использованием версии 0.26.1.

WuQi-V3-Onyx-27B — созданная проектом WuQi агентная модель для диалогов и многоэтапных задач. Она дообучена методом LoRA на базе мультимодальной Qwen3.8-27B, после чего адаптер объединён с весами. Модель распространяется в формате Transformers и совместима с Transformers, vLLM и SGLang. Лицензия — Apache 2.0. Модель настроена на планирование и выполнение задач с инструментами, проверку наблюдений и гибкое принятие решений. В README описана адаптация для 12 инструментов среды DeepSeek Harness, включая работу с файлами и кодом, веб-поиск и делегирование подзадач. Архитектура — плотная Qwen3.5 с поддержкой изображений; заявленная длина контекста в конфигурации развертывания — 262144 токена. Основной язык карточки — китайский. Это предварительная версия. Заявленные в карточке результаты относятся к оценке DSH-ABench-Basic и внутренним замерам токенов; они не гарантируют аналогичного качества в других сценариях. Для активации дообученной манеры работы README рекомендует специальный system prompt; внешняя инструкция Harness может его переопределить.

Карточка модели Sing0402/auslegal-embed-gte-dense на Hugging Face совпадает с карточкой Alibaba-NLP/gte-modernbert-base, поэтому описание составлено по ней. gte-modernbert-base — англоязычная модель для построения текстовых эмбеддингов, разработанная Tongyi Lab компании Alibaba. Она основана на encoder-only архитектуре ModernBERT и содержит 149 млн параметров; вектор представления имеет размерность 768, максимальная длина входа — 8192 токена. Модель предназначена для семантического поиска, извлечения документов, сравнения предложений и подбора текстов по смыслу, в том числе как компонент систем RAG. В карточке приведены результаты оценок MTEB, BEIR, LoCo и COIR; они показывают эффективность на задачах поиска, включая поиск по длинным документам и коду. Доступны веса в форматах PyTorch, Safetensors и ONNX; для интеграции описано использование Transformers, Sentence Transformers и Text Embeddings Inference. Модель распространяется по лицензии Apache-2.0. Она рассчитана прежде всего на английский язык, поэтому качество для других языков не подтверждено карточкой.

Карточка модели culudamar/baseline-test-model на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.

bartowski/DeepSeek-Coder-V2-Instruct-0724-GGUF — набор GGUF-квантизаций модели DeepSeek-Coder-V2-Instruct-0724, разработанной deepseek-ai и квантизированной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель относится к классу генеративных text-generation-моделей и предназначена прежде всего для работы с программным кодом и инструкциями, включая локальный запуск через llama.cpp или LM Studio. Доступны варианты квантизации от Q8_0 до IQ1_M, размером примерно от 52,68 до 250,62 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше оперативной или видеопамяти; в README рекомендуются Q6_K, Q5_K_M, Q4_K_M и IQ4_XS. Для отдельных вариантов эмбеддинги и выходные веса сохраняются в формате Q8_0, что может влиять на качество. Указаны специальный формат prompt и необходимость учитывать его при интеграции. В README не приведены точные сведения об архитектуре исходной модели, числе параметров, максимальном контексте, поддерживаемых языках и мультимодальности. Модель распространяется по лицензии deepseek-license; подробные условия находятся в файле LICENSE.

Карточка модели dnouv/embeddinggemma-300m на Hugging Face совпадает с карточкой google/embeddinggemma-300m, поэтому описание составлено по ней. EmbeddingGemma — компактная модель эмбеддингов Google DeepMind на 300 млн параметров, построенная на Gemma 3 с инициализацией T5Gemma. Она преобразует текстовые запросы и документы в векторы и предназначена для семантического поиска, оценки сходства, классификации и кластеризации. Модель поддерживает более 100 языков и рассчитана на локальное использование на телефонах и компьютерах с ограниченными ресурсами. Модель принимает текст с контекстом до 2048 токенов и выдаёт эмбеддинги размерностью 768; с помощью Matryoshka Representation Learning размерность можно сократить до 512, 256 или 128 с последующей нормализацией. Она подходит для поиска документов и кода по запросу, поиска материалов для систем вопросов и ответов, обнаружения дубликатов и тематической группировки текстов. Для работы предусмотрена библиотека Sentence Transformers. Качество представлений зависит от охвата и возможных смещений обучающих данных; модель может хуже учитывать тонкие языковые оттенки, сарказм и переносный смысл. Лицензия указана как Gemma; применяются условия использования Gemma и её политика запрещённого использования.

EmbeddingGemma — компактная модель эмбеддингов Google DeepMind на 300 млн параметров, построенная на Gemma 3 с инициализацией T5Gemma. Она преобразует текстовые запросы и документы в векторы и предназначена для семантического поиска, оценки сходства, классификации и кластеризации. Модель поддерживает более 100 языков и рассчитана на локальное использование на телефонах и компьютерах с ограниченными ресурсами. Модель принимает текст с контекстом до 2048 токенов и выдаёт эмбеддинги размерностью 768; с помощью Matryoshka Representation Learning размерность можно сократить до 512, 256 или 128 с последующей нормализацией. Она подходит для поиска документов и кода по запросу, поиска материалов для систем вопросов и ответов, обнаружения дубликатов и тематической группировки текстов. Для работы предусмотрена библиотека Sentence Transformers. Качество представлений зависит от охвата и возможных смещений обучающих данных; модель может хуже учитывать тонкие языковые оттенки, сарказм и переносный смысл. Лицензия указана как Gemma; применяются условия использования Gemma и её политика запрещённого использования.

Карточка модели SteveCIB77/embeddinggemma-300m на Hugging Face совпадает с карточкой google/embeddinggemma-300m, поэтому описание составлено по ней. EmbeddingGemma — компактная модель эмбеддингов Google DeepMind на 300 млн параметров, построенная на Gemma 3 с инициализацией T5Gemma. Она преобразует текстовые запросы и документы в векторы и предназначена для семантического поиска, оценки сходства, классификации и кластеризации. Модель поддерживает более 100 языков и рассчитана на локальное использование на телефонах и компьютерах с ограниченными ресурсами. Модель принимает текст с контекстом до 2048 токенов и выдаёт эмбеддинги размерностью 768; с помощью Matryoshka Representation Learning размерность можно сократить до 512, 256 или 128 с последующей нормализацией. Она подходит для поиска документов и кода по запросу, поиска материалов для систем вопросов и ответов, обнаружения дубликатов и тематической группировки текстов. Для работы предусмотрена библиотека Sentence Transformers. Качество представлений зависит от охвата и возможных смещений обучающих данных; модель может хуже учитывать тонкие языковые оттенки, сарказм и переносный смысл. Лицензия указана как Gemma; применяются условия использования Gemma и её политика запрещённого использования.

Tech2wild/GLM-5.3-Int4-Int8Mix — это смешанная квантованная версия GLM-5.3, разработанной zai-org. Модель основана на архитектуре glm5_next и представляет собой MoE-модель общим размером 743 млрд параметров, из которых около 40 млрд активируются для одного запроса. Она предназначена для генерации текста и запуска через Transformers и vLLM в формате compressed-tensors, прежде всего на конфигурации из четырёх NVIDIA DGX Spark с графическими процессорами GB10. Квантование выполнено без калибровочных данных по схеме статического симметричного weight-only mixed precision с размером группы 128. Основная масса MoE-экспертов использует W4A16, а плотные слои и attention — W8A16; маршрутизаторы, компоненты sparse attention, выходная голова и ряд служебных блоков сохранены в полной точности. Исходная модель поддерживает контекст до 1 млн токенов, однако в приведённой конфигурации заявлен запуск с длиной до 131 072 токенов и возможность расширения примерно до 600 000 токенов с Decode Context Parallel. Модель ориентирована на длинноконтекстную генерацию, многопоточную подачу запросов и speculative decoding с совместимым DFlash2-драфтером. Ключевое преимущество — уменьшенный объём весов около 378 ГБ, что позволяет обслуживать модель на четырёх DGX Spark с запасом памяти под KV-кэш; заявлена производительность до 46,03 токена в секунду при шести одновременных потоках. Ограничения включают очень высокие требования к памяти и необходимость tensor parallelism, а для GB10/sm121 — специальных kernel overlays для sparse MLA и FP8 KV. Четырёхбитное квантование даёт заметную численную погрешность, поэтому сохранение критичных компонентов в BF16 важно для качества. Лицензия указана как glm-5.3; подробные условия доступны по ссылке на лицензию базовой модели zai-org/GLM-5.3.