I.6Перевод и языковая адаптация

Qwen3.5-35B-A3B-quantized.w4a16 — это квантованная мультимодальная языковая модель на базе Qwen/Qwen3.5-35B-A3B, опубликованная пользователем apolo13x. Базовая модель разработана командой Qwen. Модель принимает текст и изображения, а генерирует текст, поэтому предназначена для диалоговых сценариев, анализа изображений, ответов на вопросы и других задач преобразования мультимодального ввода в текст. Модель использует архитектуру Qwen3.5 с разреженной MoE-конфигурацией 35B-A3B, где общий размер составляет около 35 млрд параметров, а активируется примерно 3 млрд параметров. Веса квантованы до INT4 в формате GPTQ с конфигурацией W4A16 с использованием llm-compressor. Это уменьшает размер модели с 67,0 до 20,4 ГБ, примерно в 3,3 раза, при среднем восстановлении точности 99,5% относительно исходной модели. В указанных тестах модель показала 81,31% на GPQA Diamond, 94,60% на IFEval и 91,95% на MMLU-Redux. Сильной стороной модели является существенное снижение требований к хранению и инференсу при сохранении близкой к исходной точности. Ограничения связаны с потерями, возможными при 4-битном квантовании, а также с тем, что на 27 февраля 2026 года модель поддерживалась в nightly-версии vLLM, что может означать менее стабильную совместимость по сравнению со стабильными релизами. Сведения о размере контекстного окна и поддерживаемых языках в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-text-4B-bnb-4bit — текстовая языковая модель, разработанная techwithsergiu на базе Qwen3.5-text-4B, производной от Qwen3.5-4B команды Qwen. Модель предназначена для генерации и обработки текста, диалоговых сценариев и последующего дообучения с использованием LoRA или QLoRA. Поддерживает режимы с включённым и выключенным рассуждением перед ответом. Модель содержит текстовый backbone размера 4B и использует 4-битную BNB NF4-квантизацию с double quantization; вычисления выполняются в bfloat16, а веса lm_head сохранены в bf16 для стабильности и качества вывода. Визуальная башня удалена, поэтому модель принимает только текст и не поддерживает обработку изображений. Ключевое преимущество — сниженное потребление видеопамяти: заявлено около 3,12 ГБ против 9,32 ГБ у исходной f16-модели. Контекстное окно и перечень поддерживаемых языков в README не указаны. Модель особенно ориентирована на текстовое LoRA-дообучение с Unsloth, TRL и PEFT; такая конфигурация проверена на видеокарте RTX 3070 с 8 ГБ памяти. Ограничения связаны с отсутствием мультимодальности, а документация по полноценному LoRA-дообучению на момент публикации ещё не завершена. Модель распространяется по лицензии Apache-2.0.

lued/Qwen3.8-27B-huihui-abliterated-INT8-W8A16-DFlash2 — квантованная версия Huihui-Qwen3.8-27B-abliterated, разработанная на базе моделей huihui-ai и Qwen. Это мультимодальная conversational-модель с поддержкой текста и изображений, предназначенная для диалогов, генерации текста, задач рассуждения, tool calling и работы с длинным контекстом. Модель рассчитана на запуск через vLLM и потребительское оборудование, в частности две видеокарты RTX 3090. Модель содержит 27B параметров, использует формат W8A16 с весами INT8 и активациями FP16 или BF16, а также поддерживает контекст до 262 144 токенов. Для ускорения генерации применяется speculative decoding с отдельной моделью-черновиком DFlash2, которая предлагает до 7 токенов за шаг. Размер основной модели составляет около 28 GiB в шести шардах, размер drafter — около 2,02 GiB. По данным README, квантование сохраняет 98,5% совпадения следующего токена с исходной BF16-моделью при среднем KLD 0,000694. Сильные стороны модели — уменьшенный вдвое размер относительно BF16-версии, поддержка длинного контекста, vision tower, thinking controls и tool calling, а также заявленное ускорение генерации на RTX 3090. Ограничения включают необходимость двух GPU с общим объёмом памяти 48 ГБ для заявленного сценария, использование неподдерживаемого в стабильном vLLM DFlash2 с дополнительными патчами и отсутствие собственных измерений скорости именно для этой сборки; приведённые показатели производительности относятся к родственному варианту. Модель распространяется по лицензии Apache-2.0.

Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

A.X K2 NVFP4 — квантизированная версия языковой модели A.X K2 от SK Telecom. Это модель типа Mixture-of-Experts с 688 млрд параметров, из которых 33 млрд активны при обработке запроса. Вариант NVFP4 применяет к routed experts квантизацию NVFP4 W4A4, а attention, router, shared expert и dense layer хранит в FP8, embedding и LM head — в BF16; заявлено примерно двукратное сокращение объёма памяти по сравнению с FP8-чекпойнтом. Модель предназначена для диалоговой генерации текста, рассуждений, следования инструкциям и агентных сценариев. Режим thinking подходит для сложных задач, а non-thinking — для коротких ответов с меньшей задержкой. Конфигурация YaRN поддерживает контекст до 256K токенов; README также описывает тесты извлечения фактов при масштабировании до 512K. Для запуска на одном узле указаны четыре NVIDIA B200 и форк vLLM с поддержкой A.X K2. Модель ориентирована на английский, корейский, китайский, японский и испанский языки; проект подчёркивает понимание корейского языка и культуры. В README заявлено качество, сопоставимое с FP8-версией, и идеальный результат на описанном тесте NIAH, но эти результаты не характеризуют все задачи. Лицензия — Apache-2.0.

Карточка модели efeturkol/bddk-embedding-model на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.

C4AI Command-R v01 — авторегрессионная плотная языковая модель Cohere и Cohere For AI на 35 млрд параметров, выпущенная с открытыми весами. Она предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и работы с RAG; также обучена формировать вызовы инструментов в специальном формате диалога. Модель принимает и генерирует текст. Она построена на оптимизированном трансформере, после предварительного обучения прошла дообучение с учителем и обучение на предпочтениях. Контекст составляет 128K токенов. Модель рассчитана на английский, французский, немецкий, испанский, итальянский, бразильский португальский, японский, корейский, упрощённый китайский и арабский; русский входил в дополнительные языки предобучения, но не указан среди языков, на которых модель специально оптимизирована. Весам требуется следовать лицензии CC-BY-NC-4.0 и Политике допустимого использования C4AI. Для вызова инструментов рекомендуется использовать предусмотренный шаблон диалога: отклонение от него может снизить качество. README указывает на сильные возможности RAG, но для их использования нужно предоставить модели найденные документы и соответствующий формат запроса.

DeepSeek-V4.1-Flash-EXL3-2.9bpw — это квантованная версия мультимодальной модели DeepSeek-V4.1-Flash, разработанной DeepSeek-AI. Квантование выполнено Mia’s AI Lab в формате EXL3 с использованием exllamav3 версии 1.4.2. Модель предназначена для задач генерации и анализа текста и изображений, включая сценарии с рассуждением и большим контекстом, при запуске в совместимых средах vLLM, ExLlamaV3 или TabbyAPI. В основе лежит MoE-архитектура с 552 млрд параметров и активацией 8–16 млрд параметров на токен. Поддерживаются мультимодальный ввод, зрительный модуль, DSpark, CED, CSA2 и Engram memory; заявлен контекст до 1 млн токенов. Средняя битность квантования декодера составляет 2,90 bpw, размер сборки — около 197 ГБ в 39 safetensors-частях. Включены vision-компоненты и DSpark, однако таблицы Engram не квантованы и требуют дополнительных оригинальных шардов 47 и 48 базовой модели общим объёмом около 190 ГБ. Сильными сторонами являются существенно сниженные требования к хранению по сравнению с полноразмерной моделью, поддержка длинного контекста, мультимодальность и встроенное спекулятивное декодирование DSpark. Ограничения связаны с необходимостью дополнительных Engram-шардов, использованием специализированного EXL3-совместимого стека и тем, что показатели качества из карточки базовой модели не относятся напрямую к этой квантованной сборке. Модель распространяется по лицензии MIT без дополнительных ограничений со стороны квантования.

Dolphin X1 8B — диалоговая языковая модель команды Dolphin, полученная дообучением Meta Llama 3.1 8B Instruct. Модель предназначена для генерации текста общего назначения и диалогов; она сохраняет возможности базовой модели и рассчитана на настройку поведения через системный промпт. В каталоге указано 7,5 млрд параметров, архитектура Llama с плотной сетью, формат safetensors и контекст до 131 072 токенов. Модель подходит для чат-ботов, ответов на вопросы, написания и редактирования текстов, а также интерфейсов с вызовом инструментов. Карточка описывает её как менее ограниченную в отказах и оставляющую владельцу приложения настройку системных правил. В README приведены результаты оценок MMLU и IFEval, но они сами по себе не гарантируют качество на конкретных задачах. Модель использует лицензию Llama 3.1; при использовании необходимо соблюдать её условия.

Falcon-H1-1.5B-Instruct — многоязычная авторегрессионная языковая модель семейства Falcon-H1, разработанная командой TII. Это дообученная для следования инструкциям версия Falcon-H1-1.5B-Base с гибридной архитектурой, сочетающей Transformer-внимание и блоки SSM/Mamba. Модель содержит 1,1 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям: она подходит для ответов на вопросы, рассуждений, математических задач, программирования и работы с научными знаниями. В карточке заявлена поддержка 18 языков, включая арабский, английский, хинди, японский, китайский и русский. Для запуска указаны Transformers, vLLM и llama.cpp; метаданные репозитория отмечают формат safetensors. В README указана лицензия Falcon-LLM License, тогда как метаданные Hugging Face обозначают лицензию как other. Перед использованием следует проверить условия лицензии в репозитории. Как компактная модель на 1,1 млрд параметров, она может уступать более крупным моделям на сложных задачах; заявленные в карточке результаты бенчмарков не гарантируют качество на конкретных данных.

Карточка модели RedHatAI/gemma-3-12b-it на Hugging Face совпадает с карточкой google/gemma-3-12b-it, поэтому описание составлено по ней. Gemma 3 12B IT — мультимодальная модель с открытыми весами от Google, дообученная для следования инструкциям на основе google/gemma-3-12b-pt. Она принимает текст и изображения и генерирует текст; относится к семейству Gemma 3 и доступна в формате safetensors для Transformers. Модель предназначена для диалоговых приложений, ответов на вопросы и задач понимания изображений, а также для создания и обобщения текста. Контекстное окно — до 128 тысяч токенов, поддерживается более 140 языков. Размер модели — 12 млрд параметров. Модель подходит для извлечения сведений из изображений, составления черновиков, суммаризации и исследовательских задач. Google отмечает, что ответы могут содержать фактические ошибки, отражать предвзятость обучающих данных и хуже справляться со сложными открытыми запросами, языковыми нюансами и задачами, требующими здравого смысла. Лицензия — Gemma; при использовании следует соблюдать условия лицензии и политику запрещённого использования Gemma.

unsloth/gemma-3n-E4B-it-GGUF — GGUF-квантизированная инструкцияная версия модели Gemma 3n E4B, разработанной Google DeepMind и распространяемой в формате GGUF сообществом Unsloth. Модель относится к семейству лёгких открытых моделей Google, созданных на основе исследований и технологий Gemini, и предназначена для эффективного запуска на устройствах с ограниченными ресурсами. Модель рассчитана на диалоговые сценарии, ответы на вопросы, обработку запросов и суммаризацию документов. Семейство Gemma 3n поддерживает мультимодальный ввод текста, изображений, видео и аудио с генерацией текста, однако данная карточка указывает, что для этой версии в текущей конфигурации поддерживается только текст. Максимальная длина контекста составляет 32K токенов. Указан эффективный размер 4B параметров благодаря технологии выборочной активации параметров; точная архитектура GGUF-варианта и конкретный метод квантования в карточке не уточняются. Модель обучалась на данных более чем на 140 разговорных языках, но в метаданных этой версии явно указан английский язык. К сильным сторонам относятся низкие требования к ресурсам, возможность локального запуска и поддержка тонкой настройки через инструменты Unsloth. Ограничениями являются текстовый режим данной версии, зависимость характеристик от выбранного GGUF-кванта и отсутствие в карточке подробных данных о точном размере файла, производительности и качестве по языкам. Использование регулируется лицензией Gemma и соответствующими Terms of Use Google.

AtomicChat/gemma-4-E4B-it-GGUF — GGUF-квантизированная версия мультимодальной модели google/gemma-4-E4B-it, подготовленная командой Atomic Chat из оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые инструменты. Она поддерживает работу с текстом, изображениями и аудио, а также ориентирована на задачи, требующие рассуждений, с настраиваемыми режимами thinking. Модель имеет 4,5 млрд эффективных параметров, или 8 млрд параметров с учётом embeddings, 42 слоя и контекст до 128K токенов. Архитектура представляет собой плотный decoder с гибридным вниманием: sliding-window attention с окном 512 токенов и глобальное внимание; используются 8 attention heads и 2 KV heads. В репозитории доступны варианты квантования от Q2_K до Q8_0, включая imatrix-квантизации. Importance matrix помогает уменьшить потерю качества в низкобитных вариантах; Q4_K_M рекомендован как сбалансированный вариант по размеру, скорости и качеству. Для обработки изображений поставляется vision-проектор mmproj. Сильные стороны модели — мультимодальность, большой контекст, возможность локального запуска и широкий выбор квантов под разные объёмы памяти. Ограничения связаны с потерями качества при наиболее компактном квантовании, потребностью правильно применять chat template Gemma 4 и необходимостью отдельного vision-проектора для изображений. Заявленные benchmark-результаты относятся к базовой модели Google, а не к независимым измерениям этого репозитория. Лицензия — Apache 2.0.

Карточка модели keithtwesigye/lunyoro-sentence-embeddings на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.

Multilingual-E5-base — модель текстовых эмбеддингов на архитектуре XLM-RoBERTa, основанная на xlm-roberta-base и дополнительно обученная на смеси многоязычных данных методом контрастивного обучения. В карточке указаны 12 слоёв и размер эмбеддинга 768; метаданные указывают около 305,2 млн параметров и контекст до 514 токенов. Модель предназначена для получения векторных представлений запросов и текстов, семантического сравнения, поиска и ранжирования документов, в том числе в многоязычных сценариях. Модель поддерживает 100 языков семейства XLM-RoBERTa; в метаданных явно перечислены языковые коды для части языков. Для асимметричного поиска следует добавлять к запросу префикс «query: », а к документу — «passage: »; для симметричных задач и получения признаков рекомендуется префикс «query: ». Длинные входы обрезаются до 512 токенов, а качество может быть ниже для языков с малым объёмом ресурсов. Репозиторий предоставляет веса в форматах PyTorch, Safetensors и ONNX; лицензия — MIT.

Это квантизированная версия NVIDIA Nemotron 3 Nano 30B A3B в формате GGUF с квантизацией MXFP4_MOE и imatrix на основе данных Unsloth. Модель предназначена для генерации текста и диалогового использования; для запуска требуется llama.cpp. Базовая модель — гибридная языковая модель NVIDIA для диалогов, рассуждений, программирования и создания агентных приложений, поддерживающая шесть языков и длинный контекст. Карточка не приводит точный размер файла или длину контекста этой сборки. Лицензия в доступных данных не указана.

Карточка модели KOLKAHORKOV/paraphrase-multilingual-MiniLM-L12-v2 на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.

Карточка модели nosynx/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

llmfan46/Qwen3.5-35B-A3B-ultra-uncensored-heretic — мультимодальная разговорная модель, созданная независимым автором на основе Qwen3.5-35B-A3B от Alibaba. Это дообученная версия с методом abliteration: по приведённому в карточке тесту она реже отказывает в ответах, при этом сохраняет близость к поведению исходной модели по метрике KL divergence. Модель принимает текст и изображения и формирует текстовые ответы; её можно использовать для диалога, анализа изображений, рассуждений и сценариев с вызовом инструментов. В основе лежит архитектура Qwen3.5 MoE с 35 млрд параметров всего и примерно 3 млрд активных параметров. Исходная модель поддерживает контекст до 262 144 токенов с возможностью расширения; карточка производной модели отдельно не подтверждает изменения этого предела. README указывает поддержку 201 языка и диалекта для семейства Qwen3.5, но не уточняет, насколько полно она сохранена в этой версии. Формат весов — Safetensors; заявлена совместимость с Transformers и рядом движков инференса. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-GGUF — это GGUF-квантизированная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen и подготовленной ByteShape с использованием ShapeLearn. Метод ShapeLearn выбирает тип данных для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для локального запуска и инференса через llama.cpp или LM Studio, включая сценарии, требующие обработки текста и изображений. Модель относится к семейству с обозначением 35B-A3B; README не раскрывает точную архитектуру, размер контекста и поддерживаемые языки. Доступны варианты, оптимизированные для GPU и CPU: GPU-версии используют IQ-квантизацию, а CPU-версии — преимущественно KQ-квантизацию. Размер файлов составляет примерно от 9,42 до 18 ГБ для GPU-вариантов и от 11,7 до 14,7 ГБ для указанных CPU-вариантов, при диапазоне 2,17–4,15 бит на вес. Сильными сторонами являются поддержка vision-сценариев, возможность локального запуска на различном оборудовании и выбор между качеством, размером и скоростью инференса. Ограничения включают зависимость производительности от конкретного варианта и оборудования, а также отсутствие поддержки этой GGUF-модели в Ollama на момент публикации README. Модель распространяется по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q3_K_L-GGUF — это независимая ванильная GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель не является дообучением, слиянием или изменённой версией; сохранены исходные шаблон чата, режимы рассуждений, нативный формат вызова инструментов и мультимодальные компоненты. Квантизация выполнена в формате Q3_K_L с использованием llama.cpp, размер основного файла составляет около 14,56 ГБ, а полный репозиторий занимает около 15,5 ГБ. Модель предназначена для генерации текста, вызова инструментов, анализа изображений и работы с видео через vision projector. Она использует гибридную архитектуру с чередованием Gated DeltaNet и полнотекстового внимания, а также содержит MTP-тензоры, однако спекулятивное ускорение не заявлено. Текстовая генерация, вызов инструментов и мультимодальные сценарии прошли функциональную проверку; валидационная скорость составила около 14,77 токена в секунду на тестовой системе. Для запуска требуется совместимый runtime, поддерживающий граф Qwen3.8, vision tower, проектор, токенизатор и MTP-метаданные, а также ориентировочно не менее 19 ГБ доступной памяти без гарантии пикового потребления. Максимальный размер контекста в README не указан и полноценно не тестировался, языки также не перечислены. Квантизация может снижать качество, особенно из-за небольшой разрядности. Модель и её квантизация распространяются по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q3_K_S-GGUF — независимая ванильная квантизация модели Qwen/Qwen3.8-27B, опубликованная Chungulus. Модель предназначена для локального запуска задач генерации текста, вызова инструментов, анализа изображений и видео. Это vision-language модель с поддержкой мультимодального ввода; для работы с изображениями используется отдельный vision projector mmproj-Qwen3.8-27B-F16.gguf. Поддерживаются нативный формат вызова инструментов Qwen и управление режимами рассуждений через enable_thinking, reasoning_effort и preserve_thinking. Основной файл имеет размер около 12,257 ГБ, полный репозиторий — около 13,197 ГБ. Используется квантизация Q3_K_S на базе llama.cpp K/IQ quantization без дополнительного обучения, слияния или изменения шаблона чата. Сохранена гибридная структура Hybrid Gated DeltaNet/full-attention, а также MTP-тензоры и метаданные, однако спекулятивное ускорение не заявлено. Текстовая генерация, вызов инструментов, обработка изображений и видео прошли проверки; на валидационном хосте зафиксирована скорость около 17,35 токена в секунду. Для запуска требуется совместимый runtime, поддерживающий граф Qwen3.8, vision tower/projector, токенизатор и MTP-метаданные; рекомендуется иметь не менее примерно 17 ГБ доступной памяти, при этом KV-кэш увеличивает потребление в зависимости от контекста. Низкая разрядность квантизации может снижать качество. Максимальный контекст в README не указан и полноценно не тестировался. Модель и квантизация распространяются по лицензии Apache-2.0.

Qwen3-VL-235B-A22B-Instruct — мультимодальная модель семейства Qwen3-VL от Qwen, представленная в варианте Mixture-of-Experts с инструктивной настройкой. Она принимает текст и изображения и формирует текстовые ответы; поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для визуальных вопросов и ответов, распознавания текста на изображениях, понимания видео, пространственных рассуждений и взаимодействия с графическими интерфейсами. В карточке заявлены контекст длиной 256 тысяч токенов с возможностью расширения до 1 миллиона, понимание длинных документов и видео, а также OCR на 32 языках. Среди описанных возможностей — локализация событий по временным меткам, анализ объектов и их взаимного расположения, решение задач STEM и генерация кода интерфейсов по изображениям или видео. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Модель распространяется по лицензии Apache-2.0. Практическое качество может зависеть от языка, сложности изображения или видео и характера задачи; приведённый README не содержит конкретных численных результатов бенчмарков.

Mungert/Qwen3-VL-8B-Instruct-GGUF — квантованная GGUF-версия мультимодальной модели Qwen3-VL-8B-Instruct, разработанной командой Qwen и подготовленной пользователем Mungert с помощью llama.cpp. Модель предназначена для задач «изображение—текст»: анализа изображений и видео, генерации текста, визуального вопросно-ответного взаимодействия, OCR, пространственного рассуждения, анализа документов, визуального программирования и взаимодействия с графическими интерфейсами и инструментами. Модель имеет плотную архитектуру с 8 млрд параметров и поддерживает обработку текста, изображений и видео. Заявлены нативный контекст до 256K токенов с возможностью расширения до 1M, понимание длительных видео с временной индексацией, улучшенное пространственное рассуждение и OCR для 32 языков. Среди архитектурных компонентов указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Формат GGUF ориентирован на запуск через llama.cpp и другие совместимые средства локального инференса. Сильными сторонами являются мультимодальность, распознавание текста в сложных условиях, анализ пространственных и временных отношений, работа с длинным контекстом и возможности визуального агента. Точность и размер файла зависят от выбранного уровня квантования: низкая разрядность может ухудшать качество, тогда как описанный автором подход с повышением точности отдельных слоёв увеличивает размер модели и потенциально сохраняет больше точности. README не содержит подробных результатов тестирования конкретных квантованных файлов и сведений о требованиях к оборудованию. Лицензия — Apache 2.0.

Карточка модели jirawan-chro/RAG-thai на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.

Rombos-LLM-70b-Llama-3.3 — дообученная диалоговая языковая модель на архитектуре Llama, опубликованная пользователем rombodawg. Она предназначена для генерации текста и общения в формате инструктивного ассистента; метаданные также указывают интерфейс вызова инструментов. Модель содержит 69,5 млрд параметров, использует формат safetensors и поддерживает контекст до 131 072 токенов. В качестве основы указана meta-llama/Llama-3.3-70B-Instruct, мультиязычная инструктивная модель Meta. README не раскрывает подробности обучения или особые сценарии применения. Лицензия — llama3.3.

Fulcrum-AI/Ryze-Nemo — слитая с помощью mergekit методом SLERP языковая модель на архитектуре Mistral, созданная на основе Mistral-Nemo-Instruct-2407 и Mistral-Nemo-Base-2407. Модель содержит 9,8 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; в метаданных также отмечен интерфейс вызова инструментов. Для запуска доступны веса в формате safetensors через библиотеку Transformers. Модель подходит для генерации ответов, диалогов и следования инструкциям. В метаданных указан контекст до 1 024 000 токенов, однако README не описывает проверку качества на таком контексте. Основана на многоязычной модели Mistral AI и NVIDIA. Лицензия в предоставленных данных не указана.

Gameselo/STS-multilingual-mpnet-base-v2 — дообученная Gameselo модель Sentence Transformers на базе sentence-transformers/paraphrase-multilingual-mpnet-base-v2. Она использует архитектуру XLM-RoBERTa и преобразует предложения и абзацы в плотные векторы размерности 768 для оценки семантического сходства, семантического поиска, поиска перефразирований, кластеризации и классификации текста. Для сравнения векторов предусмотрена косинусная мера сходства. README указывает максимальную длину последовательности 128 токенов, а метаданные — размер модели 305,2 млн параметров и контекст 514 токенов. Модель рассчитана на многоязычные тексты. В README приведены результаты на мультиязычных наборах STS, включая примеры для арабского и английско-арабского; карточка также описывает обучение на парах предложений с оценками сходства. Метаданные указывают формат safetensors и библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.

Карточка модели culudamar/baseline-test-model на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.

AtomicChat/DeepSeek-V4-Flash-0731-GGUF — это квантизированная GGUF-версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek и упакованной и квантизированной AtomicChat. Модель предназначена для генерации текста, диалоговых сценариев и conversational-приложений, включая локальный запуск через llama.cpp. Заявлены поддерживаемые языки английский и китайский. Модель построена на архитектуре mixture-of-experts и содержит 284 млрд параметров, из которых 13 млрд активируются для каждого токена. Она включает 43 слоя, 256 маршрутизируемых экспертов, 6 активных экспертов и одного общего эксперта. Контекстное окно составляет 1 млн токенов, размер словаря — 129 280. Исходная модель обучалась с учетом квантизации: маршрутизируемые эксперты хранятся в MXFP4, остальные компоненты — в FP8 или BF16. В репозитории доступны варианты от AD-BF16 и AD-MXFP4 до низкобитных AD-IQ1 и AD-IQ2, позволяющие выбирать компромисс между качеством и объёмом памяти. Главные преимущества — большое контекстное окно, высокая ёмкость MoE-архитектуры и варианты размещения с разным размером файлов. При этом для запуска требуются значительные объёмы оперативной или видеопамяти: размеры вариантов составляют примерно от 70 до 162 ГБ. Квантизация ниже исходного уровня 4,25 бит может заметно ухудшать качество, особенно в вариантах с 1–3 битами. Встроенный chat template устарел и может терять рассуждения в агентских циклах и игнорировать reasoning_effort; для корректной работы рекомендуется использовать отдельный исправленный шаблон из репозитория. Модель распространяется по лицензии MIT.