II.8Инженерия данных и аналитика

Halong Embedding — модель эмбеддингов текста, разработанная contextboxai и дообученная на базе intfloat/multilingual-e5-base. Она предназначена прежде всего для вьетнамского языка и сценариев семантического поиска и RAG; также подходит для сопоставления предложений, поиска перефразирований, кластеризации и классификации текста. Модель построена на XLM-RoBERTa в архитектуре Sentence Transformers: усредняет токенные представления, нормализует результат и выдаёт плотный вектор размерностью 768. Максимальная длина входа — 512 токенов; косинусное сходство используется для сравнения векторов. Обучение примерно на 100 тысячах пар вопрос–документ включало Matryoshka loss, позволяющий сокращать размер эмбеддинга с небольшими потерями качества. Модель принимает текст и выдаёт векторные представления. Карточка сообщает о многоязычности с фокусом на вьетнамском, а метаданные также указывают английский. Лицензия — Apache-2.0. Качество может зависеть от языка и предметной области; заявленная устойчивость при сокращении векторов не означает отсутствия потери качества.

Карточка модели thuan220401/halong_embedding на Hugging Face совпадает с карточкой contextboxai/halong_embedding, поэтому описание составлено по ней. Halong Embedding — модель эмбеддингов текста, разработанная contextboxai и дообученная на базе intfloat/multilingual-e5-base. Она предназначена прежде всего для вьетнамского языка и сценариев семантического поиска и RAG; также подходит для сопоставления предложений, поиска перефразирований, кластеризации и классификации текста. Модель построена на XLM-RoBERTa в архитектуре Sentence Transformers: усредняет токенные представления, нормализует результат и выдаёт плотный вектор размерностью 768. Максимальная длина входа — 512 токенов; косинусное сходство используется для сравнения векторов. Обучение примерно на 100 тысячах пар вопрос–документ включало Matryoshka loss, позволяющий сокращать размер эмбеддинга с небольшими потерями качества. Модель принимает текст и выдаёт векторные представления. Карточка сообщает о многоязычности с фокусом на вьетнамском, а метаданные также указывают английский. Лицензия — Apache-2.0. Качество может зависеть от языка и предметной области; заявленная устойчивость при сокращении векторов не означает отсутствия потери качества.

Hy3-295B-NVFP4 — квантованный экспорт базовой модели Tencent Hy3, подготовленный r0b0tlab с NVIDIA ModelOpt и проверенный в vLLM на двух системах NVIDIA GB10. Это MoE-модель для генерации диалогового текста; артефакт использует калиброванную квантизацию весов W4A4 NVFP4 для поддерживаемых проекций маршрутизируемых экспертов, а проверенный KV-кэш работает в FP8. В README описана практическая проверка контекста до 49 152 токенов, но это измеренная граница конкретного профиля, а не заявленный архитектурный максимум. Модель предназначена для диалогов, рассуждений, ответов на вопросы, задач на следование инструкциям и генерации кода. В README приведены результаты тестов на GSM8K, ARC-Challenge, PIQA, WinoGrande, TruthfulQA, MMLU, IFEval и HumanEval, а также измерения производительности на указанном оборудовании. Результаты относятся к конкретным конфигурациям запуска, данным и контрактам декодирования и не гарантируют качество для любых запросов. В метаданных указана лицензия other; README требует соблюдать лицензии и условия базовой модели, библиотек и наборов данных. Для запуска и заявленной производительности необходимы совместимые аппаратное обеспечение и программный стек; показатели проверки получены на двух GB10 с vLLM и FlashInfer.

InternLM2-Base-20B — базовая языковая модель второго поколения InternLM, разработанная командой InternLM. Это плотная авторегрессионная модель на 19,3 млрд параметров для генерации и продолжения текста; она предназначена прежде всего для адаптации к предметным областям и может служить основой для последующего дообучения. Репозиторий содержит веса PyTorch, а заявленная длина контекста составляет 32 768 токенов. Модель рассчитана на работу с длинными текстами и демонстрирует способности к рассуждениям, математике и программированию. В README заявлена поддержка входов до 200 000 символов и приведены результаты оценивания InternLM2-20B на бенчмарках, включая MMLU, AGIEval и BBH; этот показатель длины в символах не следует смешивать с контекстом в 32 768 токенов из метаданных. Карточка описывает семейство InternLM2, но не перечисляет конкретные языки обучения или поддержки. Модель может генерировать предвзятый, дискриминационный или иной вредоносный текст, поэтому её ответы требуют проверки. Код распространяется по Apache-2.0; веса открыты для академических исследований, а для коммерческого использования требуется запросить бесплатную лицензию.

LaBSE — перенос многоязычной модели LaBSE в PyTorch, опубликованный командой sentence-transformers. Модель на архитектуре BERT содержит 498,1 млн параметров и отображает предложения на общем векторном пространстве, чтобы сопоставлять их смысл на разных языках. Поддерживает 109 языков; максимальная длина контекста — 512 токенов. Модель подходит для поиска семантически близких предложений, сопоставления текстов на разных языках и построения многоязычных эмбеддингов для семантического поиска и кластеризации. Доступна через библиотеку sentence-transformers и в форматах PyTorch, TensorFlow, Flax и ONNX. Лицензия — Apache-2.0. README указывает на публикацию LaBSE, но не приводит подробностей обучения или сравнительных результатов.

TeichAI/LFM2.5-1.2B-Thinking-Pony-Alpha-Distill — дообученная TeichAI текстовая модель на архитектуре LFM2 с плотной причинной языковой моделью Lfm2ForCausalLM. Она основана на LiquidAI/LFM2.5-1.2B-Thinking и обучена на датасете TeichAI/Pony-Alpha-15k, сформированном на основе раннего чекпойнта Pony Alpha. Модель предназначена для генерации текста с рассуждениями и диалогов; среди заявленных сценариев — программирование, научные задачи и глубокое исследование. Поддерживает контекст до 128 000 токенов, содержит 1,5 млрд параметров и доступна в формате Safetensors. Метаданные отмечают интерфейс для вызова инструментов. Лицензия — Apache 2.0. Это компактная модель для локального развёртывания и задач, где полезны рассуждения и длинный контекст. README приводит рекомендованные параметры генерации: temperature 0,05, top_k 50 и repeat_penalty 1,05. Карточка не сообщает результаты оценивания или подробности о качестве и ограничениях модели; заявленные сценарии следует считать ориентиром, а не гарантией точности.

QuantFactory/Llama-3-Hercules-5.0-8B-GGUF — квантованная версия языковой модели Llama-3-Hercules-5.0-8B, созданная с использованием llama.cpp. Базовая модель основана на Llama-3-8B и дообучена Locutusque на датасете Locutusque/hercules-v5.0. Модель предназначена для генерации текста и использует формат запросов OpenAI ChatML с поддержкой вызовов функций. Модель ориентирована на выполнение сложных многошаговых инструкций, диалоговое взаимодействие, работу с научной и технической тематикой, включая биологию, химию, физику, математику, медицину и компьютерные науки. Она может применяться для специализированных чат-ботов, образовательных ассистентов, генерации кода и сценариев, где требуется выполнение функций через вызовы инструментов. В README не указаны поддерживаемые языки и максимальная длина контекста. Ключевые ограничения включают риск галлюцинаций и фактических ошибок, особенно в специализированных областях, наличие токсичных или вредных примеров в обучающих данных, возможное воспроизведение предубеждений и риск злоупотребления функциональностью вызова функций. Условия распространения обозначены лицензией llama3.

EmbeddedLLM выпустила Mistral-7B-Merge-14-v0.3 — экспериментальную объединённую модель на базе Mistral-7B-v0.1. Она создана методом DARE TIES путём слияния 14 моделей Mistral-7B, обученных для диалога, следования инструкциям, работы с документами, математикой и кодом. Модель содержит 7,1 млрд параметров и принимает текст для генерации продолжений и ответов; максимальный контекст составляет 32 768 токенов. Модель рассчитана на генерацию текста, ответы на инструкции и диалоговые сценарии. Авторы приводят средний результат 69,66 в Open LLM Leaderboard и отмечают, что модель может потребовать дополнительной настройки для чата; в README также указана более сильная версия v0.4. Карточка ориентирована на английский язык. Репозиторий распространяется по лицензии Apache-2.0.

Mistral-NeMo-Minitron-8B-Base — базовая языковая модель NVIDIA для генерации текста и адаптации под различные задачи обработки естественного языка. Это плотный авторегрессионный Transformer-декодер семейства Mistral-NeMo с 7,9 млрд параметров, 40 слоями, Grouped-Query Attention и RoPE. Модель получена из Mistral-NeMo 12B pruning-ом размерностей эмбеддингов и промежуточного слоя MLP, а затем дообучена дистилляцией на 380 млрд токенов. Модель принимает и генерирует текст; заявленная длина контекста — 8192 токена. Обучающие данные включают английский и многоязычный текст, а также код, охватывая веб-страницы, диалоги, статьи и другие материалы. Модель подходит как основа для генерации и продолжения текста, ответов на вопросы и программирования. Это базовая, а не специализированная чат-модель, поэтому для конкретных сценариев может потребоваться адаптация. По данным разработчика, обучение завершилось в августе 2024 года, а срез предобучающих данных — июнь 2023 года. Модель может воспроизводить токсичный язык и социальные предубеждения, а также выдавать неточные, неполные или избыточные ответы. В метаданных указана лицензия «other»; конкретные условия использования следует проверять в лицензии NVIDIA.

Это англоязычная модель Sentence Transformers, разработанная tomaarsen и дообученная на microsoft/mpnet-base с использованием пар вопросов и ответов из набора GooAQ. Она кодирует предложения и абзацы в плотные векторы размерностью 768; сходство между ними можно оценивать косинусной близостью. Модель подходит для семантического поиска, сопоставления вопросов с ответами и поиска похожих формулировок, а полученные векторы также можно использовать для кластеризации и классификации текста. В основе лежит MPNet с усреднением токенных представлений; максимальная длина входа — 512 токенов, а в метаданных указано контекстное окно 514 токенов. Обучение проводилось на 90 тысячах примеров GooAQ с функцией потерь CachedMultipleNegativesBidirectionalRankingLoss. Модель распространяется по лицензии Apache-2.0. Она обучена на англоязычных данных, поэтому её назначение и заявленная поддержка относятся к английскому; карточка не приводит гарантий качества для других языков или областей.

Это англоязычная модель Sentence Transformers, дообученная tomaarsen на microsoft/mpnet-base с использованием набора gooaq-hard-negatives и функции потерь MultipleNegativesBidirectionalRankingLoss. Архитектура MPNet преобразует предложения и абзацы в плотные векторы размерности 768; для представления последовательности используется среднее по токенам, а сходство измеряется косинусом. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, включая поиск ответов по вопросам, оценку сходства предложений, поиск перефразировок, кластеризацию и классификацию текста. В карточке приведена оценка на gooaq-dev: cosine_accuracy@1 — 0,589, @3 — 0,723, @5 — 0,776. Модель поддерживает английский язык и распространяется по лицензии Apache-2.0.

multi-qa-MiniLM-L6-cos-v1 — модель Sentence Transformers, разработанная в рамках проекта Hugging Face по обучению моделей эмбеддингов предложений. Она преобразует вопросы, предложения и абзацы в нормализованные плотные векторы размерностью 384 и предназначена прежде всего для семантического поиска и подбора релевантных документов по запросу. Модель основана на архитектуре BERT и дообучена на примерно 215 млн пар «вопрос—ответ» из разных источников, включая наборы вопросов и ответов, Stack Exchange и пары для Wikipedia. Для представления текста используется mean pooling; контрастивное обучение улучшает близость векторных представлений связанных текстов. Модель содержит 25,9 млн параметров, поддерживает английский язык и рассчитана на последовательности до 512 токенов, хотя при обучении использовался текст длиной до 250 word pieces. Её можно применять для семантического поиска, поиска ответов и ранжирования текстовых фрагментов по сходству; нормализованные векторы позволяют использовать косинусное сходство или скалярное произведение. Тексты длиннее 512 токенов обрезаются, а качество на последовательностях существенно длиннее 250 word pieces может снижаться. Сведения о лицензии в предоставленных данных отсутствуют.

Muse-Glimmer-30B-EXP-EVE-v1 — экспериментальная объединённая модель автора win10 на базе Muse-Glimmer-30B. В README описано слияние моделей разных архитектур методом Tensor Gene Evolution с добавлением возможностей и поведенческих особенностей DeepSeek-V4-Flash-0731 и dots3-note-prev. По метаданным это плотная мультимодальная модель семейства Muse Glimmer на 30 млрд параметров, работающая через Transformers и принимающая изображения и текст для генерации текстовых ответов. Модель предназначена для диалогов, анализа изображений, программирования, агентных сценариев и вызова инструментов. Автор отмечает более широкое и глубокое рассуждение и разнообразие способов решения задач по сравнению с базовой моделью; это заявление из карточки, а не приведённый результат независимой оценки. Распространяется по лицензии Apache-2.0.

Olmo-3-Think-AIO-GGUF — набор GGUF-квантизаций моделей Olmo-3-32B-Think и Olmo-3-7B-Think, разработанных Allen Institute for AI и подготовленных для использования через совместимые инструменты, включая llama.cpp. Модели относятся к семейству открытых плотных трансформерных языковых моделей Olmo 3 с вариантом Think, предназначенным для прозрачного пошагового рассуждения и исследовательских задач в области agentic AI. Модели предназначены для генерации текста, объяснения решений, декомпозиции формальных задач, математического рассуждения, генерации кода и исследований, связанных с reinforcement learning. Указан английский язык и сценарий text generation. Для версии 32B заявлена поддержка контекста до 65 000 токенов. В репозитории представлены варианты GGUF с разными форматами точности и квантования — от F32 и BF16 до компактных IQ- и Q-серий, что позволяет выбирать между качеством, размером файла и требованиями к оборудованию; размеры файлов 32B-версии составляют примерно от 7 до 129 ГБ. К сильным сторонам относятся открытость, возможность инспектировать промежуточные цепочки рассуждений, ориентация на задачи математики и кода, длинный контекст и широкий выбор локальных форматов. Ограничения включают значительные требования к памяти для крупных и высокоточных вариантов, возможное снижение качества при агрессивном квантовании, а также отсутствие заявленной поддержки мультимодальных входов и языков кроме английского. Указанная лицензия — Apache-2.0.

Карточка модели Salahuddin1234/OmniDoctor-Reranker-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-Reranker-8B, поэтому описание составлено по ней. Qwen3-Reranker-8B — текстовая модель для переранжирования, разработанная командой Qwen. Она оценивает релевантность пар «запрос — документ» и помогает упорядочить найденные кандидаты так, чтобы наиболее подходящие фрагменты оказались выше. Модель предназначена для поиска по текстам и коду, включая многоязычный и межъязыковой поиск, например как этап извлечения контекста в RAG-системах. Модель основана на плотной авторегрессионной архитектуре Qwen3 и дообучена на базе Qwen/Qwen3-8B-Base. В ней около 7,6 млрд параметров; метаданные указывают контекст до 40 960 токенов, а README — 32 тыс. токенов. Заявлена поддержка более 100 языков. Модель поддерживает инструкции, настраиваемые под задачу; в README отмечено, что их применение может улучшать результаты поиска. Для получения оценки релевантности модель принимает текстовую пару и выдаёт оценку, пригодную для ранжирования. В README указано, что по умолчанию это разность логитов; при необходимости её можно преобразовать в вероятность. Для работы с моделью заявлена библиотека Transformers, также описано использование Sentence Transformers. Лицензия — Apache-2.0.

RedHatAI/OpenHermes-2.5-Mistral-7B-pruned2.4 — разреженная оптимизированная версия OpenHermes-2.5-Mistral-7B, подготовленная для высокопроизводительного запуска через NM-vLLM. В основе лежит дообученная на инструкциях и диалогах модель Mistral с 7,1 млрд параметров; архитектура — MistralForCausalLM, формат весов — PyTorch. Контекст модели составляет до 32 768 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции и помощь с кодом. Разреживание с помощью SparseGPT позволяет уменьшить требования к памяти и повысить пропускную способность при обслуживании в NM-vLLM. В README также описана возможность настраивать сжатие через recipe.yaml. Лицензия в предоставленных данных не указана.

Open-Instruct GPT-4 Alpaca 7B — языковая модель семейства LLaMA, разработанная исследователями AllenAI и дообученная на наборе инструкций GPT-4 Alpaca в рамках исследования по настройке открытых моделей на инструкции. Это плотная авторегрессионная модель примерно на 6,6 млрд параметров для генерации текста и выполнения пользовательских инструкций на английском языке; для качественной генерации рекомендуется использовать обученный формат запросов. Контекст составляет 2048 токенов. Модель подходит для диалоговых ответов, следования инструкциям, решения задач, вопросов и генерации кода. В карточке приведены результаты тестирования на MMLU, GSM, BBH, TydiQA, Codex-Eval и AlpacaFarm. Репозиторий содержит diff весов, поэтому для использования требуется доступ к исходной модели LLaMA в формате Hugging Face. Указана лицензия AI model license вместе с исходной лицензией LLaMA; условия следует проверять в соответствующих файлах лицензии.

Ornith-1.0-35B-FP8-BLOCK — это квантизированная версия языковой модели Ornith-1.0-35B, разработанной командой DeepReinforce. Артефакт опубликован shisa-ai и изменяет только представление чекпойнта, не добавляя дополнительного дообучения. Модель относится к семейству Qwen3.5 MoE и предназначена для рассуждений, агентных сценариев и генерации кода, включая работу через совместимый с OpenAI API сервер. Квантизация выполнена методом model-free PTQ без калибровочных данных с помощью llm-compressor. Веса Linear-модулей представлены в статическом симметричном FP8 с блоками 128×128, а активации квантизуются динамически в FP8 с группами размера 128; формат хранения — compressed-tensors FP8_BLOCK. Размер исходной модели — 35B параметров, но другие характеристики, включая точный контекст и языковой охват, в карточке не указаны. Эмбеддинги, lm_head, маршрутизация MoE, линейное внимание и визуальные модули оставлены без квантизации. Модель не содержит MTP-head и не заявляет поддержку speculative decoding. Основные преимущества — уменьшенное представление весов и возможность запуска в современных средах, поддерживающих Qwen3_5MoeForConditionalGeneration и FP8_BLOCK, например vLLM. Ограничения — необходимость значительных ресурсов KV-кэша при длинном контексте и отсутствие опубликованных отдельных бенчмарков для квантизированной версии; качество и задержку рекомендуется проверять относительно исходной BF16-модели на целевой нагрузке. Артефакт распространяется по лицензии MIT.

cyankiwi/Ornith-1.5-35B-A3B-AWQ-INT4 — квантованная версия модели Ornith-1.5-35B-A3B, разработанной командой Ornith AI. Это языковая модель для генерации текста, ориентированная прежде всего на программирование, агентские сценарии и работу с инструментами. Модель создана с применением цикла самоулучшения, включающего автоматическую генерацию задач, поиск эффективных стратегий и обучение с подкреплением. Модель относится к архитектуре mixture-of-experts: при общем размере 35B параметров на каждый токен активируется примерно 3B параметров. Данная версия использует квантование AWQ INT4 и занимает около 26,12 ГБ. В README заявлена поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Контекстное окно и мультимодальные возможности не указаны. Сильными сторонами заявлены результаты в задачах программирования и агентного кодинга: модель превосходит сопоставимую Qwen3.6-35B-A3B на приведённых бенчмарках и показывает преимущество над некоторыми плотными моделями близкого размера. Ограничения включают отсутствие данных о контекстном окне, качестве на широком спектре задач и характеристиках инференса; INT4-квантование также может влиять на точность по сравнению с полной версией. Модель распространяется по лицензии MIT.

Ovis2.6-80B-A3B — мультимодальная языковая модель семейства Ovis, построенная на архитектуре Mixture-of-Experts (MoE). По README, в ней 80 млрд параметров всего и около 3 млрд активных параметров при инференсе; модель предназначена для диалоговой работы с текстом и изображениями. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0. Модель рассчитана на визуальные рассуждения, распознавание текста на изображениях, понимание документов и анализ диаграмм и графиков. Она может работать с изображениями высокого разрешения до 2880×2880 и заявлена как подходящая для вопросов по длинным многостраничным документам. README описывает функцию Think with Image: модель может использовать визуальные инструменты, например обрезку и поворот изображения, чтобы повторно исследовать его фрагменты. Метаданные указывают контекст 32 768 токенов; README заявляет 64K токенов. Модель поддерживает чат и выдаёт текстовые ответы по текстовым и визуальным входам. README не перечисляет поддерживаемые естественные языки. Заявления о высокой точности относятся к описанию разработчика; в карточке также отмечено, что отсутствие нарушающего авторские права или ненадлежащего контента не гарантируется.

meedan/paraphrase-filipino-mpnet-base-v2 — модель эмбеддингов предложений и абзацев, опубликованная Meedan. Она преобразует текст в плотные векторы размерности 768 для поиска семантически близких фраз и документов, кластеризации и сравнения предложений. Архитектура основана на XLM-R; модель обучена методом «учитель—ученик» с учителем sentence-transformers/paraphrase-mpnet-base-v2 и учеником sentence-transformers/paraphrase-multilingual-mpnet-base-v2. В обучении использовались параллельные пары английских и филиппинских/тагальских текстов из OPUS. Модель содержит 305,2 млн параметров, принимает текст и выдаёт векторы; максимальная длина контекста составляет 514 токенов. В оценке на тесте семантического сходства получена корреляция Спирмена 0,80 для английского и 0,75 для филиппинского текста; авторы отмечают улучшение для филиппинского языка относительно многоязычной базовой модели. Качество обучающих данных было переменным, а оценка на филиппинском проводилась на машинном переводе набора STS, что ограничивает интерпретацию результатов. Лицензия в предоставленных данных не указана.

Phi-4-Reasoning-Vision-15B — мультимодальная модель Microsoft, дообученная на базе Phi-4-Reasoning. Она объединяет плотную языковую архитектуру Phi-4 с визуальным энкодером SigLIP-2 через промежуточное слияние признаков: изображения преобразуются в визуальные токены и передаются языковой модели. Динамическое разрешение поддерживает до 3600 визуальных токенов на изображение, а контекст составляет 32 768 токенов. Модель предназначена для понимания изображений с возможностью пошаговых рассуждений. Она решает математические и научные задачи по изображениям, анализирует диаграммы, графики, таблицы и документы, распознаёт текст, описывает сцены, локализует объекты и элементы интерфейса. В задачах, требующих рассуждений, может формировать развернутый ход решения; для задач восприятия обычно отвечает напрямую. Подходит для визуальных помощников и агентов, работающих с графическим интерфейсом. Модель обучена преимущественно на английском языке и англоязычных парах «изображение—текст», поэтому на других языках качество может снижаться. Возможны ошибки распознавания и фактические ошибки; перед применением в значимых сценариях необходима отдельная оценка. Разработчик не рекомендует использовать её для медицинской диагностики, юридических консультаций, финансового планирования и решений, влияющих на жизненные возможности людей. Лицензия — MIT.

PolDense-150M — польская модель эмбеддингов от OPI-PIB для плотного поиска и извлечения релевантных текстов. Она построена на архитектуре ModernBERT и содержит около 149 млн параметров; модель принимает текст и формирует векторные представления для поиска, RAG и семантического сравнения. Максимальная длина контекста — 7 999 токенов. Для поиска перед запросом требуется префикс «[query]: », а для симметричного сравнения текстов — «[sts]: ». Модель обучали в три этапа: переносили знания с англоязычных энкодеров ettin и учителей BGE-Multilingual-Gemma2 и BGE-Reranker-v2.5-Gemma2-Lightweight, затем дообучали для польского поиска. По заявлению авторов, на бенчмарке PIRB модель показывает результаты, близкие к Qwen3-Embedding-8B. Репозиторий использует формат safetensors; лицензия — Gemma.

deepset/quora_dedup_bert_base — модель эмбеддингов предложений от deepset, основанная на BERT. Она получена продолжением обучения bert-base-nli-stsb-mean-tokens на наборе вопросов Quora для выявления дубликатов. Модель преобразует текст в векторные представления, пригодные для сравнения семантической близости вопросов. Модель предназначена для поиска похожих вопросов и обнаружения перефразировок в системах поиска, дедупликации и ранжирования. В карточке приведены метрики корреляции сходства на этапах обучения; размер составляет 136,7 млн параметров, максимальная длина контекста — 512 токенов. Репозиторий содержит варианты PyTorch, Flax и safetensors. Лицензия — Apache-2.0.

Qwen2.5-Coder-32B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen2.5-Coder-32B-Instruct, преобразованная в формат GGUF пользователем zhangfeng026 с использованием llama.cpp и сервиса GGUF-my-repo. Исходная модель разработана командой Qwen; в карточке указана лицензия Apache-2.0. Модель предназначена для генерации текста и прежде всего для задач, связанных с программным кодом, включая работу в чат-сценариях и использование через llama.cpp. Формат GGUF ориентирован на локальный запуск с помощью llama-cli или llama-server и может применяться на совместимом CPU или GPU-оборудовании. В качестве базовой модели указана Qwen/Qwen2.5-Coder-32B-Instruct, а размер исходной модели составляет 32B параметров. Ключевая характеристика этой версии — квантизация Q4_K_M, которая уменьшает требования к памяти по сравнению с полноразмерной моделью, но потенциально снижает точность генерации. Модель относится к текстовым, поддерживает генерацию кода и текста; в метаданных указан английский язык. Размер контекста в README не определён: в примере запуска llama.cpp используется значение 2048 токенов, но это является параметром команды, а не обязательно максимальным контекстом модели. Подробные сведения о языках, архитектуре, результатах оценки и ограничениях рекомендуется уточнять в карточке исходной модели.

Qwen2.5-VL-7B-Instruct-unsloth-bnb-4bit — 4-битная версия instruction-tuned мультимодальной модели Qwen2.5-VL-7B, разработанной командой Qwen и распространяемой в формате Unsloth. Модель предназначена для задач image-text-to-text: анализа изображений и видео, распознавания текста, понимания документов, диаграмм, таблиц и макетов, а также визуального рассуждения и формирования структурированных ответов. В README указана поддержка английского языка. Модель содержит 7 миллиардов параметров и объединяет языковую модель с vision encoder. Для обработки видео используются динамические разрешение и частота кадров, а также механизмы временного позиционирования; заявлена работа с видео длительностью более часа и поиск релевантных временных сегментов. Модель умеет локализовать объекты с помощью bounding boxes или точек, выдавать координаты и атрибуты в JSON, а также поддерживает сценарии визуального агента, включая взаимодействие с компьютером и телефоном. К сильным сторонам относятся анализ документов и изображений, OCR, понимание графиков и таблиц, обработка длинных видео и визуальная локализация. Ограничения включают зависимость качества от входных визуальных данных и вычислительных ресурсов, а также то, что приведённые результаты относятся к базовой Qwen2.5-VL-7B и не обязательно полностью характеризуют именно 4-битную сборку. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR/Qwen3.5-4B-Instruct-MTP-MXFP4-GGUF — мультимодальная модель для генерации текста и понимания изображений, представленная в формате GGUF. По карточке, она основана на Qwen3.5-4B и распространяется в виде MXFP4-квантизированных весов; для обработки изображений используется отдельный проектор SigLIP в F16. Модель рассчитана на многоязычные инструкции, диалог, рассуждения и вызов инструментов; также заявлена поддержка видео. Режим рассуждений по умолчанию выключен. Архитектура включает 32 блока Transformer с гибридными механизмами внимания, FFN и SSM, а также одну голову Multi-Token Prediction. Заявлено контекстное окно 262 144 токена. Карточка указывает поддержку английского, китайского и кода; метаданные также отмечают мультиязычность. Модель распространяется по лицензии Apache-2.0. Для работы с изображениями нужен файл мультимодального проектора; фактическая скорость и качество зависят от используемого оборудования и совместимого ПО.

cyankiwi/Qwen3.6-27B-AWQ-BF16-INT4 — квантизированная версия открытой модели Qwen3.6-27B, опубликованная пользователем cyankiwi на основе базовой модели Qwen/Qwen3.6-27B. Модель распространяется в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Это авторегрессионная языковая модель с vision encoder, предназначенная для работы с текстом и изображениями, включая агентное программирование, фронтенд-разработку, анализ репозиториев и задачи, требующие длительного контекста. Заявлены улучшения в обработке coding-agent сценариев и возможность сохранять контекст рассуждений из предыдущих сообщений. Модель поддерживает английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Модель содержит 27 млрд параметров, 64 слоя и имеет нативную длину контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура включает Gated DeltaNet, Gated Attention и multi-step training; размер опубликованного файла составляет 28,32 ГБ. Вариант использует квантизацию AWQ-BF16-INT4, что является его ключевой особенностью, однако README не приводит подробных результатов сравнения именно этой квантизированной версии с исходной моделью. Лицензия — Apache-2.0. Модель подходит для локального и серверного развертывания при наличии совместимого программного обеспечения и достаточных вычислительных ресурсов; конкретные требования к памяти и ограничения качества для мультимодальных задач в README не указаны.

unsloth/Qwen3.6-27B-NVFP4 — это квантованный checkpoint модели Qwen3.6-27B, разработанный Unsloth на основе модели Qwen от команды Qwen. Модель представляет собой каузальную языковую модель с vision-энкодером и предназначена для генерации текста, мультимодального понимания изображений, агентного программирования, работы с frontend-задачами и рассуждений на уровне репозиториев. Модель содержит 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN; в checkpoint включён модуль Multi-Token Prediction (MTP), который может использоваться для ускорения декодирования. Точные языки в README не указаны. Формат NVFP4 рассчитан на эффективный запуск, в том числе на GPU с 24 ГБ VRAM. По заявлению Unsloth, checkpoint обеспечивает до 2,5 раза большую пропускную способность по сравнению с другими NVFP4-квантованиями, а результаты на MMLU-Pro, GPQA и AIME 2025 близки к FP8 и BF16. Основные ограничения — потери, присущие квантованию, зависимость производительности от аппаратного обеспечения и backend, а также необходимость корректной настройки vLLM или совместимого движка; README не рекомендует Marlin из-за более низкой скорости. Модель распространяется по лицензии Apache-2.0 и совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers.

RedHatAI/Qwen3.8-2.4T-A95B-NVFP4-REAP-25 — квантизированная версия модели Qwen/Qwen3.8-2.4T-A95B, разработанная RedHatAI. Это текстовая модель для генерации текста на основе архитектуры Qwen3_5MoeForCausalLM с разреженной смесью экспертов (MoE). Модель принимает текст и генерирует текст; сведения о поддерживаемых языках и размере контекста в README не указаны. Модель предназначена для задач рассуждения, программирования и общего текстового вывода, включая развёртывание через vLLM с OpenAI-совместимым API. В слоях экспертов MoE применена смешанная квантизация NVFP4: веса и активации линейных операторов представлены в формате FP4, тогда как attention и другие неквантизированные слои сохраняют исходную точность. Дополнительно выполнено 25-процентное REAP-прореживание экспертов. Это снижает требования к дисковому пространству и GPU-памяти квантизированных слоёв примерно на 75 процентов с учётом дополнительного выигрыша от разреженности. По данным оценки, модель сохранила высокое качество относительно неквантизированной версии: результат на GPQA Diamond составил 91,5 против 92,6 у исходной модели, а на DeepSWE v1.1 — 56,6, что соответствует заявленному восстановлению 98,81 и 100 процентов соответственно. Ограничения включают потенциальное влияние квантизации и прореживания на качество за пределами указанных тестов, а также высокие требования к инфраструктуре: рекомендован запуск с vLLM, tensor parallelism на 8 GPU и expert parallelism. Лицензия в README не указана.