I.3Извлечение и структурирование данных

PocketWeights/Gemma-4-12B-agentic-abliterated-GGUF — это квантизированная в формате GGUF версия 12-миллиардной модели на архитектуре Gemma, разработанной Google. К использованной базовой модели Huihui-gemma-4-12B-agentic-fable5-abliterated применены дообучение и методы удаления отказов от huihui-ai / yuxinlu1; сборку и оптимизацию GGUF выполняет PocketWeights. Модель предназначена для генерации текста, диалогов, многошагового планирования, декомпозиции сложных запросов, структурированного вывода, агентских сценариев и использования инструментов или function calling. Заявлены возможности технического анализа, автономного выполнения многошаговых целей, red-teaming и творческого письма. Поддерживаемые модальности и языки в README не указаны; контекстное окно также не заявлено. Доступны варианты IQ3_M размером 5,73 ГБ, рассчитанный примерно на 6 ГБ VRAM или 8 ГБ RAM, и Q4_K_M размером 7,38 ГБ, рекомендованный для 8–12 ГБ VRAM или 16 ГБ RAM. Ключевое преимущество — сочетание 12B-параметров с локальным запуском на потребительском оборудовании. Ограничение — удалённые защитные механизмы, поэтому модель может генерировать небезопасный контент и рекомендуется для авторизованных исследований безопасности, симуляций red-teaming и локальных изолированных сред. Модель распространяется по Gemma Terms of Use / Open Model License; конкретные условия применения следует проверять в тексте лицензии.

Gemopus-4-E4B-it — дообученная модель Jackrong на базе google/gemma4-E4B-it для диалогового помощника с локальным запуском на мобильных устройствах и маломощных компьютерах. Она принимает текст и изображения и генерирует текст; карточка заявляет поддержку зрения и инструкции для диалога. Модель относится к семейству Gemma 4, имеет плотную архитектуру и распространяется в формате safetensors. В карточке подчёркнуты настройка тона ответов, контекстное ведение многоходового диалога и структурированная подача информации. Указаны английский, китайский, корейский и японский языки. Модель подходит для повседневного помощника на устройстве, написания и редактирования текстов, кратких ответов, форматирования и извлечения сведений из текста или изображений. Автор ориентирует её на сценарии с низкой задержкой и локальной обработкой данных. Контекстное окно и размер модели в карточке не указаны. Лицензия — Apache-2.0. Автор предупреждает, что из-за сравнительно небольшого размера модель уступает крупным облачным моделям в широте знаний и сложных рассуждениях, а на узкоспециализированных темах и сложных математических задачах может допускать ошибки. Модель позиционируется как экспериментальная настройка для локального применения.

GLM-5.2-Vision-NVFP4 — мультимодальная модель для понимания изображений и генерации текста. Этот чекпойнт опубликован под идентификатором baseten/GLM-5.2-Vision-NVFP4 и объединяет текстовую модель GLM-5.2 от zai-org с визуальным энкодером MoonViT-3d из Kimi-K2.6 от Moonshot AI. Модель предназначена для описания изображений, визуального анализа и диалогов в формате image-text-to-text, включая работу через OpenAI-совместимый API. В основе используется замороженная MoE-модель GLM-5.2 размером 744B параметров, из которых активно около 40B, с механизмами MLA и DSA sparse attention. Визуальная часть MoonViT-3d содержит 27 слоёв и имеет размерность 1152, а обучаемый PatchMerger-проектор преобразует визуальные признаки в токены размерности 6144; его размер — 49,5 млн параметров. Текстовые веса представлены в формате NVFP4, модель поддерживает до 4096 токенов изображения и максимальный контекст до 1 048 576 токенов. Главные преимущества — сочетание сильного reasoning-бэкенда GLM-5.2 с обработкой изображений, длинный контекст и возможность локального развёртывания через SGLang или Baseten. Ограничения — очень большой объём весов около 466 ГБ и высокие требования к оборудованию: рекомендованы 8 GPU B200 для контекста 1M или 4 GPU B200 для 256K; заявлена совместимость только с архитектурой Blackwell. Для SGLang требуется внешний плагин архитектуры модели. Лицензия указана как MIT; при этом входящие веса GLM-5.2 и Kimi-K2.6 сохраняют условия лицензирования исходных проектов.

Hermes-2-Pro-Mistral-10.7B-GGUF — это квантизированная GGUF-версия текстовой языковой модели Hermes-2-Pro-Mistral-10.7B, основанной на Mistral-7B-v0.1. Квантизацию выполнил bartowski с использованием llama.cpp. Модель обучалась на датасете teknium/OpenHermes-2.5 и связана с методами дообучения, включая DPO, RLHF, дистилляцию и обучение на синтетических данных. Модель предназначена для генерации текста и диалоговых сценариев на английском языке. Среди заявленных возможностей — следование инструкциям, работа в формате ChatML, function calling и JSON mode. README не содержит данных о размере контекста, точной архитектуре базовой модели, мультимодальности или результатах тестирования, поэтому эти характеристики нельзя оценить по имеющейся информации. Доступно множество вариантов квантизации от Q8_0 до Q2_K, различающихся размером файла и качеством. Q6_K обозначен как рекомендуемый вариант с очень высоким качеством, тогда как более компактные варианты подходят для систем с ограниченными ресурсами, но могут заметно уступать по качеству. Модель распространяется по лицензии Apache-2.0.

IndoBERT Relevancy Classifier — модель apriandito для классификации релевантности индонезийского текста заданному контексту. Она принимает тему и текст, например заголовок новости или публикацию в соцсети, в формате пары последовательностей и определяет, относится ли текст к теме. Модель дообучена для бинарной классификации на базе indobenchmark/indobert-large-p2; архитектура — BERT для классификации последовательностей, размер — 433,9 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для отбора новостей и сообщений по темам: в обучающих данных представлены 188 контекстов из экономики, политики, здравоохранения, технологий, спорта и развлечений. В README указаны accuracy 96,5% и F1 0,948 на оценке автора. Модель работает с индонезийским языком и распространяется под лицензией Apache-2.0.

AISE-TUDelft/java-rational-classifier — модель на базе MPNet, созданная командой AISE-TUDelft и представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения смысловой близости; модель также подходит для семантического поиска и кластеризации текстов. Число параметров — 136,7 млн, длина контекста — 514 токенов. Модель поставляется в формате PyTorch и обучалась с функцией потерь CosineSimilarityLoss. Название указывает на специализацию на классификации Java-кода по рациональным свойствам, но README описывает применение только как модели эмбеддингов и не раскрывает детали этой специализации. Лицензия в предоставленных сведениях не указана.

Kara-Kumru-v1.0-2B — турецкоязычная языковая модель, созданная дообучением VNGRS AI модели vngrs-ai/Kumru-2B. Это плотный decoder-only трансформер семейства Mistral с 2,4 млрд параметров и контекстом 8192 токена; модель распространяется в формате safetensors и рассчитана на диалоговую генерацию текста. Модель оптимизирована для ответов на вопросы, извлечения информации, суммаризации и перевода с турецкого на английский, а также для общей генерации текста на турецком языке. В заявленной оценке на Cetvel она улучшила результаты базовой модели по генеративным задачам, включая QA и суммаризацию, но показала снижение качества на некоторых классификационных задачах, NLI и коррекции грамматики. Сопоставление с другими моделями в README частично использует результаты из разных оценочных конвейеров, поэтому рейтинговые сравнения следует трактовать с осторожностью. Модель выпущена под лицензией Apache-2.0. README сообщает о полном дообучении в BF16 и описывает сценарии локального развёртывания, однако фактические требования зависят от используемой версии и оборудования.

Kunoichi-DPO-v2-Instruct-32k-7B — языковая модель, созданная автором репозитория слиянием моделей через mergekit. В основе лежит alpindale/Mistral-7B-v0.2-hf; в слияние также вошли mistralai/Mistral-7B-Instruct-v0.2 и SanjiWatsuki/Kunoichi-DPO-v2-7B. Использован метод DARE TIES, итоговые веса представлены в формате bfloat16. Модель на архитектуре Mistral с 7,1 млрд параметров предназначена для генерации текста и ответов на инструкции. Заявленная длина контекста — до 32 768 токенов; включение Instruct-модели могло изменить поведение исходной Kunoichi-DPO-v2. Данных о целевых языках и специальных прикладных областях в карточке нет. Лицензия в предоставленных данных не указана.

LINCE-ZERO — испаноязычная инструкционная языковая модель Clibrain для генерации текста и выполнения запросов на естественном языке. Это декодерная авторегрессионная модель архитектуры Falcon, дообученная на 80 тысячах примеров из закрытого набора, созданного по образцу Alpaca и Dolly. В README указано 7 млрд параметров, тогда как метаданные Hugging Face указывают 10,9 млрд; размер модели в источниках расходится. Модель предназначена для прямого использования в виртуальных ассистентах, генерации контента и других общих задачах на испанском языке. Среди поддерживаемых сценариев также заявлены классификация текста и токенов, ответы на вопросы и генерация текста. Она использует библиотеку Transformers и опубликована под лицензией Apache 2.0. Качество модели оценено не полностью: авторы сообщают, что результаты оценки будут опубликованы позднее. Возможны галлюцинации, токсичные высказывания и стереотипы; ответы следует проверять. README не рекомендует применять модель в production без предварительной оценки рисков и мер по их снижению.

Megatron-BERT-large Swedish 165k for zero-shot classification — шведская модель для классификации текста без заранее заданного набора классов. Её разработала KBLab на основе Megatron-BERT-large-165k: модель дообучили на задачах QNLI, а затем MNLI. Архитектура — плотный Megatron-BERT для классификации последовательностей, размер — 468,3 млн параметров. Модель предназначена для присвоения тексту меток из пользовательского списка категорий через pipeline zero-shot classification в Hugging Face Transformers. Это подходит, например, для сортировки шведских текстов по темам или проверки их соответствия заданным утверждениям. Поддерживается шведский язык; максимальная длина контекста — 512 токенов. Репозиторий содержит веса PyTorch и Safetensors. Сведения о лицензии в предоставленных материалах отсутствуют.

Distilled MetaCLIP 2 ViT-M/16 с входным разрешением 384 пикселя — мультимодальная модель Meta для классификации изображений без обучения на заданных классах. Этот чекпойнт соответствует варианту ViT-M-16-384-worldwide из оригинальной реализации и представлен в работе «MetaCLIP 2: A Worldwide Scaling Recipe». Модель сопоставляет изображения с текстовыми описаниями классов, чтобы выбрать наиболее подходящие метки. Модель предназначена для мультиязычной классификации изображений по пользовательским текстовым категориям. Её можно применять для поиска изображений по смыслу и быстрой разметки наборов изображений без отдельного обучения под каждый набор классов. Репозиторий содержит веса в формате safetensors; карточка демонстрирует использование через Transformers. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства при соблюдении некоммерческих условий. Карточка не сообщает размер модели и длину контекста; производительность на конкретных наборах данных и языках требует отдельной проверки.

karsar/ModernBERT-base-hu_v3 — модель Sentence Transformers, дообученная автором karsar на базе nomic-ai/modernbert-embed-base для представления венгерских текстов в виде плотных эмбеддингов. Она подходит для семантического поиска, сравнения предложений, поиска перефразировок, кластеризации и классификации текстов. Модель построена на ModernBERT с mean pooling и нормализацией выходного вектора. Она преобразует текст в эмбеддинг размерности 768; максимальная длина последовательности — 8192 токена. Для оценки сходства README указывает косинусную близость и точность 0,8031 на all-triplet-test. Модель обучена на наборе json с тройками anchor, positive и negative; карточка указывает венгерский язык. Доступна по лицензии Apache-2.0. Метрики и описание датасета приведены автором модели и сами по себе не гарантируют качество на конкретных данных.

symanto/mpnet-base-snli-mnli — англоязычная модель классификации текста на основе MPNet с механизмом cross-attention. Её разработчики дообучили mpnet-base на наборах SNLI и MNLI для классификации без примеров и с небольшим числом примеров. Модель подходит для отнесения текста к заданным категориям, когда размеченных обучающих данных мало или нет. В метаданных указаны 136,7 млн параметров и контекст до 514 токенов; доступны веса PyTorch и Safetensors. Лицензия в предоставленных данных не указана.

Moritz Laurer дообучил мультиязычную модель multilingual-MiniLMv2-L12 на MNLI и XNLI для вывода о логической связи между посылкой и гипотезой и классификации текста без заранее заданного набора классов. Она основана на 12-слойной архитектуре XLM-RoBERTa и содержит 124,3 млн параметров; базовую multilingual-MiniLM-L12 разработала Microsoft, дистиллировав её из XLM-RoBERTa-large. Модель принимает текст, а для классификации — также список меток-кандидатов, и выдаёт оценки классов или категорий NLI. Модель предназначена для мультиязычной классификации текста и NLI на более чем 100 языках. В карточке приведены результаты XNLI для 15 языков, включая русский: средняя точность указанной реализации — 0,75. Дистилляция делает её быстрее и менее требовательной к памяти, чем XLM-RoBERTa-large, но качество ниже, чем у более крупной модели. Контекст — до 514 токенов. Лицензия MIT.

Многоязычный классификатор без примеров обучения от Horizon Labs: модель на архитектуре ModernBERT (mmBERT) с 306,9 млн параметров, дообученная на задачах вывода по естественному языку. Она сопоставляет текст с выбранными пользователем метками через гипотезу на английском языке и подходит для классификации намерений, тем и тональности, а также для других задач NLI. Модель поддерживает более 30 языков, включая русский; размер контекста — 8192 токена, при этом дообучение выполнялось на последовательностях длиной до 1024 токенов. В репозитории есть веса Safetensors и вариант ONNX для CPU и браузера. Модель обучалась на MultiNLI, SNLI, WANLI и синтетических данных. По результатам сравнения в карточке она уступает некоторым более крупным моделям на отдельных наборах, а качество заметно зависит от формулировки меток и шаблона гипотезы; на языках с небольшими обучающими ресурсами результаты слабее. Часть названий меток из некоторых бенчмарков встречалась в синтетических данных, поэтому для них оценка не полностью zero-shot относительно меток. Лицензия — Apache-2.0.

MyAwesomeModel — модель из репозитория MalaniAro/MyAwesomeModel-TestRepo, опубликованная для использования с библиотекой Transformers и PyTorch. По метаданным Hugging Face она предназначена для извлечения признаков из входных данных и относится к архитектурному семейству BERT. Модель можно применять для получения векторных представлений текста, последующей классификации, кластеризации, семантического поиска и других задач, использующих эмбеддинги. README также описывает заявленные возможности рассуждения, программирования, математики и работы с диалогами, однако эти сведения не согласуются с указанным pipeline-тегом feature-extraction и не содержат проверяемых технических характеристик модели. Модель распространяется по лицензии MIT. Размер, длина контекста, поддерживаемые естественные языки и точные сведения о разработчике в доступных данных не приведены.

MyAwesomeModel — модель для извлечения признаков из текста, опубликованная в репозитории WinderBYZ/MyAwesomeModel-TestRepo. Согласно метаданным, она относится к семейству BERT и предназначена для использования с библиотекой Transformers на базе PyTorch. Модель преобразует текстовые входы в векторные представления, которые можно применять в последующих задачах машинного обучения, включая семантический поиск, сравнение текстов, классификацию и кластеризацию. README содержит заявления о возможностях рассуждения, генерации и диалогах, однако они не согласуются с указанным pipeline-тегом feature-extraction и не подтверждают дополнительные характеристики этой публикации. Модель распространяется по лицензии MIT. Размер, длина контекста, поддерживаемые естественные языки и точные параметры архитектуры в доступных данных не указаны.

NeoAraBERT_DA — арабская модель для получения текстовых эмбеддингов, разработанная подразделением U4RASD Центра исследований и политических исследований арабского мира совместно с Американским университетом Бейрута. Она основана на архитектуре NeoBERT и дообучена на диалектном арабском; размер модели — 314,2 млн параметров. Модель предназначена для векторного представления текста и задач понимания арабского языка, включая классификацию и предсказание замаскированных токенов. В README описаны предварительное обучение на разнообразных арабских данных и исследования нормализации, стемминга и обработки диакритики; семейство NeoAraBERT показало высокие результаты на широком наборе арабских задач. Репозиторий использует Transformers и формат safetensors. Лицензия — CC BY-SA 4.0.

NeoAraBERT_MSA — арабская модель для получения текстовых эмбеддингов на архитектуре NeoBERT, разработанная совместно подразделением U4RASD Арабского центра исследований и политических исследований и Американским университетом Бейрута. Чекпойнт дообучен на базе U4RASD/NeoAraBERT и предназначен для современного литературного арабского языка (MSA). Модель содержит 314,2 млн параметров и распространяется в формате safetensors для Transformers. Её можно применять для извлечения признаков текста, поиска семантически близких фраз и других задач понимания арабского текста. Авторы сообщают о сравнении семейства NeoAraBERT с арабскими моделями на 23 задачах; результаты относятся к семейству и не гарантируют качество на каждом отдельном сценарии этого чекпойнта. Лицензия — CC BY-SA 4.0.

Ops-MM-embedding-v1-7B — плотная мультимодальная модель эмбеддингов, разработанная командой Alibaba Cloud OpenSearch-AI и дообученная на базе Qwen2-VL-7B-Instruct. Она кодирует текст, изображения, пары «текст—изображение», визуальные документы и видео в единое пространство эмбеддингов; видео обрабатывается через отдельные кадры как изображения. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2-VL и поддерживает контекст до 32 768 токенов. Модель предназначена для межмодального поиска и извлечения информации, включая поиск по визуальным документам и видео. В README заявлены высокие результаты на бенчмарках MMEB-V2, MMEB-Image и ViDoRe-v2, а также многоязычное обобщение. Эти результаты характеризуют оценку на указанных наборах и сами по себе не гарантируют качество для конкретных данных или сценария. Распространяется в формате Safetensors по лицензии Apache-2.0. README не уточняет точный набор поддерживаемых языков и не приводит детальных рекомендаций по извлечению эмбеддингов или требованиям к вычислительным ресурсам.

Ornith-1.0-9B-1M-GGUF — это GGUF-сборка модели Ornith-1.0-9B, основанной на dense-архитектуре семейства Qwen3.5. Исходная модель разработана DeepReinforce, а данный вариант опубликован satgeze. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama и совместимые инструменты. Ключевая особенность — контекстное окно до 1 048 576 токенов благодаря встроенному масштабированию RoPE методом YaRN; это в четыре раза больше заявленного исходного окна в 262 144 токена. В сборку также встроен слой MTP для speculative decoding, который, согласно README, может увеличить скорость декодирования в llama.cpp на 15–38%. Доступна vision-модальность через отдельный проектор mmproj, поэтому модель может обрабатывать изображения в поддерживаемых конфигурациях. Предлагаются варианты квантования от IQ2_M до bf16, включая MTP-сборки Q4_K_M и Q8_0; размер файлов варьируется примерно от 3,6 до 17,9 ГБ, а vision-проектор занимает 918 МБ. Это позволяет выбирать между требованиями к памяти и качеством, однако фактическая скорость и возможность работы с контекстом в миллион токенов зависят от оборудования и используемого рантайма. Языки обучения и поддерживаемые языки в README не указаны. Модель распространяется по лицензии MIT.

Parakeet TDT 0.6B V2 — модель автоматического распознавания речи, разработанная NVIDIA и преобразованная в формат GGUF для использования с transcribe.cpp. Она предназначена для офлайн-транскрибации английской речи с автоматическими пунктуацией и капитализацией, а также прогнозированием временных меток на уровне токенов. Модель подходит для расшифровки записей, голосовых заметок, интервью и других аудиоматериалов. Архитектура включает 600-миллионный FastConformer-подобный Conformer-энкодер и декодер TDT/RNNT transducer. На вход подаётся монофонический WAV-файл с частотой 16 кГц, на выходе формируется текстовая расшифровка. Доступны варианты квантования F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 475 МБ до 2,47 ГБ. На наборе LibriSpeech test-clean показатель WER составляет 1,68% для F32 и 1,72% для Q4_K_M. Сильные стороны модели — высокая точность английской транскрибации, поддержка пунктуации, капитализации и временных меток, а также возможность локального запуска с различными уровнями квантования. Ограничения — отсутствие потокового режима, поддержки других языков, автоматического определения языка и перевода; для работы требуется предварительно подготовленный звук в формате 16 кГц, моно WAV. Использование регулируется лицензией CC-BY-4.0, унаследованной от базовой модели.

Модель tomaarsen/paraphrase-multilingual-MiniLM-L12-v2-de-mmarco — дообученная разработчиком tomaarsen модель Sentence Transformers на парах немецких запросов и документов из набора данных mMARCO. Она преобразует текстовые предложения и абзацы в плотные векторы размерности 384 и предназначена для поиска документов по запросу и извлечения релевантной информации. Для сравнения векторов можно использовать косинусное сходство; архитектура включает BERT и усредняющий pooling. Модель содержит 124,3 млн параметров, работает с текстом на немецком языке; README указывает максимальную длину последовательности 256 токенов, а метаданные — контекстное окно 512 токенов. Лицензия — Apache-2.0. Оценка на mMARCO немецком приведена в карточке, но её результаты не гарантируют качество на других данных и языках.

Модель сегментации речи разработана Hervé Bredin и Antoine Laurent для работы с pyannote.audio. Она анализирует аудиозаписи, определяет речевые участки и поддерживает обнаружение перекрывающейся речи и повторную сегментацию говорящих. В README приведены сценарии применения на данных AMI, DIHARD3 и VoxConverse, включая настройку порогов для детектирования речевой активности, перекрытий и повторной сегментации VBx. Модель распространяется в формате PyTorch и используется через pyannote.audio; README указывает на версию 2.0, находившуюся в разработке на момент публикации. Репозиторий создан 8 ноября 2022 года. Лицензия — MIT. В карточке не приведены сведения об архитектуре, числе параметров, длине контекста или поддерживаемых языках.

Карточка модели nttruong1007/qb-smolvlm500 на Hugging Face совпадает с карточкой HuggingFaceTB/SmolVLM-500M-Instruct, поэтому описание составлено по ней. SmolVLM-500M-Instruct — компактная мультимодальная модель компании Hugging Face для диалогов по изображениям. Она построена на архитектуре Idefics3 и объединяет языковую модель SmolLM2-360M-Instruct с визуальным энкодером SigLIP; число параметров в предоставленных данных не указано. Модель принимает изображения и текстовые запросы, включая чередующиеся последовательности этих входов, и генерирует текст на английском языке. Модель предназначена для ответов на вопросы об изображениях, описания визуального содержимого, распознавания текста на изображениях, понимания документов и диаграмм, а также создания историй по визуальным материалам. Сжатое представление изображений и лёгкая архитектура рассчитаны на эффективный запуск: в README указано потребление около 1,23 ГБ видеопамяти для обработки одного изображения. Модель не генерирует изображения. В README приведены рекомендации по настройке разрешения изображений и использованию пониженной точности для экономии ресурсов. Ответы могут быть фактически неверными; модель не предназначена для решений с серьёзными последствиями для людей. Лицензия — Apache 2.0.

Qwen3.5-9B-AWQ-INT4 — квантизированная версия языковой модели Qwen3.5-9B, разработанной командой Qwen. Это текстовая генеративная модель для работы с английским языком, включая генерацию и продолжение текста, диалоговые сценарии и другие задачи, поддерживаемые базовой моделью через библиотеку Transformers. Модель использует 4-битное квантование весов по схеме AWQ (INT4 weight-only), благодаря чему занимает примерно 7,7 ГБ на диске и требует меньше памяти, чем полноразмерная версия. Для запуска указан контекст до 32 768 токенов и совместимость с vLLM. README не содержит подробностей о внутренней архитектуре базовой модели, точном количестве параметров сверх обозначения 9B, мультимодальности или результатах сравнительных тестов. Ключевое преимущество модели — сниженное потребление памяти при сохранении назначения исходной Qwen3.5-9B. Ограничения включают поддержку только английского языка, а также возможное снижение точности и качества по сравнению с исходной моделью из-за 4-битного квантования. Модель распространяется по лицензии Apache License 2.0 как производная работа Qwen3.5-9B; для использования необходимо учитывать требования лицензии и атрибуции.

Qwen3.8-27B-Uncensored-INT8-W8A16-MTP — это мультимодальная квантизированная версия модели Qwen3.8-27B-Uncensored, опубликованная morikomorizz на основе исходной модели OrcaRouter и семейства Qwen. Модель предназначена для генерации текста и обработки изображений с текстом, включая диалоговые и аналитические сценарии. В README заявлена поддержка английского и китайского языков, а максимальный контекст составляет до 262 144 токенов. Модель использует формат W8A16: основные матричные вычисления выполняются с весами INT8 и активациями BF16, а vision tower, lm_head, MTP-компоненты и отдельные чувствительные элементы сохраняют BF16 или FP32. Размер весов на диске составляет около 29,4 ГБ, что позволяет запускать модель на одной RTX 4090 или A6000, а также на двух RTX 3090 с tensor parallelism. Поддерживаются vLLM, Marlin и speculative decoding через MTP; это не GGUF-модель. Ключевое преимущество — существенное снижение требований к памяти при заявленном близком к исходному качеству, однако производительность и совместимость зависят от подходящих GPU и версии vLLM. Исходная модель является abliterated, то есть с существенно удалёнными механизмами отказа, поэтому она может выполнять вредоносные или неэтичные запросы и требует осторожного применения. Лицензия — Apache 2.0, унаследованная от базовой модели.

harlemmvp/Qwen3-ForcedAligner-0.6B-GGUF — неофициальная конверсия модели Qwen/Qwen3-ForcedAligner-0.6B в формат GGUF для запуска через llama.cpp. В репозитории веса bf16 разделены на текстовую модель и аудиоэнкодер с проектором и головкой временных меток; это модель для принудительного выравнивания текста с речью и получения временных меток слов. Модель принимает аудио и соответствующий ему текст, а возвращает временные позиции слов. В README приведены проверки совпадения с официальной реализацией на записях совещания AMI и подкаста; максимальное различие в одном из сравнений составило один интервал в 80 мс. Для сопоставления требуется использовать те же единицы слов, что и эталонная реализация: например, удалить пунктуацию и записывать «twenty-four» как «twentyfour». Конверсия сохраняет исходные веса и точность bf16; автор репозитория не связан с командой Qwen. Базовая модель выпущена под лицензией Apache-2.0. README указывает, что для запуска используется специализированная реализация aligner в llama.cpp-omni; поддержка в других средах не описана.

Qwen2.5-VL-32B-Instruct-GGUF — квантованная версия мультимодальной инструкционной модели Qwen2.5-VL-32B-Instruct, разработанной командой Qwen и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста по инструкциям и мультимодальных сценариев, включая работу с визуальными данными; в метаданных указан английский язык. Точные сведения о поддерживаемых форматах изображений, контекстном окне и внутренней архитектуре в README не приведены. Доступны варианты от BF16 и Q8_0 до низкобитных Q3- и IQ-квантований размером примерно от 14,39 до 65,54 ГБ. Квантования выполнены с использованием imatrix и поддерживаются llama.cpp, LM Studio и другими совместимыми проектами. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно терять в качестве; для большинства сценариев рекомендуется Q4_K_M как компромисс между размером и качеством. Для запуска необходима совместимая конфигурация, способная разместить выбранный файл модели. Распространение указано по лицензии Apache-2.0. README не содержит подробных результатов тестирования, ограничений мультимодального ввода или гарантированных характеристик производительности, поэтому качество и скорость будут зависеть от выбранного уровня квантования и аппаратного обеспечения.

RAG-Qwen2.5-7B — языковая модель TroyDoesAI, дообученная на базе unsloth/qwen2.5-7b-bnb-4bit. Она предназначена для ответов на вопросы по предоставленному контексту в сценариях RAG и для более точного следования источникам с целью снизить число галлюцинаций. Для контекста используется формат с явными разделителями блоков текста, метаданных и инструкции; модель обучалась отвечать на одиночные вопросы, а также формировать абзацы и списки. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, контекстом до 131 072 токенов и поддержкой английского языка. Репозиторий содержит веса PyTorch; для обучения применялись Unsloth и Hugging Face TRL. Лицензия — Apache-2.0. Модель лучше подходит для генерации ответов с опорой на явно переданный контекст, чем для задач, где требуется гарантированно проверяемая достоверность: снижение галлюцинаций заявлено как цель, но не подтверждено количественной оценкой. Для ожидаемого поведения нужно оформлять вход в рекомендованном формате; поддержка других языков и мультимодальных входов не заявлена.