I.3Извлечение и структурирование данных

TeichAI/Nemotron-Cascade-14B-Thinking-Claude-4.5-Opus-High-Reasoning-Distill — дообученная TeichAI языковая модель на архитектуре Qwen3, основанная на nvidia/Nemotron-Cascade-14B-Thinking. Модель содержит 14 млрд параметров, принимает текст и предназначена для генерации текста и диалогов, включая задачи рассуждения. Обучение выполнено с использованием Unsloth и библиотеки Hugging Face TRL; веса доступны в формате safetensors. Модель поддерживает английский язык и контекст до 32 768 токенов. В метаданных также указаны интерфейс вызова инструментов и обучающий набор TeichAI/claude-4.5-opus-high-reasoning-250x. Лицензия — Apache-2.0. Подробные оценки качества и конкретные ограничения в карточке не описаны.

Модель raphaelsty/neural-cherche-colbert — англоязычная модель семейства MPNet, обученная с помощью Neural-Cherche и настроенная как ColBERT для поиска и ранжирования текстов. В README она описана как all-mpnet-base-v2 в формате ColBERT; доступны сценарии Retriever и Ranker, а для работы предлагается библиотека neural-cherche. Модель содержит 136,7 млн параметров, принимает последовательности длиной до 514 токенов и распространяется в формате safetensors. Лицензия — MIT. Метаданные Hugging Face классифицируют её как модель заполнения маски (fill-mask), тогда как карточка описывает применение для извлечения и ранжирования; поэтому для пользовательского поиска важнее указанные в README функции Retriever и Ranker.

NeuralContext-7b-v1 — объединённая языковая модель, созданная Kukedlc с помощью LazyMergekit на основе пяти моделей семейства Mistral. Она предназначена для генерации текста и диалоговых ответов на инструкции. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и имеет контекстное окно до 32 768 токенов. Модель принимает текст и генерирует текст; среди её базовых компонентов — Mistral-7B-Instruct-v0.2, Hermes-2-Pro-Mistral-7B и Yarn-Mistral-7b-128k. Репозиторий предоставляет веса в формате safetensors. Лицензия — Apache-2.0. README не приводит оценок качества или результатов тестирования, поэтому пригодность для конкретных задач стоит проверять самостоятельно.

Noromaid-7b-v0.2-Mistral-7B-Instruct-v0.1 — языковая чат-модель MaziyarPanahi для генерации текста и ответов на диалоговые запросы. Она получена слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.1 и NeverSleep/Noromaid-7b-v0.2; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров. Модель принимает текст и выдаёт текст. Заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса Safetensors в формате bfloat16 и распространяется по лицензии Apache-2.0. Карточка не описывает отдельные языковые или предметные специализации, поэтому модель можно рассматривать как универсальную чат-модель.

Octen-Embedding-8B W4A16 — квантизированный чекпойнт модели Octen-Embedding-8B, опубликованный пользователем groxaxo. Модель предназначена для получения векторных представлений текста и задач feature extraction, включая семантический поиск, retrieval и сопоставление запросов с документами, при локальном или размещённом на сервере инференсе. Модель использует формат AWQ/AutoRound с квантизацией W4A16: веса представлены в 4-битном формате, а активации — в 16-битном. Квантизировано 252 из 253 слоёв, размерность эмбеддингов составляет 4096, модель занимает около 8,1 ГБ в двух шардах против 15 ГБ у базовой версии. Валидация проводилась с last-token pooling и L2-нормализацией; среднее косинусное сходство с базовой моделью превысило 0,98, а на небольшом наборе из пяти пар запрос—документ ухудшения Recall не наблюдалось. На RTX 3060 с 12 ГБ VRAM модель успешно запускалась, потребляя около 4,53 ГБ памяти. Сильными сторонами являются заметное сокращение размера и требований к памяти при сохранении близкого к исходной модели поведения. Ограничения связаны с зависимостью от runtime, совместимого с данным форматом и архитектурой, а также с тем, что опубликованная проверка выполнена на небольшом наборе данных; качество на конкретном распределении текстов необходимо оценивать отдельно. Языки и максимальная длина контекста в карточке не указаны. Модель распространяется по лицензии Apache-2.0.

OLMo-2-1124-13B-DPO-Preview — англоязычная плотная авторегрессионная языковая модель семейства OLMo 2, разработанная Allen Institute for AI (AI2). Это вариант OLMo-2 на 13,2 млрд параметров, прошедший supervised fine-tuning на варианте набора Tülu 3, а затем обучение методом DPO на данных предпочтений. Модель предназначена для диалогов, выполнения инструкций и широкого круга задач генерации текста; карточка отмечает задачи MATH, GSM8K и IFEval. Модель принимает текст и выдаёт текст, поддерживает чат-шаблон и имеет контекстное окно 4096 токенов. Она рассчитана прежде всего на английский язык. Веса распространяются в формате PyTorch по лицензии Apache 2.0. В карточке отмечено, что у OLMo 2 ограничено обучение безопасности, поэтому модель может выдавать проблемные ответы, особенно при соответствующих запросах; встроенной фильтрации ответов нет. Сведения о качестве следует рассматривать с учётом того, что это предварительный DPO-вариант.

ArchSpace-Collection публикует экспорт базовой модели OLMo 3 3B после четвертого этапа обучения instruct SFT. Это плотная авторегрессионная языковая модель на 3,2 млрд параметров для генерации текста и диалогового взаимодействия; используется официальная реализация Transformers Olmo3ForCausalLM без необходимости подключать remote code. Репозиторий содержит веса safetensors. Модель обучалась с длиной последовательности 32 768 токенов и поддерживает контекст до 65 536 токенов. Внимание использует скользящее окно 4 096 токенов в слоях SWA и полное внимание в каждом четвертом слое; для полных слоёв применяется YaRN. Карточка не сообщает, на каких естественных языках модель обучена или рассчитана работать. Модель подходит для диалогов и генерации текста, включая сценарии с длинным контекстом; метаданные также отмечают интерфейс вызова инструментов. Это базовый OLMo 3 instruct SFT baseline, а не отдельная модель для специализированной предметной области. Для загрузки README требует Transformers версии не ниже 4.57.6 и ниже 5. Лицензия в предоставленных данных не указана.

OpenThinker3-7B-GGUF — это квантизированная версия текстовой генеративной модели OpenThinker3-7B, разработанной проектом open-thoughts и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые приложения. Модель содержит 7 миллиардов параметров и поддерживает различные варианты представления весов: от BF16 до квантизаций Q8, Q6, Q5, Q4, Q3, Q2 и IQ. Размер файлов варьируется примерно от 3,5 до 15,2 ГБ, поэтому можно выбрать баланс между качеством, скоростью и требованиями к памяти. Для взаимодействия используется шаблон сообщений с ролями system, user и assistant. Сведения о контекстном окне, языках, мультимодальности и точной архитектуре в README не указаны; по доступным данным это текстовая, а не мультимодальная модель. Сильной стороной являются многочисленные варианты квантизации, включая версии, оптимизированные для экономии памяти и локального запуска, а также применение imatrix при квантизации на базе llama.cpp. Более компактные варианты требуют меньше ресурсов, но могут заметно уступать полноразмерной или высокоточной квантизации по качеству. Модель распространяется по лицензии Apache-2.0. Датасет, указанный для исходной модели, — open-thoughts/OpenThoughts3-1.2M.

OrakzaiX — это общественный GGUF-релиз модели семейства Llama, поддерживаемый и квантизированный Faisal Orakzai. В метаданных указан upstream-моделью meta-llama/Llama-3-8B-Instruct, однако README позиционирует OrakzaiX именно как квантизированный релиз, а не как самостоятельно обученную базовую модель. Модель предназначена для генерации текста и диалогов с локальным запуском через llama.cpp на пользовательском оборудовании, рабочих станциях, периферийных устройствах или частных серверах. Основные сценарии включают локальных ассистентов, офлайн-прототипирование, разработку инструментов, суммирование и извлечение технической информации, помощь с кодом и документацией, автоматизацию, планирование рабочих процессов и эксперименты с multi-agent orchestration. Доступны варианты GGUF с квантизацией от Q2_K до Q8_0; рекомендуемым начальным вариантом называется Q4_K_M, обеспечивающий компромисс между качеством, скоростью и потреблением памяти. Файлы занимают примерно от 3,18 до 8,54 ГБ, но фактические требования выше из-за контекста, KV-кэша, буферов вычислений и накладных расходов runtime. Сильными сторонами являются локальное и потенциально более приватное выполнение, широкий выбор уровней квантизации и совместимость с экосистемой llama.cpp. При этом README не содержит результатов бенчмарков, данных о точности в конкретных областях, надежности использования инструментов, производительности, поддерживаемых языках или размере контекстного окна. Не подтверждена также пригодность для автономных производственных сценариев; качество следует проверять на собственных задачах и выбранной квантизации. Лицензия указана как other, поэтому перед распространением или коммерческим использованием необходимо изучить условия лицензии OrakzaiX и upstream-модели.

Ornstein-Hermes-3.6-27b-i1-GGUF — квантизированная версия модели Ornstein-Hermes-3.6-27b, разработанной GestaltLabs и подготовленной в формате GGUF пользователем mradermacher. В README также указано использование набора данных DJLougen/Acta и наличие тегов, связанных с семейством Qwen, мультимодальностью и Hermes. Модель предназначена для генерации текста на английском языке, обработки изображений вместе с текстом, вызова функций, работы с инструментами и агентских сценариев. Заявлены мультимодальные возможности image-text-to-text, function calling и tool use, однако точный размер контекстного окна и подробности архитектуры в README не указаны. Доступно множество вариантов квантизации с размером файлов примерно от 7,2 до 22,2 ГБ. Варианты различаются балансом между размером, скоростью и качеством: README отмечает, что некоторые низкобитные варианты имеют низкое качество, а i1-Q4_K_M рекомендуется как быстрый вариант. Качество конкретной версии зависит от выбранного типа квантизации. Модель распространяется по лицензии Apache-2.0.

Penjing-27B-Pollard — это квантизированная версия Qwen/Qwen3.8-27B, подготовленная PollardWeights с использованием метода Pollard Weights. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, ik_llama.cpp, Ollama и LM Studio. Указанная архитектура — qwen3_5, объём — около 27,3 млрд параметров. Поддерживаются текстовые и графические входы, а заявленный язык — английский. Модель рассчитана на диалоговые сценарии и мультимодальные задачи, включая работу с изображениями при использовании дополнительного vision-проектора mmproj-Penjing-27B-bf16.gguf. Доступно несколько вариантов квантизации с разным соотношением размера и качества: от IQ1_KT размером 6,53 ГБ до Q6_K размером 22,43 ГБ. Квантизация основана на измерении чувствительности отдельных слоёв и использует importance matrix; это позволяет эффективнее распределять биты по сравнению с равномерным сжатием. Главное преимущество модели — существенное уменьшение требований к памяти: вариант IQ1_KT примерно на 88% меньше исходной версии f16. При этом качество зависит от выбранного файла: по измерениям на wikitext2 вариант IQ2_KT показал perplexity 5,0817 и был обозначен как рекомендуемый вариант по умолчанию, тогда как IQ1_KT обеспечивает минимальный размер, но заметно сильнее отклоняется от f16. IQ1_KT и IQ2_KT требуют ik_llama.cpp; остальные варианты совместимы со стандартным llama.cpp. Результаты измерений получены на одной машине и могут не полностью отражать качество в прикладных задачах. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

OpenVINO/Phi-3.5-mini-instruct-int4-ov — это квантизированная версия языковой модели Phi-3.5-mini-instruct, разработанной Microsoft. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT4 с помощью NNCF. Она предназначена для генерации текста, диалоговых сценариев и других задач, поддерживаемых исходной instruction-tuned моделью; конкретные языки, размер контекста и дополнительные модальности в карточке не указаны. Сжатие выполнено в режиме int4_asym с размером группы 128 и коэффициентом ratio 1. Модель совместима с OpenVINO версии 2024.5.0 и выше, а также с Optimum Intel версии 1.21.0 и выше, и может запускаться через OpenVINO GenAI на CPU и других поддерживаемых устройствах. Ограничения следует оценивать по исходной карточке Phi-3.5-mini-instruct; подробности о качестве после квантизации в README не приведены. Модель распространяется по лицензии MIT.

Piccolo-large-zh-v2 — китайская модель эмбеддингов, разработанная группой General Model компании SenseTime Research. Она предназначена для получения векторных представлений текста для поиска, ранжирования, оценки сходства, классификации и кластеризации. Модель построена на архитектуре BERT и обучена с использованием многоцелевой комбинированной функции потерь; размер эмбеддинга — 1792 измерения, длина последовательности — до 512 токенов. Обучение поддерживает гибкую размерность векторов благодаря MRL. В README описаны результаты на китайском бенчмарке C-MTEB и сценарии дообучения для прикладных задач. Модель принимает текст и выдаёт эмбеддинги; в метаданных указан формат PyTorch и около 424,3 млн параметров. Весовые файлы временно сняли с публикации в мае 2024 года, поэтому README предлагает временный доступ через API. Условия лицензирования в предоставленных материалах не указаны.

potion-base-32M — компактная модель статических текстовых эмбеддингов от команды Minish Lab. Она создана с помощью Model2Vec и Tokenlearn как дистиллированная версия sentence-transformer baai/bge-base-en-v1.5. Модель формирует векторные представления текста без последовательного вычисления трансформера, что обеспечивает высокую скорость на CPU и GPU и подходит для систем с ограниченными ресурсами и сценариев реального времени. Модель предназначена для семантического поиска, оценки сходства и ранжирования текстов. В карточке приведены результаты на задачах MTEB: potion-base-32M показывает более высокие средние результаты, чем potion-base-8M, при этом уступает all-MiniLM-L6-v2 по общему среднему показателю. Версия 32M имеет более широкий словарь, чем potion-base-8M. Доступны форматы ONNX и safetensors; для работы используется библиотека model2vec. Лицензия — MIT. В датасете модели указан англоязычный корпус C4 с разметкой bge-base-en-v1.5, поэтому она ориентирована прежде всего на английский текст. Модель возвращает эмбеддинги, а не готовые текстовые ответы. Указанная длина контекста составляет 1 000 000 токенов; фактическую пригодность такого объёма для конкретного сценария следует проверять с используемой реализацией.

Карточка модели infgrad/puff-large-v1 на Hugging Face совпадает с карточкой infgrad/puff-base-v1, поэтому описание составлено по ней. infgrad выпустил модель на базе XLM-RoBERTa для поиска и семантического сопоставления текстов. Она формирует векторные представления предложений и поддерживает несколько выходных размерностей: 256, 768, 1024, 1563, 1792, 2048 и 4096. Модель рассчитана на поиск как внутри одного языка, так и между китайским и английским; автор отмечает, что английские представления слабее китайских. Контекстная длина составляет 514 токенов. Модель распространяется под лицензией MIT.

QandoraExp-7B — языковая модель для генерации текста, созданная bunnycore с помощью слияния нескольких предварительно обученных моделей методом Della через mergekit. В качестве базовой использована Qwen/Qwen2.5-7B; в слияние также вошли Etherll/Qwen2.5-7B-della-test, jeffmeloy/Qwen2.5-7B-nerd-uncensored-v1.0 и fblgit/cybertron-v4-qw7B-MGS. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и имеет контекстное окно до 131 072 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Модель предназначена для диалоговой генерации текста и предоставляет интерфейс для вызова инструментов. В README приведены результаты оценок Open LLM Leaderboard: среднее значение 28,51, IFEval — 75,09 и BBH — 35,92. README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя. Результаты приведённых оценок не гарантируют качество на конкретных задачах; также карточка не описывает отдельные ограничения модели.

MaziyarPanahi/Qwen2.5-7B-Instruct-GGUF — это набор файлов модели в формате GGUF для Qwen2.5-7B-Instruct, разработанной командой Qwen. Квантованные версии опубликованы пользователем MaziyarPanahi и предназначены для локального запуска задач генерации текста, включая диалоговое взаимодействие и другие сценарии применения instruction-tuned модели. Модель содержит варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат GGUF поддерживается llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и ctransformers. В README не указаны архитектурные детали, объём контекста, поддерживаемые языки, модальности, результаты оценивания или конкретные ограничения качества. Лицензия в предоставленных данных не указана. Для использования необходимо учитывать условия лицензии исходной модели Qwen2.5-7B-Instruct и правила распространения опубликованных квантованных файлов.

Theros/Qwen2.5-ColdBrew-R1-test4 — объединённая авторами модель генерации текста на архитектуре Qwen2, созданная с помощью mergekit методом SLERP из Theros/Qwen2.5-ColdBrew-R1-test2 и bunnycore/Qwen-2.5-7B-Stock-Deep-Bespoke-v2. Она предназначена для диалогов и генерации текста; в метаданных также указана возможность chat. Модель содержит 7,1 млрд параметров, принимает текст и выдаёт текст. Родной контекст составляет 131 072 токена. Репозиторий использует формат safetensors, библиотека — Transformers. В карточке не указаны специальные отраслевые сценарии или перечень поддерживаемых естественных языков. Лицензия в предоставленных данных не приведена.

Qwen2-7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Qwen2-7B-Instruct, подготовленный bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях, чат-интерфейсах и других системах, поддерживающих формат GGUF и llama.cpp. В набор входят варианты с разной точностью и размером — от Q8_0 (8,09 ГБ) до IQ2_XS (2,46 ГБ). Более крупные квантизации обеспечивают более высокое качество, а компактные позволяют запускать модель при ограниченных ресурсах, но могут заметно снижать качество ответов. Исходная модель имеет около 7 миллиардов параметров; в README указана поддержка английского языка, текстовая модальность и формат text-generation. Размер контекста и точная архитектура в карточке не указаны. Сильной стороной является широкий выбор квантизаций, позволяющий подобрать баланс между качеством, скоростью и требованиями к RAM или VRAM; рекомендуемыми названы варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Ограничения включают снижение качества у низкобитных вариантов и проблему с CUDA offloading без включённого flash attention. Для работы следует использовать указанный chat-шаблон с токенами im_start и im_end. Модель распространяется по лицензии Apache-2.0.

Qwen2-NextGen-8b — текстовая генеративная модель, созданная powermove72 объединением моделей newsbang/Homer-v1.0-Qwen2.5-7B и AIDC-AI/Marco-o1 с помощью LazyMergekit. Она предназначена для диалогов и генерации текста; архитектура — плотная Qwen2ForCausalLM, размер — 8 млрд параметров, контекст — до 32 768 токенов. Объединение выполнено методом passthrough с выбором диапазонов слоёв из каждой модели, объединённым токенизатором и весами float16. Модель можно применять для ответов на вопросы, выполнения текстовых инструкций и других задач генерации текста в чат-сценариях. Карточка не уточняет языковой охват и отдельные специализированные области. Репозиторий распространяет веса в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

Qwen3-24B-A4B-Freedom-HQ-Thinking-Abliterated-Heretic-NEOMAX-Imatrix-GGUF — текстовая generative-модель, опубликованная пользователем fair322. Она собрана на базе шести моделей Qwen3 4B, включая варианты с дистилляцией рассуждений из Jan, Apollo, Claude, Gemini и Polaris Alpha, после применения метода Heretic для удаления или снижения ограничений на отказы. Модель распространяется в формате GGUF и предназначена для локального запуска и генерации текста. Модель рассчитана на широкий круг задач: программирование, математику, обучение, ответы на вопросы, написание художественных текстов, ролевые сценарии, фантастику, романтику, хоррор и материалы для взрослой аудитории. Заявлены режим полного рассуждения, сжатые планы перед ответом и контекст до 256K токенов. Архитектура представляет собой плотную Mixture of Experts из шести экспертов по 4B параметров; по умолчанию активен один эксперт, но можно задействовать от одного до шести, что соответствует заявленным уровням мощности от 4B до 24B параметров. Сильными сторонами являются большой контекст, масштабируемая вычислительная нагрузка, поддержка рассуждений, широкий спектр сценариев и сниженная склонность к отказам. Модель ориентирована преимущественно на английский язык. Ограничения включают возможную необходимость явно задавать желаемый уровень подробности, ненормативной лексики или содержания для получения нужного стиля, а также отсутствие гарантий безопасности и фильтрации: модель описана как uncensored и может генерировать потенциально чувствительный или неприемлемый контент. Указанная лицензия — Apache-2.0.

MaziyarPanahi/Qwen3-32B-GGUF — это набор квантованных файлов модели Qwen3-32B в формате GGUF. Исходную модель разработала команда Qwen, а конвертацию и публикацию квантованных вариантов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые приложения и библиотеки. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов; возможны ускорение на GPU и предоставление OpenAI-совместимого API в зависимости от используемого ПО. Карточка не содержит подробностей об архитектуре, количестве параметров исходной модели, поддерживаемых языках, размере контекста, мультимодальности, результатах оценки или конкретных ограничениях качества. Условия лицензирования в README также не указаны, поэтому их следует уточнить на странице исходной модели Qwen/Qwen3-32B и публикации квантованных файлов.

unsloth/Qwen3-4B-Base-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-4B-Base, подготовленная Unsloth на основе модели Qwen/Qwen3-4B-Base. Это каузальная языковая модель на стадии предварительного обучения, предназначенная для генерации и продолжения текста, а также общих задач обработки естественного языка, программирования, STEM и рассуждений. README не уточняет особенности именно 4-битной упаковки и сценарии её применения. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд приходятся на параметры без embedding, имеет 36 слоёв и использует Grouped-Query Attention с 32 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. Семейство Qwen3 обучалось на 36 трлн токенов на 119 языках и включает данные для кодирования, STEM, рассуждений, книг, мультиязычных и синтетических задач, однако точные языковые возможности данной версии отдельно не приведены. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битному представлению, длинный контекст и универсальная базовая направленность. Ограничения состоят в том, что это именно базовая, а не инструкционно настроенная модель: README не заявляет о специальной диалоговой настройке, конкретных результатах бенчмарков или требованиях к оборудованию. Для работы рекомендуется актуальная версия библиотеки transformers; версии ниже 4.51.0 могут вызывать ошибку KeyError: 'qwen3'. Модель распространяется по лицензии Apache-2.0.

hanhainebula/qwen3-4b-ft-msmarco — плотная модель семейства Qwen3, дообученная авторами на один эпохе на английской обучающей выборке MSMARCO с помощью FlagEmbedding. Она создана как часть ресурсов ReasonEmbed для получения текстовых эмбеддингов и поиска документов, требующего рассуждений. Репозиторий содержит веса Safetensors; размер модели — около 3,7 млрд параметров, контекст — до 40 960 токенов. Модель подходит для построения векторного поиска по документам и ранжирования текстов по смысловой релевантности, в том числе для запросов со сложным рассуждением. Обучение ориентировано на английские данные. Лицензия Apache-2.0. В README отмечено изменение токенизатора для автоматического добавления EOS-токена.

enacimie/Qwen3-4B-Q4_K_M-GGUF — это квантизированная версия модели Qwen3-4B, преобразованная в формат GGUF с использованием llama.cpp через сервис GGUF-my-repo. Исходная модель разработана командой Qwen, а данный репозиторий предназначен для запуска в экосистеме llama.cpp. Модель относится к классу text-generation и работает с текстовыми входными и выходными данными. Ключевая характеристика этой версии — квантизация Q4_K_M, уменьшающая требования к памяти по сравнению с полноразмерной моделью. Размер базовой модели составляет 4B параметров. Модель можно использовать локально через llama-cli или llama-server, в том числе для генерации текста и развёртывания локального сервера inference. В README приведён пример контекста длиной 2048 токенов, однако максимальный размер контекста, поддерживаемые языки и подробности архитектуры не указаны. Лицензия — Apache-2.0.

trohrbaugh/Qwen3.5-9B-heretic-v2 — мультимодальная модель на основе Qwen3.5-9B-Base, дообученная разработчиком trohrbaugh методом abliteration. Она предназначена для диалогов и задач понимания изображений; модель может вызывать инструменты через совместимый интерфейс. В README указаны 9 млрд параметров, гибридная архитектура с Gated Delta Networks и механизмом внимания, а также контекст до 262 144 токенов с возможностью расширения. Базовая карточка Qwen3.5 заявляет поддержку 201 языка и диалекта; отдельный список языков этой версии в предоставленных данных отсутствует. По сравнению с исходной моделью в тесте из README она отказала в 6 из 100 запросов против 100 из 100 у исходной модели. Это указывает на ослабление отказов, поэтому модель может отвечать на большее число запросов, но не гарантирует корректность или безопасность таких ответов. Доступны веса в формате Safetensors для Transformers и совместимых сред. Лицензия — Apache-2.0.

Qwen3.6-27B-V2-abliterated-uncensored-Q4_K_M-GGUF — мультимодальная модель семейства Qwen, выпущенная Lemura Labs. Она основана на Qwen/Qwen3.6-27B и производной Jackrong/Qwopus3.6-27B-v2, дополнительно обработанной методом abliteration для снижения количества отказов. Модель предназначена для генерации текста, диалогов, рассуждений и работы с изображениями совместно с текстовыми запросами. Модель содержит около 27 млрд параметров и распространяется в формате GGUF с 4-битной квантизацией Q4_K_M и эффективной плотностью около 4,92 BPW. Размер языковой части составляет примерно 15,4 ГБ, а комплектный визуальный проектор mmproj.gguf занимает около 928 МБ и сохраняет vision tower Qwen3.6-VL. Поддерживаются английский, китайский и, согласно карточке, мультиязычные сценарии. Для запуска рекомендуется llama.cpp; ориентировочные требования составляют от 16 ГБ GPU или 24 ГБ оперативной памяти на Apple Silicon. К сильным сторонам относятся мультимодальность, совместимость со стандартными сборками llama.cpp, относительно компактный размер для модели такого класса и существенно сниженная частота отказов: 4 из 100 против 91 из 100 у исходной версии в указанном тесте. При этом Q4_K_M уступает более точным вариантам по сохранению исходных характеристик, а для обработки изображений требуется отдельный mmproj.gguf. Показатели отказов и сохранения возможностей приведены разработчиком и могут зависеть от методики оценки; абляция защитных механизмов также может повышать риски небезопасного или нежелательного использования. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-29B-REAP-Opus-Reasoning-Distill-GGUF — набор GGUF-квантизаций модели, созданной barozp на базе Qwen3.6-35B-A3B с архитектурой MoE. Из исходной конфигурации удалены 51 из 256 экспертов с помощью REAP, оставлено 205 экспертов, после чего применён LoRA-адаптер, обученный на рассуждениях, сгенерированных Opus. Это обычная слитая версия без MTP-head, предназначенная для генерации текста и локального запуска через llama.cpp. Модель ориентирована на задачи рассуждения, ответов на вопросы и универсальной текстовой генерации. Доступны варианты от BF16 размером 56,5 ГБ до квантизаций Q2_K размером 10,6 ГБ, включая популярную Q4_K_M размером 17,3 ГБ и IQ-квантизации с importance matrix. K-квантизации обеспечивают широкую совместимость и высокую скорость на CPU, а IQ-варианты дают лучшее соотношение качества и размера при цене в виде некоторого снижения скорости. Языки, размер контекстного окна и точный набор поддерживаемых модальностей в README не указаны; по описанию это текстовая модель. Сильной стороной является улучшение результатов на ARC-Challenge после reasoning-дистилляции: 0,616 против 0,532 у исходной невырезанной модели и 0,534 у версии только с pruning. На RTX PRO 6000 Blackwell в конфигурации Q4_K_M заявлена скорость около 219 токенов в секунду при полном offload и около 58,6 токена в секунду при частичном offload. Ограничение модели — отсутствие встроенного MTP-head и, соответственно, поддержки self-speculative decoding, доступной в отдельной версии. Кроме того, для этой линейки использование chat template может существенно искажать результаты задач с оценкой loglikelihood; приведённые бенчмарки рассчитаны без него. Модель распространяется по лицензии Apache-2.0. Для запуска требуется совместимое ПО, например llama.cpp, и объём оперативной или видеопамяти, соответствующий выбранной квантизации.

Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16 — квантизированный производный вариант модели Qwen/Qwen3.8-27B, опубликованный пользователем mikeinnyc. Это не дообученная модель: дополнительное обучение не проводилось, а GPTQ-квантизация выполнена непосредственно из исходного чекпойнта BF16. Модель предназначена для генерации текста и развёртывания через Transformers и vLLM, включая сценарии с OpenAI-совместимым API и Open WebUI. Она ориентирована на запуск на Intel Arc Pro B70 с использованием vLLM XPU, speculative decoding и unquantized MTP draft path. В контролируемом тестировании на одной Intel Arc Pro B70 32 GB конфигурация G128 поддерживала контекст до 161 000 токенов с FP8 KV-кэшем. Ключевые характеристики: GPTQ INT4 с симметричной квантизацией и group size 128, без квантизации LM head и MTP-тензоров; размер загрузки составляет около 19,6 ГБ, модель хранится в пяти файлах safetensors. Сильными сторонами являются уменьшенный объём памяти по сравнению с BF16, поддержка очень длинного контекста и возможность ускорения генерации с помощью MTP. Ограничения включают зависимость от совместимой конфигурации vLLM XPU и специальных патчей для проверенного сценария на Intel Arc Pro B70; заявленные характеристики производительности относятся именно к этому окружению. Модель распространяется по лицензии Apache-2.0.

amd/Qwen3.8-27B-Quark-Qronos-INT4-W4A16 — это квантизированная версия базовой модели Qwen/Qwen3.8-27B, разработанная с использованием AMD Quark и алгоритма Qronos. Модель предназначена для задач генерации текста и, согласно метаданным, имеет pipeline image-text-to-text. Она рассчитана на запуск в совместимых inference-средах, включая vLLM с поддержкой схемы W4A16Int4. Модель использует INT4-квантизацию весов с group size 128, тогда как активации сохраняются в формате BF16. Квантизация выполнена методом посттренировочной оптимизации Qronos на основе Hessian, с калибровкой по 128 образцам длиной 512 токенов. Размер базовой модели — 27B параметров. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. По приведённым измерениям, качество близко к BF16-версии: на GSM8K получено 94,62% в thinking-режиме и 89,99% в non-thinking-режиме, perplexity Wikitext составила 8,6819, а точность BFCL для single_turn — 23,80%. Основное преимущество — снижение точности представления весов до INT4 при сохранении большей части качества базовой модели. Ограничения включают зависимость от Quark-совместимого runtime, необходимость поддержки W4A16Int4 и неполную сопоставимость отдельных бенчмарков с публичными рейтингами. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой Qwen/Qwen3.8-27B.