I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейOpenOrca-Platypus2-13B-imatrix-GGUF — набор imatrix-квантизированных версий модели OpenOrca-Platypus2-13B, разработанной на основе объединения garage-bAInd/Platypus2-13B и Open-Orca/OpenOrcaxOpenChat-Preview2-13B. Модель предназначена для генерации текста и выполнения инструкций; в карточке указано, что она относится к текстовым моделям и поддерживает английский язык. Это 13-миллиардная модель в формате GGUF, ориентированная на запуск средствами, совместимыми с GGUF. Для базовой версии Platypus2-13B указан шаблон запросов с секциями «### Instruction» и «### Response»; для варианта OpenChat рекомендуется шаблон OpenChat Llama2 V1. Дополнительные сведения об архитектуре, размере контекста, поддерживаемых модальностях и практических характеристиках не приведены. В карточке не указаны конкретные преимущества, ограничения производительности или требования к оборудованию. Лицензия обозначена как other, без подробного описания условий использования, поэтому перед применением необходимо ознакомиться с лицензиями исходных моделей и условиями распространения данной сборки.
Ornith-1.5-35B-A3B-PrismaQuant-AQUA-25GB-vllm — это смешанно-квантизированная версия модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель предназначена для генерации текста и запуска через Transformers и vLLM. К checkpoint применяется формат compressed-tensors, поэтому он поддерживается стандартным vLLM без модифицированного runtime и пользовательских CUDA-ядер. Модель имеет MoE-архитектуру с 35 млрд параметров, из которых 3 млрд активируются на токен. PrismaQuant назначает отдельным линейным слоям форматы BF16, FP8 или NVFP4: большинство маршрутизируемых экспертов используют NVFP4, тогда как важные компоненты плотного пути сохраняются в FP8 или BF16. Размер артефакта составляет 24,68 ГБ против 71,90 ГБ у исходной BF16-версии, что даёт сокращение примерно в 2,91 раза. Базовая модель поддерживает контекст до 262 144 токенов, однако полный контекст требует значительного объёма памяти под KV-кэш. На WikiText-2 квантизированная версия показала perplexity 11,7067 против 11,4181 у BF16-источника, то есть ухудшение составило 2,53%. Сильная сторона модели — существенная экономия памяти при относительно небольшом падении качества; смешанное распределение точности также снижает расхождение с BF16 по сравнению с равномерной NVFP4-квантизацией. Ограничения включают потенциальную зависимость производительности от совместимого оборудования и версии vLLM, а приведённые метрики получены на конкретном наборе данных и конфигурации. Модель распространяется по лицензии MIT.
nm-testing/Qwen2-1.5B-Instruct-FP8W8 — квантованная версия инструкционно дообученной языковой модели Qwen2-1.5B-Instruct. Исходную модель разработала команда Qwen; репозиторий данной версии размещён пользователем nm-testing. Модель предназначена для генерации текста, диалогов и выполнения инструкций, а также может применяться в локальных сервисах инференса через Transformers, vLLM или SGLang. Это decoder-only Transformer примерно на 1,5 млрд параметров с архитектурными особенностями Qwen2, включая SwiGLU и Group Query Attention. В репозитории указаны форматы BF16 и F8_E4M3, соответствующие FP8-квантизации весов и активаций. Модель работает только с текстом; поддерживаются чатовый шаблон и text generation. Для исходной модели заявлена длина контекста до 131 072 токенов, а токенизатор адаптирован к нескольким естественным языкам и языкам программирования, однако точный набор языков и фактические характеристики контекста именно квантованной версии в её репозитории не описаны. К сильным сторонам относятся небольшой размер, сниженные требования к памяти благодаря FP8-квантизации и пригодность для диалоговых и общих задач генерации текста. Ограничения — существенно меньшая ёмкость по сравнению с крупными моделями, отсутствие мультимодальности и отсутствие отдельной карточки модели с результатами оценки, подробным описанием ограничений и подтверждёнными характеристиками именно этой сборки. Лицензия в репозитории nm-testing не указана; у исходной Qwen2-1.5B-Instruct указана Apache License 2.0, но применимость этой лицензии к данной производной сборке следует проверить отдельно.
Qwen2.5-14B_Uncensored_Instruct-GGUF — это набор квантизированных GGUF-версий инструкционной текстовой модели Qwen2.5-14B_Uncensored_Instruct, разработанной SicariusSicariiStuff и преобразованной в квантизации пользователем bartowski с помощью llama.cpp и imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, а также для локального запуска через совместимые инструменты, включая LM Studio. В README указан английский язык модели и формат чата с ролями system, user и assistant. Модель имеет 14 миллиардов параметров. Доступны версии от F16 до Q3 и IQ3 с разными компромиссами между качеством, размером файлов и требованиями к оперативной памяти; размеры указанных вариантов составляют примерно от 6,92 до 29,55 ГБ. Некоторые версии оптимизированы для ARM-инференса и требуют поддержки sve или i8mm. Более высокие разрядности обычно обеспечивают лучшее сохранение качества, тогда как варианты с меньшим размером подходят для систем с ограниченной памятью. Это текстовая модель без заявленной поддержки изображений или других модальностей. Контекстное окно, точная архитектура, производительность и дополнительные языки в README не указаны, поэтому их нельзя достоверно оценить. Условия использования указаны как лицензия Apache-2.0.
Qwen2.5-1.5B-DeepSeek-R1-Instruct — компактная языковая модель на 1,5 млрд параметров, собранная автором prithivMLmods методом TIES с помощью MergeKit. В качестве основы использована Qwen/Qwen2.5-1.5B-Instruct; в слияние также вошли Qwen/Qwen2.5-1.5B и DeepSeek-R1-Distill-Qwen-1.5B. Модель использует архитектуру Qwen2 и доступна в формате Safetensors для библиотеки Transformers. Модель предназначена для диалогов и генерации текста по инструкциям, в том числе для получения структурированных ответов. Контекст составляет до 32 768 токенов. Карточка не описывает отдельную специализацию по предметной области или конкретный набор поддерживаемых языков. Карточка не приводит оценок качества и подробных ограничений, поэтому пригодность модели для конкретных задач следует проверять отдельно. Лицензия в предоставленных данных не указана.
Карточка модели tayaee/Qwen2.5-1.5B-Korean-ORPO-smoke на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.
bunnycore/Qwen-2.5-3b-Evol-CoT — языковая чат-модель, созданная слиянием нескольких моделей на базе Qwen 2.5; в README указаны Replete-LLM-V2.5-Qwen-3b, Qwen-2.5-3b-RP и Qwen-2.5-3b-Mix-Data-lora. Для слияния применён метод DARE TIES через mergekit, базой названа bunnycore/Qwen-2.5-3b-RP. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2ForCausalLM и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых ответов; метаданные также указывают интерфейс вызова инструментов. Она принимает текст и выдаёт текст. В репозитории указана лицензия не была в предоставленных данных, поэтому условия использования определить нельзя.
Модель zetasepic/Qwen2.5-72B-Instruct-abliterated — версия Qwen2.5-72B-Instruct, обработанная методом Abliterated с использованием кода из проекта refusal_direction. Это плотная языковая модель с 71,5 млрд параметров, предназначенная для диалогов и генерации текста; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает английский язык и имеет контекст длиной до 32 768 токенов. Модель создана на основе Qwen/Qwen2.5-72B-Instruct. В README упоминается техника Abliterated, но не приводится её подробное описание или оценка качества. Лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией репозитория и базовой модели.
HarithSami дообучил эту плотную языковую модель на основе unsloth/qwen2.5-7b-instruct. Она предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс для вызова инструментов. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README указано, что для обучения использовались Unsloth и библиотека TRL от Hugging Face. Доступны веса в формате safetensors. Лицензия — Apache-2.0. Данные описания не уточняют, на каких именно данных выполнялось дообучение и насколько хорошо модель справляется с конкретными задачами или языками.
Qwen2-72B-Instruct-IMat-GGUF — это набор GGUF-версий инструкционной языковой модели Qwen2-72B-Instruct, опубликованный legraphista и основанный на модели Qwen/Qwen2-72B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в чат-приложениях и локальном inference через совместимые инструменты, в частности llama.cpp. В метаданных указан английский язык; сведения о поддержке других языков, мультимодальности и максимальном размере контекста не приведены. В репозитории доступны варианты от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серий. Часть вариантов создана с использованием IMatrix-калибровки, предназначенной для более эффективного квантования, а некоторые представлены в виде разделённых файлов. Размеры файлов варьируются примерно от 29,81 до 145,42 ГБ, поэтому модель требует значительных ресурсов хранения и вычислений. Ключевая характеристика — 72 миллиарда параметров; точная архитектура и контекстное окно в README не указаны. Сильной стороной является широкий выбор уровней квантования и формат GGUF, удобный для локального запуска, а IMatrix может помогать сохранять качество при уменьшении размера модели. Ограничениями остаются высокая требовательность к памяти и производительности, а также возможная потеря качества в более агрессивных вариантах квантования. Модель распространяется по лицензии tongyi-qianwen; указана лицензия типа other со ссылкой на лицензию исходной модели Qwen2-72B-Instruct.
nytopop/Qwen3-30B-A3B.w8a8 — квантизированная версия модели Qwen/Qwen3-30B-A3B, подготовленная пользователем или организацией nyt opop с использованием Transformers и llmcompressor. Модель предназначена для генерации текста и оптимизирована для запуска на GPU NVIDIA с архитектурой Ampere. Ключевая особенность — квантизация W8A8 с 8-битными весами и активациями, рассчитанная на повышение эффективности выполнения. В README не указаны точные архитектурные параметры, число активных параметров, поддерживаемые языки, длина контекста и дополнительные модальности, поэтому эти характеристики нельзя достоверно определить по имеющимся данным. Для запуска рекомендуется использовать SGLang; на момент публикации README стандартная версия SGLang некорректно загружает эту квантизацию, поэтому предлагается исправленная ветка проекта. Указана лицензия Apache-2.0. Ограничение модели связано с зависимостью от совместимого программного окружения и необходимостью применять специальную версию SGLang до исправления поддержки upstream.
aashish1904/Qwen3.5-0.8B-GGUF — квантизированная версия Qwen3.5-0.8B, разработанной командой Qwen и преобразованной в формат GGUF с использованием llama.cpp; квантизацию выполнил GGUF Quantizer Space. Модель предназначена для локального запуска через llama.cpp, Ollama и совместимые инструменты, а исходная модель ориентирована на прототипирование, исследовательские задачи, разработку и специализированное дообучение. Это причинная языковая модель с vision encoder, поддерживающая текстовые и визуальные сценарии. Она содержит 0,8 млрд параметров, 24 слоя и нативный контекст до 262 144 токенов. Архитектура сочетает Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Доступны варианты квантизации от Q2_K до Q8_0: более компактные варианты требуют меньше памяти, но сильнее теряют в качестве, тогда как Q8_0 обеспечивает качество, близкое к исходному. Q4_K_M и Q5_K_M указаны как рекомендуемые сбалансированный и высококачественный варианты. Сильные стороны модели — небольшой размер, возможность эффективного локального запуска, длинный контекст, мультимодальность и широкий языковой охват. Ограничения связаны с малым числом параметров и потерями качества, зависящими от выбранного уровня квантизации; конкретные требования к ресурсам и результаты бенчмарков для этой GGUF-версии в предоставленных данных не приведены. Лицензия в README не указана.
llmfan46/Qwen3.5-40B-Claude-4.5-Opus-High-Reasoning-Thinking-uncensored-heretic-GGUF — GGUF-квантизация модели, разработанная независимым автором llmfan46 на базе llmfan46/Qwen3.5-40B-Claude-4.5-Opus-High-Reasoning-Thinking-uncensored-heretic. В README также указано использование набора данных TeichAI/claude-4.5-opus-high-reasoning-250x. Точные сведения о методе обучения и конкретных параметрах квантизации не приведены. Модель предназначена для диалогов, программирования, творческого письма, генерации и продолжения сюжетов, ролевых сценариев, а также работы с различными жанрами художественного текста. Заявлены английский и китайский языки. Модель относится к reasoning-моделям: по умолчанию она использует режим пошагового рассуждения с токенами <think>, при этом поддерживается instruct-режим без рассуждений через настройку chat template или параметров инференса. В README заявлена мультимодальная архитектура Qwen3.5 с поддержкой текста, изображений и видео, а pipeline обозначен как image-text-to-text. Указанный размер — 40B параметров. Среди сильных сторон заявлены высокое качество рассуждений, творческого письма и сниженное количество отказов по сравнению с исходной моделью. Ограничения включают отсутствие данных о размере контекстного окна, системных требованиях, точных характеристиках GGUF-файлов и результатах независимого тестирования; режим с уменьшенными отказами также может повышать риски небезопасной генерации. Лицензия указана как Apache-2.0.
Qwen3.6-27B-Abliterated-Heretic-Uncensored-GGUF — это GGUF-версия модели Qwen3.6-27B, разработанной командой Qwen, с удалённым на уровне весов поведением отказа от ответов. Релиз подготовлен с использованием Heretic-style MPOA pipeline с сохранением магнитуд весов и конвертирован в формат GGUF для запуска в совместимых средах, включая llama.cpp и LM Studio. Модель предназначена для генерации текста, а при подключении соответствующего vision projector также поддерживает работу с изображениями и видео. Модель представляет собой плотную vision-language архитектуру объёмом 27,8 млрд параметров с 64 слоями, hidden size 5120 и гибридным механизмом внимания: три слоя linear attention и один слой full attention в каждой группе из четырёх слоёв. Текстовые GGUF-файлы поставляются в вариантах от Q2_K до Q8_0, включая BF16; для мультимодального режима используются совместимые проекторы mmproj в форматах F16 или BF16. Заявленный контекст запуска в примере составляет 32768 токенов, однако README не указывает гарантированный максимальный размер контекста и список поддерживаемых языков. К сильным сторонам относятся низкое заявленное отклонение от базовой модели по KL divergence (0,0251), широкий выбор уровней квантования и возможность локального мультимодального развертывания. По приведённым проверкам, частота отказов существенно ниже, чем у исходной модели: 1 из 25 и 3 из 100 запросов против 20 из 25 и 92 из 100 соответственно. При этом удаление защитного поведения означает повышенные риски небезопасных или нежелательных ответов, а качество и ресурсоёмкость зависят от выбранного варианта квантования. Релиз распространяется по лицензии Apache-2.0, унаследованной от базовой модели.
Youssofal/Qwen3.6-27B-Abliterated-Heretic-Uncensored-GGUF — GGUF-версия модифицированной модели Qwen3.6-27B, разработанной на базе Qwen/Qwen3.6-27B. Релиз создан Youssofal с применением Heretic-подобного двухэтапного MPOA-процесса, ослабляющего исходное поведение отказа на уровне весов. Модель предназначена для генерации текста и мультимодальных сценариев с анализом изображений и видео, а также для локального запуска через llama.cpp. Это плотная vision-language модель с 27,8 млрд параметров, 64 слоями и гибридной архитектурой внимания: три слоя линейного внимания на один слой полноформатного внимания в каждой группе из четырёх слоёв. Размер скрытого состояния — 5120. Архитектура сохраняет возможности базовой Qwen3.6-27B, включая поддержку изображений и видео; конкретный набор языков и размер контекстного окна в README не указаны. Доступны варианты GGUF от BF16 и Q8_0 до компактного Q2_K, что позволяет выбирать между качеством и требованиями к памяти. К сильным сторонам относятся сохранение общего профиля возможностей базовой модели, мультимодальность, совместимость с llama.cpp и сниженная склонность к стандартным отказам. По приведённым проверкам, однако, модель не демонстрирует полного устранения отказов и дефлекций, а изменение поведения может влиять на безопасность и надёжность ответов. Пользователь несёт ответственность за применение модели. Релиз распространяется по лицензии Apache-2.0, унаследованной от базовой модели.
lemonyins/Qwen3.6-27B-abliterated-i1-IQ4_XS-GGUF-Smaller — квантизированная версия Qwen3.6-27B, подготовленная разработчиком lemonyins на основе abliterated-варианта Huihui-Qwen3.6-27B от mradermacher. Модель предназначена для локального инференса, исследовательских задач и сценариев, где важны уменьшенный размер весов, экономия видеопамяти и большой контекст. Заявлена поддержка текстовых и, при подключении отдельного vision-проектора mmproj-BF16.gguf, визуально-текстовых входов. Модель использует формат GGUF и гибридную квантизацию: ключевые attention-слои имеют IQ4_XS, а слои FFN — IQ3_S. Для работы рекомендуется сборка llama.cpp с поддержкой TurboQuant и компактным KV-кэшем. На видеокарте NVIDIA RTX 4060 Ti 16GB заявлена скорость 18–20 токенов в секунду; при IQ4_XS-FFN-IQ3_S указана работа с контекстом до 160–200 тысяч токенов в зависимости от формата KV-кэша. При подключении vision-модуля доступный контекст уменьшается примерно на 10 тысяч токенов. Сильными сторонами являются низкое потребление памяти, увеличенный контекст при сохранении квантизации attention-слоёв и поддержка изображений через дополнительный модуль. Ограничения включают обязательную зависимость от TurboQuant для заявленных показателей памяти, возможное ухудшение качества из-за IQ3_S в FFN-слоях и отсутствие полной верификации разницы с базовой квантизацией; приведённый тест на китайском романе показал увеличение perplexity примерно на 3,14%. Языки модели и точные характеристики исходной архитектуры в README не указаны. Лицензия — Apache-2.0.
Qwen3.6-27B-Architect-Polaris2-Fable-B-F451-Tess — плотная мультимодальная модель семейства Qwen3, созданная независимой лабораторией Nightmedia. Это слияние NuSLERP нескольких моделей, включая Tess-4-27B и варианты Qwen3.5/3.6 с диалоговой, творческой и инструкционной настройкой. Модель предназначена для диалогов, рассуждений, программирования и творческого письма, а также принимает изображения для визуальных запросов. В карточке заявлен переключатель режима рассуждений через шаблон чата; опубликованные результаты включают тесты на понимание и оценки скорости и потребления памяти для нескольких вариантов квантования. В метаданных указаны 27B в имени семейства и поддержка английского, китайского, японского и испанского языков. Модель распространяется в формате safetensors под лицензией Apache-2.0. Длина контекста в предоставленных данных не подтверждена. Это экспериментальная сборка-слияние; результаты тестов из карточки не гарантируют качество в конкретных сценариях.
Qwen3.8-2.4T-A95B-NVFP4 — это 4-битная NVFP4-квантизованная версия модели Qwen3.8-2.4T-A95B, разработанной командой Qwen. Модель предназначена для генерации текста и опубликована в формате, совместимом с Transformers и vLLM; в README приведён пример запуска через vLLM. Веса представлены в формате nvfp4-pack-quantized: используется 4-битное представление с группами по 16 элементов, FP8-масштабированием групп и глобальным масштабом на тензор. Квантизации подверглись 143 569 линейных слоёв, при этом слоёв, оставленных в BF16, нет. Модель разделена на 328 шардов и занимает около 1382,45 ГБ на диске. Средняя относительная ошибка восстановления весов относительно исходных BF16-весов составляет 0,0952. Основное преимущество варианта — существенное сокращение размера по сравнению с FP8-версией при сохранении умеренной ошибки квантизации, что может упростить размещение крупной модели в инфраструктуре, поддерживающей NVFP4 и vLLM. Ограничениями являются очень большой объём весов, возможное снижение качества по сравнению с исходными BF16-весами и необходимость совместимого программного и аппаратного окружения. Сведения о поддерживаемых языках, длине контекста, точной архитектуре и специализированных сценариях применения в README не указаны. Модель распространяется по лицензии Apache-2.0.
Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-DFlash2-NInfer — это артефакт для движка NInfer, объединяющий 27-миллиардную текстовую модель Qwen3.8 с community-тюном HauhauCS Uncensored Aggressive и моделью z-lab Qwen3.8-27B-DFlash2 для speculative decoding. Артефакт подготовлен в формате одного файла .ninfer и предназначен для локального инференса на одной GPU через C++/CUDA. В нём также сохранена собственная NextN/MTP-голова исходного тюна. Модель рассчитана на генерацию и обработку текста, а благодаря официальной vision-башне поддерживает сценарии image-text-to-text. Для ускорения вывода доступны режимы DFlash2 и MTP; в README приведены результаты проверки на Blackwell GPU: до 59,8 токена/с в режиме DFlash2 и до 112,1 токена/с в режиме DFlash2 Think, однако эти показатели зависят от оборудования и конфигурации. Артефакт использует groupwise quantization с форматами Q4G64_F16S, Q5G64_F16S, Q6G64_F16S и W8G32_F16S, а размер файла составляет около 20,4 ГБ. Основные ограничения связаны с требованиями к среде выполнения: upstream NInfer ориентирован на одну видеокарту класса RTX 5090 с 32 ГБ памяти и архитектурой Blackwell; для других GPU может потребоваться отдельная версия движка. В README указаны параметры запуска с контекстом 16 384 и 32 768 токенов, но заявленный максимальный контекст самой модели не приведён. Список поддерживаемых языков также не указан. Модель распространяется по лицензии Apache-2.0; при этом в составе используются производные компоненты и базовые модели сторонних авторов, условия которых следует проверять отдельно.
Qwen-7B-QAnything — двуязычная instruction-tuned модель на базе Qwen-7B, подготовленная для QAnything. Карточка описывает запуск через FastChat с бэкендами Transformers и vLLM; метаданные указывают архитектуру QWenLMHeadModel и контекст до 8192 токенов. Модель предназначена для диалоговых сценариев QAnything и может использоваться в системах, которым нужны генерация ответов и извлечение признаков для RAG. В README заявлена поддержка двух языков, но их названия не приведены. Репозиторий содержит веса PyTorch. В метаданных указана лицензия Apache-2.0, тогда как README ссылается на Tongyi Qianwen Research License Agreement; условия следует сверить перед использованием.
Это GGUF-квантизированная версия модели Qwen3.6-35B-A3B, разработанной Qwen и подготовленной пользователем bartowski. Модель предназначена для запуска локально через llama.cpp и совместимые приложения, включая LM Studio, koboldcpp, Jan AI и Text Generation Web UI. По метаданным она относится к задачам image-text-to-text, то есть рассчитана на сценарии преобразования изображений и текста в текст, однако подробности о поддерживаемых языках и возможностях мультимодального ввода в карточке не приведены. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6, Q5, Q4, IQ4 и Q3 с размером файлов примерно от 17 до 71 ГБ. Квантизация выполнена с использованием llama.cpp и метода imatrix; для ряда вариантов заявлено высокое качество при меньшем потреблении памяти. Поддерживаются MTP-слои, которые можно задействовать через параметр draft-mtp при наличии соответствующей поддержки в используемом ПО. Точные сведения об архитектуре, размере активируемой части MoE, длине контекста и языках отсутствуют, поэтому эти характеристики нельзя подтвердить по README. Модель распространяется по лицензии Apache 2.0.
Карточка модели hararh/Qwen-VL на Hugging Face совпадает с карточкой Qwen/Qwen-VL, поэтому описание составлено по ней. Qwen-VL — крупная визуально-языковая модель Alibaba Cloud из семейства Qwen. Она принимает изображения, текст и ограничивающие рамки, а выдаёт текст и рамки; версия в репозитории описана как предварительно обученная модель, при этом карточка также упоминает отдельную диалоговую версию Qwen-VL-Chat. Модель содержит 11,4 млрд параметров, использует плотную архитектуру QWenLMHeadModel, работает с PyTorch и поддерживает контекст до 8192 токенов. Модель предназначена для диалога по изображениям, генерации описаний, визуальных вопросов и ответов, распознавания текста на изображениях, включая документы и диаграммы, а также поиска объектов по текстовому описанию с выдачей рамок. В карточке указаны многоязычные диалоги и многоязычная оценка на китайском и английском языках. Разрешение обработки изображений повышено до 448 пикселей, что помогает решать задачи распознавания текста и визуальных вопросов без разбиения изображения. README сообщает о сильных результатах на нескольких общих визуально-языковых бенчмарках, но они относятся к оценкам разработчика. Модель может ошибаться в распознавании деталей изображения и текста; карточка не описывает ограничения подробнее. Условия лицензии в предоставленных данных не указаны.
SauerkrautLM Mixtral 8X7B — это языковая модель для генерации текста в формате GGUF, созданная VAGO solutions и квантизированная TheBloke. Модель основана на VAGOsolutions/SauerkrautLM-Mixtral-8x7B, дообучалась с использованием наборов данных Open-Orca/SlimOrca и argilla/distilabel-math-preference-dpo. Она предназначена для диалогов, ответов на запросы и других задач генерации текста, включая локальный запуск на CPU и GPU. Модель использует архитектуру Mixtral и доступна в вариантах GGUF с квантизацией на 2, 3, 4, 5, 6 и 8 бит. README не указывает точное число параметров активной архитектуры или размер контекста. Заявлена поддержка английского, немецкого, французского, итальянского и испанского языков. Для взаимодействия используется шаблон ChatML. Файлы совместимы с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Сильными сторонами являются мультиязычность, возможность выбора степени квантизации и локального запуска, а также поддержка CPU и GPU-инструментов. Квантизация позволяет снизить требования к памяти, однако может уменьшать точность по сравнению с исходной моделью, особенно при более низкой разрядности. Модель предназначена только для текстовой модальности; сведения о специализированных ограничениях качества и безопасности в README не приведены. Лицензия — Apache-2.0.
CultriX/SeQwence-14B-EvolMergev1 — языковая модель на архитектуре Qwen2, созданная слиянием предварительно обученных моделей методом DARE TIES с помощью mergekit. В слиянии участвовали SeQwence-14Bv1, Qwen2.5-14B-Wernicke и Qwen2.5-14B-MegaMerge-pt2; размер модели — 14 млрд параметров. Репозиторий содержит веса в формате Safetensors, а для работы указана библиотека Transformers. Модель предназначена для генерации текста и диалогового общения; метаданные также отмечают интерфейс вызова инструментов. Контекстное окно составляет 131 072 токена. Карточка не описывает языковую специализацию или результаты оценки качества, поэтому область применимости и качество ответов за пределами общих сценариев генерации текста не установлены. Лицензия в предоставленных данных не указана.
smartyplats-7b-v2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и vihangd/smartyplats-7b-v2 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и сообщения в диалоге. Модель принимает текст и выдаёт текст; её контекст составляет до 32 768 токенов. В карточке указаны формат safetensors и лицензия Apache-2.0. README описывает схему слияния, но не приводит отдельные результаты оценки качества или специализированные области применения.
jaspionjader/sof-10 — это объединённая авторегрессионная языковая модель семейства Llama, созданная с помощью mergekit методом Model Stock. В качестве базовой модели использована jaspionjader/sof-6; в объединение также вошли jaspionjader/sof-3, jaspionjader/sof-5 и jaspionjader/sof-9. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст, поддерживает диалоговый режим и имеет контекстное окно до 131 072 токенов. Модель предназначена для генерации текста и диалоговых сценариев. Файлы опубликованы в формате safetensors, библиотека для работы — Transformers. Карточка не сообщает о специализированной предметной области или поддерживаемых естественных языках, поэтому нельзя определить основной язык модели. Лицензия в доступных данных не указана.
StrangeMerges_37-7B-dare_ties — объединённая языковая модель на архитектуре Mistral, собранная Gille с помощью LazyMergekit из liminerity/M7-7b, Gille/StrangeMerges_30-7B-slerp и ContextualAI/Contextual_KTO_Mistral_PairRM. В конфигурации указано объединение DARE-TIES с точностью bfloat16; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев. В README приведены результаты оценивания на бенчмарках, включая AI2 Reasoning Challenge и HellaSwag. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.
StrangeMerges_46-7B-dare_ties — объединённая модель для генерации текста, созданная Gille с помощью LazyMergekit. В слияние вошли Gille/StrangeMerges_45-7B-dare_ties, kettleguts/zephyr-7b-beta_sparse05 и chihoonlee10/T3Q-Mistral-Orca-Math-DPO; в конфигурации также указана базовая модель liminerity/M7-7b. Метод слияния — dare_ties. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Нативный контекст — до 32 768 токенов. Она предназначена для генерации текста, диалогов и ответов на математические вопросы. В README приведены результаты Open LLM Leaderboard, включая среднюю оценку 69,96, ARC 67,24 и HellaSwag 86,40. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Подтверждённые сведения о языках и специальные ограничения в карточке не приведены.
Symbol-LLM-8B-Instruct — диалоговая языковая модель семейства Llama, представленная авторами проекта Symbol-LLM. Это плотная модель примерно на 7,5 млрд параметров для генерации текста в формате инструктивного диалога; проект посвящён символьному интерфейсу для больших языковых моделей. Модель принимает текст и выдаёт текст, а её контекст составляет 8192 токена. Модель подходит для диалоговых ответов и генерации текста по инструкциям. В репозитории указаны веса PyTorch, а лицензия — Apache-2.0. README не приводит сведения о поддерживаемых естественных языках и специализированных областях применения.
Synthia-13B-v1.2 — языковая модель семейства Llama, разработанная SynthIA и дообученная на наборах данных в стиле Orca. Модель содержит 12,9 млрд параметров, использует плотную архитектуру LlamaForCausalLM и рассчитана на контекст до 4096 токенов; работает с текстом через библиотеку Transformers и распространяется в формате PyTorch. Модель предназначена для выполнения инструкций, многоходовых диалогов и генерации развёрнутых ответов. В версии v1.2 авторы отмечают способность к обобщённому рассуждению в стиле Tree of Thought и Chain of Thought. Поддерживаемый в карточке язык — английский. Модель описана как uncensored и может выдавать предвзятый, оскорбительный или неподходящий контент, а также неточные и вводящие в заблуждение ответы. Результаты следует проверять. Лицензия — Llama 2; перед использованием нужно учитывать её условия.