I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейbartowski/magnum-v4-27b-GGUF — это набор GGUF-квантизаций языковой модели magnum-v4-27b, разработанной anthracite-org. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в локальных приложениях через llama.cpp и LM Studio. Указанный язык — английский, модальность — текстовая. Модель содержит около 27 миллиардов параметров и поставляется в вариантах от F16 до сильно сжатых Q2/IQ2-квантизаций. Для подготовки файлов использовались llama.cpp b3930 и imatrix-квантизация; некоторые варианты сохраняют эмбеддинги и выходные веса в формате Q8_0 для повышения качества. Более крупные квантизации обеспечивают качество, близкое к исходной модели, но требуют значительного объёма памяти, тогда как малые варианты экономичнее, однако могут заметно терять в качестве. В README не указаны архитектура исходной модели, размер контекста и результаты сравнительных тестов. Для работы следует использовать формат prompt с маркерами ролей system, user и assistant, приведённый в документации модели. Лицензия обозначена как gemma; дополнительные условия её применения в README не раскрыты.
Это диалоговая языковая модель объёмом 6,7 млрд параметров, созданная автором репозитория rjamorizIAtest слиянием Mistral-7B-Instruct-v0.2 и Starling-LM-7B-beta. Для объединения использован метод SLERP через mergekit; архитектура — плотная MistralForCausalLM, веса представлены в формате safetensors и работают с библиотекой Transformers. Модель предназначена для генерации текста в диалогах и ответов на запросы. Она принимает текст и поддерживает контекст до 32 768 токенов. Карточка не сообщает о специализированной предметной области или языковом составе, поэтому применимость к конкретным языкам не уточняется. Условия лицензирования в предоставленных источниках не описаны.
Это пакет слоёв GGUF модели MiniMax-M2.1-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого инференса. Он получен из unsloth/MiniMax-M2.1-GGUF и сохраняет исходное распределение GGUF, разделённое на артефакты по слоям для запуска на кластере Mesh LLM. Пакет предназначен для локального и приватного диалогового инференса, объединения памяти и вычислительных ресурсов нескольких машин, а также для обслуживания запросов через локальный API, совместимый с OpenAI Chat Completions. Указан вариант квантования UD-Q4_K_XL. Детали архитектуры, число параметров, контекст, поддерживаемые языки и условия лицензии следует сверять с карточкой исходной модели.
Mistral-2.5-Prima-Hercules-Fusion-7B — объединённая языковая модель на архитектуре Mistral, созданная слиянием hydra-project/ChatHercules-2.5-Mistral-7B и Nitral-Archive/Prima-Pastacles-7b методом SLERP. Модель содержит 7,1 млрд параметров, работает с текстом и имеет контекстное окно до 32 768 токенов. Опубликована в формате safetensors и доступна по лицензии Apache-2.0. Модель предназначена для диалоговых ассистентов и многоходовых бесед, а также для генерации контента, ролевых сценариев, обучения и технической поддержки. В карточке заявлены улучшенное удержание контекста и сочетание диалоговых возможностей Hercules с адаптивностью Prima; независимые результаты оценки не приведены. Для качественной работы в специализированных сценариях автор рекомендует дополнительное дообучение. Запуск требует достаточных вычислительных ресурсов, особенно при инференсе на GPU.
Карточка модели princeton-nlp/Mistral-7B-Instruct-RRHF на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.
zelk12/MT3-Gen5-BMU-gemma-2-9B — слитая модель Gemma 2 на 9 млрд параметров, созданная автором репозитория с помощью mergekit методом SLERP из двух предварительно обученных моделей. Она предназначена для генерации текста и диалогового общения; такие модели можно применять для ответов на запросы и создания связного текста. Модель использует архитектуру Gemma2ForCausalLM, работает с текстом и поддерживает контекст до 8192 токенов. Репозиторий содержит веса в формате safetensors; в конфигурации слияния указан тип bfloat16. Карточка не описывает специальные языковые или предметные специализации, поэтому модель следует считать общего назначения. Лицензия в предоставленных данных не указана.
zelk12 создал эту объединённую языковую модель на основе Gemma 2, объединив методом SLERP две модели: zelk12/MT4-Gen5-GP-gemma-2-MTMMT3g4-9B и zelk12/MT4-Gen5-MA-gemma-2-MT4g2MT3g4-9B. Модель использует плотную архитектуру Gemma2ForCausalLM, содержит 9 млрд параметров и рассчитана на генерацию текста и диалоги; для запуска доступна в формате safetensors через Transformers. Модель принимает текст и генерирует текст, а её контекстное окно составляет 8192 токена. Карточка не описывает отдельные специализированные области или языки, поэтому её назначение следует считать общим. Условия лицензии в предоставленных данных не приведены.
zelk12 создал разговорную модель генерации текста на основе Gemma 2, объединив методом SLERP две модели: zelk12/MT-Merge4-gemma-2-9B и zelk12/MT-Merge5-gemma-2-9B. Модель имеет плотную архитектуру Gemma2ForCausalLM и 9 млрд параметров; её можно использовать для диалогов и генерации текста. Она работает с контекстом до 8192 токенов и доступна в формате Safetensors для Transformers. README указывает на слияние предварительно обученных языковых моделей и конфигурацию bfloat16. Лицензия в предоставленных данных не описана.
agentlans/multilingual-e5-small-pii-detector — дообученная модель классификации текста на основе BERT multilingual-e5-small, предназначенная для обнаружения персональных данных (PII) в тексте. Её можно применять для предварительной проверки пользовательских сообщений, документов и записей перед передачей или публикацией, а также как вспомогательный компонент процессов редактирования и маскирования данных. Модель содержит 124,3 млн параметров, принимает текстовые последовательности длиной до 512 токенов и опубликована в формате safetensors. В карточке приведены примеры на английском, французском и испанском языках; метаданные указывают на многоязычную поддержку. На оценочном наборе автор сообщает accuracy 0,9214. Модель выпущена под лицензией Apache-2.0. Чувствительность может быть ниже для отдельных языков и форматов персональных данных, включая некоторые номера карт и локальные идентификаторы; на очень коротких фрагментах без контекста качество может снижаться. Результаты следует использовать как вспомогательную проверку, а не как замену юридической или комплаенс-проверке.
RadixArk/Muse-Glimmer-q4km-gs128-MLX — текстовая версия Muse Glimmer для устройств Apple Silicon, подготовленная RadixArk в формате MLX. Это перепаковка весов из GGUF-релиза Muse Glimmer 30B: коды квантования сохранены, а масштабы групп представлены в формате MLX. Модель имеет плотную архитектуру Muse Glimmer примерно на 27 млрд параметров и контекст до 131 072 токенов; карточка указывает поддержку чата и интерфейса вызова инструментов. Модель предназначена для генерации текста и диалогового использования, включая сценарии с вызовом инструментов. README рекомендует запускать её через MLX-бэкенд SGLang на Mac с Apple Silicon и не менее чем 48 ГБ объединённой памяти. В README приведены результаты GSM8K и CIMemories, полученные на одной конфигурации оборудования; для CIMemories указано, что оценка проведена в одном испытании. Модель принимает и выдаёт только текст; путь обработки изображений в MLX-бэкенде отсутствует. Это квантованная производная модель на основе meta-models/Muse-Glimmer-30B-GGUF. Сведения о лицензии в предоставленных данных отсутствуют.
AlSamCur123/Nemo-InstructContinuedFine — дообученная разговорная модель AlSamCur123 на архитектуре Mistral, основанная на unsloth/mistral-nemo-instruct-2407-bnb-4bit. Для обучения использовались Unsloth и библиотека Hugging Face TRL; модель предназначена для генерации текста в диалоге и имеет интерфейс вызова инструментов. Модель содержит 12,1 млрд параметров, использует формат Safetensors и рассчитана на контекст до 1 024 000 токенов. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0.
NeuralsirkrishnaShadow_ShadowYam — объединённая языковая модель на архитектуре Mistral, созданная путём слияния automerger/NeuralsirkrishnaShadow-7B и automerger/ShadowYam-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста; контекстное окно составляет до 32 768 токенов. Модель подходит для генерации продолжений и ответов по текстовым запросам. Репозиторий распространяет веса в формате Safetensors по лицензии Apache 2.0. README не сообщает о специализации по языкам или прикладным областям.
Neuronovo-9B-v0.4 — языковая модель Jan Kocoń для генерации текста и диалоговых ответов. Она основана на архитектуре Mistral и содержит 8,9 млрд параметров; модель распространяется в формате safetensors и рассчитана на контекст до 32 768 токенов. При обучении использованы наборы Intel/orca_dpo_pairs и mlabonne/chatml_dpo_pairs, предназначенные для настройки диалогового поведения. Версия v0.4 также использует токенизатор Neuronovo-9B-v0.2 и обучалась одну эпоху с низкой скоростью обучения. Модель подходит для интерактивных сценариев и генерации ответов на текстовые запросы. В метаданных указан английский язык. Модель выпущена под лицензией Apache-2.0. README не приводит результаты оценивания, поэтому качество на конкретных задачах и устойчивость ответов по этим данным оценить нельзя.
Noro-Hermes-7B — объединённая диалоговая языковая модель на основе Mistral, созданная ThomasComics с помощью LazyMergekit. Она объединяет NeverSleep/Noromaid-7B-0.4-DPO и NousResearch/Nous-Hermes-2-Mistral-7B-DPO методом slerp; в конфигурации указана точность bfloat16. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста по запросам и диалогового общения. Её можно использовать для ответов на вопросы, ведения беседы и подготовки текстовых черновиков. Данных о лицензии, целевых языках и специальных ограничениях в предоставленной карточке нет.
NVIDIA-Nemotron-Nano-12B-v2-GGUF — это набор квантованных файлов модели NVIDIA-Nemotron-Nano-12B-v2 в формате GGUF. Исходную модель разработала NVIDIA, а конвертацию и публикацию квантованных вариантов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером файла, требованиями к памяти и качеством вывода. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, candle и другими клиентами. README не содержит сведений об архитектуре, поддерживаемых языках, размере контекста, мультимодальности, результатах тестирования или сильных и слабых сторонах модели. Лицензия в предоставленных данных не указана. Условия использования следует проверять отдельно для исходной модели NVIDIA-Nemotron-Nano-12B-v2 и опубликованных квантованных файлов.
OneThinker-8B — мультимодальная модель рассуждений для задач анализа изображений и видео, представленная разработчиками проекта OneThinker. Она дообучена на базе Qwen/Qwen3-VL-8B-Instruct и построена на архитектуре Qwen3-VL с 8 млрд параметров. Модель объединяет несколько зрительных задач в одной системе: визуальные вопросы и ответы, математические задачи по изображениям, отслеживание объектов и сегментацию видео.
sonthenguyen/OpenHermes-2.5-Mistral-7B-mt-bench-DPO-recovered — разговорная языковая модель на архитектуре Mistral, представленная в формате safetensors. В метаданных указаны 7,1 млрд параметров, контекст до 32 768 токенов и возможность чата; модель предназначена для генерации текста в диалогах и других текстовых сценариях. В README описано дообучение методом DPO с LoRA: ранг адаптера 16, коэффициент LoRA 16 и dropout 0,05. Базовая модель в предоставленных данных не названа. Модель выпущена под лицензией Apache-2.0. Языки обучения и качество на конкретных задачах не описаны.
PaddleOCR-VL-1.6-MLX-8bit — 8-битная MLX-квантизация мультимодальной модели PaddleOCR-VL-1.6, разработанной командой PaddlePaddle. Модель предназначена для локального разбора документов на устройствах Apple Silicon, включая OCR полноформатных страниц, анализ структуры и компоновки, распознавание таблиц, формул, графиков, печатей, а также обнаружение и распознавание текста. Она принимает изображения и генерирует результаты в форматах Markdown и JSON; текстовые входы без изображения не поддерживаются. Модель содержит около 0,9 млрд параметров и использует архитектуру PaddleOCRVLForConditionalGeneration на базе ERNIE-4.5 с пользовательским типом модели paddleocr_vl. Контекст составляет до 131 072 токенов, поддерживаются английский, китайский и другие языки; заявлена мультиязычность. Версия адаптирована для MLX и занимает около 1,09 ГБ на диске. Повышенный предел разрешения до 4 064 256 пикселей оптимизирован для распознавания мелкого текста на полноразмерных страницах, но увеличивает время обработки примерно в пять раз по сравнению с исходным ограничением. Работает через mlx-vlm и требует Apple Silicon, а также trust_remote_code=True. Сильные стороны модели — локальная обработка данных без отправки документов во внешние сервисы, поддержка сложных элементов документов и высокая заявленная точность базовой модели: 96,3% на OmniDocBench v1.6. 8-битная квантизация может немного снизить точность по сравнению с версиями bf16/fp16. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.
PE-Lang-L14-448 — визуальный энкодер Meta из семейства Perception Encoder, обученный на контрастном выравнивании изображений и текста и дополнительно настроенный для задач мультимодального языкового моделирования. Он извлекает языково-информативные признаки из изображений и рассчитан на использование вместе с языковым декодером, например Llama или Qwen; особенно хорошо подходит для OCR и работы с документами. В приведённых авторами оценках использовался замороженный энкодер с декодером Llama 3.1 8B и изображениями размером 448 пикселей без тайлинга. Модель также относится к семейству энкодеров для понимания видео, однако карточка этого чекпойнта не описывает отдельную конфигурацию или загрузочный код для видео. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Это компонент энкодера, а не самостоятельный чат-ассистент: для генерации ответов требуется языковой декодер и соответствующая мультимодальная обвязка. В карточке приведены результаты бенчмарков, но нет загрузочного кода и сведений о размере модели или длине контекста.
Это GGUF-квантизированная версия языковой модели r1-1776, разработанной Perplexity AI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на его основе. README не содержит подробностей о базовой архитектуре, количестве параметров, поддерживаемых языках и размере контекста. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 174 до 713 ГБ; файлы могут быть разделены на несколько частей. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти, тогда как низкие уменьшают требования к ресурсам за счёт качества. Для квантизации использовалась llama.cpp версии b4738 и метод imatrix. Указан формат промпта со специальными токенами r1-1776. Сильной стороной сборки является возможность запуска крупной модели локально в экосистеме llama.cpp при выборе подходящего компромисса между качеством и объёмом памяти. Ограничениями являются очень большие требования к дисковому пространству и оперативной или видеопамяти, а также снижение качества у низкобитных вариантов. Лицензия указана как MIT; сведения об условиях использования исходной модели в README не приведены.
Phi-3.5-mini-instruct_Uncensored-GGUF — это квантизированная версия инструкционной текстовой языковой модели Phi-3.5-mini-instruct_Uncensored, разработанной SicariusSicariiStuff и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев; запуск возможен через llama.cpp и совместимые приложения, включая LM Studio. В README указан специальный формат промпта с ролями system, user и assistant. Доступны варианты от исходных весов F16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3, Q2 и IQ. Размер файлов составляет примерно от 1,42 до 7,64 ГБ, что позволяет выбирать между качеством ответов и требованиями к памяти. Для квантизации использовался llama.cpp b3600 с методом imatrix. Более высокие варианты, включая Q6 и Q5, характеризуются как обеспечивающие очень высокое или высокое качество, тогда как Q2 и Q3 экономят память ценой заметного снижения качества. README не содержит сведений о точном числе параметров, архитектуре, длине контекста, поддерживаемых языках или мультимодальности. Модель распространяется по лицензии Apache-2.0.
Phi-3.5-mini-ITA — дообученная Anakin87 версия инструктивной языковой модели Microsoft Phi-3.5-mini-instruct, оптимизированная для итальянского языка. Это плотная авторегрессионная модель семейства Phi-3 с 3,7 млрд параметров в формате safetensors; поддерживает диалог и генерацию текста. В карточке заявлен контекст до 128 тыс. токенов, тогда как метаданные указывают native context в 4096 токенов. Модель предназначена для общения на итальянском языке, генерации и суммаризации текста, а также для локальных приложений и RAG-сценариев. README приводит оценки на итальянских бенчмарках и описывает запуск через Transformers, включая возможность квантизации и использование Flash Attention 2 для ускорения вывода. Метаданные также указывают английский язык. Модель распространяется по лицензии MIT. Она компактнее многих крупных инструктивных моделей, но фактическое качество зависит от задачи; заявленная в README длина контекста расходится с контекстом, указанным в метаданных.
google/pix2struct-ocrvqa-large — крупная модель семейства Pix2Struct от Google для ответов на вопросы по изображениям. Это архитектура «визуальный энкодер — текстовый декодер», обученная на парах изображение–текст и настроенная для задачи visual question answering. Модель принимает изображение и вопрос на естественном языке и генерирует текстовый ответ. Предварительное обучение Pix2Struct использует восстановление упрощённого HTML по скриншотам веб-страниц с замаскированными фрагментами. Такой подход охватывает визуальное понимание текста и элементов страниц и подходит для вопросов о содержимом изображений, включая документы, иллюстрации, интерфейсы и фотографии. В карточке модели указаны английский, французский, румынский и немецкий языки; README описывает семейство шире, но не уточняет языковую поддержку именно этого чекпойнта. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Для запуска нужны изображение и вопрос; конкретные требования к памяти и качество на отдельных языках или типах изображений в карточке не описаны.
Mungert/pokee_research_7b-GGUF — GGUF-версия модели PokeeResearch-7B, разработанной Pokee AI и дообученной на базе Qwen2.5-7B-Instruct. Модель предназначена для автоматизации глубоких исследовательских задач: декомпозиции сложных запросов, работы с внешними источниками, многошагового рассуждения, проверки и синтеза информации. Она может использоваться как самостоятельный исследовательский ассистент или как компонент многоагентных систем, а также адаптироваться для научного поиска, извлечения документов и многоисточникового суммирования. Модель содержит около 7 миллиардов параметров, относится к инструментально расширяемым языковым моделям и поддерживает текстовые сценарии. В карточке указаны английский, китайский и другие языки, однако отдельно отмечено ограниченное качество для неанглоязычных задач. Контекст ограничен 32 768 токенами. Обучение проводилось на датасете MiroRL-GenQA с использованием RLOO и сигналов RLAIF, включая оценку смысловой эквивалентности и соблюдение формата поведения агента. Данная публикация представляет собой GGUF-сборку, созданную с помощью llama.cpp; применённый подход к квантованию повышает точность отдельных важных слоёв, но увеличивает размер файла, при этом конкретный уровень квантования не указан. Сильные стороны модели — ориентация на исследовательские рабочие процессы, самопроверку, верификацию и синтез данных из нескольких независимых направлений. Результаты зависят от качества внешних источников и поиска; возможны смещения от AI-обратной связи и галлюцинации при противоречивых или недостаточных данных. Модель не предназначена для непроверенных утверждений и единоличного принятия решений в медицинских, юридических или финансовых задачах. Лицензия — Apache 2.0.
Sheltron Privacy Filter Ettin 32M — компактная модель Sheltron для обнаружения фрагментов текста, содержащих приватные данные и секреты. Это классификатор токенов на базе ModernBERT, дообученный на jhu-clsp/ettin-encoder-32m; модель содержит около 31,9 млн параметров и поддерживает контекст до 7999 токенов по метаданным. README указывает, что обучение и оценка проводились на последовательностях длиной 512 токенов, поэтому более длинный текст рекомендуется обрабатывать перекрывающимися окнами по 512 токенов с шагом 128. Модель размечает восемь категорий: номера счетов, адреса, даты, электронную почту, имена людей, телефонные номера, URL и секреты. Она предназначена для быстрого скрининга электронной почты, сообщений, переписок и команд, а её выход совместим по формату с OpenAI Privacy Filter. Доступны контрольная точка Safetensors FP32 и варианты ONNX, включая FP16; для ONNX нужен ONNX Runtime. Лицензия — Apache-2.0. Для воспроизведения метрик и корректного декодирования README предписывает применять ограниченный алгоритм Viterbi с калибровкой из viterbi_calibration.json, а не выбирать метки для каждого токена независимо. Базовая модель — англоязычный энкодер; в метаданных указан английский язык.
Qwen2.5-1.5B-Instruct-8bit — конвертированная сообществом mlx-community версия Qwen2.5-1.5B-Instruct для запуска в формате MLX на устройствах Apple. Это плотная авторегрессионная языковая модель семейства Qwen2 с 1,5 млрд параметров, предназначенная для генерации текста и диалогового общения; метаданные также отмечают интерфейс вызова инструментов. Контекст модели составляет до 32 768 токенов, язык карточки — английский. Модель подходит для диалоговых помощников, генерации и продолжения текста, а также прототипирования локальных приложений на совместимом оборудовании Apple. Веса указаны в 8-битном варианте, а README сообщает о конвертации исходной Qwen/Qwen2.5-1.5B-Instruct в MLX с помощью mlx-lm 0.18.1. Лицензия — Apache-2.0.
mlx-community/Qwen3-14B-4bit — это 4-битная квантованная версия языковой модели Qwen3-14B, разработанная сообществом mlx-community и преобразованная из исходной модели Qwen/Qwen3-14B в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска на устройствах и в окружениях, совместимых с MLX. Модель ориентирована на задачи текстовой генерации, включая диалоговые сценарии при использовании chat template, поскольку README содержит пример передачи сообщений с ролями user и assistant. Известный размер базовой модели — 14 миллиардов параметров; представление использует 4-битную квантование, что потенциально снижает требования к памяти по сравнению с полной точностью. Данные о поддерживаемых языках, архитектурных деталях, размере контекста, дополнительных модальностях, точности и результатах тестирования не указаны. К сильным сторонам относятся формат MLX, интеграция с библиотекой mlx-lm и уменьшенный объём памяти благодаря 4-битному представлению. Ограничения связаны с отсутствием в README подробных сведений о качестве, производительности, языковом покрытии и совместимости за пределами MLX-окружений. Модель распространяется по лицензии Apache 2.0.
Qwen3-4B-Instruct-2507-Abliterated — модифицированная версия причинной языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Вариант создан с помощью Heretic v1.4.0 методом directional ablation, или abliteration, который направлен на снижение склонности модели отказывать в ответах при сохранении поведения исходной модели. Это не новая модель, обученная с нуля, а экспериментальный производный вариант с изменёнными весами. Модель предназначена для генерации текста и локального использования в сценариях, где требуется меньше отказов на запросы. Доступен формат GGUF с квантизацией Q4_K_M и конфигурация для запуска через Ollama; заявлена совместимость с инструментами локального инференса, включая Open WebUI. Базовая модель содержит около 4 миллиардов параметров, поддерживает контекст до 262 144 токенов и описывается Qwen как non-thinking-модель. В метаданных указан английский язык, однако дополнительные языковые возможности в этой карточке не раскрыты. Сильная сторона варианта — существенно сниженная частота отказов: во внутреннем тесте из 100 запросов модель отказала в 16 случаях против 100 отказов у исходной Qwen3-4B-Instruct-2507. При этом поведение зависит от формулировки запроса, параметров генерации, квантизации, инференс-фреймворка, системного промпта, шаблона чата, контекста и определений инструментов; снижение отказов не гарантирует полного отсутствия отказов и может сопровождаться изменениями исходных свойств модели. Лицензия — Apache-2.0.
Это дообученная компанией clijo диалоговая языковая модель Qwen3-4B-Instruct-2507, обученная с помощью TRL. Она предназначена для генерации текста в ответ на инструкции и вопросы в формате диалога; карточка не уточняет отдельные специализации дообучения. Модель использует плотную архитектуру Qwen3ForCausalLM и содержит 3,7 млрд параметров. Нативная длина контекста — до 262 144 токенов. Репозиторий содержит веса в формате safetensors; метаданные указывают на поддержку чата. Лицензия в предоставленных данных не обозначена.
AtomicChat/Qwen3.5-4B-DFlash-GGUF — GGUF-квантизированная версия модели z-lab/Qwen3.5-4B-DFlash, подготовленная и самостоятельно квантизированная командой Atomic Chat. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный и полностью офлайн-запуск через llama.cpp, Ollama, LM Studio, Jan или приложение Atomic Chat. В карточке указано, что модель имеет 0,6 млрд параметров, 6 слоёв и архитектуру плотного декодера DFlashDraftModel с гибридным вниманием: скользящее окно 4096 токенов сочетается с глобальным вниманием. Заявлена длина контекста до 262 144 токенов, словарь из 248 320 токенов и текстовая модальность. Репозиторий содержит квантизацию Q8_0 размером около 0,7 ГБ; она описывается как практически без потерь и рассчитанная на сохранение качества исходной модели. Квантизация выполнена с использованием матрицы важности для каждого тензора. Сильными сторонами являются небольшой размер, возможность локальной работы, длинный контекст и применение importance matrix при квантизации. Ограничения — отсутствие в карточке сведений о поддерживаемых языках, результатах тестирования, рекомендуемых параметрах sampling и фактическом качестве на задачах. Для корректного диалогового формата необходимо использовать шаблон Qwen3.5 через параметр --jinja; без него возможна генерация некорректных реплик. Исходная модель выпущена под лицензией Apache 2.0; квантизированная версия подготовлена Atomic Chat.