I.3Извлечение и структурирование данных

agentlans/multilingual-e5-small-pii-detector — дообученная модель классификации текста на основе BERT multilingual-e5-small, предназначенная для обнаружения персональных данных (PII) в тексте. Её можно применять для предварительной проверки пользовательских сообщений, документов и записей перед передачей или публикацией, а также как вспомогательный компонент процессов редактирования и маскирования данных. Модель содержит 124,3 млн параметров, принимает текстовые последовательности длиной до 512 токенов и опубликована в формате safetensors. В карточке приведены примеры на английском, французском и испанском языках; метаданные указывают на многоязычную поддержку. На оценочном наборе автор сообщает accuracy 0,9214. Модель выпущена под лицензией Apache-2.0. Чувствительность может быть ниже для отдельных языков и форматов персональных данных, включая некоторые номера карт и локальные идентификаторы; на очень коротких фрагментах без контекста качество может снижаться. Результаты следует использовать как вспомогательную проверку, а не как замену юридической или комплаенс-проверке.

multi-sentence-BERTino V5 — италоязычная модель Sentence Transformers на архитектуре DistilBERT, разработанная автором репозитория nickprock и дообученная для поиска и сравнения предложений. Она преобразует предложения и абзацы в плотные векторы размерностью до 768 и предназначена для семантического поиска, информационного поиска, подбора контекста для RAG и оценки семантического сходства. Обучение использует Matryoshka Representation Learning: векторы можно усекать до 512, 256 или 128 измерений, сохраняя полезность для поиска; README приводит результаты на итальянских наборах для retrieval и STS. Для retrieval применялись синтетические запросы к абзацам итальянской Википедии с трудными отрицательными примерами, а для сходства — итальянская часть STS-B. Максимальная длина контекста — 512 токенов. Репозиторий содержит форматы ONNX и safetensors и распространяется по лицензии Apache-2.0. Модель рассчитана на итальянский язык и возвращает эмбеддинги, а не готовые текстовые ответы. Метрики приведены для hold-out оценки автора; качество на других доменах и типах данных может отличаться.

Nemotron-3-Embed-8B-Community-NVFP4 — мультиязычная модель для получения текстовых эмбеддингов, разработанная и опубликованная shadowrock-io на основе nvidia/Nemotron-3-Embed-8B-BF16. Это квантизированная версия базовой модели в формате NVFP4/FP4 с 4-битным представлением, предназначенная для задач семантического поиска, dense retrieval, vector search, feature extraction и построения RAG-систем. Модель ориентирована на использование с vLLM и поддерживает формат Safetensors. Модель работает с текстом и предназначена для сопоставления смысловой близости запросов и документов. В README заявлена поддержка английского, русского, китайского, арабского, немецкого, французского, испанского, японского, корейского, украинского и других языков; полный перечень включает 30 языков. Указана поддержка подхода Matryoshka, однако размерность эмбеддингов и максимальная длина контекста не приведены. К сильным сторонам относятся снижение требований к памяти и вычислительным ресурсам благодаря NVFP4-квантизации, мультиязычность и ориентация на retrieval-сценарии. В предоставленных результатах MTEB модель показывает высокие значения NDCG@10 на отдельных наборах, включая HumanEvalRetrieval — 1,0, WikiSQLRetrieval — 0,99459 и MBPPRetrieval — 0,95722, однако качество зависит от предметной области. Ограничения включают отсутствие подробностей об архитектуре, размере контекста и официальных характеристиках производительности, а также то, что в README инференс помечен как неподтверждённый. Модель распространяется по лицензии openmdw-1.1, обозначенной в карточке как other.

Карточка модели joteqwork/new_gsev0 на Hugging Face совпадает с карточкой avsolatorio/GIST-small-Embedding-v0, поэтому описание составлено по ней. GIST-small-Embedding-v0 — англоязычная модель текстовых эмбеддингов, разработанная avsolatorio на основе BAAI/bge-small-en-v1.5 и дообученная методом GISTEmbed. Она кодирует текст в векторы для поиска и сравнения предложений; для получения эмбеддингов инструкционные подсказки не нужны, поэтому запросы можно кодировать напрямую. Модель основана на архитектуре BERT, содержит 40 млн параметров и рассчитана на контекст до 512 токенов. Для дообучения использовались набор MEDI и триплеты, полученные из обучающей части MTEB Classification; качество оценивали на MTEB. В README отмечено, что дообучение улучшило результаты на некоторых задачах, но ухудшило на других, включая поиск по TRECCOVID. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия модели — MIT; лицензии сторонних обучающих данных могут иметь дополнительные условия.

Notus 7B v1 GGUF — это квантизированная версия языковой модели Notus 7B v1, разработанной Argilla и преобразованной в формат GGUF пользователем TheBloke. Модель основана на архитектуре Mistral и предназначена для генерации текста и диалоговых сценариев на английском языке. В карточке указано около 7 миллиардов параметров; размер контекстного окна и точные варианты квантизации не приведены. Модель обучалась с использованием preference-ориентированных подходов DPO и RLAIF на датасете argilla/ultrafeedback-binarized-preferences. Она рассчитана на выполнение инструкций, ответы на вопросы, рассуждения и универсальную генерацию текста. Среди указанных результатов: win rate 0,9142 на AlpacaEval, оценка 7,3 на MT-Bench, accuracy 0,6303 на MMLU и normalized accuracy 0,8478 на HellaSwag. Эти показатели отражают результаты базовой модели Notus 7B v1, а не обязательно каждого квантизированного варианта. К сильным сторонам относятся ориентация на выполнение инструкций, диалоговое использование и более низкие требования к вычислительным ресурсам благодаря формату GGUF и квантизации. Ограничения включают англоязычную специализацию, отсутствие заявленной поддержки мультимодальности и неполную информацию о контекстном окне, конкретных уровнях квантизации и характеристиках производительности. Лицензия модели — MIT.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-4bit — языковая модель, разработанная NVIDIA и преобразованная сообществом mlx-community в формат MLX. Она предназначена для генерации текста и локального запуска с использованием библиотеки mlx-lm, включая диалоговые сценарии и другие задачи text generation. Модель представляет собой гибридную Mixture-of-Experts-архитектуру Mamba-2 и attention. Она содержит около 31 млрд параметров, при этом для каждого токена активно используется примерно 3 млрд. Версия выполнена в 4-битной квантизации с размером группы 64 и создана на основе NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 с помощью mlx-lm 0.31.3. В README указана поддержка английского, испанского, французского, немецкого, итальянского и японского языков. К сильным сторонам относятся сочетание большой общей емкости с небольшим числом активных параметров на токен, а также адаптация к MLX для запуска в соответствующей экосистеме. Ограничения включают необходимость совместимого окружения MLX и отсутствие в предоставленных данных сведений о контексте, производительности, мультимодальности и конкретных аппаратных требованиях. Модель распространяется по лицензии openmdw-1.1.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это набор квантованных GGUF-версий языковой модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, разработанной NVIDIA. Квантование выполнил NANI-Nithin с использованием инструментов llama.cpp и автоматизированного конвейера на Modal. Модель предназначена для генерации текста и локального инференса на CPU или GPU. Она использует архитектуру Mixture-of-Experts (MoE) с конфигурацией A3B и поддерживает английский язык. Доступны варианты F16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, Q4_0, Q3_K_L, Q3_K_M, Q3_K_S и Q2_K с разным соотношением качества, размера и требований к памяти. В README размер контекста и точные требования к RAM или VRAM не указаны. Сильная сторона модели — возможность запуска в популярных GGUF-совместимых средах, включая llama.cpp, Ollama и LM Studio, а также выбор уровня квантования. Q4_K_M рекомендуется как наиболее сбалансированный вариант по скорости, размеру и качеству. Более сильное сжатие уменьшает требования к памяти, но приводит к заметному снижению качества; для MoE-модели необходимо заранее проверить доступные RAM и VRAM. Модель распространяется по лицензии Apache-2.0.

OLMo-2-1124-13B-Instruct-RLVR1 — англоязычная чат-модель Allen Institute for AI (Ai2), выпущенная в ноябре 2024 года. Это плотная авторегрессионная модель семейства OLMo 2 на 13,2 млрд параметров, работающая с текстом и имеющая контекст до 4096 токенов. Модель доступна в формате safetensors и рассчитана на Transformers. Модель прошла постобучение: supervised fine-tuning на варианте набора Tülu 3, DPO и последующее RLVR-обучение. Она предназначена для диалогов и выполнения разнообразных текстовых инструкций; обучение охватывало, в частности, математические задачи MATH и GSM8K и следование инструкциям IFEval. Лицензия — Apache 2.0. В карточке указано, что безопасность модели обучалась ограниченно; без дополнительной фильтрации она может выдавать проблемные ответы, особенно по соответствующим запросам. README описывает эту версию как постобученную OLMo-2 13B, тогда как метаданные указывают базовой моделью OLMo-2-1124-7B-DPO, поэтому точная цепочка происхождения в источниках расходится.

TobDeBer/Olmo-3-1025-7B-magic1 — преобразованная с помощью Magic V1 версия языковой модели OLMo 3 7B, разработанной Allen Institute for AI (Ai2). Это плотная авторегрессионная Transformer-модель примерно с 6,9 млрд параметров, предназначенная для генерации текста и продолжения запросов. Модель обучалась на данных Dolma 3; карточка описывает этапы предварительного обучения, дообучения на смешанных данных и обучения для длинного контекста. Модель работает с текстом на английском языке и поддерживает контекст до 65 536 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Подходит для генерации текста, ответов на вопросы, задач по математике и коду, однако конкретное качество на таких задачах зависит от запроса и развёртывания. Это базовая языковая модель без фильтрации безопасности: она может выдавать неточные, предвзятые или вредоносные ответы, поэтому факты следует проверять. Модель и код распространяются по лицензии Apache 2.0.

OmniBeagleSquaredMBX-v3-7B — слитая текстовая модель, созданная paulml с помощью LazyMergekit из paulml/OmniBeagleMBX-v3-7B и flemmingmiguel/MBX-7B-v3. Она предназначена для генерации текста и может использоваться в диалоговых и других сценариях, где требуется продолжать или создавать текст по текстовому запросу. Модель построена на плотной архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Для слияния применён метод SLERP; файлы опубликованы в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Карточка модели OpenBuddy/openbuddy-mixtral-8x7b-v15.4 на Hugging Face совпадает с карточкой OpenBuddy/openbuddy-mixtral-7bx8-v16.3-32k, поэтому описание составлено по ней. OpenBuddy-mixtral-7bx8-v16.3-32k — многоязычная чат-модель семейства Mixtral, опубликованная командой OpenBuddy. Она предназначена для диалогов и генерации текста; архитектура — Mixtral MoE, класс MixtralForCausalLM. В репозитории указаны 7,1 млрд параметров и контекст до 32 768 токенов; модель распространяется в формате safetensors и использует библиотеку Transformers. Модель поддерживает китайский, английский, французский, немецкий, японский, корейский, итальянский и русский языки. Лицензия — Apache 2.0. Ответы могут быть ошибочными, вредными или оскорбительными; модель не следует использовать для решений в медицине, финансах, праве и других критически важных сценариях.

open-ogma-micro — англоязычная модель для получения векторных представлений предложений, разработанная авторами семейства open-ogma. Она предназначена для создания компактных эмбеддингов текста и поиска по смыслу. Модель содержит 2,51 млн параметров: двухслойный трансформер с размерностью 128, mean pooling и токенами задач [QRY], [DOC] и [SYM]. По умолчанию используется проекционная голова proj_small с векторами размерности 384; proj_large выдаёт векторы размерности 1024 и показывает более высокие результаты в бенчмарке MTEB(eng, v2). Обе головы и основная часть обучались с матрёшечными потерями, поэтому выходные векторы можно укорачивать до 32, 64 или 128 измерений с последующей нормализацией. Модель дистиллирована от ансамбля BAAI/bge-small-en-v1.5 и BAAI/bge-large-en-v1.5 на корпусах C4 и FineWeb-Edu. Она подходит для семантического поиска и задач, где важны компактный размер и быстрый расчёт эмбеддингов. В бенчмарке MTEB(eng, v2) средний результат составляет 0,5104 для proj_small и 0,5202 для proj_large; показатели ниже, чем у моделей-учителей BGE. Модель распространяется под лицензией MIT; README также указывает на разрешительную лицензионную цепочку данных и учителей.

OrionLLM GRM-3.2-Cliff-GGUF — квантованная версия модели GRM-3.2-Cliff, разработанной OrionLLM и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель содержит около 9 млрд параметров и предназначена для локального запуска в приложениях, совместимых с llama.cpp. Модель поддерживает обработку текста и изображений при использовании дополнительного файла mmproj, поэтому может применяться для мультимодального анализа, ответов на вопросы по изображениям и обычных текстовых задач. Для работы предусмотрен специальный prompt format с ролями system, user и assistant; поддержка MTP отсутствует. Доступны варианты квантования от BF16 и Q8_0 до более компактных IQ3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемым компромиссом заявлен вариант Q4_K_M размером около 5,91 ГБ. Сильными сторонами являются мультимодальный ввод, широкий выбор квантований и возможность локального использования. К ограничениям относятся зависимость обработки изображений от файла mmproj, отсутствие сведений о языках, размере контекста и конкретной архитектуре, а также возможное снижение качества в компактных вариантах квантования. Модель распространяется по лицензии Apache-2.0.

Ornith-1.0-35B-ROCmFPX-StrixHalo — текстовая разговорная модель с 35 млрд параметров в формате GGUF, подготовленная julianmb для локального запуска на системах AMD Ryzen AI Max+ с Strix Halo. Репозиторий содержит варианты квантования ROCmFPX: Speed с точностью около 4,70 бит на параметр и размером 19,7 ГБ, а также Quality с точностью около 6,50 бит на параметр и размером 32,2 ГБ. Заявлена поддержка контекста до 262 144 токенов. Модель предназначена для локальных чат-сценариев и многоагентных рабочих нагрузок с вызовом инструментов. README сообщает о проверках корректности вызовов инструментов и измерениях скорости при параллельной работе нескольких агентов. В метаданных указан английский язык; теги также отмечают разговорный режим и tool calling. Это квантованная производная модель, распространяемая по лицензии MIT. Для запуска требуются совместимые сборки ROCmFPX и Vulkan: стандартные llama.cpp, Ollama и LM Studio не загружают этот формат без специальной поддержки. Описанная конфигурация рассчитана на оборудование Strix Halo с 64 или 128 ГБ объединённой памяти; приведённые показатели производительности относятся к этой аппаратной платформе.

Ornith-Agents-A1-3.6-35B-A3B-dare_ties — мультимодальная разговорная модель, созданная сообществом tepirale слиянием моделей через mergekit. В качестве основы использована Qwen/Qwen3.5-35B-A3B, а в слияние также вошли deepreinforce-ai/Ornith-1.0-35B и InternScience/Agents-A1; применён метод DARE TIES. Модель распространяется в формате safetensors и предназначена для диалога, анализа изображений и агентных задач. Модель принимает текст и изображения и генерирует текст. В README приведены результаты на MMLU, MMLU-Pro и HellaSwag, но они различаются между указанными объёмами выборки, поэтому не позволяют однозначно оценить качество. Модель доступна по лицензии Apache-2.0.

Ornith-Agents-A1-3.7-35B-A3B-dare_ties — мультимодальная диалоговая модель, созданная tepirale слиянием моделей через mergekit по методу DARE TIES. В основе лежит Qwen/Qwen3.6-35B-A3B; также объединены InternScience/Agents-A1 и deepreinforce-ai/Ornith-1.0-35B. Модель рассчитана на диалог и анализ изображений и использует архитектуру Qwen3.5 MoE с генерацией текста по текстовому и визуальному контексту. Веса опубликованы в формате safetensors и имеют тип bfloat16 согласно конфигурации слияния. Метаданные относят модель к задаче image-text-to-text и отмечают возможности chat и vision. Лицензия в предоставленных сведениях не указана.

p-e-w_gpt-oss-20b-heretic-GGUF — это набор квантованных версий языковой модели gpt-oss-20b-heretic, разработанной p-e-w и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях на базе llama.cpp, включая llama.cpp и LM Studio, а также инструменты с поддержкой этого формата. Доступны варианты от BF16 до низкобитных квантований Q2, Q3, Q4, Q5, Q6 и IQ. Размер файла зависит от варианта и составляет примерно от 12,16 до 41,86 ГБ. Для квантования использовался llama.cpp с методом imatrix и калибровочными наборами данных. В README не указаны архитектура, поддерживаемые языки, размер контекста, мультимодальность и точные характеристики базовой модели; по назначению это текстовая, а не мультимодальная модель. Сильной стороной набора является широкий выбор квантований, позволяющий выбирать между качеством, размером и требованиями к памяти; варианты Q6_K и Q6_K_L описаны как близкие к исходному качеству, а Q4_K_M — как типичный вариант для большинства сценариев. Более сильное сжатие уменьшает требования к ресурсам, но снижает качество. Шаблон чата в README не задан и может требовать проверки по карточке исходной модели. Лицензия — Apache 2.0.

TheBloke/phi-2-GGUF — это набор квантованных файлов модели Phi-2, разработанной Microsoft и преобразованной TheBloke в формат GGUF для локального запуска. Модель предназначена для генерации текста и кода, а также для задач, поддерживаемых исходной Phi-2, с использованием совместимых локальных приложений и библиотек. Phi-2 — языковая модель типа phi-msft, работающая с текстом и ориентированная на английский язык. В README не указаны размер модели, архитектурные детали и максимальная длина контекста. Доступны варианты квантования от 2 до 8 бит, включая методы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать между меньшим потреблением памяти и качеством вывода. Модель использует шаблон запроса «Instruct: {prompt} Output:». Главное преимущество версии GGUF — возможность запуска на CPU и совместимом GPU через llama.cpp и ряд сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Ограничения качества и применимости связаны с квантованием, англоязычной специализацией и возможностями исходной Phi-2; мультимодальность не заявлена. Лицензия указана как microsoft-research-license, применимая к исходной модели Microsoft.

Agnuxo публикует локальную GGUF-модель для генерации кода на основе Phi-3.5 Mini Instruct. Карточка описывает её как помощника для программирования и разговорного взаимодействия; модель можно запускать через Ollama, а формат файлов указан как GGUF F16. Количество параметров в доступных сведениях не приведено. Модель предназначена для генерации и помощи с кодом на Python, JavaScript, TypeScript, Rust, Go и C++, включая примеры научных вычислений и машинного обучения с NumPy, SciPy, Pandas, PyTorch, TensorFlow и JAX. Указаны также возможности координации агентных задач и интеграции с MCP и A2A. Лицензия — Apache-2.0. Карточка не содержит результатов оценки качества; заявленные в ней достижения и возможности не подтверждены независимыми данными.

mlx-community/Qwen2.5-3B-Instruct-4bit — преобразованная в формат MLX и 4-битно квантованная инструктивная языковая модель для диалоговой генерации текста. Репозиторий mlx-community создан на основе Qwen/Qwen2.5-3B-Instruct; исходную конвертацию выполнили с помощью mlx-lm версии 0.18.1. Модель построена на плотной архитектуре Qwen2, содержит 3,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель подходит для ответов на вопросы, диалога и генерации текста по инструкциям. Метаданные также указывают интерфейс вызова инструментов. README описывает использование через mlx-lm; репозиторий предназначен для MLX. Лицензия указана как other, поэтому условия использования следует сверять с лицензией исходной модели и репозитория.

bunnycore/Qwen2.5-3B-MiniMix — слитая разговорная языковая модель, созданная с помощью mergekit и метода TIES на базе Qwen/Qwen2.5-3B. В объединение вошли Qwen/Qwen2.5-3B-Instruct, bunnycore/Qwen-2.5-3b-Evol-CoT и bunnycore/Qwen-2.5-3b-Rp-lora_model. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2 для генерации текста и работает через библиотеку Transformers; заявленный контекст — до 32 768 токенов. Модель предназначена для диалогов и генерации ответов на текстовые запросы. Сочетание инструкционной и CoT-моделей ориентировано на выполнение инструкций и рассуждения; также доступны чат-возможности и интерфейс вызова инструментов. Поддерживаемые языки и качество на отдельных задачах в карточке не описаны. Веса опубликованы в формате Safetensors. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя. Как результат слияния нескольких моделей, поведение MiniMix может отличаться от исходных моделей; перед применением следует проверить ответы и вызов инструментов на целевых сценариях.

Qwen2-72B-Instruct-IMat-GGUF — это набор GGUF-версий инструкционной языковой модели Qwen2-72B-Instruct, опубликованный legraphista и основанный на модели Qwen/Qwen2-72B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в чат-приложениях и локальном inference через совместимые инструменты, в частности llama.cpp. В метаданных указан английский язык; сведения о поддержке других языков, мультимодальности и максимальном размере контекста не приведены. В репозитории доступны варианты от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серий. Часть вариантов создана с использованием IMatrix-калибровки, предназначенной для более эффективного квантования, а некоторые представлены в виде разделённых файлов. Размеры файлов варьируются примерно от 29,81 до 145,42 ГБ, поэтому модель требует значительных ресурсов хранения и вычислений. Ключевая характеристика — 72 миллиарда параметров; точная архитектура и контекстное окно в README не указаны. Сильной стороной является широкий выбор уровней квантования и формат GGUF, удобный для локального запуска, а IMatrix может помогать сохранять качество при уменьшении размера модели. Ограничениями остаются высокая требовательность к памяти и производительности, а также возможная потеря качества в более агрессивных вариантах квантования. Модель распространяется по лицензии tongyi-qianwen; указана лицензия типа other со ссылкой на лицензию исходной модели Qwen2-72B-Instruct.

Qwen3-30B-A3B-Instruct-2507-GGUF — языковая instruction-модель для генерации текста, созданная Qwen и представленная в формате GGUF сообществом LM Studio. Она основана на исходной модели Qwen3-30B-A3B-Instruct-2507; GGUF-квантизация выполнена командой LM Studio с использованием llama.cpp версии b6022. Модель предназначена для сценариев, связанных с обработкой и генерацией текста, включая работу через совместимые локальные приложения и инструменты на базе llama.cpp. В названии указана конфигурация 30B-A3B, однако README не содержит подробностей об архитектуре, фактическом количестве активных параметров, размере контекста, поддерживаемых языках, доступных модальностях и конкретных вариантах квантизации. К сильным сторонам относятся instruction-настройка и формат GGUF, удобный для локального запуска в совместимой инфраструктуре. При этом отсутствуют сведения о результатах тестирования и специализированных возможностях, поэтому качество на конкретных задачах по README оценить нельзя. Как и другие генеративные модели, она может выдавать неточную, вредную или неподходящую информацию. Для модели указана лицензия Apache-2.0.

nytopop/Qwen3-30B-A3B.w8a8 — квантизированная версия модели Qwen/Qwen3-30B-A3B, подготовленная пользователем или организацией nyt opop с использованием Transformers и llmcompressor. Модель предназначена для генерации текста и оптимизирована для запуска на GPU NVIDIA с архитектурой Ampere. Ключевая особенность — квантизация W8A8 с 8-битными весами и активациями, рассчитанная на повышение эффективности выполнения. В README не указаны точные архитектурные параметры, число активных параметров, поддерживаемые языки, длина контекста и дополнительные модальности, поэтому эти характеристики нельзя достоверно определить по имеющимся данным. Для запуска рекомендуется использовать SGLang; на момент публикации README стандартная версия SGLang некорректно загружает эту квантизацию, поэтому предлагается исправленная ветка проекта. Указана лицензия Apache-2.0. Ограничение модели связано с зависимостью от совместимого программного окружения и необходимостью применять специальную версию SGLang до исправления поддержки upstream.

mlx-community/Qwen3-4B-8bit — языковая модель для генерации текста, представленная в формате MLX. Она создана сообществом mlx-community на основе модели Qwen/Qwen3-4B, разработанной командой Qwen, и предназначена для запуска и инференса с использованием библиотеки mlx-lm, прежде всего в экосистеме MLX. Модель имеет размер 4 млрд параметров и 8-битное представление весов, что уменьшает требования к памяти по сравнению с полноразмерной версией и делает её подходящей для локального запуска на совместимом оборудовании. Основной сценарий использования — продолжение и генерация текста по промпту; README также показывает возможность применения chat template для диалогового взаимодействия. Сведения об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна в предоставленных данных отсутствуют. Для работы требуется библиотека mlx-lm версии, совместимой с форматом модели; конвертация выполнена с использованием mlx-lm 0.24.0. К ограничениям относятся зависимость от экосистемы MLX и возможная потеря точности, связанная с 8-битным представлением. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3.5-0.8B — постобученная компактная мультимодальная модель от Unsloth на базе Qwen/Qwen3.5-0.8B, опубликованная в формате Transformers и распространяемая по лицензии Apache-2.0. Это плотная причинная языковая модель с визуальным энкодером, поддерживающая диалог и анализ изображений; доступны интерфейс вызова инструментов и режим рассуждений, который для версии 0.8B по умолчанию выключен. Модель содержит 0,8 млрд параметров, имеет 24 слоя и нативный контекст длиной до 262 144 токенов. Архитектура сочетает Gated Delta Networks и gated attention. В карточке заявлена поддержка 201 языка и диалекта. Модель рассчитана прежде всего на прототипирование, дообучение под конкретные задачи, исследования и разработку; веса совместимы с Transformers и рядом серверных движков, включая vLLM и SGLang. Компактный размер удобен для экспериментов и специализированной настройки, а мультимодальная архитектура позволяет работать с текстом и изображениями. Масштаб модели ограничивает её возможности по сравнению с более крупными системами; для длинного контекста нужны значительные ресурсы памяти, а карточка рекомендует при нехватке памяти уменьшить окно контекста.

TheStageAI/Qwen3.5-4B-GGUF — набор квантизированных GGUF-чекпойнтов модели Qwen3.5-4B, разработанный TheStageAI для запуска через llama.cpp и локального инференса. Модель предназначена для генерации текста, диалоговых приложений и сценариев, где важны небольшой размер и работа на устройствах с ограниченными ресурсами. Доступны четыре варианта: XS размером 1,52 ГБ, S — 1,90 ГБ, M — 2,39 ГБ и L — 4,49 ГБ; рекомендован вариант M. README не содержит сведений о поддерживаемых языках, длине контекста и модальностях, поэтому модель следует считать текстовой. Чекпойнты используют смешанную посттренировочную квантизацию с форматами GGUF и различными картами точности: от Q2_K–Q8_0 для XS и S до Q4_K_M для M и Q8_0 для L. По приведённым оценкам, вариант M сохраняет 98,4% instruction-strict результата BF16-модели на IFEval и 99,1% результата BF16 на MMLU-Pro; вариант L обеспечивает более высокую точность при большем размере, а XS ориентирован на режим без рассуждений. Для длинного пошагового рассуждения рекомендуется использовать S, M или L. Сильные стороны модели — компактность, несколько вариантов компромисса между размером и качеством, совместимость с llama.cpp и возможность локального запуска. Ограничения связаны с потерей качества при агрессивной квантизации, особенно у XS, а также с тем, что характеристики базовой архитектуры, языков и контекстного окна в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-4B-QAD-W4A16 — это квантизированная версия модели Qwen3.5-4B, опубликованная nota-ai. Модель предназначена для генерации текста и эффективного инференса с использованием speculative decoding. Она разработана в рамках работы Jaeyeon Kim, Jewon Lee и Bo-Kyeong Kim и занимает третье место в Efficient Qwen Competition на ICML 2026. Модель использует INT4-квантизацию формата W4A16 и Quantization-Aware Distillation (QAD), чтобы уменьшить потерю качества по сравнению с обычной посттренировочной квантизацией. В процессе также применялись методы, согласующие квантизированную целевую модель с DFlash-drafter, а сама модель оптимизирована для запуска на одной NVIDIA A10G с 24 ГБ памяти. В README заявлено сохранение качества на тестах MMLU-Pro, IFEval и GPQA-Diamond. Архитектура, поддерживаемые языки, размер контекста и мультимодальные возможности не указаны. Модель подходит для серверного текстового инференса, особенно когда важны снижение задержки и эффективное использование памяти. Для запуска через vLLM требуется поддержка quantization compressed-tensors и параметр trust-remote-code; для speculative decoding предусмотрена совместимая модель-drafter Qwen3.5-4B-DFlash-GPTQ-W4A16. Переобучение требует много GPU-памяти и минимум двух, предпочтительно восьми, GPU класса 80 ГБ, поэтому модель прежде всего ориентирована на готовое инференс-использование. Лицензия — Apache-2.0; модель производна от Qwen3.5-4B, а её дистилляционные данные происходят из закрытого по условиям доступа набора NVIDIA Nemotron-Post-Training-Dataset-v2.

Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-GGUF — квантизированная GGUF-версия модели, разработанной lordx64 и опубликованной для распространения mradermacher. Модель основана на Qwen3.6-35B-A3B и дообучена методом дистилляции рассуждений на наборе reasoning-distill-opus-4-7-max-sft. В метаданных указаны архитектура Mixture-of-Experts, поддержка LoRA и библиотека Transformers. Модель предназначена для генерации текста и задач, требующих рассуждений; заявленный язык — английский. Доступны варианты квантования от Q2_K до Q8_0, размер файлов составляет примерно от 13 до 37 ГБ. Также предоставляются дополнительные файлы mmproj для мультимодального использования, однако конкретные поддерживаемые модальности и контекстное окно в README не указаны. Более качественными считаются старшие варианты квантования, а Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые. Модель может быть полезна для локального запуска и сценариев, где важны рассуждения при ограниченных ресурсах, но квантование создаёт компромисс между размером, скоростью и качеством. Ограничения включают отсутствие подробных результатов тестирования, описания точного числа активных параметров, языкового охвата и контекстного окна. Лицензия — Apache-2.0.

majentik/Qwen3.8-27B-MLX-5bit — это 5-битная квантованная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и адаптированной для Apple Silicon с использованием MLX и mlx-lm. Квантование выполнено методом affine с размером группы 64: текстовая часть модели использует 5-битное представление, а vision tower и projector сохранены в формате BF16. Модель предназначена для генерации текста и обработки задач image-text-to-text, включая сценарии, где требуется анализ изображений и формирование текстового ответа. Модель рассчитана на локальный запуск через mlx-lm на устройствах Apple Silicon. В README не указаны точное число параметров исходной архитектуры сверх обозначения 27B, поддерживаемые языки и размер контекстного окна. Среди доступных результатов оценки приведены 0,6050 на ARC Easy и 0,5350 на HellaSwag; также сообщается о прохождении проверки связности генерации без пустых ответов, циклов повторения и артефактов специальных токенов. Квантование снижает требования к памяти по сравнению с полной точностью, но может несколько ограничивать качество относительно исходной модели; характеристики производительности и совместимости зависят от конкретного устройства Apple Silicon. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной Qwen/Qwen3.8-27B.