II.8Инженерия данных и аналитика

Rewnozom-GGUF — это конверсия модели Rewnozom/Rewnozom в формат GGUF, разработанная авторами Rewnozom на основе Qwen/Qwen2.5-7B-Instruct-1M. Модель предназначена для локального запуска через llama.cpp, Ollama, LM Studio, Jan и другие совместимые загрузчики. Указан английский язык, а исходная модель относится к семейству 7B instruct-моделей с контекстом до 1 млн токенов. Модель ориентирована на генерацию текста, рассуждения и задачи, связанные с логикой, декомпозицией запросов, планированием и исправлением планов, маршрутизацией инструментов, управлением состоянием и памятью, retrieval, разрешениями и многоагентной оркестрацией. В README также упоминается обучение на синтетических данных с детерминированными формальными мирами, проверками оракула и машинно проверяемыми ответами. Доступны варианты от F32, F16 и BF16 до низкобитных квантований, включая K-quants, legacy-quants, T-quants и гибридные профили. Сильными сторонами являются широкий выбор размеров файлов и компромиссов между качеством, скоростью и потреблением памяти, а также возможность локального использования. Качество и производительность зависят от выбранного квантования, длины контекста, аппаратного ускорения и характера задач; низкобитные варианты могут заметно менять поведение модели. Контроль разрешений, деструктивных действий и изменения состояния рекомендуется оставлять за детерминированной логикой приложения. Распространение заявлено по лицензии Apache 2.0.

Rombos-LLM-70b-Llama-3.3 — дообученная диалоговая языковая модель на архитектуре Llama, опубликованная пользователем rombodawg. Она предназначена для генерации текста и общения в формате инструктивного ассистента; метаданные также указывают интерфейс вызова инструментов. Модель содержит 69,5 млрд параметров, использует формат safetensors и поддерживает контекст до 131 072 токенов. В качестве основы указана meta-llama/Llama-3.3-70B-Instruct, мультиязычная инструктивная модель Meta. README не раскрывает подробности обучения или особые сценарии применения. Лицензия — llama3.3.

Solar Open 100B — языковая модель Upstage, обученная с нуля и выпущенная под лицензией Upstage Solar License. Это модель архитектуры Mixture-of-Experts: в README указаны 102,6 млрд параметров всего и 12 млрд активных на токен; метаданные каталога указывают 8,7 млрд параметров. Контекст составляет 128k токенов. Репозиторий содержит веса в формате safetensors и предназначен для работы через Transformers. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и сценариев с агентными возможностями, включая интерфейс вызова инструментов. В README приведены отдельные результаты тестирования на корейских и англоязычных бенчмарках; метаданные также указывают английский и корейский языки. Для запуска README рекомендует минимум четыре NVIDIA A100 с 80 ГБ памяти. Лицензия — Upstage Solar License; перед использованием следует ознакомиться с её условиями.

Salience-1.5-Flash — мультимодальная модель vectionlabs, представленная в виде квантованных файлов GGUF, подготовленных bartowski с использованием llama.cpp. Модель основана на vectionlabs/Salience-1.5-Flash и относится к семейству Qwen3-VL; в карточке указаны архитектура mixture-of-experts (MoE), поддержка работы с изображениями и текстом, рассуждений, программирования, агентских сценариев и использования инструментов. Заявленный язык — английский. Модель предназначена для задач image-text-to-text: анализа изображений и генерации текстовых ответов, а также для диалоговых, аналитических, кодовых и инструментальных сценариев. В README не указаны точный размер модели, число экспертов, длина контекста и полный перечень поддерживаемых языков, поэтому эти характеристики нельзя определить по имеющимся данным. Доступны варианты от bf16 и Q8_0 до более компактных квантований Q3 и IQ3/IQ4; рекомендуемыми названы несколько вариантов Q4–Q6 с размером файлов примерно от 16,5 до 26,6 ГБ. К сильным сторонам относятся мультимодальность, MoE-архитектура, заявленная ориентация на рассуждения, программирование, агентское взаимодействие и работу с инструментами, а также возможность локального запуска через llama.cpp и совместимые приложения. Ограничения связаны с необходимостью выбирать подходящий уровень квантования и с отсутствием в карточке подробных результатов оценки качества, точных требований к оборудованию и спецификаций контекстного окна. Модель распространяется по лицензии Apache-2.0.

Nous-Yarn-Mistral-7b-64k — языковая модель семейства Mistral, разработанная NousResearch и участниками проекта YaRN. Она основана на Mistral-7B-v0.1 и дополнительно обучена на данных с длинным контекстом в течение 1000 шагов с использованием метода YaRN для расширения контекстного окна. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и предназначена для генерации текста с контекстом до 64 тысяч токенов. Метаданные указывают native context в 32 768 токенов. Модель подходит для продолжения текста, работы с длинными документами и других сценариев генерации, где важно учитывать большой объём предшествующего текста. В карточке приведены результаты тестов на длинном контексте и стандартных языковых бенчмарках; они показывают сохранение близкого к исходной Mistral-7B-v0.1 качества на коротком контексте. В карточке указана лицензия Apache-2.0. Для загрузки авторы рекомендуют свежую версию Transformers и параметр trust_remote_code=True.

Apertus-8B-Instruct-2509 — многоязычная языковая модель для генерации текста и диалогов, опубликованная в репозитории unsloth как дообученная версия swiss-ai/Apertus-8B-2509. Это плотный decoder-only Transformer семейства Apertus с 10,3 млрд параметров и контекстом до 65 536 токенов; модель работает через Transformers и поддерживает интерфейс вызова инструментов. Модель предназначена для многоязычных диалогов, генерации текста и сценариев с длинными документами. В карточке семейство Apertus описано как поддерживающее более 1 800 языков; конкретный основной язык для этой версии не выделен. Модель обучалась на открытых данных с опубликованными сведениями о процессе обучения, а базовое семейство разработано Swiss AI Initiative. Модель может генерировать фактически неверный или нелогичный текст и воспроизводить предвзятости данных. Для неё не предоставлен фильтр выходных данных, в том числе для персональных данных; важные ответы следует проверять. Лицензия — Apache-2.0.

squanchyzx/DeepSeek-V4-Flash-0731-HERETIC-Abliterated-FP8 — производная модель от DeepSeek-V4-Flash-0731, разработанной DeepSeek. Релиз создан издателем squanchyzx с использованием Heretic v1.4.0, проекта Philipp Emanuel Weidmann и соавторов. Модель предназначена для генерации текста, рассуждений, работы с инструментами и длительных агентских сессий, особенно в сценариях с большими историями диалога и большим количеством вызовов инструментов. Модель сохраняет официальную архитектуру DeepSeek V4/DSpark, native FP8-представление, официальный encoder, tokenizer и конфигурацию базовой модели. В версии v2 изменены attention output projections в слоях 10–42: применена rank-3 коррекция refusal subspace для режимов chat, think-high и think-max со сниженной силой lambda=1.35. MTP/DSpark-тензоры, эксперты, embeddings, norms, heads и остальные компоненты не изменялись. Заявлено сконфигурированное контекстное окно до 1 048 576 токенов; для запуска требуется DeepSeek-V4-совместимый runtime и официальный encoder. Сильной стороной релиза является целевая проверка устойчивости к деградации в длинных историях: в опубликованных тестах 12 из 12 длинных воспроизведений завершились без повторяющихся последовательностей, переключения скриптов и других патологий, а 6 из 6 проверенных вызовов инструментов были корректными. При этом результаты являются ограниченными релизными тестами, а не универсальным бенчмарком: короткая проверка качества дала 11 из 12 успешных результатов, а refusal smoke — 6 из 16. Совместимость с обычными runtime без поддержки DeepSeek V4 не гарантируется. Модель распространяется по лицензии MIT. При этом используемый проект Heretic имеет отдельную лицензию AGPL-3.0-or-later; README подчёркивает, что Heretic не принадлежит издателю модели.

EXAONE-3.5-32B-Instruct-AWQ — двуязычная генеративная языковая модель с инструкционным дообучением, разработанная LG AI Research. Она предназначена для диалоговых приложений, генерации и обработки текста на английском и корейском языках, а также для сценариев, требующих понимания длинного контекста до 32 768 токенов. Модель относится к семейству EXAONE 3.5 и поставляется в формате AWQ-квантованных весов. Модель содержит 30,95 млрд параметров без учёта эмбеддингов, 64 слоя и использует Grouped-Query Attention с 40 головами запросов и 8 головами ключей и значений. Размер словаря составляет 102 400 токенов. Применяется 4-битное групп-wise квантование весов без квантования активаций по схеме W4A16g128, что снижает требования к памяти и подходит для развёртывания с поддержкой Transformers, TensorRT-LLM, vLLM, SGLang, llama.cpp и Ollama. Сильными сторонами модели являются поддержка английского и корейского языков, длинного контекста и широкий выбор сред инференса. Ограничения включают возможную генерацию вредного, предвзятого, фактически ошибочного или синтаксически некорректного текста; модель также может не отражать актуальную информацию. Для работы рекомендуется использовать системный промпт, на котором модель обучалась. Лицензия EXAONE AI Model License Agreement 1.1 - NC предусматривает некоммерческое использование.

Это форк FLAN-T5 XXL, опубликованный philschmid на Hugging Face. Модель представляет собой плотную encoder-decoder архитектуру T5ForConditionalGeneration с 5,8 млрд параметров и предназначена для генерации текста по текстовому запросу. В карточке приведён пример развёртывания на Inference Endpoints и пользовательского обработчика для запуска на одном NVIDIA A10G; файлы модели представлены в формате PyTorch. FLAN-T5 прошла инструкционное дообучение на более чем тысяче дополнительных задач и рассчитана на широкий круг сценариев: ответы на вопросы, суммаризацию, перевод и другие задачи преобразования текста. README заявляет поддержку английского, русского и множества других языков. Лицензия — Apache 2.0. Указание README на «квантизированную» версию расходится с метаданными, где формат обозначен как PyTorch; подтверждения конкретного формата квантизации в метаданных нет.

TechxGenus/gemma-1.1-2b-it-GPTQ — GPTQ-квантизированная версия Gemma 1.1 2B IT, разработанной Google. Это компактная decoder-only языковая модель с открытыми весами, предназначенная для генерации и обработки текста на английском языке. Модель ориентирована на ответы на вопросы, суммаризацию, рассуждения, написание текста, программирование, следование инструкциям и многошаговые диалоги. Версия Gemma 1.1 обучалась с применением RLHF и, по сравнению с исходным выпуском, получила улучшения в качестве ответов, кодировании, фактичности, следовании инструкциям и многоходовом взаимодействии. Квантизация GPTQ снижает требования к ресурсам и может упростить локальный запуск, однако потенциально сопровождается потерей качества по сравнению с исходными весами. Модель работает только с текстом; поддержка изображений, аудио и других модальностей не указана. Размер — 2B параметров, максимальная длина контекста в карточке не приведена. Модель компактнее крупных языковых моделей и подходит для запуска на ноутбуке, настольном компьютере или собственной облачной инфраструктуре, но её меньший размер может ограничивать качество сложных рассуждений и объём знаний. Использование регулируется лицензией Gemma и условиями Google; для доступа на Hugging Face требуется принять соответствующую лицензию.

brittlewis12/gemma-3-27b-it-GGUF — это квантизированная в формате GGUF версия Gemma 3 27B IT, разработанной Google DeepMind и преобразованной пользователем brittlewis12 с помощью llama.cpp. Модель предназначена для генерации текста в режиме instruction tuning: ответов на вопросы, суммаризации, рассуждений и других диалоговых и текстовых сценариев. Формат GGUF ориентирован на локальный запуск через совместимые инструменты, включая llama.cpp, на компьютерах и мобильных устройствах. Модель содержит 27 миллиардов параметров, поддерживает контекст до 128K токенов и, согласно README исходной модели, более 140 языков; в метаданных этого репозитория явно указан английский язык. Gemma 3 также заявлена как способная к пониманию изображений, однако данный репозиторий описывает pipeline для генерации текста, поэтому возможности именно этой GGUF-сборки в мультимодальных сценариях не уточнены. К сильным сторонам относятся большой контекст, широкий языковой охват и пригодность для локального развертывания, но размер модели может предъявлять значительные требования к памяти и вычислительным ресурсам, зависящие от конкретного уровня квантизации. Модель распространяется по лицензии Gemma. Для корректного использования необходимо применять шаблон запросов Gemma Instruct, приведённый в README. Точные параметры квантизации, требования к оборудованию и дополнительные ограничения лицензии в предоставленных данных не указаны.

unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.

granite-4.2-8b-MLX-8bit — 8-битная квантованная версия модели granite-4.2-8b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживает сценарии рассуждений, «thinking» и вызова инструментов. В README указаны следующие языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Модель имеет 8 миллиардов параметров в исходной версии; конкретное значение контекстного окна и сведения о мультимодальности не указаны. Ключевые преимущества — сниженное потребление памяти благодаря 8-битному представлению и оптимизация для Apple Silicon. Ограничения включают зависимость от совместимой MLX-среды и возможное появление неточного, вредного или неподходящего контента. Модель распространяется по лицензии Apache-2.0. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность, доступность или соответствие конкретным требованиям.

Hermes-2-Pro-Mistral-7B-GGUF — это GGUF-квантизации языковой модели Hermes-2-Pro-Mistral-7B, разработанной NousResearch на базе Mistral-7B-v0.1. Квантизации подготовлены bartowski с использованием llama.cpp. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи инструкционного общения, чат-сценарии, генерацию структурированного JSON и вызов функций. Модель представляет собой текстовую instruct-модель примерно на 7 млрд параметров, обученную с применением DPO и RLHF на данных, связанных с OpenHermes-2.5, включая синтетические данные и дистилляцию от GPT-4. Она ориентирована на английский язык и использует формат взаимодействия ChatML. Сведения о поддерживаемой длине контекста в README не указаны. Основное преимущество представленной версии — возможность локального запуска с различными уровнями квантизации. Вариант Q6_K отмечен как рекомендуемый и обеспечивает высокое качество при размере около 5,94 ГБ; более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству, особенно Q2_K и Q3_K. К ограничениям относятся ориентация на английский язык, текстовая модальность и возможные потери качества при агрессивной квантизации. Указанная лицензия — Apache-2.0.

K2-Horizon-MoVA-36B-A4B-GGUF — это набор общественных GGUF-квантизаций модели K2-Horizon-MoVA-36B-A4B, разработанной IFM и опубликованной пользователем ngquocvinh. Модель предназначена для запуска через llama.cpp и задач генерации текста, рассуждений, программирования, агентских сценариев и работы с длинным контекстом. Исходная модель использует разреженную архитектуру Mixture-of-Experts с механизмом Mixture-of-Values attention (MoVA): всего заявлено 36 млрд параметров, из которых на каждый токен активируется около 4 млрд. Указано нативное контекстное окно до 524 288 токенов и поддержка английского языка. В набор входят варианты квантизации от Q8_0 до крайне компактных профилей Q1_0; они различаются размером файлов, требованиями к памяти и близостью поведения к эталонной BF16-модели. Практическими вариантами названы Q5_K_M с повышенной точностью, Q4_K_M как сбалансированный профиль и IQ3_M как компактный вариант с квантизацией с учётом важности. Измерения на ограниченном наборе WikiText показывают высокое совпадение старших вариантов с BF16, однако не являются прямой оценкой сохранённых способностей. Профили с экстремальным сжатием, особенно Q1_0, существенно отклоняются от эталона и должны рассматриваться как экспериментальные. Для работы требуется совместимая сборка llama.cpp; длинный контекст может потребовать значительно больше памяти, а полная выгрузка модели на ускоритель может быть недоступна. В метаданных указана лицензия Apache-2.0. README описывает именно квантизированные GGUF-файлы и не содержит полного набора результатов или подробностей исходной модели; за ними рекомендуется обращаться к официальной карточке IFM/K2-Horizon-MoVA-36B-A4B.

Llama-3.1-Nemotron-92B-Instruct-HF-early — текстовая диалоговая модель на архитектуре Llama, созданная слиянием весов через mergekit методом passthrough на основе nvidia/Llama-3.1-Nemotron-70B-Instruct-HF. Репозиторий содержит модель примерно с 90,9 млрд параметров в формате safetensors; для работы используется библиотека Transformers. Модель предназначена для генерации ответов на инструкции и диалоговых запросов, а также поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Длина контекста составляет 131 072 токена. В карточке не приведены сведения о поддерживаемых естественных языках и лицензии, поэтому их нельзя уточнить; условия использования следует сверить с лицензией базовой модели и репозитория.

NANI-Nithin/Mellum2-12B-A2.5B-Instruct-GGUF — набор GGUF-квантизаций модели JetBrains/Mellum2-12B-A2.5B-Instruct, разработанной JetBrains. Модель предназначена для генерации текста и выполнения инструкций в формате ассистента, а репозиторий ориентирован на эффективный локальный запуск через llama.cpp, Ollama, LM Studio и другие совместимые среды. Указана архитектура Mellum2, контекстное окно до 131 072 токенов и поддержка английского языка. Доступны варианты Q4_K_M размером 8,07 ГБ и Q5_K_M размером 9,21 ГБ: первый рассчитан на экономию памяти при хорошем соотношении качества и размера, второй обеспечивает более высокое качество при умеренном увеличении требований к памяти. Обозначение модели содержит параметры 12B-A2.5B, однако дополнительные сведения о структуре, числе активных параметров и мультимодальности не приведены. Модель подходит для локального чата, программирования, экспериментов с использованием инструментов, а также CPU-ориентированного или ограниченного по памяти вывода. Ограничения связаны с потерями качества, возможными при квантизации, зависимостью от GGUF-совместимого программного обеспечения и отсутствием подробных данных о производительности и качестве на конкретных задачах. При конвертации некоторые тензоры могут использовать резервную квантизацию, что считается ожидаемым и не препятствует запуску. Модель распространяется по лицензии Apache 2.0.

Meta-Llama-3-8B-Instruct-GGUF — квантизированная версия 8-миллиардной инструкционно дообученной языковой модели Meta Llama 3, разработанной Meta. Квантизацию выполнила SanctumAI. Модель предназначена прежде всего для диалоговых сценариев, генерации текста и выполнения инструкций; поддерживает работу через формат GGUF и различные варианты квантизации, рассчитанные на запуск с уменьшенными требованиями к памяти. Модель является текстовой и, согласно карточке, поддерживает английский язык. Исходная модель относится к семейству Llama 3 с размерами 8B и 70B, однако для данной версии указан размер 8B. Доступны варианты от Q2_K до Q8_0, а также f16; размер файлов составляет примерно от 3,18 до 16,07 ГБ, оценочное потребление памяти — от 7,20 до 19,21 ГБ в зависимости от варианта. Карточка не указывает размер контекстного окна и конкретную архитектуру. Сильные стороны модели — оптимизация для диалогов, заявленная высокая эффективность на распространённых отраслевых бенчмарках среди открытых чат-моделей, а также возможность выбрать баланс качества и требований к памяти с помощью квантизации. Ограничения включают возможные неточные, вредные, оскорбительные или вводящие в заблуждение ответы; результаты требуют проверки. Модель распространяется по лицензии Llama 3; точные условия следует уточнять в файле LICENSE.

Карточка модели mattshumer/Meta-Llama-3-8B-Instruct-LongTest на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

Это неизменённая копия Muse-Glimmer-30B от Meta, размещённая Positron AI как закреплённый снимок исходного репозитория для сборки и тестирования в CI. Веса, токенизатор и конфигурация побайтово совпадают с указанной ревизией upstream; изменений Positron AI нет. Базовая модель — плотная мультимодальная модель семейства Muse-Glimmer примерно на 29,6 млрд параметров, предназначенная для диалогов и локальных агентных задач, включая работу с инструментами, программирование и анализ изображений. Для этой копии не приведены отдельные оценки качества или подробные инструкции по использованию; назначение и оценки отсылаются к карточке базовой модели. Репозиторий содержит веса Safetensors, библиотека для работы — Transformers. Лицензия — Apache-2.0.

pandafish-7b — инструктивная языковая модель на 7,1 млрд параметров, созданная методом Model Stock merge из моделей Mistral-7B-v0.1, Mistral-7B-Instruct-v0.2, NeuralTrix-bf16 и mistral-ft-optimized-1227 с помощью LazyMergekit. Модель использует плотную архитектуру Mistral для генерации текста и ответов на инструкции; контекст составляет до 32 768 токенов. Она подходит для диалоговых сценариев, ответов на вопросы и других задач генерации текста по запросу. В приведённых в README оценках pandafish-7b набрала в среднем 51,99 балла; результаты отдельных бенчмарков различаются относительно Mistral-7B-Instruct-v0.2. Модель опубликована в формате safetensors под лицензией Apache-2.0.

duyntnet/Phi-4-mini-instruct-imatrix-GGUF — набор GGUF-квантизаций модели Phi-4-mini-instruct, разработанной Microsoft. Модель предназначена для генерации текста, диалогов, выполнения инструкций, рассуждений и сценариев с вызовом инструментов. Она ориентирована на локальный запуск через llama.cpp и совместимые клиенты, включая KoboldCPP, Ollama, text-generation-webui, Jan и GPT4All. Модель является лёгкой и поддерживает контекст длиной до 128K токенов. Она обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на плотные по рассуждениям данные; для улучшения следования инструкциям и безопасности применялись supervised fine-tuning и direct preference optimization. Указан английский язык, модальность — текстовая. Размер модели, конкретные параметры квантизации и архитектурные детали в README не приведены. Для запуска требуется llama.cpp версии b4792 или новее либо совместимое программное обеспечение. Квантизация может снизить требования к ресурсам, но потенциально уступать исходной модели в точности; конкретные компромиссы зависят от варианта GGUF и не описаны. Лицензия указана как other, без дополнительных условий в представленном README.

ProCreations_grug-27b-v1.1-GGUF — это квантизированная версия модели grug-27b-v1.1, разработанной ProCreations и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель содержит 27 миллиардов параметров и предназначена для задач рассуждения, агентских сценариев, использования инструментов и эффективной генерации текста. Модель поддерживает английский язык и текстовый ввод, а также обработку изображений при использовании дополнительного файла mmproj. Она выпускается в нескольких вариантах квантизации от BF16 до низкобитных Q3 и IQ3, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Рекомендуемым универсальным вариантом указан Q4_K_M размером 17,53 ГБ, а версии Q5 и Q6 обеспечивают более высокое качество при больших требованиях к ресурсам. К сильным сторонам относятся крупный размер, поддержка мультимодального ввода, режимы, ориентированные на рассуждение и tool use, а также наличие imatrix-квантизаций для более эффективного хранения. Архитектура, размер контекстного окна и подробные показатели качества в README не указаны; perplexity и KLD не измерялись. Спекулятивное декодирование не поддерживается. Модель распространяется по лицензии Apache-2.0.

recursal/QRWKV6-7B-Instruct — диалоговая модель генерации текста объёмом 7,1 млрд параметров, разработанная в рамках проекта RADLADS. Она использует архитектуру RWKV6Qwen2 и преобразование трансформеров с softmax-вниманием в декодеры с линейным вниманием методом дистилляции. Модель предназначена для генерации текста и общения; в метаданных также заявлен интерфейс вызова инструментов. Контекстное окно составляет 131 072 токена. Подход RADLADS нацелен на сохранение качества исходной модели при более эффективном инференсе с постоянной стоимостью обработки каждого нового токена. Для загрузки через Transformers требуются пользовательские компоненты архитектуры и параметр trust_remote_code=True. Модель распространяется по лицензии Apache 2.0.

ThomasBaruzier/Qwen2.5-1.5B-Instruct-GGUF — набор imatrix-квантизированных версий инструкционно дообученной языковой модели Qwen2.5-1.5B-Instruct, разработанной командой Qwen. Репозиторий предназначен для запуска через llama.cpp и содержит варианты с разными уровнями сжатия, размером примерно от 417 МБ до 1,57 ГБ, а также версию F16 размером 2,95 ГБ. Модель представляет собой причинную текстовую модель на 1,54 млрд параметров с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm, GQA и связанными эмбеддингами слов. Она предназначена для диалогов, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Поддерживаются более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Полный контекст составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Ключевое преимущество репозитория — широкий выбор квантизаций, позволяющий выбирать между компактным размером и сохранением качества; для вариантов указаны показатели perplexity и относительной точности. Ограничениями являются небольшой по современным меркам размер модели и ожидаемое снижение качества у наиболее агрессивно сжатых вариантов. Модель распространяется по лицензии Apache-2.0.

Qwen3-1.7B-GGUF — квантизированная GGUF-версия текстовой модели Qwen3-1.7B, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp, релиз b5200. Модель предназначена для генерации текста, следования инструкциям, творческого письма, ролевых сценариев и многошаговых диалогов. Модель поддерживает контекст до 32 000 токенов, режимы с рассуждением и без него, а также команду /no_think для отключения рассуждений. Заявлена повышенная эффективность в математике, программировании и задачах на здравый смысл, а также поддержка более 100 языков и диалектов и расширенные возможности для агентских сценариев. К ограничениям относятся возможные неточности, вредное или неподходящее содержание, характерные для языковых моделей. README не содержит сведений о конкретной лицензии модели, поэтому условия коммерческого и иного использования необходимо уточнять по исходной модели Qwen3-1.7B и странице квантизированной версии.

Qwen3-30B-A1.5B-64K-High-Speed-NEO-Imatrix-MAX-gguf — это GGUF-версия модели, подготовленная DavidAU на основе Qwen3-30B-A3B от команды Qwen. Модель использует архитектуру mixture-of-experts: всего 30 млрд параметров, 128 экспертов, из которых автоматически активируются 4, что соответствует примерно 1,5 млрд активных параметров на запрос. По заявлению автора, такая конфигурация почти вдвое повышает скорость по сравнению со стандартным вариантом с 8 активными экспертами и снижает требования к вычислительным ресурсам. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, решения задач, рассуждений и использования инструментов. Она поддерживает контекст до 64K токенов благодаря применению YARN и может работать через CPU и RAM, GPU или их комбинацию. Указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Для интеграции рекомендуется использовать Jinja или ChatML template. Сильные стороны модели — высокая скорость инференса, большой контекст, возможность работы на разных типах оборудования и специализированные NEO Imatrix-квантизации, оптимизированные для Qwen3. Автор отмечает отсутствие заметной потери функциональности при обычном, но не исчерпывающем тестировании; при этом более сложные задачи могут лучше выполняться стандартной моделью или версиями с большим числом активных экспертов. Качество и скорость зависят от выбранного типа квантизации: более компактные варианты быстрее и экономичнее, но могут уступать по качеству. Лицензия в предоставленном README не указана.

Qwen3-30B-A3B-Instruct-2507-MLX-8bit — 8-битная квантованная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях: диалоговых системах, подготовке и преобразовании текстов, ответах на вопросы и других задачах, поддерживаемых исходной instruct-моделью. README не содержит сведений о точной архитектуре, числе активируемых параметров, размере контекста, поддерживаемых языках и модальностях, поэтому эти характеристики нельзя достоверно уточнить. Ключевое преимущество модели — 8-битное представление, ориентированное на более эффективный запуск на Apple Silicon по сравнению с полноразмерной версией. Ограничения включают зависимость от экосистемы MLX и Apple Silicon, а также типичные для генеративных моделей риски неточных, вредных или неподходящих ответов. Модель распространяется по лицензии Apache 2.0.

Archsloth/Qwen3-4B-GGUF — это квантизированная GGUF-версия языковой модели Qwen3-4B, разработанная Archsloth на базе Qwen/Qwen3-4B. Модель предназначена для генерации текста, диалоговых сценариев, программирования и локального запуска через llama.cpp, в том числе на CPU и устройствах с ограниченными ресурсами. Доступны варианты квантизации Q4_K_M, Q6_K и Q8_0 с размером файлов примерно от 2,50 до 4,28 ГБ. Архитектура и структура тензоров соответствуют базовой модели Qwen3-4B, однако README не указывает точное число параметров, максимальный контекст и полный набор архитектурных характеристик. Заявлена поддержка корейского, английского, испанского, японского, китайского, русского, арабского, хинди и тайского языков, а также исходного кода. Для варианта Q4_K_M приведены измерения KL-дивергенции, показывающие более близкое соответствие исходной модели bf16 по сравнению с рядом альтернативных квантизаций аналогичного размера. Основные преимущества — компактный размер, возможность локального CPU-запуска и улучшенные заявленные показатели сохранения качества после квантизации, особенно для корейского языка и программного кода. Ограничения связаны с потерями качества квантизации, потребностью в значительном объёме памяти при длинном контексте и отсутствием в README подробных данных о производительности, мультимодальности и максимальной длине контекста. Модель распространяется по лицензии Apache-2.0.

Это GGUF-версия модели insraq/Qwen3.5-4B-EmperoAI-Qwen3.8-Distill-Heretic-Abliterated-MTP-GGUF, созданная на базе Qwen/Qwen3.5-4B. Модель разработана Empero и insraq: исходная Qwen3.8-4B представляет собой полноразмерную дистилляцию модели Qwen3.8 2.4T A95B в архитектуру Qwen3.5-4B, а данная версия дополнительно декензурирована с использованием Heretic v1.4.0 и объединена с MTP-drafter из unsloth/Qwen3.5-4B-MTP-GGUF. Это причинная языковая модель для генерации текста, рассуждений, следования инструкциям и нативного function calling; заявлена поддержка английского языка. Модель содержит около 4 млрд параметров и обучалась методом SFT на примерно 45 000 отфильтрованных трасс рассуждений учителя. Она поддерживает контекст до 262 144 токенов, а исходная архитектура относится к текстовому пути vision-language базы Qwen3.5. К сильным сторонам относятся компактный размер, пригодность для запуска на потребительском оборудовании, улучшенные по сравнению с базовой моделью результаты на MMLU и сниженное число отказов: 6 из 100 против 99 из 100 у исходной Qwen3.8-4B. При этом на GSM8K модель уступает базовой версии Qwen3.5-4B, а декензурирование может снижать встроенные защитные ограничения. Для работы требуется совместимый runtime с поддержкой архитектуры Qwen3.5; лицензия — Apache-2.0.