II.8Инженерия данных и аналитика

Карточка модели norvek/Qwen3-VL-8B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-VL-8B-Instruct, поэтому описание составлено по ней. Qwen3-VL-8B-Instruct — мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Это плотная модель с 8 млрд параметров для диалога и генерации текста по текстовым и визуальным входам; репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Лицензия — Apache-2.0. Модель предназначена для анализа изображений и видео, визуальных вопросов и ответов, распознавания текста и структуры документов, пространственного рассуждения, STEM-задач и управления интерфейсами через инструменты. Она также генерирует код и разметку Draw.io, HTML, CSS и JavaScript по изображениям или видео. Заявлены контекст 256K токенов с возможностью расширения до 1M, временная привязка событий в видео и OCR на 32 языках. Модель объединяет текстовое и визуальное понимание, поддерживает агентные сценарии и вызов инструментов. Карточка описывает возможности семейства Qwen3-VL; конкретные показатели качества для версии 8B в предоставленном README не приведены.

Qwen3-VL-8B-Instruct — мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Это плотная модель с 8 млрд параметров для диалога и генерации текста по текстовым и визуальным входам; репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Лицензия — Apache-2.0. Модель предназначена для анализа изображений и видео, визуальных вопросов и ответов, распознавания текста и структуры документов, пространственного рассуждения, STEM-задач и управления интерфейсами через инструменты. Она также генерирует код и разметку Draw.io, HTML, CSS и JavaScript по изображениям или видео. Заявлены контекст 256K токенов с возможностью расширения до 1M, временная привязка событий в видео и OCR на 32 языках. Модель объединяет текстовое и визуальное понимание, поддерживает агентные сценарии и вызов инструментов. Карточка описывает возможности семейства Qwen3-VL; конкретные показатели качества для версии 8B в предоставленном README не приведены.

Qwen3-VL-8B-Thinking — мультимодальная vision-language модель из серии Qwen, разработанная командой Qwen и представленная в GGUF-репозитории Unsloth. Это Thinking-версия с усиленным рассуждением, предназначенная для анализа изображений и видео вместе с текстом, генерации ответов, STEM- и математического анализа, распознавания документов и OCR, пространственного рассуждения, а также взаимодействия с графическими интерфейсами и инструментами. Модель также может генерировать Draw.io, HTML, CSS и JavaScript по изображениям или видео. Модель имеет плотную архитектуру и размер 8B параметров; конкретные характеристики GGUF-квантизации в README не указаны. Поддерживаются текст, изображения и видео, а заявленный нативный контекст составляет 256K токенов с возможностью расширения до 1M. Для видео предусмотрено понимание временной динамики и событий с привязкой к временным меткам. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. Сильные стороны модели — объединённое текстово-визуальное понимание, визуальное и пространственное рассуждение, обработка длинных документов и продолжительных видео, распознавание текста в сложных условиях, включая низкую освещённость, размытие и наклон. Ограничения связаны с вычислительными и мультимодальными ресурсами, необходимыми для работы с длинным контекстом, изображениями и видео; точные требования к памяти и производительности не указаны. Модель распространяется по лицензии Apache-2.0.

Seed-OSS-36B-Base — базовая большая языковая модель команды ByteDance Seed, опубликованная под лицензией Apache-2.0. Это плотная авторегрессионная модель на архитектуре Seed-OSS с 31,7 млрд параметров по метаданным; в карточке семейства указаны RoPE, групповое внимание GQA, RMSNorm и активация SwiGLU. Модель принимает текст и генерирует текст. Модель предназначена для дообучения и применения в задачах общего назначения, рассуждений, работы с длинными контекстами и построения агентных систем. Она обучена на 12 трлн токенов, нативно поддерживает контекст до 524 288 токенов и позволяет управлять бюджетом рассуждений. Версия Base включает синтетические инструкционные данные в предобучение; команда также выпустила вариант без этих данных и отдельную версию Instruct. Семейство ориентировано на международное использование. Карточка рекомендует выбирать длину рассуждений с учётом сложности задачи; результаты зависят от бюджета и настроек генерации. Для запуска доступны Transformers и vLLM.

Gemma 3 4B IT GGUF — квантизированное или иным образом подготовленное для формата GGUF представление instruction-tuned модели Google Gemma 3 4B IT. Разработчик — Google DeepMind. Модель относится к семейству лёгких открытых моделей, созданных на основе исследований и технологий Gemini, и предназначена для генерации текста и анализа изображений. Модель поддерживает текстовые и графические входные данные и генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений, анализа содержимого изображений и извлечения визуальной информации. Для версии 4B заявлено контекстное окно до 128K токенов, максимальный объём генерируемого результата — до 8192 токенов; изображения нормализуются до 896×896 и кодируются в 256 токенов каждое. Указана поддержка более 140 языков, а обучающие данные также включали код и математические материалы. Ключевое преимущество — сочетание мультимодальности, большого контекста и относительно небольшого размера, что упрощает развёртывание на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. README не содержит точных сведений об архитектуре, параметрах квантования GGUF, фактической производительности или ограничениях качества. Использование регулируется лицензией Gemma и условиями Google; конкретные условия необходимо проверять в Terms of Use.

GLM-5.3-Flash-NVFP4 — квантованная версия мультимодальной модели GLM-5.3-Flash, разработанной Z.ai. Данный вариант подготовлен сообществом пользователем vcruz305 на основе zai-org/GLM-5.3-Flash-BF16 с использованием NVIDIA ModelOpt NVFP4. Модель предназначена для генерации текста, работы с мультимодальными данными, программирования и агентских сценариев. Заявлены поддерживаемые языки английский и китайский. Модель имеет архитектуру Mixture-of-Experts с 320 млрд общих и 18 млрд активных параметров, сочетает разреженное и линейное внимание и использует Manifold-Constrained Hyper-Connections. Эксперты слоёв 3–44 представлены в формате NVFP4, а слой MTP/NextN сохраняет точность BF16. Это снижает требования к памяти и стоимость инференса, сохраняя возможности исходной модели, однако качество и производительность именно этой квантованной сборки отдельно не подтверждены: приведённые в README результаты относятся к официальной версии Z.ai. Для локального развёртывания указана совместимость с SGLang, vLLM, TokenSpeed и KTransformers. Лицензия — MIT.

JiRack Ultra 7B — текстовая генеративная модель от CMSManhattan для диалогов, локального запуска на CPU и использования в RAG-системах и агентных сценариях. По карточке, модель основана на архитектуре DeepSeek R1 7B; метаданные указывают архитектуру Qwen2 с 7,1 млрд параметров. README описывает переработку с функциями BitNet и специальным токенизатором для маршрутизации, вызова инструментов и сценариев робототехники, однако эти возможности не подтверждены тегами задач каталога. Модель рассчитана на генерацию текста и диалоговое применение; доступны веса safetensors и варианты GGUF-квантизации от Q2_K до Q8_0. Метаданные указывают контекст до 131 072 токенов и поддержку языков, включая русский, английский, китайский, японский, корейский, французский, испанский, португальский, немецкий, итальянский, арабский, вьетнамский и тайский. В карточке заявлены эффективность CPU-инференса и пригодность для экспертных RAG-развертываний. README приводит ориентиры по оперативной памяти для разных квантизаций и отмечает дополнительный расход на KV-кэш и рабочие буферы. Веса заявлены под лицензией MIT, допускающей коммерческое использование; Docker-образ, UI-клиенты и готовые Ollama-квантизации описаны как отдельные коммерческие продукты.

K2-Horizon-375B-A23B — флагманская языковая модель семейства K2-Horizon от IFM. Это разреженная архитектура Mixture-of-Experts: в модели 375 млрд параметров, из которых 23 млрд задействуются на каждом токене. Модель принимает текст и поддерживает контекст до 524 288 токенов; карточка указывает английский язык и возможность диалогового взаимодействия. Модель предназначена для генерации текста, работы с инструментами и агентных сценариев, включая терминальные задачи и длительные многоэтапные процессы. В README заявлены конкурентные результаты на соответствующих бенчмарках. Доступны контрольные точки обучения, обучающие данные и код обучения; для запуска описаны рецепты vLLM и SGLang, а реализация Transformers проверена с указанными в карточке версиями библиотек. Веса опубликованы в формате Safetensors под лицензией Apache-2.0. Для запуска требуются значительные вычислительные ресурсы: README приводит пример обслуживания на восьми ускорителях H200. Заявленная длина контекста — 524 288 токенов; поведение обучения в реализации Hugging Face может отличаться от исходной реализации xLLM.

Meta разработала Llama 3.2 3B Instruct — мультиязычную авторегрессионную языковую модель на архитектуре Transformer для генерации текста. Версия Instruct дообучена с помощью контролируемой настройки и обучения с подкреплением на основе обратной связи от людей; модель оптимизирована для диалогов с ассистентом и задач, связанных с агентными приложениями. Модель подходит для ответов в чате, поиска сведений и суммаризации, а также для мобильных помощников по написанию текста и переформулированию запросов. Она принимает текст и генерирует текст, в том числе код. В карточке семейства указан контекст до 128 тысяч токенов, а среди официально поддерживаемых языков перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель использует Grouped-Query Attention и рассчитана в том числе на запуск в средах с ограниченными ресурсами. По сравнению с более крупными моделями у компактных вариантов могут отличаться баланс безопасности и полезности; разработчикам следует проверять поведение модели в своём сценарии. Использование регулируется пользовательской коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

next-8b-i1-GGUF — квантизированная GGUF-версия языковой модели next-8b, разработанной thelamapi и подготовленной квантизатором mradermacher. В README также указана поддержка со стороны nethype GmbH. Модель предназначена для генерации текста, диалоговых сценариев, аналитических и рассуждающих задач, а также многоязычного применения. Это текстовая Transformer-модель примерно на 8 млрд параметров, обученная и дообученная с использованием наборов данных для instruction tuning, reasoning, диалогов, программирования, медицинских и других специализированных текстовых сценариев. Заявлены языки: турецкий, английский, немецкий, испанский, французский, русский, китайский, японский и корейский. Мультимодальность и размер контекстного окна в README не указаны. Модель доступна в большом наборе GGUF-квантизаций размером примерно от 2,2 до 6,8 ГБ. Варианты различаются балансом между скоростью, требованиями к памяти и качеством; для общего использования рекомендован i1-Q4_K_M как быстрый вариант, а i1-Q4_K_S описан как оптимальный по соотношению размера, скорости и качества. Более агрессивные квантизации имеют заметные ограничения качества, поэтому конкретный вариант следует выбирать с учётом доступной памяти и требований к результату. Лицензия — MIT.

Hermes-4.3-36B-GGUF — это GGUF-квантизированная версия языковой модели Hermes-4.3-36B, разработанной NousResearch и подготовленной квантизатором bartowski с использованием llama.cpp и imatrix-калибровки. Модель предназначена для генерации текста и диалоговых сценариев, включая ассистирование, рассуждения, ролевое взаимодействие, работу с JSON и структурированными ответами, function calling и использование инструментов. Модель содержит 36 млрд параметров и поддерживает текстовый ввод и вывод. В карточке заявлен английский язык; контекстное окно и точная архитектура не указаны. Доступны варианты от BF16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K, Q4_K и более компактные форматы. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но сильнее снижают качество ответов. Модель совместима с llama.cpp, LM Studio и другими проектами на базе llama.cpp. Рекомендуемые варианты позволяют выбирать баланс между качеством и потреблением памяти, однако крупные файлы требуют значительных аппаратных ресурсов. Лицензия — Apache-2.0.

Phi-3.5-mini-instruct-GGUF — это GGUF-квантизированная версия языковой модели Phi-3.5-mini-instruct, разработанной Microsoft и преобразованной компанией Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи обработки естественного языка и работы с кодом. Она запускается с использованием совместимого ПО, в частности LlamaEdge версии 0.14.0 и выше, с шаблоном запросов phi-3-chat. В README указана поддержка multilingual-сценариев и контекстное окно до 128 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также f16, размером примерно от 1,42 до 7,64 ГБ. Более компактные варианты требуют меньше памяти, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые варианты с хорошим балансом размера и качества, при этом f16 обеспечивает отсутствие дополнительного квантования. Модель удобна для локального запуска и развёртывания в средах с ограниченными ресурсами, однако качество и требования к памяти зависят от выбранного варианта квантования. README не содержит подробностей об архитектуре, точном числе параметров, поддерживаемых языках и отдельных результатах оценки. Распространение осуществляется по лицензии MIT, унаследованной от исходной модели Microsoft.

LIF1014/ptdbench-Llama-3.2-1B-Instruct — текстовая инструктивная модель семейства Llama 3.2, разработанного Meta. Это авторегрессионный трансформер с плотной архитектурой LlamaForCausalLM и примерно 1,2 млрд параметров; модель предназначена для диалогов с ассистентом, генерации текста и сценариев с агентным поиском и суммаризацией. Поддерживает текст на входе и выдаёт текст, включая код. Контекстное окно — 131 072 токена. Модель работает с английским, немецким, французским, итальянским, португальским, хинди, испанским и тайским языками. Небольшой размер подходит для развёртывания в средах с ограниченными ресурсами, в том числе на мобильных устройствах. Знания модели ограничены данными обучения со срезом до декабря 2023 года; качество и безопасность могут уступать более крупным моделям, поэтому ответы следует проверять в критичных сценариях. Использование регулируется пользовательской лицензией Llama 3.2 Community License и связанными условиями Meta.

Карточка модели kyoganath786/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели snacher/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

HauhauCS/Qwen3.5-122B-A10B-Uncensored-HauhauCS-Aggressive — мультимодальная версия модели Qwen3.5-122B-A10B, разработанная HauhauCS на базе исходной модели Qwen. Это вариант в формате GGUF с усиленным снятием ограничений на отказы; по заявлению автора, изменения наборов данных и базовых возможностей не вносились. Модель предназначена для генерации и понимания текста, программирования, рассуждений, а также работы с изображениями и видео. Поддерживаются текстовая, графическая и видео-модальности, 201 язык и контекст до 262 тысяч токенов. Модель использует гибридную архитектуру MoE с 122 млрд общих параметров и примерно 10 млрд активных параметров на один проход. В ней 256 экспертов, из которых для каждого токена выбираются 8 маршрутизируемых и 1 общий; архитектура включает Gated DeltaNet linear attention и полноформатное softmax-внимание в соотношении 3:1, всего 48 слоёв. Доступны квантизации от IQ2_M до Q8_K_P размером примерно от 40 до 145 ГБ; специальные квантизации K_P оптимизированы для сохранения качества. Модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами, а для поддержки изображений требуется отдельный файл mmproj. Сильными сторонами являются большой контекст, мультимодальность, высокая ёмкость MoE при меньшем числе активных параметров и широкий выбор квантизаций. Агрессивный вариант практически не использует отказы и защитные оговорки, поэтому может быть удобен для сценариев, где требуется минимальная модерация, но одновременно повышает риск небезопасных или нежелательных ответов. Для запуска необходимы значительные объёмы оперативной или видеопамяти, особенно для высококачественных квантизаций. Модель распространяется по лицензии Apache-2.0.

Карточка модели Taewhoo/qwen3.5-9b-proteomics-rl-step25 на Hugging Face совпадает с карточкой Qwen/Qwen3.5-9B, поэтому описание составлено по ней. Qwen3.5-9B — мультимодальная модель Qwen, разработанная командой Qwen и представленная в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-9B-Base: причинная языковая модель с визуальным энкодером, 9 млрд параметров и гибридной архитектурой с Gated Delta Networks и разреженными Mixture-of-Experts. Модель принимает текст и изображения и генерирует текст; поддерживает чат и вызов инструментов. Модель предназначена для диалога, рассуждений, программирования, визуального понимания и агентных сценариев с использованием инструментов. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000; в режиме по умолчанию перед ответом генерируется содержимое рассуждений. В карточке заявлена поддержка 201 языка и диалекта, но список языков в предоставленных данных опущен. В README заявлены высокая эффективность гибридной архитектуры и улучшенные результаты на задачах рассуждения, кода и визуального понимания; независимых оценок в предоставленном тексте недостаточно для проверки этих утверждений. Для длинного контекста могут потребоваться значительные ресурсы, а совместимость и пропускная способность зависят от версии и конфигурации сервера. Лицензия — Apache-2.0.

Qwen3.6-27B-Seven-i1-GGUF — это квантизированная версия текстово-визуальной модели Qwen3.6-27B-Seven, подготовленная mradermacher на основе модели nightmedia/Qwen3.6-27B-Seven. Распространяется в формате GGUF с imatrix-квантами различного уровня сжатия, размером примерно от 11 до 22,5 ГБ. В README также указано наличие отдельных mmproj-файлов для поддержки изображений; конкретные параметры мультимодальной архитектуры не раскрыты. Заявлена поддержка английского, китайского, японского и испанского языков, а также контекста до 1M токенов, однако точные технические характеристики базовой модели в карточке не приведены. Модель предназначена для диалогов, генерации текста, программирования, математических и STEM-задач, исследовательских сценариев, творческого и художественного письма, сторителлинга и ролевых взаимодействий. К сильным сторонам относятся широкий выбор квантов, возможность подобрать баланс между размером, скоростью и качеством, а также наличие imatrix-вариантов; для некоторых конфигураций в README отдельно рекомендуются IQ-кванты и i1-Q4_K_M как быстрый вариант. Ограничения связаны с потерями качества при сильном сжатии, отсутствием подробных результатов тестирования и неполным описанием архитектуры и фактического размера контекста. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Brainwaves-Nex-GGUF — GGUF-квантизированная версия модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex, подготовленная mradermacher. Модель предназначена для генерации текста, диалогов, инструкционного взаимодействия, рассуждений, математических и STEM-задач, программирования и многоязычных сценариев. В метаданных указаны английский, китайский, японский и испанский языки; также отмечены instruction tuning, SFT, LoRA и distillation, однако подробности обучения не приведены. Доступны варианты квантования от Q2_K до Q8_0, включая IQ4_XS, с размером файлов примерно от 13,3 до 37,9 ГБ. Для мультимодального использования предоставляются дополнительные файлы mmproj в форматах Q8_0 и F16, поэтому поддержка изображений зависит от совместимого программного обеспечения и подключения соответствующего компонента. Архитектура, точный размер активной и общей параметризации, максимальная длина контекста и перечень поддерживаемых модальностей в README явно не описаны. Сильной стороной модели является широкий выбор квантований, позволяющий выбирать между требованиями к памяти, скоростью и качеством; автор README рекомендует Q4_K_S и Q4_K_M как быстрые варианты, а Q6_K и Q8_0 отмечает как варианты высокого качества. Ограничения включают возможную потерю качества на низких уровнях квантования, экспериментальный характер исходной модели и отсутствие опубликованных оценок производительности. Распространение указано по лицензии Apache-2.0.

RadixArk Qwen3.8-2.4T-A95B-NVFP4 — квантизированная версия причинно-следственной языковой модели Qwen3.8-2.4T-A95B, созданной Qwen. Квантизацию выполнила RadixArk с использованием NVIDIA Model Optimizer и схемы experts-only NVFP4; RadixArk не обучала и не дообучала модель. Архитектура — Transformer Mixture-of-Experts с 2,4 трлн общих параметров и 95 млрд активируемых параметров. Модель предназначена для генерации текста, AI-агентов, чат-ботов, RAG-систем и других текстовых приложений. Она принимает и возвращает текст, поддерживает контекст до 262 144 токенов и работает только в режиме рассуждений; мультимодальные входы и отключение thinking mode не поддерживаются. Квантизации подвергнуты линейные операторы в MLP-блоках маршрутизируемых экспертов, остальные компоненты сохраняют точность исходного чекпойнта. Для запуска рекомендуется SGLang на Linux и совместимое оборудование NVIDIA Blackwell, в частности конфигурация 8×B300; заявленная интеграция с другими платформами не указана. По приведённым оценкам на конфигурации 8×B300 модель получила 97,73% на GSM8K, 98,75% pass@1 и 100% pass@16 на AIME 2026, 70,6% pass@1 на SWE-bench Verified и 87,64% pass@1 на Terminal-Bench 2.1. Ограничения и характеристики обучения унаследованы от исходной модели; README предупреждает о возможном воспроизведении токсичных высказываний и общественных предубеждений из обучающих данных. Модель распространяется по лицензии Qwen3.8-Max, обозначенной как other.

Карточка модели unsloth/Qwen3-Next-80B-A3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-Next-80B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Next-80B-A3B-Instruct — языковая модель от команды Qwen, предназначенная для диалогов, генерации текста и сценариев с вызовом инструментов. Это причинная модель семейства Qwen3-Next с разреженной архитектурой смеси экспертов (MoE), гибридной обработкой контекста через Gated DeltaNet и Gated Attention и поддержкой ускорения вывода с помощью Multi-Token Prediction. В модели 80 млрд параметров, из которых активируются около 3 млрд на токен; при этом метаданные Hugging Face указывают размер 2,3 млрд параметров. Модель рассчитана на инструкции в обычном, нетщательном режиме и поддерживает контекст до 262 144 токенов; в README описано расширение контекста примерно до миллиона токенов с YaRN. Подходит для длинных диалогов и документов, генерации ответов и агентных сценариев с инструментами. Карточка сообщает о результатах на ряде бенчмарков, но не приводит полный набор таблиц в предоставленном тексте. Лицензия Apache-2.0.

cyankiwi/Qwen3-VL-2B-Instruct-AWQ-4bit — это 4-битная AWQ-квантизованная версия мультимодальной instruct-модели Qwen3-VL-2B-Instruct, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, а также заявлена для понимания видео, визуального рассуждения и взаимодействия с графическими интерфейсами. Она может использоваться для описания изображений, визуального и текстового анализа, OCR, STEM- и математических задач, генерации кода и выполнения агентных сценариев с инструментами. Модель относится к плотной архитектуре и имеет 2 млрд параметров в базовой версии; применённая 4-битная AWQ-квантизация снижает требования к памяти и может упростить локальное развёртывание, потенциально ценой некоторого снижения точности по сравнению с полной версией. В README указаны контекст до 256K токенов с возможностью расширения до 1M, поддержка видео с временной индексацией и OCR на 32 языках, однако конкретный список языков для данной сборки не приведён. Среди архитектурных компонентов упомянуты Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Сильные стороны модели — сочетание текстового и визуального понимания, анализ пространственных отношений, работа с длинным контекстом, документами и видео, а также поддержка визуального управления интерфейсами. Ограничения включают возможные потери качества из-за 4-битной квантизации и отсутствие в представленном README детальных результатов тестирования именно этой AWQ-сборки. Модель распространяется по лицензии Apache-2.0.

QwQ-32B-GGUF — языковая модель для генерации текста и рассуждений из семейства Qwen, разработанная командой Qwen. Это GGUF-версия базовой модели Qwen/QwQ-32B, ориентированная на локальный запуск и диалоговые сценарии, включая решение сложных математических, логических и других задач, где важны пошаговое рассуждение и качество вывода. Модель предназначена для использования с llama.cpp и совместимыми инструментами. Модель является авторегрессионной causal language model с архитектурой на базе Qwen2.5, использующей RoPE, SwiGLU, RMSNorm и смещения в QKV-вычислениях внимания. Она содержит около 32,5 млрд параметров, 64 слоя и механизм grouped-query attention с 40 головами для Q и 8 для KV. Заявленная длина контекста составляет до 131 072 токенов, однако для GGUF-версии без дополнительных настроек рекомендуется учитывать ограничение около 32 768 токенов; обработка более длинных последовательностей требует YaRN и поддержки со стороны используемого фреймворка. Указан английский язык. Сильная сторона модели — усиленная способность к рассуждению, обеспеченная последующим обучением с учителем и reinforcement learning; заявляется конкурентоспособность с современными reasoning-моделями, включая DeepSeek-R1 и o1-mini. Доступны варианты квантования q4_K_M, q5_0, q5_K_M, q6_K и q8_0, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Для стабильной работы рекомендуются специальные параметры семплирования и начало ответа с маркера <think>. Лицензия — Apache-2.0.

Qwythos-9B-Claude-Mythos-5-1M-MXFP4-GGUF — это квантованная в формате GGUF MXFP4 версия модели empero-ai/Qwythos-9B-Claude-Mythos-5-1M, дообученной Empero AI на базе Qwen3.5-9B. Это мультимодальная модель с архитектурой Qwen3.5 и зрительным энкодером SigLIP ViT; основной файл использует 4-битный формат MXFP4, а для обработки изображений нужен отдельный файл mmproj в F16. Репозиторий распространяется под лицензией Apache-2.0. Модель предназначена для диалогов с рассуждениями, работы с изображениями, вызова инструментов и задач с длинным контекстом, включая анализ кода и документов. README заявляет контекст до 1 048 576 токенов, а также сильные стороны в математике, кибербезопасности и биомедицинских темах. Поддерживаются английский язык и интерфейс вызова инструментов в стиле OpenAI/Qwen3.5. Зрительная часть унаследована от базовой модели и не дообучалась; README также предупреждает, что модель может уверенно выдавать ошибочные идентификаторы CVE и дозировки лекарств. Для критически важных ответов нужны внешняя проверка и инструменты, а для пользовательских развёртываний README рекомендует добавить собственный слой безопасности. Ответы начинаются с блока рассуждений, поэтому требуется достаточный лимит генерации.

unsloth/Step-3.7-Flash-GGUF — GGUF-квантизированная версия модели Step 3.7 Flash, разработанной StepFun и распространяемой в формате Unsloth Dynamic 2.0. Это мультимодальная vision-language модель со sparse Mixture-of-Experts: она объединяет языковую основу примерно на 196 млрд параметров и vision-энкодер на 1,8 млрд параметров, активируя около 11 млрд параметров на токен. Модель поддерживает изображения и текст, английский язык и контекст до 256 тысяч токенов. Доступны уровни рассуждения low, medium и high для выбора баланса между скоростью, стоимостью и глубиной обработки. Модель предназначена для высоконагруженных агентных сценариев, объединяющих восприятие изображений, поиск, проверку информации, работу с инструментами и рассуждение. Она подходит для анализа больших финансовых документов, обработки интерфейсов, wireframe, графиков и диаграмм, многошагового поиска с перекрёстной проверкой источников, оркестрации внешних API и параллельных задач программирования. Заявленная производительность достигает 400 токенов в секунду; модель также ориентирована на исправление ошибок в многосоставных репозиториях и генерацию патчей, проходящих автоматические тесты. Сильные стороны модели — большое контекстное окно, нативное понимание изображений, поддержка длительных агентных рабочих процессов и возможность локального, облачного или серверного развёртывания через Transformers, vLLM, SGLang и llama.cpp. Ограничения включают значительные требования к памяти и вычислительным ресурсам: для локального запуска указаны устройства как минимум со 128 ГБ unified memory. README не содержит подробностей о качестве на языках, кроме английского, а заявленные результаты бенчмарков могут зависеть от конфигурации и способа инференса. Лицензия — Apache-2.0.

Apertus-8B-Instruct-2509 — диалоговая языковая модель Swiss AI Initiative, дообученная на базе Apertus-8B-2509. Это плотный decoder-only Transformer с 10,3 млрд параметров, предназначенный для генерации ответов, многоязычного диалога и использования инструментов. Модель поддерживает более 1800 языков и контекст до 65 536 токенов. Базовая модель обучалась с нуля на 15 трлн токенов из веб-данных, кода и математических материалов; постобучение включало supervised fine-tuning и выравнивание QRPO. Веса и материалы обучения открыты, разработчики заявляют о соблюдении согласия владельцев данных и прозрачности обучения. Для запуска подходят Transformers, vLLM и другие совместимые среды. Модель может быть полезна для ответов на вопросы, составления текстов и работы с длинным контекстом на разных языках. Генерации могут содержать фактические ошибки, нелогичность и предвзятость. Встроенного фильтра персональных данных нет, поэтому важную информацию следует проверять, а для фильтрации PII применять отдельный актуальный фильтр. Лицензия — Apache 2.0.

RedHatAI/DeepSeek-R1-Distill-Qwen-32B-quantized.w4a16 — квантизированная версия модели DeepSeek-R1-Distill-Qwen-32B, разработанная Neural Magic. Модель построена на архитектуре Qwen2ForCausalLM и предназначена для генерации и обработки текста, включая задачи рассуждения, решения математических задач, ответов на вопросы и использования в чат-сценариях. Модель имеет 32 миллиарда параметров и использует INT4-квантизацию весов линейных операторов в трансформерных блоках при формате W4A16. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритм GPTQ через библиотеку llm-compressor. Такой подход примерно на 75% сокращает размер модели на диске и требования к памяти GPU по сравнению с представлением весов в 16 битах. Входная и выходная модальности — текст; сведения о поддерживаемых языках и максимальном контексте в карточке явно не указаны. По приведённым оценкам, квантизированная версия сохраняет около 99,45% среднего результата исходной модели на наборе задач рассуждения, включая AIME 2024, MATH-500 и GPQA Diamond. Она оптимизирована для эффективного развёртывания с vLLM и может использоваться через OpenAI-совместимый сервер. Ограничением является возможное небольшое снижение точности из-за квантизации, а также зависимость эффективного запуска от совместимого GPU и программного стека vLLM. Модель распространяется по лицензии MIT.

Solstice-AI/DeepSeek-V4-Flash-Vision-Exp-MXFP4 — производственная MXFP4-версия экспериментальной мультимодальной модели DeepSeek-V4-Flash-Vision-Exp, разработанной DeepSeek-AI и подготовленной, проверенной и упакованной Solstice-AI. Модель предназначена для обработки текста и изображений, мультимодального рассуждения, анализа визуального содержания, генерации кода и задач, требующих работы с длинным контекстом. README также указывает совместимость с Transformers, vLLM, SGLang и TensorRT-LLM, а также готовность к speculative decoding через DSpark. Архитектура включает 305 млрд параметров в конфигурации Mixture-of-Experts, из которых 13 млрд активируются для каждого токена. Указаны 43 скрытых слоя, 256 маршрутизируемых экспертов с шестью активными на токен, Multi-Head Latent Attention и отдельный 32-слойный vision encoder. Заявлена поддержка контекста до 1 048 576 токенов. Основная часть экспертных весов предварительно обучена в формате OCP MXFP4, а исполнение использует схему W4A16: веса представлены в 4-битном формате, активации сохраняются в 16-битном BF16; ряд компонентов, включая vision encoder, маршрутизаторы и нормализации, сохраняется в более высокой точности. К сильным сторонам относятся высокая вычислительная и memory-bandwidth эффективность по сравнению с полноразмерным представлением, мультимодальность и очень длинное контекстное окно. Ограничения — значительный общий размер модели и требовательность к GPU-инфраструктуре: для практического развёртывания README рекомендует конфигурации от нескольких GPU, а полный контекст в 1 млн токенов рассчитан на крупные кластеры. Модель обозначена как экспериментальная, а приведённые в README результаты тестирования представлены неполностью. Лицензия — MIT.

Gemma4 E4B 8B Heretic Ultra — версия Gemma 4 E4B Instruct от Google DeepMind, обработанная llmfan46 с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA) для снижения склонности к отказам. Это плотная мультимодальная модель семейства Gemma 4 для диалога и генерации ответов по тексту, изображениям и аудио. В репозитории доступны исходные веса fp16 в формате safetensors; в отдельной ветке размещена конверсия MLX 4-bit для mlx-lm на Apple Silicon. Модель подходит для диалоговых сценариев, рассуждений, программирования, анализа изображений и обработки аудио. В приведённых автором тестах доля отказов составила 3 из 100 против 99 из 100 у исходной модели; точность на PIQA составила 85,85%, а на MMLU — 68,60%. Эти результаты относятся к указанным тестам и не гарантируют качество в других задачах. Ablation немного снизила результаты относительно исходной Gemma 4 E4B Instruct. Лицензия — Apache 2.0. Поскольку модель специально изменена для снижения отказов, она может отвечать на запросы, которые исходная модель отклоняла; следует учитывать это при выборе сценариев применения.

infosave/Granite-4.2-cmf — набор квантизированных плотных reasoning-моделей семейства IBM Granite 4.2, основанных на моделях IBM Granite 3B, 8B и 30B. Репозиторий подготовлен для среды Cortiq и содержит артефакты CMF с весами, токенизатором, точным шаблоном чата и хешами целостности. Модели предназначены для генерации текста, диалогов, многошагового рассуждения, работы с инструментами и многоходовым контекстом. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Доступны профили Q4TP и Q8_2F. Q4TP использует смешанную точность: основные проекции квантизированы в 4-битный формат, а границы словаря — в 8-битный; Q8_2F обеспечивает более высокое качество за счёт 8-битного представления проекций. Размер файлов составляет примерно от 2,17 до 29,31 ГБ в зависимости от варианта. Поддерживаются CPU, Vulkan, DX12 и Metal без обязательной установки Python, PyTorch или CUDA toolkit. Контекст модели — 131 072 токена; заявленное IBM расширение до 512K в этих файлах не реализовано. Преимущества — компактность, переносимость, сохранение специфичной архитектуры Granite и возможность работы при ограниченной VRAM с переносом части слоёв на CPU. Ограничения — необходимость значительных ресурсов для вариантов 8B и 30B, снижение качества у Q4TP по сравнению с Q8_2F и отсутствие заявленной поддержки контекста 512K. Распространение осуществляется по лицензии Apache-2.0.