II.1Анализ требований и архитектура ПО

Карточка модели Gaery0611/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP-XS — мультимодальная модель для генерации текста, построенная на базе AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16. Модель распространяется в формате NVFP4 с поддержкой ModelOpt и Multi-Token Prediction (MTP), а также рассчитана на использование со speculative decoding и DFlash. В описании заявлены гибридная архитектура внимания с компонентами Mamba и Gated DeltaNet, сохранённые Conv1D-слои и оптимизация для GPU архитектур Blackwell, включая RTX 5090, RTX PRO 6000, B100 и B200. Модель предназначена для генерации текста, мультимодальных сценариев с обработкой изображений и видео, а также высокопроизводительного инференса с инструментами и длинными контекстами. Заявлена поддержка английского, китайского и других многоязычных сценариев. В конфигурации развёртывания указана обработка до четырёх изображений и двух видео в одном запросе, однако точный размер контекстного окна в README не указан. XS-версия имеет наименьший объём и требования к памяти; при этом авторы отмечают, что полноразмерная версия Multimodal-NVFP4-MTP обеспечивает более высокое качество при сопоставимой скорости. К сильным сторонам относятся компактное NVFP4-квантизованное представление, мультимодальность, поддержка MTP и возможность ускорения через внешний DFlash-драфтер. Ограничениями являются более низкое качество XS-версии по сравнению с полной моделью, зависимость от специализированного стека vLLM и аппаратной поддержки Blackwell, а также то, что модель уже считается устаревшей и заменена линейкой Qwen3.8. Лицензия — Apache-2.0.

Карточка модели trentmkelly/qwen3-emb-0.6b-stylometry-v11 на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

Карточка модели AhmadAfles/qwen3-finetuned-hierarchical-44genres на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

Qwen3-Reranker-4B — модель ранжирования текстовых пар из семейства Qwen3, разработанная авторами Qwen; репозиторий AIArchiveInfo/Qwen3-Reranker-4B является побайтной архивной копией оригинала. Модель присваивает оценку релевантности паре «запрос — документ» и предназначена для повторного упорядочивания результатов поиска и других задач текстового retrieval. Она основана на плотной архитектуре Qwen3ForCausalLM, содержит 3,7 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов по метаданным; README указывает длину 32K. Заявлена поддержка более 100 языков, включая языки программирования, и возможность задавать инструкцию под конкретную задачу. Модель подходит для многоязычного поиска по текстам и коду, а также для повышения релевантности выдачи после первичного поиска. Оценки модели являются сырыми разностями логитов; README рекомендует при необходимости преобразовывать их сигмоидой и отмечает пользу пользовательских инструкций. Модель распространяется по лицензии Apache-2.0. Архивная копия не изменяет веса оригинала.

Карточка модели ArchiveStudio/Qwen3-Reranker-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-Reranker-8B, поэтому описание составлено по ней. Qwen3-Reranker-8B — текстовая модель для переранжирования, разработанная командой Qwen. Она оценивает релевантность пар «запрос — документ» и помогает упорядочить найденные кандидаты так, чтобы наиболее подходящие фрагменты оказались выше. Модель предназначена для поиска по текстам и коду, включая многоязычный и межъязыковой поиск, например как этап извлечения контекста в RAG-системах. Модель основана на плотной авторегрессионной архитектуре Qwen3 и дообучена на базе Qwen/Qwen3-8B-Base. В ней около 7,6 млрд параметров; метаданные указывают контекст до 40 960 токенов, а README — 32 тыс. токенов. Заявлена поддержка более 100 языков. Модель поддерживает инструкции, настраиваемые под задачу; в README отмечено, что их применение может улучшать результаты поиска. Для получения оценки релевантности модель принимает текстовую пару и выдаёт оценку, пригодную для ранжирования. В README указано, что по умолчанию это разность логитов; при необходимости её можно преобразовать в вероятность. Для работы с моделью заявлена библиотека Transformers, также описано использование Sentence Transformers. Лицензия — Apache-2.0.

udever-bloom-1b1 — модель для получения текстовых эмбеддингов, разработанная Alibaba Group и дообученная из bigscience/bloom-1b1 методом BitFit на MS MARCO Passage Ranking, SNLI и MultiNLI. Это плотная decoder-only Transformer-модель семейства BLOOM с 1,3 млрд параметров и контекстом до 2048 токенов. Модель предназначена для создания универсальных представлений текста на естественных и программных языках. Её можно применять для семантического поиска, извлечения релевантных документов, ранжирования пассажей и задач сопоставления текстов. В README также приведены результаты оценок на MTEB и CodeSearchNet. Модель принимает текст и выдаёт векторные представления. Карточка заявляет многоязычную поддержку на основе обучающих данных BLOOM; метаданные перечисляют языки и указывают возможность работы с кодом. Доступна в формате PyTorch. Указанная лицензия — BigScience BLOOM RAIL 1.0.

UTC-DeBERTa-base — модель универсальной классификации токенов от Knowledgator, основанная на DeBERTaV3-base и дообученная на нескольких задачах классификации токенов, включая задачи, которые можно представить в таком формате. Архитектура — DeBERTa-v2 для классификации токенов; модель содержит 211,6 млн параметров и обрабатывает до 512 токенов за контекст. Она работает с текстом на английском языке. Модель предназначена для извлечения сущностей и другой информации из текста. Карточка описывает сценарии распознавания именованных сущностей с нулевым обучением, ответов на вопросы, извлечения отношений, разрешения кореференции, очистки и суммаризации текста. Авторы приводят результаты оценки на CrossNER для областей ИИ, литературы, музыки, политики и науки. Модель доступна в формате PyTorch через библиотеку Transformers, а для распознавания сущностей авторы рекомендуют pipeline `ner`. Лицензия — Apache-2.0. README не уточняет ограничения сверх длины контекста и английского языка, указанных в метаданных.

ZGCM-1-7B — плотная авторегрессионная языковая модель Zhongguancun Academy и Zhongguancun Institute of Artificial Intelligence, обученная с нуля для математических рассуждений и поиска с использованием инструментов. Модель содержит 6,3 млрд параметров по метаданным каталога (в README указано 7,39 млрд), использует архитектуру ZGCM и поддерживает контекст до 262 144 токенов. Для работы требуется Transformers и включение trust_remote_code=True. Модель рассчитана на решение математических задач, многошаговый поиск в интернете и диалоговое текстовое взаимодействие; доступны режимы с внутренними рассуждениями и прямым ответом. В техническом отчёте авторы приводят высокие результаты на математических бенчмарках и оценках агентного поиска. Обучение включало предварительное обучение, расширение контекста и дообучение для общих и агентных задач. Весовые файлы опубликованы в формате safetensors. Лицензия — MIT. Модель работает с текстом и не описана как мультимодальная; качество ответов зависит от задачи и используемого инструментария для поиска. Возможность загрузки собственного кода модели требует осторожности при запуске.

Cohere и Cohere Labs разработали Command R7B 12-2024 — авторегрессионную языковую модель на 7 млрд параметров с оптимизированной архитектурой Transformer. Она принимает текст и генерирует текст, поддерживает контекст до 128 тыс. токенов и обучена на 23 языках, включая русский. Модель использует чередование слоёв с локальным скользящим вниманием и глобальным вниманием; после предварительного обучения прошла дообучение с учителем и обучение на предпочтениях. Модель предназначена для диалогов и инструкций, ответов на вопросы, суммаризации, рассуждений, работы с кодом, генерации с дополненной выборкой (RAG) и использования инструментов, в том числе в многошаговых сценариях. Для RAG можно передавать короткие фрагменты документов через шаблон чата; для вызова инструментов предусмотрены шаблоны чата и описания инструментов в формате JSON Schema. Режимы диалога и инструкций подходят соответственно для интерактивных помощников и задач с кратким, целевым ответом. Веса опубликованы по лицензии CC-BY-NC-4.0; также требуется соблюдать политику допустимого использования Cohere Labs. README рекомендует установить Transformers из исходного репозитория для поддержки этой модели. Для практических сценариев с RAG и инструментами следует оценивать качество на собственных данных и корректно передавать результаты вызовов инструментов в историю диалога.

unsloth/Qwen2.5-7B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-7B, подготовленная Unsloth на основе Qwen/Qwen2.5-7B-Instruct. Это каузальная текстовая модель для диалогов, следования инструкциям, генерации связных текстов, работы со структурированными данными и JSON, программирования и математических задач. Модель содержит 7,61 млрд параметров, из которых 6,53 млрд — без учёта эмбеддингов, и имеет 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm и GQA с 28 головами для Q и 4 для KV. Поддерживается контекст до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество версии — 4-битное квантование, позволяющее снизить требования к памяти и упростить локальный запуск, однако квантование может влиять на точность по сравнению с полноточной моделью. Модель рассчитана на текстовые сценарии и не предназначена для обработки изображений или других модальностей. Лицензия — Apache-2.0.

C4AI Command R7B 12-2024 — авторегрессионная языковая модель семейства Cohere2, разработанная Cohere и Cohere For AI. В карточке заявлены 7 млрд параметров, а метаданные указывают 8 млрд; модель использует архитектуру Transformer с чередованием слоёв скользящего и глобального внимания. Метаданные указывают контекст 8192 токена, тогда как README заявляет 128K, поэтому фактическую длину контекста следует проверять для используемой конфигурации. Модель предназначена для диалогов и инструктивных задач: ответов на вопросы, суммаризации, рассуждений, перевода, категоризации и генерации кода. Она обучена для сценариев RAG и использования инструментов, включая многошаговое взаимодействие с ними. Поддерживает текст на 23 языках, среди которых русский и английский; принимает и генерирует только текст. Весам требуется Transformers с поддержкой этой модели. Лицензия CC-BY-NC-4.0, также необходимо соблюдать политику допустимого использования Cohere AI. README описывает выпуск как исследовательский и приводит оценки на бенчмарках; качество в конкретных задачах следует проверять отдельно.

unsloth/granite-4.1-30b — версия модели Granite-4.1-30B, опубликованная Unsloth с исправлениями шаблона чата. Исходную модель разработала команда Granite компании IBM; это плотный авторегрессионный трансформер с архитектурой decoder-only, GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Модель содержит 28,9 млрд параметров и поддерживает контекст до 131 072 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Модель предназначена для диалогов и следования инструкциям, создания ассистентов и агентов с вызовом инструментов, а также для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG и задач с кодом, включая Fill-in-the-Middle. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Для версии Unsloth README отдельно отмечает исправления шаблона чата; для llama.cpp рекомендуется использовать параметр --jinja. Вариант Unsloth основан на ibm-granite/granite-4.1-30b и обозначен в метаданных как дообучение. Модель распространяется по лицензии Apache 2.0. По данным карточки, обучающие инструкции в основном были на английском, поэтому качество на других поддерживаемых языках может быть ниже. Модель может выдавать неточные, предвзятые или небезопасные ответы; для конкретных сценариев нужны проверка и настройка безопасности.

Gemma 4 E4B — мультимодальная плотная модель семейства Gemma, разработанная Google DeepMind и представленная в виде весов с лицензией Apache 2.0. Она принимает текст, изображения и аудио и генерирует текст; аудиовозможности включают распознавание речи и перевод речи в текст. Модель рассчитана на запуск на мобильных устройствах и ноутбуках, а также на диалоговые сценарии, рассуждения, программирование и работу с инструментами. Архитектура реализует гибридное внимание: чередует локальные окна внимания с глобальным вниманием. Для E4B заявлено контекстное окно до 128 тысяч токенов. Модель понимает изображения, в том числе документы, графики и интерфейсы, а также аудио; семейство Gemma 4 поддерживает более 140 языков при обучении и более 35 языков при использовании. Карточка описывает семейство в целом, поэтому отдельные языковые возможности E4B могут зависеть от задачи и конфигурации.

Карточка модели Terom/gemma-4-12B-it-qat-q4_0-unquantized-assistant на Hugging Face совпадает с карточкой google/gemma-4-12B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. Google DeepMind разработала Gemma 4 12B IT QAT Q4_0 Unquantized — мультимодальную инструкционную модель с плотной архитектурой Gemma4UnifiedForConditionalGeneration, полученную на основе google/gemma-4-12B-it с применением обучения с учётом квантования (QAT). Несмотря на обозначение Q4_0, в этом варианте используются веса половинной точности, извлечённые из QAT-конвейера; он предназначен для последующей компиляции и исследовательской работы. Репозиторий содержит веса в формате safetensors. Модель принимает текст и изображения, а также аудио и видеокадры; генерирует текст. Она подходит для диалога, рассуждений, анализа документов и изображений, распознавания речи, работы с видео, написания и исправления кода и вызова инструментов. Вариант 12B поддерживает контекст до 256 тысяч токенов; семейство Gemma 4 обучено на более чем 140 языках, а карточка заявляет поддержку более 35 языков для мультимодальных задач. Среди заявленных возможностей — понимание документов и PDF, OCR, распознавание рукописного текста, анализ диаграмм и интерфейсов, а также распознавание речи и перевод аудио в текст. Это открытая модель с лицензией Apache 2.0. Указанные в карточке возможности относятся к семейству Gemma 4; отдельные показатели качества для данного чекпойнта не приведены.

Карточка модели muhamad-geosurge/invert-polarity-bd1732c6-63b2-4e3e-8142-bbf842fcb96a на Hugging Face совпадает с карточкой google/gemma-4-E4B-it, поэтому описание составлено по ней. Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

QuantFactory/granite-3.1-2b-instruct-GGUF — это квантизированная версия Granite-3.1-2B-Instruct, созданная QuantFactory с использованием llama.cpp на базе модели IBM Granite. Исходную модель разработала команда Granite компании IBM; она выпущена 18 декабря 2024 года и предназначена для выполнения общих инструкций и создания AI-ассистентов в различных прикладных областях. Модель поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), задачи работы с кодом, function calling, многоязычный диалог и обработку длинного контекста, включая анализ документов и протоколов встреч. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Архитектура представляет собой плотный decoder-only Transformer примерно на 2,5 млрд параметров с 40 слоями, размером эмбеддингов 2048, Grouped Query Attention (GQA), позиционными представлениями RoPE, активацией SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Максимальная длина контекста составляет 128K токенов. Квантизация может снизить требования к ресурсам, однако конкретные характеристики зависят от выбранного GGUF-варианта. Модель ориентирована на универсальные текстовые и кодовые задачи, но README не приводит отдельные результаты бенчмарков или подробности ограничений квантизированных вариантов. Модель распространяется по лицензии Apache 2.0. Пользователям следует учитывать, что качество может различаться между поддерживаемыми языками, задачами и уровнями квантизации.

Granite-4.0-H-1B — компактная инструктивная языковая модель команды Granite компании IBM, дообученная на базе ibm-granite/granite-4.0-h-1b-base с помощью supervised fine-tuning, обучения с подкреплением и слияния моделей. Архитектура GraniteMoeHybrid — декодерный трансформер с GQA, Mamba2, SwiGLU и RMSNorm; модель содержит 1,2 млрд параметров, работает с текстом и имеет контекстное окно 131 072 токена. Модель предназначена для диалогов и выполнения инструкций, локального развертывания на устройствах, а также дообучения под специализированные задачи. Она подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, вызова инструментов и многоязычного общения. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Компактный размер упрощает локальное применение и адаптацию под узкие задачи, а модель поддерживает вызов функций и дополнение кода FIM. Данные для инструктивного обучения преимущественно англоязычные, поэтому качество на других языках может быть ниже; ответы могут быть неточными, предвзятыми или небезопасными и требуют проверки. Лицензия — Apache 2.0.

Granite-4.0-Tiny-Preview-GGUF — текстовая instruct-модель семейства Granite, разработанная командой Granite компании IBM. Это конвертированная в формат GGUF версия базовой модели ibm-granite/granite-4.0-tiny-base-preview с различными вариантами квантования. Модель содержит около 7 млрд параметров и использует мелкозернистую гибридную архитектуру mixture-of-experts (MoE). Она дообучалась с применением supervised fine-tuning и методов выравнивания на основе reinforcement learning, включая открытые наборы инструкций и синтетические данные для задач с длинным контекстом. Модель предназначена для общего следования инструкциям и интеграции в AI-ассистентов, в том числе в бизнес-приложениях. Она поддерживает рассуждение, суммаризацию, классификацию и извлечение текста, ответы на вопросы, retrieval-augmented generation (RAG), работу с кодом, function calling, многоязычный диалог и обработку длинных документов и встреч. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; модель также можно дообучать для других языков. Сильными сторонами являются сочетание компактного размера, MoE-архитектуры, широкого набора прикладных сценариев, многоязычности и ориентации на длинноконтекстные задачи. README не содержит точного размера контекстного окна, результатов benchmark-тестов, сведений о конкретных квантованиях и подробных ограничениях качества, поэтому эти характеристики требуют дополнительной проверки. Модель распространяется по лицензии Apache 2.0.

granite-4.0-tiny-preview-GGUF — GGUF-квантизированные варианты 7-миллиардной instruct-модели Granite-4.0-Tiny-Preview, разработанной командой Granite компании IBM и преобразованной с помощью llama.cpp. Базовая модель — ibm-granite/granite-4.0-tiny-base-preview. Модель представляет собой гибридную fine-grained Mixture-of-Experts (MoE) архитектуру и дообучена на открытых наборах инструкций с разрешительными лицензиями и синтетических данных для задач с длинным контекстом. Дата выпуска исходной модели — 2 мая 2025 года. Модель предназначена для общего следования инструкциям и интеграции в AI-ассистентов, в том числе для бизнес-приложений. Она поддерживает рассуждения, суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), программирование, function calling, многоязычный диалог, а также обработку длинных документов и совещаний. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Ключевая особенность данного репозитория — применение автором дополнительного повышения точности отдельных важных слоёв при квантовании через параметр --tensor-type в llama.cpp. Это может улучшать точность при низкой битности, особенно для MoE-моделей, но увеличивает размер файлов. Конкретный формат квантования и его характеристики зависят от выбранного варианта GGUF. Для запуска требуется совместимое ПО, например llama.cpp; README указывает генерацию моделей на коммите adef8178. Модель распространяется по лицензии Apache 2.0. В README не указаны точный размер контекстного окна, конкретные уровни квантования и результаты бенчмарков для данного GGUF-варианта.

Granite-4.1-3B (FP8) — это FP8-квантизированная версия компактной инструкционной языковой модели Granite-4.1-3B, разработанная командой Granite компании IBM. Модель предназначена для генерации текста и построения AI-ассистентов, включая корпоративные приложения и LLM-агентов с использованием инструментов. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), программирование, function calling, многоязычный диалог и Fill-In-the-Middle для завершения кода. Модель содержит около 3 млрд параметров и основана на decoder-only dense Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными embeddings. Для версии 3B указаны 40 слоёв, размер embeddings 2560, 40 attention heads, 8 KV heads и максимальная длина последовательности 131072 токена. FP8-квантизация предназначена для более эффективного развёртывания и снижения требований к памяти; репозиторий поддерживает Transformers, vLLM и SGLang. Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Сильные стороны модели — улучшенные instruction following, tool calling, диалоговые возможности, кодирование и математическое рассуждение при компактном размере. Ограничения включают возможное снижение качества для неанглийских задач, а также риск неточных, предвзятых или небезопасных ответов; IBM рекомендует проводить собственное тестирование и настройку безопасности. Модель распространяется по лицензии Apache 2.0.

NVIDIA Qwen3.5-397B-A17B NVFP4 V2 — квантизированная версия авторегрессионной мультимодальной модели Qwen3.5-397B-A17B, разработанной Alibaba и оптимизированной NVIDIA с помощью Model Optimizer. Модель предназначена для коммерческого и некоммерческого использования в AI Agent-системах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель использует архитектуру Transformers и содержит 397 млрд параметров, из которых активируется 17 млрд. Она принимает текст, изображения и видео, а генерирует текст; заявленная длина контекста составляет до 262 тысяч токенов. Поддерживаются входные данные в строковом формате, изображения RGB и видео MP4/WebM. Модель оценивалась на задачах мультимодального рассуждения, научного программирования, работы с длинным контекстом, следования инструкциям и агентского использования инструментов. Вариант NVFP4 2.0 предназначен для ускоренного инференса на GPU NVIDIA, прежде всего на архитектуре Blackwell, с использованием SGLang и Linux. Веса и активации линейных операторов внутри transformer-блоков квантизированы в NVFP4; attention и shared experts используют per-tensor FP8. Ограничения включают нераскрытые данные обучения и отсутствие приведённых численных результатов бенчмарков, поэтому перед развёртыванием необходимы тестирование на целевых данных и проверка безопасности. Модель распространяется по лицензии Apache 2.0.

Qwen3-VL-30B-A3B-Instruct-GGUF — это GGUF-версия мультимодальной модели Qwen3-VL-30B-A3B-Instruct, разработанной командой Qwen. Репозиторий содержит отдельно веса языковой модели и vision encoder в форматах FP16, Q8_0 и Q4_K_M для языковой части и FP16, Q8_0 для vision encoder. Модель предназначена для запуска через llama.cpp, Ollama и другие инструменты, поддерживающие GGUF, на CPU, NVIDIA GPU, Apple Silicon, Intel GPU и совместимом оборудовании. Модель работает с текстом и визуальными данными, включая изображения и видео. Она предназначена для понимания и генерации текста, визуального восприятия и рассуждений, OCR, анализа документов, пространственного анализа, распознавания объектов, видеоаналитики, визуального программирования, генерации Draw.io/HTML/CSS/JS по изображениям и взаимодействия с графическими интерфейсами и инструментами. Заявлена поддержка контекста 256K токенов с возможностью расширения до 1M, а OCR поддерживает 32 языка. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками для улучшения анализа изображений и видео. К сильным сторонам относятся мультимодальное рассуждение, обработка длинного контекста, понимание пространственных отношений и видеодинамики, расширенное OCR и возможность выбора точности компонентов в зависимости от оборудования. Ограничения связаны с требованиями к памяти и вычислительным ресурсам, которые зависят от выбранной точности и конфигурации, а также с необходимостью использовать актуальную версию совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

Это зеркальная копия Gemma 4 E2B IT от Google DeepMind, подготовленная chibifire. Модель прошла обучение с учётом квантизации Q4_0 (QAT), а в репозитории хранятся полут точные веса в формате safetensors вместе с токенизатором, шаблоном диалога и конфигурациями обработки и генерации. Она основана на плотной архитектуре Gemma 4 и предназначена для локального вывода и дальнейшего преобразования весов. Модель принимает текстовые и мультимодальные запросы и формирует ответы в диалоговом режиме; базовая Gemma 4 E2B IT поддерживает анализ изображений и аудио наряду с текстом. Обучение QAT рассчитано на сохранение качества при последующем хранении весов в Q4_0, хотя данная копия содержит полут точные, а не квантизованные веса. Для загрузки README рекомендует Transformers. Лицензия репозитория — Apache 2.0.

Карточка модели Terom/gemma-4-E2B-it-qat-q4_0-unquantized на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Карточка модели ckcegg/gemma-4-E2B-it-qat-q4_0-unquantized-assistant на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Карточка модели OsGo/gemma-4-E2B-it-qat-q4_0-unquantized-assistant на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Карточка модели scottc2u/gemma-4-E4B-x на Hugging Face совпадает с карточкой google/gemma-4-E4B, поэтому описание составлено по ней. Gemma 4 E4B — мультимодальная плотная модель семейства Gemma, разработанная Google DeepMind и представленная в виде весов с лицензией Apache 2.0. Она принимает текст, изображения и аудио и генерирует текст; аудиовозможности включают распознавание речи и перевод речи в текст. Модель рассчитана на запуск на мобильных устройствах и ноутбуках, а также на диалоговые сценарии, рассуждения, программирование и работу с инструментами. Архитектура реализует гибридное внимание: чередует локальные окна внимания с глобальным вниманием. Для E4B заявлено контекстное окно до 128 тысяч токенов. Модель понимает изображения, в том числе документы, графики и интерфейсы, а также аудио; семейство Gemma 4 поддерживает более 140 языков при обучении и более 35 языков при использовании. Карточка описывает семейство в целом, поэтому отдельные языковые возможности E4B могут зависеть от задачи и конфигурации.

QuantFactory/granite-3.1-1b-a400m-instruct-GGUF — квантизированная версия Granite-3.1-1B-A400M-Instruct, созданная QuantFactory с использованием llama.cpp на основе модели IBM Granite. Это инструкционная языковая модель для генерации текста и построения AI-ассистентов в различных прикладных областях, включая бизнес-сценарии. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, Retrieval-Augmented Generation (RAG), задач, связанных с кодом, function calling, многоязычного диалога и обработки длинного контекста, включая анализ документов и совещаний. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Исходная модель использует decoder-only Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Она относится к sparse MoE-архитектуре с 1,3 млрд параметров, из которых активно используется около 400 млн; включает 24 слоя, 32 эксперта и выбирает 8 экспертов на токен. Максимальная длина последовательности — 128K токенов. Квантизация может снизить требования к памяти и упростить локальный запуск, однако README не указывает конкретные форматы квантизации, их точность и совместимость. Модель выпущена под лицензией Apache 2.0.

Карточка модели unsloth/granite-3.2-2b-instruct на Hugging Face совпадает с карточкой ibm-granite/granite-3.2-8b-instruct, поэтому описание составлено по ней. Granite-3.2-8B-Instruct — плотная языковая модель IBM Granite Team с 8,2 млрд параметров, дообученная на базе ibm-granite/granite-3.1-8b-instruct для выполнения инструкций и задач рассуждения. Модель поддерживает управляемый режим рассуждения, который можно включать по необходимости, и работает через библиотеку Transformers; доступны веса в формате safetensors. Модель предназначена для диалоговых помощников и общих прикладных сценариев: суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций. Контекст — до 131 072 токенов, что подходит для анализа длинных документов и стенограмм. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель распространяется по лицензии Apache 2.0. README указывает, что к ней применимы этические ограничения и ограничения Granite-3.1-8B-Instruct; конкретные ограничения в карточке не перечислены.