II.2Создание и понимание программного кода

OnlyTextLLMs выпустила текстовую версию Gemma 4 31B IT, полученную из google/gemma-4-31B-it удалением компонентов обработки изображений и аудио, а также связанных мультимодальных токенов. Текстовая часть модели и языковая голова сохранены; это плотная авторегрессионная модель Gemma4ForCausalLM с 27,4 млрд параметров по метаданным и весами bfloat16. Модель предназначена для диалогов и генерации текста. Она поддерживает контекст длиной до 262 144 токенов и работает через библиотеку Transformers. Обучение не проводилось: репозиторий содержит производную версию весов Google, из которой удалены мультимодальные компоненты. Модель распространяется по лицензии Apache 2.0. После удаления аудио- и визуальных компонентов она принимает текст и выдаёт текст; возможности исходной мультимодальной модели для анализа изображений и аудио здесь недоступны.

LLaMa-3.1-Instruct-13B — языковая модель, созданная сообществом mergekit-community с помощью mergekit из unsloth/Meta-Llama-3.1-8B-Instruct. Применён метод passthrough: в итоговую модель включены указанные диапазоны слоёв исходной модели. Это плотная архитектура Llama для генерации текста и диалогов; размер составляет 12,5 млрд параметров, нативный контекст — до 131 072 токенов. Модель подходит для ответов на вопросы, диалоговых сценариев и генерации текста; метаданные также указывают интерфейс вызова инструментов. В репозитории используются веса safetensors, библиотека — Transformers. В карточке указана лицензия исходной модели Llama 3.1: используйте модель в соответствии с её условиями.

Meta разработала Llama 3.2 3B Instruct — мультиязычную авторегрессионную языковую модель на архитектуре Transformer для генерации текста. Версия Instruct дообучена с помощью контролируемой настройки и обучения с подкреплением на основе обратной связи от людей; модель оптимизирована для диалогов с ассистентом и задач, связанных с агентными приложениями. Модель подходит для ответов в чате, поиска сведений и суммаризации, а также для мобильных помощников по написанию текста и переформулированию запросов. Она принимает текст и генерирует текст, в том числе код. В карточке семейства указан контекст до 128 тысяч токенов, а среди официально поддерживаемых языков перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель использует Grouped-Query Attention и рассчитана в том числе на запуск в средах с ограниченными ресурсами. По сравнению с более крупными моделями у компактных вариантов могут отличаться баланс безопасности и полезности; разработчикам следует проверять поведение модели в своём сценарии. Использование регулируется пользовательской коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

Meta-Llama-3.1-70B-Instruct-iMat-GGUF — это квантизированная версия инструкционной языковой модели Meta-Llama-3.1-70B-Instruct, разработанной Meta. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. Доступна в формате GGUF для использования с совместимыми инструментами, в частности с актуальными версиями llama.cpp. Модель содержит около 70 миллиардов параметров и работает с текстовыми данными. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Представлены варианты квантизации от Q8_0 до IQ1_S, включая экспериментальные варианты; при квантизации использовалась importance matrix (imatrix), призванная уменьшить потери качества. Длина контекста в README не указана. Сильной стороной модели является сочетание крупного размера, инструкционного обучения и широкого набора вариантов квантизации, позволяющих выбирать компромисс между качеством, скоростью и требованиями к памяти. Ограничения связаны с тем, что качество и ресурсоёмкость зависят от выбранного варианта квантизации, а для работы требуется современная сборка совместимого программного обеспечения. Модель распространяется по лицензии llama3.1.

MaziyarPanahi/Mistral-7B-Instruct-v0.3 — версия Mistral-7B-Instruct-v0.3, размещённая Maziyar Panahi. Это плотная языковая модель Mistral на 7,1 млрд параметров, дообученная следовать инструкциям на основе Mistral-7B-v0.3. Она предназначена для диалогов и генерации ответов на текстовые запросы, включая сценарии с вызовом функций. Модель поддерживает контекст до 32 768 токенов и использует формат safetensors. Модель подходит для чат-ботов, ответов на вопросы, следования инструкциям и генерации текста. В README указаны расширенный словарь токенизатора и поддержка function calling. Карточка предупреждает, что у модели нет механизмов модерации, поэтому её ответы могут не соответствовать требованиям к ограничению контента. Лицензия — Apache-2.0.

mistral-community/mixtral-8x22B-v0.3 — текстовая генеративная модель семейства Mixtral, опубликованная сообществом mistral-community. Архитектура — MixtralForCausalLM с механизмом смеси экспертов (MoE); модель предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Контекстное окно составляет до 65 536 токенов. Эта версия соответствует v0.1, но использует токенизатор большего размера. В репозитории представлены веса Safetensors; лицензия — Apache-2.0. Карточка предупреждает, что чекпойнт может быть неактуальным, и рекомендует использовать соответствующую версию у организации-разработчика.

Qwen3-VL-8B-Thinking — мультимодальная vision-language модель из серии Qwen, разработанная командой Qwen и представленная в GGUF-репозитории Unsloth. Это Thinking-версия с усиленным рассуждением, предназначенная для анализа изображений и видео вместе с текстом, генерации ответов, STEM- и математического анализа, распознавания документов и OCR, пространственного рассуждения, а также взаимодействия с графическими интерфейсами и инструментами. Модель также может генерировать Draw.io, HTML, CSS и JavaScript по изображениям или видео. Модель имеет плотную архитектуру и размер 8B параметров; конкретные характеристики GGUF-квантизации в README не указаны. Поддерживаются текст, изображения и видео, а заявленный нативный контекст составляет 256K токенов с возможностью расширения до 1M. Для видео предусмотрено понимание временной динамики и событий с привязкой к временным меткам. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. Сильные стороны модели — объединённое текстово-визуальное понимание, визуальное и пространственное рассуждение, обработка длинных документов и продолжительных видео, распознавание текста в сложных условиях, включая низкую освещённость, размытие и наклон. Ограничения связаны с вычислительными и мультимодальными ресурсами, необходимыми для работы с длинным контекстом, изображениями и видео; точные требования к памяти и производительности не указаны. Модель распространяется по лицензии Apache-2.0.

Qwythos-9B-v2-GGUF — набор GGUF-квантизаций модели Qwythos-9B-v2, разработанной Empero AI, предназначенный для запуска через llama.cpp, Ollama, LM Studio, jan, KoboldCpp и другие совместимые среды. Модель ориентирована на рассуждения, генерацию текста, вызов функций и мультимодальные сценарии с анализом изображений. Это 9-миллиардная гибридная модель с сочетанием блоков Gated-DeltaNet линейного внимания и полноформатного внимания в соотношении 3:1. Доступны варианты от Q4_K_M до BF16, включая версии с восстановленной MTP-головой для speculative decoding. Заявлены английский язык, контекст до 1 млн токенов с YaRN и поддержка изображений через отдельный vision projector, совместимый с Qwen3.5-9B. Версия v2 устраняет зацикливание при жадном и низкотемпературном декодировании, сохраняя показатели знаний и рассуждений на уровне базовой модели или выше; модель при этом намеренно uncensored. Для работы с изображениями требуется файл mmproj, а для MTP-ускорения — свежая сборка llama.cpp с поддержкой draft-mtp. Q4_K_M рекомендуется как начальный вариант благодаря балансу размера и качества, однако квантизация может снижать точность по сравнению с BF16. Модель распространяется по лицензии Apache-2.0.

sail-ing-north/DeepSeek-V3-rescaled — это версия языковой модели DeepSeek-V3, размещённая в формате safetensors FP8 и предназначенная для генерации текста и диалогового общения. В карточке указаны архитектура DeepSeek-V3 и 37,6 млрд параметров; исходная модель описана как Mixture-of-Experts с 671 млрд общих и примерно 37 млрд активных параметров на токен, использующая Multi-head Latent Attention и DeepSeekMoE. Метаданные указывают длину контекста 163 840 токенов. Модель подходит для диалогов, генерации и продолжения текста, ответов на вопросы, а также вызова инструментов через соответствующий интерфейс. В README описаны предобучение на 14,8 трлн токенов, последующая настройка с учителем и обучение с подкреплением, а также перенос навыков рассуждения из DeepSeek-R1. Эти сведения относятся к DeepSeek-V3 в целом; карточка не уточняет, как именно была получена версия rescaled. Репозиторий содержит веса FP8, что может снизить требования к памяти при выводе, однако запуск требует подходящей инфраструктуры для крупной модели. README перечисляет способы развертывания через SGLang, LMDeploy, TensorRT-LLM и vLLM. Лицензия в предоставленных данных не указана.

Qwen3.5-27B-NVFP4 — квантованная версия модели Qwen/Qwen3.5-27B, опубликованная apolo13x. Это мультимодальная модель типа image-text-to-text: принимает текст и изображения, а генерирует текстовые ответы. Она предназначена для диалоговых сценариев, анализа изображений и решения общих задач обработки текста и мультимодального понимания. Весы и активации модели преобразованы в формат FP4 с использованием llm-compressor и 512 калибровочных образцов из набора neuralmagic/calibration. Квантование уменьшает размер модели с 51,8 до 18,4 ГБ, примерно в 2,8 раза, при заявленном среднем восстановлении точности 99,1% относительно исходной Qwen3.5-27B. Модель поддерживает режим рассуждений и предназначена для запуска, в частности, через nightly-версии vLLM. По результатам оценки в режиме zero-shot с включённым рассуждением модель получила 79,29% на GPQA Diamond, 93,88% на IFEval и 94,32% на MMLU-Redux; средний результат составил 89,16% против 89,76% у исходной модели. Сильными сторонами являются существенное снижение требований к дисковому пространству и сохранение близкой к исходной точности. Ограничения включают возможные потери качества из-за квантования и зависимость поддержки от актуальных сборок vLLM. Модель распространяется по лицензии Apache-2.0.

Blackfrost-AI/Qwen3.8-27B-ABLITERATED-GGUF — локальная GGUF-версия модифицированной модели Qwen3.8-27B, разработанная Blackfrost. Это плотная гибридная vision-language модель для запуска через llama.cpp, предназначенная для диалогов, рассуждений, обработки текста, изображений и видео, а также сценариев с tool-calling. Модель генерирует текст и ориентирована на локальное развертывание; релиз обозначен как экспериментальный и требует проверки поведения в конкретных рабочих нагрузках. Архитектура включает 64 текстовых слоя с сочетанием Gated DeltaNet и full attention, а также vision tower из 27 слоёв. Поддерживаются текстовые, графические и видео-входы, контекст до 262 144 токенов, девять стандартных квантованных вариантов от Q2_K до Q8_0 и встроенная MTP speculative head. Для ускорения доступен отдельный BF16 DFlash2 sidecar, совместимый с экспериментальной версией llama.cpp. В качестве сбалансированного варианта рекомендуется Q4_K_M размером 16,8 ГБ; фактические требования зависят от доступной RAM/VRAM и параллелизма. Это abliterated-сборка: поведение отказов было изменено на уровне весов, без fine-tuning, merge, LoRA или pruning. В заявленном внутреннем тесте R1-HARMFUL-BENCH-450 зафиксировано 11 остаточных отказов из 450 случаев, однако результат получен на производном варианте W4A4 NVFP4 и не является полноценным тестом всех GGUF-квантов в финальной конфигурации. Ограничениями являются экспериментальный статус, возможные компромиссы качества при низких уровнях квантования и зависимость длинного контекста от ресурсов системы. Базовая модель и указанный DFlash2-компонент распространяются по лицензии Apache-2.0.

Qwen3-Reranker-8B — текстовая модель для переранжирования, разработанная командой Qwen. Она оценивает релевантность пар «запрос — документ» и помогает упорядочить найденные кандидаты так, чтобы наиболее подходящие фрагменты оказались выше. Модель предназначена для поиска по текстам и коду, включая многоязычный и межъязыковой поиск, например как этап извлечения контекста в RAG-системах. Модель основана на плотной авторегрессионной архитектуре Qwen3 и дообучена на базе Qwen/Qwen3-8B-Base. В ней около 7,6 млрд параметров; метаданные указывают контекст до 40 960 токенов, а README — 32 тыс. токенов. Заявлена поддержка более 100 языков. Модель поддерживает инструкции, настраиваемые под задачу; в README отмечено, что их применение может улучшать результаты поиска. Для получения оценки релевантности модель принимает текстовую пару и выдаёт оценку, пригодную для ранжирования. В README указано, что по умолчанию это разность логитов; при необходимости её можно преобразовать в вероятность. Для работы с моделью заявлена библиотека Transformers, также описано использование Sentence Transformers. Лицензия — Apache-2.0.

Qwen3-VL-2B-Instruct-GGUF — это мультимодальная модель семейства Qwen, разработанная командой Qwen. Репозиторий содержит веса модели Qwen3-VL-2B-Instruct в формате GGUF: языковой компонент доступен в вариантах FP16, Q8_0 и Q4_K_M, а vision encoder — в FP16 и Q8_0. Модель предназначена для запуска через llama.cpp, Ollama и другие инструменты, совместимые с GGUF, на CPU, NVIDIA GPU, Apple Silicon и Intel GPU. Модель работает с текстом и изображениями, а семейство Qwen3-VL также ориентировано на понимание видео. Она предназначена для визуального вопросно-ответного взаимодействия, распознавания и анализа изображений, OCR, пространственного рассуждения, мультимодального reasoning, генерации кода и сценариев visual agent, включая взаимодействие с графическими интерфейсами и инструментами. Заявлены контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона, поддержка OCR на 32 языках, улучшенное понимание пространственных отношений, видео и документов. К ключевым архитектурным особенностям относятся Interleaved-MRoPE для временных и пространственных представлений, DeepStack для объединения признаков разных уровней vision encoder и выравнивание текста с временными метками для анализа видео. Сильными сторонами являются сочетание компактного размера, мультимодальности, вариантов квантования и возможности локального запуска, однако README не содержит подробных численных результатов бенчмарков, полного перечня языков, точных требований к памяти и детального описания ограничений качества. Распространение модели выполняется по лицензии Apache-2.0.

nakedlittlezombie/Qwen3-VL-8B-Thinking-heretic — мультимодальная модель класса image-text-to-text из семейства Qwen3-VL, разработанная командой Qwen; данный репозиторий содержит веса версии Qwen3-VL-8B-Thinking. В README не приведено отдельное описание изменений варианта «heretic» относительно базовой модели. Модель предназначена для совместного понимания и генерации текста по изображениям и видео, визуального восприятия и рассуждений, OCR, анализа документов, STEM- и математических задач, пространственного анализа, генерации Draw.io/HTML/CSS/JS по визуальным материалам, а также взаимодействия с графическими интерфейсами и инструментами. Она может использоваться в сценариях визуальных агентов, анализа длительных видео и многошагового мультимодального вывода. Указан размер 8B параметров и Thinking-режим с усиленным рассуждением; архитектура заявлена как dense, а модель поддерживает текстовые, графические и видеовходы. Среди архитектурных особенностей названы Interleaved-MRoPE для временных и пространственных измерений, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками. Контекст составляет 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный перечень языков не указан. Сильными сторонами являются визуальное и пространственное рассуждение, обработка длинного контекста, видео и документов, а также агентные сценарии. Ограничения и точные показатели производительности в текстовом виде не приведены. Модель распространяется по лицензии Apache-2.0.

EXAONE-4.0.1-32B — плотная языковая модель LG AI Research на 31,5 млрд параметров, дообученная на базе EXAONE-4.0-32B. Версия 4.0.1 содержит исправление, призванное уменьшить число непреднамеренных или неподходящих ответов. Модель поддерживает диалог на английском, корейском и испанском языках и предлагает режимы обычной генерации и рассуждений, а также вызов инструментов. Модель предназначена для диалоговых приложений, решения сложных задач с рассуждением и агентных сценариев с инструментами. Архитектура включает 64 слоя, GQA с 40 головами внимания и 8 KV-головами, а также гибридное внимание; контекст — до 131 072 токенов. Для работы через Transformers требуется версия 4.54.0 или новее. Модель может генерировать неподходящий или предвзятый контент, фактически или логически ошибочные ответы и не гарантирует актуальность сведений. В README указана лицензия «other», а не конкретные условия; перед использованием следует свериться с условиями репозитория.

Карточка модели OpenSite/forge на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-8B, поэтому описание составлено по ней. Qwen3-Embedding-8B — текстовая модель эмбеддингов семейства Qwen3, разработанная командой Qwen. Это плотная архитектура Qwen3ForCausalLM с 7,6 млрд параметров, дообученная на базе Qwen/Qwen3-8B-Base для получения векторных представлений текста. Модель предназначена для семантического поиска и ранжирования, а также поддерживает классификацию, кластеризацию, поиск по коду и межъязыковой поиск. Модель поддерживает более 100 естественных и программных языков, обрабатывает длинные последовательности с контекстом до 40 960 токенов по метаданным и выдаёт эмбеддинги размерностью до 4096; README также сообщает о настройке выходной размерности от 32 до 4096. Можно задавать инструкции для конкретной задачи, языка или сценария. Модель рассчитана на получение векторов из текста; метаданные также отмечают возможности чата и интерфейс вызова инструментов, но основной сценарий этой версии — эмбеддинги. По данным карточки, версия 8B заняла первое место в мультиязычном рейтинге MTEB на 5 июня 2025 года с результатом 70,58. Для некоторых задач retrieval README отмечает снижение качества примерно на 1–5% без подходящей инструкции. Для работы с поддержкой Qwen3 требуется Transformers 4.51.0 или новее. Лицензия — Apache-2.0.

OnlyTextLLMs выпустила текстовую версию инструкционной модели Google Gemma 4 12B IT: из исходной модели удалены блоки обработки изображений и аудио и мультимодальные специальные токены, а текстовая часть и LM-голова сохранены. Это плотная причинная языковая модель Gemma4UnifiedForCausalLM с 11,6 млрд параметров и контекстом до 262 144 токенов; репозиторий содержит веса Safetensors в формате bfloat16. Модель предназначена для диалогов и генерации текста на основе текстовых запросов. По заявлению авторов, дообучение не проводилось, новые обучающие данные и возможности не добавлялись. Модель распространяется по лицензии Apache-2.0.

Hermes-3-Llama-3.1-70B-GGUF — это квантизированная в формате GGUF версия языковой модели Hermes-3-Llama-3.1-70B, разработанной NousResearch. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи ассистирования, ролевого общения, работу с синтетическими данными и дистилляцией, вызов функций и формирование структурированных ответов в JSON. Модель основана на Llama 3.1 с 70 млрд параметров и ориентирована на англоязычные сценарии. Она поддерживает инструкционный формат общения ChatML, режим JSON и function calling; в README приведён специальный шаблон промпта с системными, пользовательскими и ассистентскими сообщениями. Доступно множество вариантов квантизации с разным соотношением качества, размера и требований к памяти: от Q8_0 размером около 75 ГБ до крайне компактных IQ1_M и IQ2-вариантов. Рекомендуемыми названы, в частности, Q6_K, Q5_K_M и варианты Q4. Сильной стороной модели является высокое качество старших вариантов квантизации и поддержка расширенных сценариев инструкционного использования, включая структурированный вывод и вызов функций. Ограничения связаны с большим размером 70-миллиардной модели, значительными требованиями к оперативной или видеопамяти и неизбежной потерей качества у низкобитных вариантов. Сведения о длине контекста и мультимодальных возможностях в README не указаны. Лицензия обозначена как llama3.

ggml-org/Meta-Llama-3.1-8B-Instruct-Q4_0-GGUF — это квантизированная в формате GGUF версия инструкционно дообученной текстовой модели Meta Llama 3.1 8B Instruct, подготовленная для использования с инструментами экосистемы llama.cpp. Разработчик исходной модели — Meta. Модель предназначена для генерации текста, диалоговых сценариев, ответов на инструкции и других задач обработки естественного языка. В карточке указаны поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер исходной модели составляет 8 миллиардов параметров, а суффикс Q4_0 указывает на 4-битную квантизацию, которая снижает требования к памяти и может упростить локальный запуск, но потенциально уменьшает точность по сравнению с полноразмерными весами. Модальность модели — текстовая; сведения о размере контекста и архитектурных деталях в карточке не указаны. Модель распространяется по Llama 3.1 Community License. При распространении материалов или продуктов на их основе необходимо соблюдать условия лицензии Meta, включая предоставление текста соглашения, указание «Built with Llama», сохранение обязательного уведомления об авторских правах и соблюдение Acceptable Use Policy. Для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено требование запросить отдельную лицензию у Meta.

Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

MS-Inky-2409-22B — объединённая модель Kaoeiri, созданная с помощью LazyMergekit на основе unsloth/Mistral-Small-Instruct-2409+estrogen/MS-22b-RP-Ink-adpt. Это плотная авторегрессионная языковая модель семейства Mistral с архитектурой MistralForCausalLM и 22 млрд параметров; она предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Заявленная длина контекста — 131072 токена. Модель распространяется в формате safetensors. В README указан метод объединения task_arithmetic, тип данных bfloat16 и объединённый источник токенизатора. Лицензия в предоставленных данных не указана.

Карточка модели Salahuddin1234/OmniDoctor-Reranker-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-Reranker-8B, поэтому описание составлено по ней. Qwen3-Reranker-8B — текстовая модель для переранжирования, разработанная командой Qwen. Она оценивает релевантность пар «запрос — документ» и помогает упорядочить найденные кандидаты так, чтобы наиболее подходящие фрагменты оказались выше. Модель предназначена для поиска по текстам и коду, включая многоязычный и межъязыковой поиск, например как этап извлечения контекста в RAG-системах. Модель основана на плотной авторегрессионной архитектуре Qwen3 и дообучена на базе Qwen/Qwen3-8B-Base. В ней около 7,6 млрд параметров; метаданные указывают контекст до 40 960 токенов, а README — 32 тыс. токенов. Заявлена поддержка более 100 языков. Модель поддерживает инструкции, настраиваемые под задачу; в README отмечено, что их применение может улучшать результаты поиска. Для получения оценки релевантности модель принимает текстовую пару и выдаёт оценку, пригодную для ранжирования. В README указано, что по умолчанию это разность логитов; при необходимости её можно преобразовать в вероятность. Для работы с моделью заявлена библиотека Transformers, также описано использование Sentence Transformers. Лицензия — Apache-2.0.

RedHatAI/Qwen3.5-4B-quantized.w8a8 — мультимодальная модель, разработанная RedHatAI на основе Qwen/Qwen3.5-4B. Она принимает текст и изображения, а генерирует текст; предназначена для диалоговых приложений, анализа изображений, ответов на вопросы, следования инструкциям и задач, требующих рассуждений. Модель оптимизирована для инференса через vLLM. В модели применена квантизация весов и активаций линейных операторов в трансформерных блоках до INT8 по схеме W8A8. Визуальный энкодер, токеновые эмбеддинги и слои linear attention сохранены в BF16. Размер модели на диске составляет около 6,1 ГБ против 8,8 ГБ у версии BF16, что уменьшает требования к памяти примерно на 31%. Для мультимодального и текстового режимов заявлена поддержка контекста до 262 144 токенов при запуске через vLLM. К сильным сторонам относятся значительное сокращение размера и требований к памяти при близких к исходной модели результатах на представленных тестах, а также поддержка текстовых и визуальных входов. Ограничения связаны с частичной, а не полной квантизацией и необходимостью совместимой инфраструктуры vLLM; конкретные поддерживаемые языки в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9b-Opus-Openclaw-Distilled-i1-GGUF — это квантизированная в формате GGUF версия модели Qwen3.5-9b-Opus-Openclaw-Distilled. Исходную модель разработал ykarout, а квантизацию выполнил mradermacher. Модель основана на Qwen3.5 и имеет размер около 9 млрд параметров. Модель предназначена для генерации текста, диалоговых сценариев, reasoning-задач, агентских приложений и использования инструментов. В метаданных заявлены поддержка vision, conversational- и agentic-сценариев, а также интеграция с Transformers и text-generation-inference. Указаны языки: английский, арабский, испанский, латынь, турецкий, немецкий, чешский и китайский. Контекстное окно и точная архитектура в README не указаны. Основное преимущество — наличие набора GGUF-квантизаций разных размеров, включая imatrix-вариант, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. При этом низкобитные варианты могут заметно снижать качество; README отдельно характеризует некоторые из них как предназначенные для крайних случаев или имеющие низкое качество. Для обработки изображений могут потребоваться дополнительные mmproj-файлы из связанного репозитория. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-2B-Instruct-FP8 — это FP8-квантизированная версия мультимодальной модели Qwen3-VL-2B-Instruct, разработанной командой Qwen. Квантование выполнено методом fine-grained FP8 с размером блока 128; согласно README, показатели почти идентичны исходной версии в формате BF16. Модель предназначена для задач image-text-to-text и обработки текста, изображений и видео. Модель ориентирована на визуальное понимание и рассуждение, распознавание текста на изображениях, анализ документов, пространственное восприятие, понимание видеосцен и временных событий, а также взаимодействие с графическими интерфейсами и инструментами. Она может применяться для визуального программирования, генерации Draw.io/HTML/CSS/JS по изображениям и видео, STEM- и математических задач, OCR и агентских сценариев. Заявлена поддержка OCR на 32 языках, однако полный перечень языков в README не приведён. Архитектура относится к семейству Qwen3-VL и включает механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Указан нативный контекст 256K с возможностью расширения до 1M, но эти характеристики описаны для поколения Qwen3-VL в целом и не уточнены отдельно для данной 2B-версии. Размер модели — 2B параметров по идентификатору базовой модели. README рекомендует развёртывание через vLLM или SGLang и отмечает, что Transformers пока не поддерживает прямую загрузку этих весов. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-VL-4B-Instruct-bnb-4bit — это 4-битно квантованная версия мультимодальной инструкционной модели Qwen3-VL-4B-Instruct, подготовленная Unsloth на базе модели Qwen Team. Модель предназначена для задач, в которых требуется совместная обработка текста и изображений, включая визуальные вопросы и ответы, описание изображений, OCR, анализ документов, визуальное рассуждение, работу с видео и взаимодействие с графическими интерфейсами. Модель имеет плотную архитектуру и около 4 миллиардов параметров; поддерживает текстово-визуальный ввод и вывод текста. Для семейства Qwen3-VL заявлены нативный контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона, анализ продолжительных видео, распознавание текста на 32 языках, улучшенное пространственное рассуждение, временная привязка событий в видео и генерация кода HTML/CSS/JS или схем Draw.io по визуальным материалам. В README также указаны механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками, однако конкретные языки интерфейса и точные параметры именно этой квантованной сборки не уточняются. К сильным сторонам относятся сочетание визуального восприятия и текстового понимания, работа с документами и видео, распознавание текста в сложных условиях, а также возможность применения в агентских сценариях и на устройствах с ограниченными ресурсами благодаря 4-битной квантизации. Ограничения включают возможное снижение точности по сравнению с полноформатной моделью и неуточнённые требования к аппаратному обеспечению и совместимости. Лицензия — Apache-2.0.

NVIDIA DeepSeek-V3-0324-NVFP4 — квантизованная FP4-версия авторегрессионной языковой модели DeepSeek V3-0324, подготовленная NVIDIA с помощью TensorRT Model Optimizer. Это сторонняя сборка по требованиям NVIDIA, а исходную модель разработала DeepSeek AI. Модель принимает текст и генерирует текст; поддерживает диалог и интерфейс вызова инструментов. В метаданных указан размер 37,6 млрд параметров и контекст до 163 840 токенов. Модель предназначена для развёртывания в системах AI-агентов, чат-ботах, RAG и других приложениях на базе генеративного ИИ. Квантизация весов и активаций линейных операторов до FP4 сокращает требования к диску и памяти GPU примерно в 1,6 раза. Для указанного в README сценария развёртывания нужны TensorRT-LLM и восемь GPU NVIDIA B200; заявлена совместимость с Linux. README сообщает о готовности к коммерческому и некоммерческому использованию, а метаданные указывают лицензию MIT.

Это GGUF-квантизации модели gemma-3-27b-it-ultra-uncensored-heretic, созданной независимым разработчиком LLMfan46 на основе Google Gemma 3 27B Instruct от Google DeepMind. Модель модифицирована с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA), чтобы уменьшить склонность исходной модели к отказам и ограничениям при сохранении её исходных возможностей. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и анализа изображений. Это мультимодальная модель с текстовым и графическим вводом и текстовым выводом; заявлена поддержка более 140 языков. Контекстное окно составляет 128K токенов, максимальный объём вывода — 8192 токена. Для работы с изображениями требуется отдельный vision projector, совместимый с выбранной квантизацией. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S, что позволяет выбирать между качеством, размером и требованиями к памяти. По данным README, модифицированная версия показала 5 отказов из 100 против 98 из 100 у исходной модели, а KL divergence составила 0,0616; это указывает на значительно меньшее число отказов при относительно близком поведении к оригиналу. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами, поддерживающими GGUF. Используется лицензия Gemma; применяются условия использования Google.

duyntnet/granite-3.0-2b-instruct-imatrix-GGUF — GGUF-квантизации модели Granite-3.0-2B-Instruct, разработанной командой Granite компании IBM. Модель дообучена на базе Granite-3.0-2B-Base с использованием открытых наборов данных для обучения инструкциям, синтетических данных, supervised fine-tuning, обучения с подкреплением для выравнивания и объединения моделей. Она содержит около 2 миллиардов параметров и предназначена для генерации текста по инструкциям. Модель подходит для создания ассистентов и бизнес-приложений, суммаризации, классификации и извлечения текста, ответов на вопросы, Retrieval Augmented Generation (RAG), задач, связанных с кодом, function calling и многоязычного диалога. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые интерфейсы, включая KoboldCPP, Ollama, text-generation-webui, GPT4All и Jan. К сильным сторонам относятся компактный размер, широкий набор прикладных сценариев, структурированный чат-формат и поддержка 12 языков. README не содержит сведений о длине контекста, конкретных вариантах квантизации, требованиях к оборудованию или результатах бенчмарков, поэтому производительность и ограничения в этих аспектах оценить нельзя. Для исходной модели указана лицензия Apache 2.0; для данного репозитория в метаданных отмечена лицензия other, без дополнительных пояснений.

Это текстовая конверсия Mistral Small 3.1 Instruct 24B в формат Hugging Face Transformers, опубликованная пользователем mrfakename. Репозиторий содержит только текстовую часть исходной модели и не поддерживает обработку изображений. Модель предназначена для диалогов и генерации текста по инструкциям. Она использует плотную архитектуру MistralForCausalLM, содержит 23,4 млрд параметров и имеет контекст длиной 32 768 токенов. Для хранения весов используется safetensors; модель доступна по лицензии Apache-2.0. Возможности и ограничения конверсии зависят от текстовой части исходной Mistral Small 3.1 Instruct 24B: этот репозиторий не подходит для задач с изображениями. README не приводит отдельной информации о поддерживаемых языках.