II.2Создание и понимание программного кода

unsloth/Phi-3.5-mini-instruct — инструктивная языковая модель, представленная Unsloth как вариант Microsoft Phi-3.5-mini-instruct. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и 3,7 млрд параметров; репозиторий содержит веса Safetensors и поддерживает Transformers. Модель рассчитана на диалоги, генерацию текста и использование в приложениях с ограничениями по памяти или задержке. Модель подходит для ответов на вопросы, многоязычных диалогов, суммаризации длинных документов, извлечения сведений из текста, а также задач на код, математику и логику. В карточке базовой модели заявлена поддержка контекста до 128 тысяч токенов, однако метаданные этого репозитория указывают нативный контекст 4096 токенов, поэтому для данного варианта следует ориентироваться на значение из метаданных. README описывает семейство как многоязычное, но не перечисляет конкретные языки. Модель дообучена на основе microsoft/Phi-3.5-mini-instruct; README отмечает улучшения многоязычных диалогов, следования инструкциям и рассуждений, но предупреждает о возможных ошибках и уязвимости к многошаговым обходам защит. Лицензия репозитория — MIT; перед применением в критичных сценариях необходимо оценить точность и безопасность ответов.

Qwen2.5-3B-Instruct-GPTQ-Int4 — инструкционно дообученная каузальная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, работы со структурированными данными и вывода в формате JSON, а также для задач программирования и математики. Она поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Модель содержит 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, и включает 36 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в Attention QKV и связанные эмбеддинги слов; применяется GQA с 16 головами Q и 2 головами KV. Контекст составляет до 32 768 токенов, максимальная длина генерации — 8192 токена. Модель квантизована методом GPTQ до 4 бит, что может снизить требования к памяти по сравнению с исходной версией, однако конкретные показатели производительности и потери качества зависят от оборудования и сценария. К сильным сторонам относятся улучшенное следование инструкциям, генерация длинных текстов, понимание таблиц и других структурированных данных, создание структурированного вывода, а также поддержка широкого набора языков. Ограничения включают меньший размер по сравнению с крупными моделями семейства и возможное влияние 4-битной квантизации на качество. Для работы рекомендуется использовать актуальную версию библиотеки Transformers. Модель распространяется по лицензии qwen-research; точные условия определяются текстом лицензии в репозитории.

unsloth/Qwen3-VL-8B-Thinking-unsloth-bnb-4bit — это 4-битная версия мультимодальной vision-language модели Qwen3-VL-8B-Thinking, подготовленная Unsloth на основе модели Qwen/Qwen3-VL-8B-Thinking. Разработчик базовой модели — команда Qwen; Unsloth предоставляет оптимизированное квантование Unsloth Dynamic 2.0. Модель предназначена для понимания и генерации текста с учётом изображений и видео, визуального рассуждения, анализа документов, OCR, STEM- и математических задач, пространственного анализа, а также взаимодействия с графическими интерфейсами и инструментами. Она может использоваться для генерации HTML/CSS/JS и Draw.io по изображениям или видео, распознавания объектов и событий, анализа длинных документов и видео. Архитектура модели — dense, размер — 8B параметров; используется редакция Thinking с усиленным рассуждением. Заявлена поддержка контекста 256K токенов с возможностью расширения до 1M, а также видео с временной индексацией. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. OCR поддерживает 32 языка. Квантование в 4 бита снижает требования к памяти, но может влиять на точность по сравнению с полноразмерными весами. Лицензия — Apache-2.0.

ChatGLM3-6B-128K 是由 Z.ai（智谱 AI）推出的 ChatGLM3 系列长文本对话模型，基于 ChatGLM3-6B 并针对长上下文更新了位置编码和训练方法。Модель поддерживает контекст до 131072 токенов и предназначена для многоходового диалога, анализа длинных документов и сценариев с вызовом инструментов, выполнением кода и агентскими задачами. Архитектура — плотная ChatGLM, размер — 7,5 млрд параметров; модель работает с текстом и поддерживает китайский и английский языки. Для контекстов до 8K авторы рекомендуют ChatGLM3-6B, а эту версию — для более длинных входов. Веса доступны для академических исследований; бесплатное коммерческое использование разрешено после регистрации через анкету.

QuantFactory/granite-3.1-2b-instruct-GGUF — это квантизированная версия Granite-3.1-2B-Instruct, созданная QuantFactory с использованием llama.cpp на базе модели IBM Granite. Исходную модель разработала команда Granite компании IBM; она выпущена 18 декабря 2024 года и предназначена для выполнения общих инструкций и создания AI-ассистентов в различных прикладных областях. Модель поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), задачи работы с кодом, function calling, многоязычный диалог и обработку длинного контекста, включая анализ документов и протоколов встреч. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Архитектура представляет собой плотный decoder-only Transformer примерно на 2,5 млрд параметров с 40 слоями, размером эмбеддингов 2048, Grouped Query Attention (GQA), позиционными представлениями RoPE, активацией SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Максимальная длина контекста составляет 128K токенов. Квантизация может снизить требования к ресурсам, однако конкретные характеристики зависят от выбранного GGUF-варианта. Модель ориентирована на универсальные текстовые и кодовые задачи, но README не приводит отдельные результаты бенчмарков или подробности ограничений квантизированных вариантов. Модель распространяется по лицензии Apache 2.0. Пользователям следует учитывать, что качество может различаться между поддерживаемыми языками, задачами и уровнями квантизации.

BCCard/Qwen3-30B-A3B-FP8-Dynamic — текстовая языковая модель, разработанная BC Card на основе Qwen/Qwen3-30B-A3B. Она предназначена для генерации текста, рассуждений, function calling, многоязычного следования инструкциям, перевода и создания предметно-ориентированных решений посредством дообучения. Модель принимает текст на вход и генерирует текст на выходе; поддержка других модальностей не указана. Архитектура модели — Qwen3MoeForCausalLM. Веса и активации линейных операторов в блоках Transformer квантизированы в FP8: для весов используется симметричная статическая поканальная схема, для активаций — симметричная динамическая потокеновая схема. Квантизация примерно вдвое снижает требования к GPU-памяти и размер модели на диске, а также может примерно вдвое увеличить пропускную способность матричных умножений. По данным оценки OpenLLM v1, средний результат составляет 67,56 против 67,62 у исходной модели, что указывает на почти полное сохранение качества. Для эффективного развёртывания рекомендуется использовать vLLM, включая OpenAI-совместимый режим сервинга. Точный размер контекста и перечень поддерживаемых языков в README не указаны. Модель выпущена 5 мая 2025 года, версия 1.0. Лицензия — Apache-2.0; использование не должно нарушать применимое законодательство и торговые ограничения.

Qwen3.5-2B-MTP-GGUF — набор GGUF-файлов, подготовленный prithivMLmods на основе Qwen3.5-2B от команды Qwen компании Alibaba. Это компактная плотная мультимодальная модель примерно на 2 млрд параметров с поддержкой текста, изображений и видео. Модель ориентирована на локальный запуск на потребительском оборудовании и доступна в вариантах от Q2_K до BF16, а также с отдельными мультимодальными проекторами mmproj. Архитектура включает 24 слоя с гибридным сочетанием Gated DeltaNet и Gated Attention, скрытым размером 2048, 8 Q-heads и 2 KV-heads с размерностью головы 256. Заявлены словарь на 248 тысяч токенов, поддержка 201 языка и нативное контекстное окно 262 тысячи токенов с возможностью расширения свыше 1 млн токенов через YaRN. Формат MTP добавляет несколько выходных голов для предсказания будущих токенов и может ускорять спекулятивное декодирование без отдельной draft-модели. Модель предназначена для мультиязычных чат-ботов, визуальных вопросов и ответов, OCR, разбора документов, агентских сценариев, вызова инструментов и генерации кода для интерфейсов. Среди заявленных характеристик — режим пошагового рассуждения, поддержка vLLM, Ollama и llama.cpp, а также показатели 78,6% на IFEval, 66,5% на MMLU-Pro с включённым режимом рассуждения, 84,5% на OCRBench и 75,6% на VideoMME. Преимуществами являются малый размер, мультимодальность и широкий контекст; итоговое качество, скорость и требования к памяти зависят от выбранного типа квантизации, а для работы с изображениями и видео требуются соответствующие файлы mmproj. Распространяется по лицензии Apache 2.0.

Qwen3-VL-4B-Thinking-GGUF — это мультимодальная vision-language модель из серии Qwen, разработанная командой Qwen. Репозиторий содержит веса базовой модели Qwen3-VL-4B-Thinking в формате GGUF, разделённые на языковую модель и vision encoder. Модель предназначена для понимания и генерации текста по текстовым и визуальным данным, включая изображения и видео, а также для локального запуска на пользовательских устройствах. Модель поддерживает сценарии визуального анализа, OCR, пространственного рассуждения, STEM- и математические задачи, понимание документов и видео, генерацию кода и разметки по изображениям, а также взаимодействие с графическими интерфейсами и инструментами. Заявлены улучшенные визуальное восприятие и рассуждение, распознавание текста на 32 языках, работа с объектами, позициями, перекрытиями и временными событиями в видео. Для семейства Qwen3-VL указано нативное контекстное окно 256K токенов с возможностью расширения до 1M. Веса доступны для языковой модели в вариантах FP16, Q8_0 и Q4_K_M, а для vision encoder — в FP16 и Q8_0, что позволяет выбирать баланс качества, скорости и требований к памяти. Формат совместим с llama.cpp, Ollama и другими инструментами GGUF; заявлена поддержка CPU, NVIDIA GPU через CUDA, Apple Silicon через Metal и Intel GPU через SYCL. Для работы требуются совместимые инструменты и отдельный файл vision encoder, а выбор квантования может влиять на качество и производительность. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-VL-8B-Instruct-FP8 — мультимодальная vision-language модель серии Qwen3-VL, разработанная на базе Qwen3-VL-8B-Instruct и опубликованная Unsloth. Это FP8-квантизированная версия с мелкозернистой квантизацией и размером блока 128; заявлено, что её показатели почти идентичны исходной версии в формате BF16. Модель предназначена для понимания и генерации текста по тексту, изображениям и видео. Она поддерживает визуальное распознавание, OCR, анализ документов, пространственное и STEM-рассуждение, понимание длительных видео, генерацию HTML/CSS/JS и Draw.io по визуальным материалам, а также взаимодействие с графическими интерфейсами и инструментами. Заявлены контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона, улучшенная работа с временной структурой видео и OCR для 32 языков. К архитектурным особенностям относятся плотная модель на 8 млрд параметров, визуальный энкодер ViT, механизмы Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками. Сильными сторонами являются сочетание текстового, визуального и видеоанализа, длинный контекст, пространственное рассуждение и сохранение качества после квантизации. Ограничение состоит в том, что на момент публикации веса нельзя напрямую загружать через Transformers; для развертывания рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

NobodyWho/Qwen_Qwen3.6-27B-GGUF — GGUF-квантизированная версия плотной модели Qwen3.6-27B, разработанной командой Qwen компании Alibaba Group и подготовленной для библиотеки NobodyWho. Модель предназначена для диалоговой генерации текста, следования инструкциям, рассуждений, агентных сценариев и вызова инструментов. Она также поддерживает анализ изображений при использовании вспомогательной проекционной модели mmproj-BF16.gguf. Модель содержит 27 млрд параметров, использует архитектуру qwen35 и поддерживает контекст до 262 144 токенов. Она мультимодальна, работает с текстом и изображениями, имеет широкое языковое покрытие и режим рассуждений, включённый по умолчанию. Вызов инструментов реализован нативно с грамматически ограниченным форматом вывода; варианты Q3_K_M и Q4_K_M показали результат 14/14 в тестовом наборе NobodyWho. Доступны квантизации Q3_K_M, Q4_K_M и Q8_0, причём Q3_K_M требует около 13,6 ГБ памяти, Q4_K_M — около 16,8 ГБ, а Q8_0 — около 28,6 ГБ. Сильными сторонами модели являются большой контекст, мультимодальность, развитые рассуждения и надёжный вызов инструментов. Ограничения связаны с ресурсными требованиями: Q4_K_M на системе с 24 ГБ памяти работает впритык и может использовать подкачку, а Q8_0 требует не менее 32 ГБ; вариант BF16 в репозитории не представлен. Модель и квантизации распространяются по лицензии Apache 2.0.

Карточка модели Iambackup/gemma-4-E4B-it на Hugging Face совпадает с карточкой AtharvOG/Atharvs_Model, поэтому описание составлено по ней. Atharvs_Model — дообученная мультимодальная модель на базе Google Gemma 4 E4B, опубликованная под лицензией Apache 2.0. Она использует архитектуру Gemma4ForConditionalGeneration и формат safetensors, принимает текст и изображения и формирует текстовые ответы. Семейство Gemma 4 поддерживает контекст до 128 тысяч токенов для малых моделей, включая E4B, и многоязычную работу; карточка этой конкретной модели не уточняет языки дообучения. Модель подходит для диалога, генерации и суммаризации текста, программирования, рассуждений, а также анализа изображений и документов, включая OCR. В README Gemma 4 также заявлены видеопонимание и аудиозадачи для E2B и E4B, однако метаданные конкретного репозитория не подтверждают эти возможности отдельно. Возможности исходной модели не обязательно полностью сохранены или улучшены после дообучения; перед использованием ответы следует проверять.

Карточка модели Cup5/gemma-4-E4B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-E4B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

casperhansen/mistral-small-24b-instruct-2501-awq — это 4-битная AWQ-квантизованная версия Mistral-Small-24B-Instruct-2501. Исходную модель разработала Mistral AI, а квантизованные веса опубликованы пользователем casperhansen. Это instruction-tuned большая языковая модель для генерации текста, диалоговых агентов, вызова функций, локального инференса и последующей адаптации под специализированные задачи. Модель содержит около 24 млрд параметров и использует архитектуру MistralForCausalLM: 40 скрытых слоёв, 32 attention heads и 8 key-value heads. Максимальный контекст — 32 768 токенов. Модель работает с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Квантизация AWQ в формате INT4 уменьшает требования к памяти и делает локальное развёртывание практичнее, но может снижать точность по сравнению с исходными полноразмерными весами. Сильные стороны — относительно компактный для своего класса размер, поддержка многоязычной генерации, инструкций и function calling, а также возможность локального использования. Ограничения включают текстовую модальность, зависимость качества от выбранного 4-битного квантования и отсутствие подробной отдельной model card для этого производного репозитория. Для исходной Mistral-Small-24B-Instruct-2501 указана лицензия Apache 2.0; точные условия использования производного репозитория следует проверять по его метаданным.

Mistral-Small-24B-Instruct-2501-unsloth-bnb-4bit — это 4-битная квантованная версия Mistral Small 3 (2501), подготовленная Unsloth на базе Mistral-Small-24B-Instruct-2501 от команды Mistral AI. Модель содержит 24 млрд параметров и предназначена для локального запуска, диалоговых приложений и задач, требующих высокой качества ответов при ограниченных ресурсах. После квантования заявлена возможность размещения на одной видеокарте RTX 4090 или MacBook с 32 ГБ оперативной памяти. Модель ориентирована на быстрых разговорных агентов, вызов функций, генерацию JSON, предметных помощников после дообучения и локальную обработку чувствительных данных. Она поддерживает десятки языков, включая английский, французский, немецкий, испанский, итальянский, китайский, японский, корейский, португальский, нидерландский и польский. Доступно контекстное окно 32K токенов, а также поддержка системных инструкций. Используется токенизатор Tekken со словарём размером 131 тысяча токенов. К сильным сторонам относятся агентские возможности, встроенный вызов функций, структурированный вывод, мультиязычность, развитые диалоговые и рассуждательные способности, а также снижение требований к памяти благодаря 4-битному представлению. Ограничениями являются зависимость качества и скорости от аппаратной конфигурации и возможные потери точности, связанные с квантованием; конкретные показатели для данной квантованной сборки в README не приведены. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию.

XVERSE-13B — многоязычная языковая модель, самостоятельно разработанная компанией Shenzhen Yuanxiang Technology. Это плотная decoder-only модель на архитектуре Transformer с 13,2 млрд параметров и контекстом до 8192 токенов. Репозиторий содержит веса PyTorch; лицензия Apache-2.0 разрешает коммерческое использование на её условиях. Модель предназначена для генерации текста, многоходового диалога, ответов на вопросы и суммаризации. Она обучалась на разнообразных данных более чем на 40 языках; в карточке особо отмечены китайский и английский, а также русский и испанский. BPE-токенизатор использует словарь размером 100 534 токена. В карточке также приведены оценки на тестах по пониманию языка, рассуждениям, математике и программированию. Как и другие большие языковые модели, XVERSE-13B может генерировать неточные, предвзятые или оскорбительные ответы. Для конкретного применения разработчикам рекомендуется проверять безопасность и качество ответов. В README указана более новая версия XVERSE-13B-2, обученная на большем объёме данных; описываемая здесь модель — исходная версия.

Meta-Llama-3.1-70B-Instruct-GGUF — инструкционная большая языковая модель семейства Llama 3.1, разработанная Meta и представленная в формате GGUF сообществом backyardai. Она предназначена для генерации текста, диалоговых приложений, ответов на вопросы и выполнения инструкций. Модель является производной от meta-llama/Meta-Llama-3.1-70B-Instruct и ориентирована на сценарии локального или специализированного инференса с использованием совместимых инструментов. Модель имеет размер 70 миллиардов параметров и работает с текстовыми данными. В карточке заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Конкретная архитектура, длина контекста и параметры квантования для данной сборки не указаны. Большой размер может обеспечивать высокое качество генерации, однако требует значительных вычислительных ресурсов; практические характеристики зависят от используемого варианта GGUF и среды запуска. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 миллионами активных пользователей в месяц предусмотрено требование получить отдельную лицензию Meta.

RedHatAI/Qwen2.5-7B-Instruct-quantized.w8a8 — мультиязычная текстовая генеративная модель для диалоговых и ассистентских сценариев. Модель разработана Neural Magic на основе Qwen2.5-7B-Instruct от Alibaba Cloud и предназначена для коммерческого и исследовательского использования, включая чат на нескольких языках. Она принимает текст и генерирует текст; заявлены поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского и других языков. Модель использует архитектуру Qwen2 и содержит 7 миллиардов параметров в базовой версии. Вариант w8a8 оптимизирован квантованием весов и активаций до INT8. Для линейных операторов трансформерных блоков применяются симметричное статическое поканальное квантование весов и симметричное динамическое потокенное квантование активаций с использованием комбинации SmoothQuant и GPTQ. Это примерно на 50% снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных вычислений. Модель рассчитана на эффективное развертывание с vLLM и валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. В README приведён пример максимальной длины контекста 8192 токена, а для отдельных конфигураций указано значение 32768; точное ограничение зависит от среды развертывания. Ограничения включают возможное снижение точности из-за квантования и запрет на использование с нарушением применимого законодательства и экспортных ограничений. Модель распространяется по лицензии Apache-2.0.

nvidia/Qwen3.5-122B-A10B-NVFP4 — квантизированная версия авторегрессионной мультимодальной модели Qwen3.5-122B-A10B, разработанной Alibaba. Квантизация выполнена NVIDIA с использованием Model Optimizer версии 0.44.0; сама модель не принадлежит и не разработана NVIDIA, а подготовлена по требованиям к данному сценарию применения. Модель предназначена для генерации текста, чат-ботов, AI Agent-систем, RAG и других приложений на базе искусственного интеллекта. Она принимает текст, изображения и видео, а выдаёт текст. Поддерживается контекст до 262K токенов, однако сведения о языках модели в карточке не указаны. Архитектура основана на оптимизированном Transformer и Mixture of Experts: всего 122 млрд параметров, из которых 10 млрд активируются при обработке запроса. Веса и активации линейных операторов в Transformer-блоках MoE переведены в формат NVFP4, что примерно в четыре раза уменьшает требования к дисковому пространству и GPU-памяти по сравнению с исходным представлением. Модель рассчитана на инференс через vLLM на NVIDIA GPU архитектуры Blackwell под Linux. К преимуществам относятся большой контекст, мультимодальный ввод, MoE-архитектура и сниженные требования к памяти благодаря квантизации. Ограничения включают зависимость от совместимого NVIDIA-оборудования и vLLM, возможные особенности качества и точности, связанные с 4-битной квантизацией, а также отсутствие раскрытых сведений о полном обучающем наборе данных. Перед промышленным использованием необходимы тестирование на данных конкретного сценария и проверка безопасности. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование.

Qwen3-VL-235B-A22B-Thinking — мультимодальная модель семейства Qwen3-VL от Qwen, представленная в варианте с архитектурой MoE и режимом рассуждений Thinking. Репозиторий содержит веса в формате safetensors; модель предназначена для диалога по тексту, изображениям и видео, визуального анализа и взаимодействия с инструментами. Лицензия — Apache-2.0. Модель подходит для ответов на вопросы по изображениям и видео, OCR и разбору длинных документов, STEM-задач, пространственного анализа, генерации кода и разметки интерфейсов по визуальным примерам, а также управления GUI через инструменты. В README заявлены контекст 256K токенов с расширением до 1M и поддержка OCR на 32 языках. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и привязку видео-событий к временным меткам. Карточка описывает широкие возможности мультимодального рассуждения и понимания текста, но не приводит здесь конкретных результатов бенчмарков. Для развёртывания модели такого размера требуются значительные вычислительные ресурсы; фактическая поддержка видео и вызова инструментов зависит от используемого окружения.

Карточка модели 12B-Suite/gemma-4-12B-it-QAT-SOMPOA-heresy на Hugging Face совпадает с карточкой MuXodious/gemma-4-12B-it-QAT-SOMPOA-heresy, поэтому описание составлено по ней. MuXodious/gemma-4-12B-it-QAT-SOMPOA-heresy — дообученная версия мультимодальной инструкционной Gemma 4 12B от Google DeepMind. Автор репозитория применил к базовой модели метод abliteration с инструментом Heretic и настройками Self-Organizing Maps и Magnitude-Preserving Orthogonal Ablation; по карточке, доля отказов в указанном тесте снизилась с 522/535 до 34/535. Модель предназначена для диалога, рассуждений и генерации текста, а также для анализа изображений, видео и аудио; семейство Gemma 4 также поддерживает код и вызов инструментов. Для этой версии в карточке названы размер 12B, контекст до 256K токенов и поддержка более 140 языков. Архитектура — плотная Gemma4UnifiedForConditionalGeneration; репозиторий содержит веса safetensors. Карточка описывает её как вариант Gemma с ослабленными отказами, но не приводит отдельной оценки качества этой конкретной модификации. Базовая модель Gemma 4 QAT использует веса, подготовленные с учётом квантования, однако в этом репозитории указан вариант unquantized Q4_0, а формат файлов — safetensors. Лицензия — Apache-2.0.

RedHatAI/gemma-4-26B-A4B-it-FP8-dynamic — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная RedHatAI на основе google/gemma-4-26B-A4B-it. Она принимает текст и изображения и генерирует текст; поддерживает режим рассуждений и вызов инструментов. Модель предназначена для диалоговых приложений, генерации текста, следования инструкциям, решения задач, мультимодального анализа и function calling. Архитектура модели — Gemma4ForConditionalGeneration. Вариант имеет конфигурацию 26B-A4B и оптимизирован для инференса в vLLM. Веса и активации линейных слоёв transformer-блоков квантизированы в FP8: веса используют статическое масштабирование per-channel, активации — динамическое масштабирование per-token. Vision tower, embedding-слои, output head и MoE router сохранены в исходной точности. Квантизация уменьшает объём хранения и требования к памяти GPU примерно на 50%; заявленная максимальная длина контекста при развёртывании составляет 32768 токенов. Поддерживаются изображения и аудио в конфигурации vLLM, однако сведения о языках обучения или поддержки в README не указаны. К сильным сторонам относятся мультимодальность, поддержка рассуждений и вызова инструментов, совместимость с vLLM и близкие к исходной модели результаты на указанных тестах после FP8-квантизации. Ограничениями являются зависимость от корректной настройки vLLM, специальных reasoning- и tool-call parser, а также возможные потери точности из-за квантизации. Модель распространяется по лицензии Apache 2.0; для использования Gemma также следует учитывать условия лицензии Google Gemma, указанной в README.

RedHatAI/Llama-3.3-70B-Instruct-FP8-dynamic — инструкционная текстовая модель семейства Llama 3.3 с 70 млрд параметров, разработанная Red Hat совместно с Neural Magic на базе Meta Llama-3.3-70B-Instruct. Модель принимает текст и генерирует текст, ориентирована на коммерческое и исследовательское использование, включая диалоговые ассистенты, генерацию естественного языка, создание синтетических данных и дистилляцию моделей. Ключевая особенность модели — динамическая FP8-квантизация весов и активаций линейных операторов в трансформерных блоках. Веса квантизуются статически по каналам, а активации — динамически по токенам. Это примерно вдвое снижает требования к памяти GPU и размер модели на диске, а также может примерно вдвое увеличить пропускную способность матричных вычислений. Для эффективного развертывания рекомендуется использовать vLLM; модель валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. Модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Ограничения связаны с применением FP8-квантизации, возможными изменениями качества по сравнению с исходной моделью и запретом использования за пределами перечисленных языков, а также в нарушение законодательства, Acceptable Use Policy и условий лицензии. Расширенный контекст в README не указан; в примере развертывания задан максимальный размер последовательности 32768 токенов. Распространяется по лицензии Llama 3.3 Community License.

bartowski/Meta-Llama-3-70B-Instruct-GGUF — это GGUF-версия 70-миллиардной инструкционно-ориентированной языковой модели Meta Llama 3, разработанной Meta и подготовленной пользователем bartowski для запуска в совместимых средах инференса. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые сценарии и другие приложения обработки естественного языка. В доступных данных указано, что модель поддерживает английский язык и относится к классу text-generation. Она основана на архитектуре Llama 3 и поставляется в формате GGUF, однако сведения о конкретном варианте квантования, размере контекста, точной архитектуре, мультимодальности и дополнительных языках отсутствуют. Размер 70B обеспечивает значительный потенциал для сложных языковых задач, но обычно требует существенных вычислительных ресурсов; характеристики производительности зависят от выбранной сборки и среды запуска. Модель распространяется по Meta Llama 3 Community License. При распространении материалов или продуктов на их основе требуется соблюдать условия лицензии, включая указание «Built with Meta Llama 3», сохранение уведомления об авторских правах и соблюдение Acceptable Use Policy. Лицензия также содержит ограничения на использование результатов для улучшения других больших языковых моделей и дополнительные коммерческие условия для организаций с более чем 700 миллионами активных пользователей в месяц.

Mixtral-8x22B-Instruct-v0.1 — инструктивная языковая модель от команды Mistral AI на архитектуре Mixtral с причинным декодированием и смесью экспертов (MoE). Это дообученная версия Mixtral-8x22B-v0.1; в метаданных указан размер 22B параметров и контекст до 65 536 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, объяснений и взаимодействия с инструментами через предусмотренный формат function calling. Метаданные указывают поддержку английского, испанского, итальянского, немецкого и французского языков. Для запуска README описывает токенизацию и инференс через mistral-common и mistral-inference; в метаданных также указана библиотека vLLM. Модель распространяется по лицензии Apache-2.0. README отмечает, что для function calling нужно корректно применять специальные токены и формат токенизатора SentencePieceTokenizerV3; результаты вызова инструментов зависят от совместимой обработки этого формата.

Qwen3.8-27B-4bit-MLX-TextOnly — текстовая 4-битная квантованная версия модели Qwen3.8-27B, разработанной командой Qwen. Модель преобразована в формат MLX с использованием mlx-lm 0.31.2 и предназначена для запуска в экосистеме MLX и mlx-lm. Она поддерживает генерацию текста, диалоговые сценарии, рассуждения, использование инструментов и работу с длинным контекстом; заявлена как многоязычная. Модель содержит около 27 миллиардов параметров в исходной версии и использует weight-only-квантование до 4 бит с group size 64, affine- и RTN-подходами. Это текстовая модель без vision tower: возможности обработки изображений удалены, поэтому она работает только с текстом. К сильным сторонам относятся уменьшенный объём весов и пригодность для локального запуска в MLX, а ограничением — отсутствие мультимодальных возможностей и потенциальная потеря точности по сравнению с полной моделью из-за квантования. Точная длина контекста в README не указана. Распространяется по лицензии Apache-2.0.

Qwen3-VL-30B-A3B-Thinking — мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Это версия с визуальным анализом и режимом Thinking для рассуждений; репозиторий содержит веса в формате Safetensors и предназначен для использования с Transformers. Архитектура указана как Qwen3 VL MoE; название модели обозначает класс 30B-A3B. Модель принимает текст и изображения, а также предназначена для понимания видео и пространственных сцен. Она поддерживает диалог, визуальный анализ, OCR, рассуждения по STEM-задачам, извлечение информации из длинных документов и взаимодействие с инструментами; заявлены сценарии управления графическими интерфейсами и генерации кода интерфейсов по изображениям и видео. В README указан контекст 256K с возможностью расширения до 1M токенов и OCR на 32 языках. Сильные стороны — объединённое текстовое и визуальное понимание, анализ временной структуры видео, распознавание текста в сложных условиях и пространственные рассуждения. Точные результаты зависят от сценария; README не содержит численных результатов тестирования. Лицензия — Apache-2.0.

ChatFrame V1 — диалоговая языковая модель AIFRAME INC, представленная как дообученная версия семейства Llama. Она предназначена для генерации ответов на персидском и английском языках и заявлена для решения математических задач, программирования, логических рассуждений, суммаризации и перевода между английским и персидским. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов; доступны веса в формате safetensors и интерфейс вызова инструментов. Модель подходит для чат-ботов, языковой помощи и задач, где нужны ответы или преобразование текста на персидском и английском. README заявляет высокое качество ответов, но не приводит результатов независимой оценки или сведений о конкретных обучающих наборах. Лицензия — MIT.

RedHatAI/DeepSeek-R1-Distill-Qwen-32B-quantized.w4a16 — квантизированная версия модели DeepSeek-R1-Distill-Qwen-32B, разработанная Neural Magic. Модель построена на архитектуре Qwen2ForCausalLM и предназначена для генерации и обработки текста, включая задачи рассуждения, решения математических задач, ответов на вопросы и использования в чат-сценариях. Модель имеет 32 миллиарда параметров и использует INT4-квантизацию весов линейных операторов в трансформерных блоках при формате W4A16. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритм GPTQ через библиотеку llm-compressor. Такой подход примерно на 75% сокращает размер модели на диске и требования к памяти GPU по сравнению с представлением весов в 16 битах. Входная и выходная модальности — текст; сведения о поддерживаемых языках и максимальном контексте в карточке явно не указаны. По приведённым оценкам, квантизированная версия сохраняет около 99,45% среднего результата исходной модели на наборе задач рассуждения, включая AIME 2024, MATH-500 и GPQA Diamond. Она оптимизирована для эффективного развёртывания с vLLM и может использоваться через OpenAI-совместимый сервер. Ограничением является возможное небольшое снижение точности из-за квантизации, а также зависимость эффективного запуска от совместимого GPU и программного стека vLLM. Модель распространяется по лицензии MIT.

Meta разработала Llama 3.2 3B — авторегрессионную языковую модель с оптимизированной архитектурой Transformer и механизмом Grouped-Query Attention. Вариант на 3,21 млрд параметров предназначен для генерации текста и обучен на общедоступных данных; модель принимает и выдаёт текст, включая код. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленная длина контекста семейства — до 128 тысяч токенов. Модель подходит для диалоговых приложений, поиска знаний, суммаризации, мобильных помощников для письма и переформулирования запросов. Карточка описывает семейство с предварительно обученными и настроенными на инструкции вариантами; конкретный репозиторий — базовая модель для генерации текста. Меньший размер рассчитан в том числе на устройства с ограниченными ресурсами, но качество и безопасность могут уступать более крупным моделям и требуют проверки под конкретный сценарий. Знания модели ограничены данными до декабря 2023 года. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

Neurona 8B v2 — предварительная диалоговая языковая модель на базе Meta Llama 3 8B Instruct, разработанная Икером Гарсией. Это плотная модель с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров и контекстом до 8192 токенов; она сохранена в формате safetensors и дообучена с помощью Axolotl на смеси англоязычных и испаноязычных наборов данных. Модель предназначена для диалога и генерации текста на испанском и английском языках. В карточке указаны сценарии RAG, вызова функций, помощи с кодом, ответов на вопросы и суммаризации; обучающие данные также включают перевод между английским и испанским, обработку новостей и экономические и медицинские тексты. Модель обозначена автором как экспериментальная предварительная версия, созданная для настройки скриптов и инфраструктуры, а не как финальный релиз. Лицензия — llama3.