I.4Обработка документов и форм

mergekit-community/mergekit-model_stock-nvgaatl — объединённая модель для генерации текста, созданная сообществом с помощью mergekit и метода Model Stock. В качестве базы использована Qwen/Qwen2.5-14B-Instruct-1M; в слияние также вошли sthenno/tempesthenno-nuslerp-0124 и mergekit-community/mergekit-model_stock-injkqri. Модель имеет плотную архитектуру Qwen2, около 14 млрд параметров и предназначена для диалогов и генерации текста. Метаданные указывают на контекст до 1 010 000 токенов и интерфейс для вызова инструментов; модель работает через Transformers, веса представлены в safetensors. Её можно применять для чат-ответов и работы с длинным текстовым контекстом. Лицензия в предоставленных данных не указана. Качество и поведение после слияния зависят от входящих моделей; отдельные результаты оценки в карточке не приведены.

DavidAU/Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking — плотная мультимодальная модель семейства Qwen 3.5 с 40 млрд параметров, созданная автором DavidAU на основе DavidAU/Qwen3.5-27B-Deckard-PKD-Heretic-Uncensored-Thinking. По карточке, модель дообучали на внутренних наборах Deckard/PDK и наборе высокоуровневых рассуждений Claude 4.5 Opus; также применялись расширение модели с 27B до 40B параметров и шаблон Unsloth. Архитектура использует 96 слоёв, заявлено окно контекста 256 тысяч токенов и переменная длина рассуждений. Модель предназначена для диалогов, рассуждений, написания художественных текстов, генерации кода и анализа изображений. Автор отмечает сохранённую обработку изображений, проверенную генерацию кода и отсутствие ограничений на взрослый и графический контент. В метаданных указаны задачи image-text-to-text, возможности chat и vision, языки английский и китайский, библиотека Transformers и формат safetensors. Автор сообщает о склонности к зацикливанию при низких квантизациях или слишком коротких запросах и рекомендует более качественные кванты и содержательные промпты. Модель распространяется по лицензии Apache-2.0; заявление о превосходстве над базой основано на бенчмарках автора и не является независимой оценкой.

AquilaChat2-7B-16K — диалоговая языковая модель из серии Aquila2, разработанной BAAI. Она предназначена для ведения чата и генерации текста, в том числе работы с длинными диалогами и текстами благодаря контексту до 16 384 токенов. Модель имеет плотную архитектуру AquilaForCausalLM и около 6,9 млрд параметров. В карточке заявлена поддержка английского и китайского языков; модель распространяется в формате PyTorch. Лицензия указана как other, поэтому условия использования следует уточнять в материалах разработчика.

Aya-23-8B — мультиязычная авторегрессионная языковая модель на архитектуре Transformer, разработанная Cohere Labs и Cohere. Это версия с 8 млрд параметров из семейства Aya 23, созданная на основе предварительно обученной модели семейства Command и дообученная следовать инструкциям. Модель принимает текст и генерирует текст. Она предназначена для диалогов и выполнения текстовых инструкций на 23 языках, включая русский, английский, арабский, китайский, японский, хинди и другие. Контекстное окно — 8192 токена. Модель доступна через Transformers и распространяется по лицензии CC-BY-NC-4.0 с дополнительными условиями допустимого использования Cohere Labs. Aya-23-8B подходит для многоязычных помощников, ответов на вопросы и генерации текста. Это более ранняя версия Aya; разработчики указывают на Aya Expanse 8B как на более новую модель. Некоммерческая лицензия ограничивает использование.

Карточка модели NormalGuy85/Crunch-Ai2 на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Это GGUF-сборка Meta-Llama-3-1-8B-Instruct-f16-gguf, опубликованная ProfessorF (Nick V. Flor) для воспроизводимости исследований. Репозиторий содержит модель в формате GGUF F16; метаданные указывают на чат-возможности и генерацию текста. README описывает семейство Llama 3.2, но его сведения о размерах 1B и 3B и контексте 128k не подтверждают характеристики именно этой 8B-сборки. Модель предназначена для диалогового помощника и генерации текста, включая ответы на вопросы, суммаризацию, поиск знаний и переформулирование запросов. В README перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский; метаданные также содержат эти языки. Использование регулируется лицензией Llama 3.2 Community License, которая допускает коммерческое и исследовательское применение на своих условиях. Качество и ограничения этой конкретной сборки отдельно не описаны.

Квантизированная версия Ministral-3-3B-Reasoning-2512, разработанной Mistral AI, подготовленная bartowski в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для задач генерации и анализа текста, а также сценариев image-text-to-text, однако подробные сведения о поддерживаемой обработке изображений в README не приведены. Заявлены языки: английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. Модель имеет размер 3B параметров; доступны варианты от BF16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ4 с размером файлов примерно от 1,93 до 6,87 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp, что позволяет выбирать между качеством, потреблением памяти и скоростью локального запуска. Конкретная архитектура, размер контекстного окна, требования к оборудованию и формат промптов в README не указаны; для исходной модели рекомендуется обращаться к её оригинальной странице. Распространение заявлено по лицензии Apache-2.0.

Mistral-Nemo-Instruct-2407-GGUF — это квантованная в формате GGUF версия инструкционной языковой модели Mistral Nemo Instruct 2407, разработанной Mistral AI. Квантование выполнено bartowski на основе llama.cpp; LM Studio представляет модель как общественную модель сообщества, но не является её создателем или владельцем. Модель предназначена для генерации текста и выполнения инструкций, включая многоязычные сценарии. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Модель обучалась с контекстом до 128 тысяч токенов; использование контекста большего размера возможно, но может приводить к снижению качества. Сведения о числе параметров, конкретной архитектуре, модальностях помимо текста и требованиях к оборудованию не указаны. К сильным сторонам относятся многоязычность, большой контекст и формат GGUF, ориентированный на запуск с помощью llama.cpp и совместимых приложений. Ограничения включают возможное ухудшение качества при превышении обученного размера контекста, а также риск неточных, вредных или неподходящих ответов, характерный для подобных моделей. В карточке указана лицензия Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая мультимодальная fine-tune-модель на базе Qwen3.6-27B, опубликованная nostrbuild при участии нескольких разработчиков и команд, включая DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh. Модель распространяется в формате GGUF, включая обычные и MTP-варианты с NEO IMATRIX-квантованием, и предназначена для запуска на потребительском оборудовании. В описании заявлены улучшенное следование инструкциям, решение задач, рассуждение и общее повышение интеллектуальных возможностей. Модель рассчитана на широкий круг сценариев, включая программирование, диалоги, анализ, творческое письмо и roleplaying, хотя специально не оптимизировалась только под творчество. Также заявлена поддержка vision. Указанные языки — английский и китайский. Размер базовой модели — 27B параметров; точное архитектурное устройство и размер контекстного окна в README не приведены. Доступны кванты с разрядностью 4 и 8 бит, а также варианты MTP для многотокенного предсказания. Для MTP рекомендуется температура не выше 1 и отключённая repetition penalty; при низкой доле принятия токенов следует использовать обычный квант. Автор заявляет превосходство над базовой Qwen3.6-27B в шести из семи тестов и сопоставимый результат в седьмом, однако эти результаты приведены без независимой проверки. Сильными сторонами заявлены instruction following, reasoning, problem solving, сохранение возможностей базовой модели, поддержка vision и хорошее качество даже у низкоразрядных квантов. Ограничения включают зависимость качества и производительности от выбранного кванта и настроек MTP, а также заявленный uncensored/heretic-профиль, который может означать ослабленные ограничения безопасности. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-V1.1-FF711-Darker-Hero-GAIN-H2.0 — дообученная Дэвидом AU мультимодальная модель семейства Qwen3.5 с плотной архитектурой на 27 млрд параметров, основанная на Qwen/Qwen3.6-27B. Карточка описывает метод GAIN, также называемый COLD FUSION: динамическая настройка обучения на уровне отдельных примеров. Модель предназначена для диалогов, рассуждений, программирования, творческого письма и работы с изображениями; метаданные указывают поддержку vision и интерфейс вызова инструментов. Автор заявляет о сокращённых блоках рассуждений, следовании инструкциям и сохранении производительности при низкой точности, однако приведённые в README сравнения и показатели являются заявлениями автора. В примерах упоминается режим без фильтрации и контент NSFW; модель может выдавать ненормативную лексику и материалы для взрослой аудитории. Карточка также сообщает о снижении частоты отказов. Указана лицензия Apache-2.0. В метаданных перечислены английский и китайский языки; других языков карточка не подтверждает.

Qwen3.8-27B-Uncensored-FP8 — модифицированная версия Qwen/Qwen3.8-27B, опубликованная OrcaRouter. Модель прошла abliteration: из неё удалено направление, связанное с отказами в ответах, после чего веса были офлайн квантизированы в block-FP8. Это плотная модель на 27 млрд параметров с гибридной архитектурой Gated DeltaNet и полнослойного внимания, встроенной vision-language башней и MTP-головой для спекулятивного декодирования. Модель предназначена для исследовательских задач, включая интерпретируемость, анализ механизмов отказа, AI safety, red teaming, оценку устойчивости и контролируемые эксперименты. Она поддерживает работу с текстом и изображениями, языки English и Chinese, рассуждение, function calling и контекст до 262 144 токенов. Архитектура включает 64 слоя: 48 слоёв линейного внимания Gated DeltaNet и 16 слоёв полного внимания. Основные линейные веса используют block-FP8 E4M3 с размером блока 128×128 и динамическими активациями, тогда как vision tower, нормы, router, embeddings и lm_head сохранены в BF16. Сильная сторона модели — сохранение возможностей базовой Qwen3.8-27B, включая мультимодальность, инструменты, reasoning, большой контекст и MTP, при совместимости со схемой обслуживания официальной FP8-версии. Главное ограничение — существенное удаление защитного выравнивания: модель может выполнять вредоносные, неэтичные и незаконные запросы и не имеет значимых встроенных защитных механизмов. Поэтому её не следует использовать напрямую в пользовательских или производственных системах без собственных фильтров, модерации и контроля злоупотреблений. Модель распространяется по лицензии Apache 2.0; использование также должно соответствовать применимым законам и условиям лицензии базовой модели.

bartowski/Qwen_Qwen3.5-4B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-4B, разработанной Qwen. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска в совместимых инструментах, включая llama.cpp, LM Studio, KoboldCpp, Jan AI и Text Generation WebUI. В метаданных указана задача image-text-to-text, однако подробные сведения о поддерживаемых модальностях, языках и максимальном контексте в README не приведены. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, а также IQ-квантизации. Размер файлов составляет примерно от 2,4 до 8,67 ГБ. В README варианты Q6 и Q5 описаны как обеспечивающие очень высокое или высокое качество, а Q4_K_M рекомендован как сбалансированный вариант для большинства сценариев. Более компактные варианты экономят оперативную память, но снижают качество; часть форматов предназначена для ARM- и AVX-совместимого CPU-инференса. Поддерживаются MTP-слои при использовании актуальной версии llama.cpp и параметра draft-mtp. Преимущество модели — возможность локального запуска с выбором компромисса между качеством, размером и требованиями к памяти. Ограничения зависят от выбранного уровня квантизации и совместимости используемого инструмента; для недавно поддерживаемых моделей может потребоваться обновление программного обеспечения. Распространение указано по лицензии Apache-2.0.

Vulture-40B — многоязычная причинно-следственная языковая модель с архитектурой decoder-only, разработанная Virtual Interactive (VILM) на основе Falcon-40B компании TII. Модель продолжительно предобучена на корпусе из новостных статей и страниц Wikipedia объёмом 80 ГБ на 12 языках, а затем дообучена на многоязычном инструкционном наборе по методике Alpaca. В метаданных указаны 65 млрд параметров и формат safetensors. Модель предназначена для генерации текста и диалоговых ответов, а также может применяться для вопросов и ответов, классификации текста и токенов. Поддерживаемые языки: английский, немецкий, испанский, французский, португальский, русский, итальянский, вьетнамский, индонезийский, китайский, японский и корейский. Для запуска в полной точности bfloat16 требуется около четырёх ускорителей A100 80 ГБ или эквивалентные ресурсы. Разработчики предупреждают о стереотипах и предубеждениях, унаследованных из веб-корпусов, и рекомендуют оценивать риски, настраивать модель под конкретные задачи и применять защитные меры перед использованием в продуктивной среде. Лицензия — Apache-2.0.

A.X 4.0 Light — компактная языковая модель компании SK Telecom, выпущенная в июле 2025 года. Она основана на Qwen2.5 и дополнительно обучена на крупных корейских наборах данных. В репозитории указана архитектура Qwen2 и размер около 6,9 млрд параметров; модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Контекст модели — до 16 384 токенов. Модель предназначена для понимания корейского языка и практических задач в деловой среде: диалогов, ответов на вопросы и работы с длинными документами. Разработчик сообщает о высоких результатах на корейских тестах KMMLU и CLIcK и об эффективном использовании токенов для корейского текста. README также описывает вариант семейства на 72 млрд параметров; этот репозиторий содержит облегчённую версию. Модель распространяется по лицензии Apache-2.0.

DictaLM-3.0-Nemotron-12B-Instruct-GGUF — инструкционная большая языковая модель из семейства Dicta-LM 3.0, разработанного организацией DICTA. Модель предназначена для генерации и обработки текста, диалоговых сценариев и выполнения пользовательских инструкций на иврите и английском языке. Она также поддерживает tool-calling для интеграции с внешними инструментами и API. Модель содержит 12 миллиардов параметров и использует гибридную архитектуру Hybrid-SSM. Она была изначально создана на базе NVIDIA-Nemotron-Nano-12B-v2-Base; в README для исходной версии указана точность BF16. Данный идентификатор относится к варианту GGUF, однако конкретные параметры квантования и размер контекста не указаны. К сильным сторонам относятся специализация на иврите, поддержка английского языка и доступность open-weight для загрузки и неограниченного использования. Ограничения включают отсутствие сведений о контекстном окне, точной конфигурации GGUF и подробных результатах оценки в представленных данных. Модель распространяется по лицензии NVIDIA Open Model License.

Mungert/Jan-nano-128k-GGUF — это набор GGUF-квантизированных моделей Jan-Nano-128k, созданный Mungert на основе Menlo/Jan-nano с использованием llama.cpp. Модель предназначена для текстовой генерации и исследовательских задач, включая анализ научных статей и длинных документов, синтез информации из нескольких источников, сложные рассуждения и многошаговые диалоги. Указывается совместимость с серверами Model Context Protocol (MCP) и поддержка вызова инструментов при соответствующей конфигурации. Ключевая характеристика модели — нативное контекстное окно до 128 тысяч токенов, рассчитанное на работу с большими объёмами текста без типичной деградации качества при расширении контекста. Модель компактная, но точный размер параметров, архитектура и перечень поддерживаемых языков в карточке не указаны; заявлен английский язык. Доступны варианты GGUF-квантизации, причём автор применяет повышение точности отдельных важных слоёв для улучшения качества на низких уровнях битности, особенно для MoE-моделей, ценой увеличения размера файлов. Сильными сторонами являются длинный контекст, ориентация на глубокий анализ документов и возможность локального запуска через llama.cpp или vLLM. Ограничения включают зависимость характеристик от выбранного варианта квантизации, отсутствие подробных данных о ресурсах и точности, а также необходимость специальной настройки масштабирования RoPE и максимальной длины контекста при развёртывании. Модель распространяется по лицензии Apache 2.0.

Light-IF-32B — дообученная компанией Qihoo 360 языковая модель на базе Qwen/Qwen3-32B, предназначенная для точного выполнения сложных инструкций. В карточке указаны архитектура Qwen3ForCausalLM с плотными весами и 29,7 млрд параметров; модель работает с текстом, поддерживает диалог и интерфейс вызова инструментов, а нативный контекст составляет 40 960 токенов. При дообучении применялись Entropy-SFT и token-wise entropy-adaptive reinforcement learning (TEA-RL), чтобы улучшить планирование и самопроверку ответа при выполнении инструкций с множеством ограничений. В README сообщается о результатах на бенчмарках SuperClue, IFEval, CFBench и IFBench и о сравнении с более крупными моделями; приведённая таблица неполная, поэтому конкретные результаты Light-IF-32B из неё определить нельзя. Модель подходит для диалоговых систем и задач, где важно соблюдать сложные требования к ответу. Она унаследована от многоязычной Qwen3, однако конкретный список поддерживаемых языков в предоставленных данных не приведён. Лицензия — Apache-2.0.

Saxo/Linkbricks-Horizon-AI-Korean-Pro-12B — дообученная языковая модель компании Linkbricks Horizon-AI, подготовленная командой под руководством дата-сайентиста Юнсона Джи (Saxo). В карточке указано, что она создана на базе Saxo/Linkbricks-Horizon-AI-Korean-Advanced-12B и использует архитектуру Mistral; метаданные уточняют класс MistralForCausalLM, плотную архитектуру и размер 12,1 млрд параметров. Модель принимает и генерирует текст, поддерживает чат и интерфейс вызова инструментов. Модель ориентирована прежде всего на работу с корейским языком, а также на задачи с корейским, английским, японским и китайским языками: перевод между ними, суммаризацию, ответы на вопросы, анализ отзывов и публикаций в соцсетях. Карточка также заявляет усиленные возможности в написании текстов и кода, математике, логических задачах и сложном рассуждении. В README заявлено окно контекста 128 тыс. токенов, тогда как метаданные указывают 1 024 000 токенов; это расхождение не позволяет надёжно определить фактическую длину контекста. Модель распространяется в формате safetensors по лицензии Apache-2.0. Указанные сценарии и языки основаны на карточке и метаданных; независимые результаты оценки качества не приведены.

TartuNLP и TalTechNLP разработали Llama 3.1 EstLLM 70B 0826 Instruct — плотную авторегрессионную языковую модель с инструкционной настройкой для диалогов и генерации текста. Модель продолжает предобучение Llama 3.1 70B на примерно 60 млрд токенов, затем прошла supervised fine-tuning и оптимизацию предпочтений DPO. Она содержит 69,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; нативное окно контекста — 131 072 токена. Модель рассчитана прежде всего на эстонский и английский языки. Она подходит для диалоговых ответов, следования инструкциям и генерации текста; в карточке также приведена оценка перевода с английского на эстонский. В опубликованных результатах она сравнивается на задачах проверки инструкций, языковой компетенции, знаний и рассуждений. Лицензия — Llama 3.1 Community License Agreement.

Maverick-v1.0 — объединённая языковая модель, созданная с помощью mergekit на основе Mistral-7B-Instruct-v0.2 и включающая Kunoichi-DPO-v2-7B и NeuralOmniWestBeaglake-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов, предназначенная для генерации текста и диалогового общения. Модель опубликована в формате safetensors и использует библиотеку Transformers. Объединение выполнено методом task arithmetic. Модель может применяться для ответов в чате, написания и продолжения текста, а также других сценариев генерации на естественном языке. Репозиторий распространяется по лицензии Apache-2.0; сведения о конкретной языковой специализации и оценках качества в предоставленных данных отсутствуют.

Mistral-Trismegistus-7B-Mistral-7B-Instruct-v0.2-slerp — объединённая модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием mistralai/Mistral-7B-Instruct-v0.2 и teknium/Mistral-Trismegistus-7B методом SLERP; веса опубликованы в формате safetensors. Модель предназначена для диалоговой генерации текста и выполнения инструкций. Контекст составляет до 32 768 токенов, что подходит для многошаговых диалогов и запросов с большим объёмом входного текста. Карточка не уточняет специализацию Trismegistus, поэтому узкие области применения не заявляются. Лицензия — Apache-2.0. Как и другие генеративные языковые модели, она может выдавать неточные или вымышленные сведения; результаты следует проверять.

NbAiLab/nb-notram-llama-3.3-70b-instruct — диалоговая языковая модель, разработанная лабораторией NB-AiLab Национальной библиотеки Норвегии. Это дообученная на базе Meta Llama 3.3 70B Instruct плотная трансформерная модель с 69,5 млрд параметров и контекстом до 131 072 токенов. Для обучения использовались публично доступные данные и синтетические данные; материалы, доступные только по обязательному экземплярному хранению, не включались. Модель предназначена для следования инструкциям и диалогов на норвежском букмоле, норвежском нюноске и английском языке. Подходит для ответов на вопросы и суммаризации на норвежском, а также для генерации текста и работы в качестве ассистента. Настройка включает supervised fine-tuning и лёгкий этап DPO; ответы обычно короче, чем у более разговорчивых ассистентов. Поддерживаются чатовый формат и интерфейс вызова инструментов. Лицензия — Llama 3.3 Community License. Модель может ошибаться и уверенно выдавать вымышленные сведения. Знания о норвежской культуре и истории могут проявляться непоследовательно и зависеть от формулировки запроса; настройки безопасности ограничены. В README релиз назван исследовательским, поэтому перед прикладным использованием рекомендуется оценка в целевом сценарии; для медицинских, юридических и финансовых задач нужны дополнительные проверки и надзор человека.

NeuralsirkrishnaShadow_Inex12Neural — слитая языковая модель семейства Mistral, созданная из automerger/NeuralsirkrishnaShadow-7B и automerger/Inex12Neural-7B. Она содержит 7,1 млрд параметров и предназначена для генерации текста на основе текстового запроса; длина контекста составляет до 32 768 токенов. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Данные карточки не описывают специализацию по языкам или прикладным областям, поэтому её следует рассматривать как модель общего назначения. Качество и конкретные возможности зависят от запроса и сценария применения.

OmniBeagleSquaredMBX-v3-7B-v2 — языковая модель для генерации текста, созданная PaulML путём слияния моделей paulml/OmniBeagleMBX-v3-7B и flemmingmiguel/MBX-7B-v3 с помощью LazyMergekit. Для объединения использован метод SLERP с отдельными параметрами смешивания для слоёв self-attention и MLP. Модель построена на плотной архитектуре Mistral и содержит 7,1 млрд параметров. Она принимает текст и генерирует текст, поддерживая контекст до 32 768 токенов. Карточка не приводит сведений о специализации по языкам или предметным областям. Модель распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не описывает отдельные оценки качества или известные технические ограничения.

ThomasBaruzier/Qwen2.5-0.5B-Instruct-GGUF — это набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-0.5B-Instruct, разработанной командой Qwen при Alibaba Cloud и подготовленной ThomasBaruzier для запуска с llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, работы со структурированными данными и создания структурированных ответов, включая JSON. Набор поддерживает варианты квантизации с размером примерно от 302 до 507 МБ, а также F16-версию размером около 949 МБ. Это каузальная Transformer-модель на 0,49 млрд параметров, из которых 0,36 млрд приходятся на параметры без эмбеддингов. Архитектура использует RoPE, SwiGLU, RMSNorm, bias в QKV attention, связанные входные и выходные эмбеддинги и Grouped-Query Attention с 14 головами для Q и 2 для KV; модель содержит 24 слоя. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся небольшой размер, возможность локального запуска, мультиязычность, улучшенное следование инструкциям, генерация длинных текстов, поддержка кода и математики, а также заметная устойчивость к разным системным промптам. Квантизации позволяют выбрать компромисс между размером, качеством и точностью: по приведённой таблице F16 обеспечивает наивысшие показатели, а более компактные варианты снижают требования к памяти, но могут ухудшать качество. Модель относится к текстовым, мультимодальность не заявлена. Лицензия — Apache-2.0.

SAIFIINDUSTRIES/Qwen2.5-14B-Instruct-1M — чат-модель для генерации текста на основе Qwen2.5-14B, опубликованная под лицензией Apache-2.0. Это плотная причинная языковая модель семейства Qwen2 с 14 млрд параметров; архитектура использует RoPE, SwiGLU, RMSNorm и групповое внимание с 40 головами Q и 8 головами KV. Модель предназначена для диалога, ответов на вопросы, использования инструментов и работы с очень длинными текстами. Контекст достигает 1 010 000 токенов, а максимальная длина генерации составляет 8192 токена. Для эффективного инференса на контексте такого размера README рекомендует специальную версию vLLM и указывает потребность не менее чем в 320 ГБ видеопамяти суммарно. Поддерживаются также короткие запросы; для контекстов свыше 262 144 токенов на обычном фреймворке возможна потеря точности. Метаданные указывают английский язык; других языков источники не подтверждают.

Qwen3.8-27B-GGUF — это общественная квантованная сборка базовой модели Qwen/Qwen3.8-27B, подготовленная сообществом bowmanslayer для запуска через llama.cpp. Это неофициальный релиз, не одобренный и не связанный с командой Qwen или Alibaba Cloud. Модель предназначена прежде всего для генерации текста, локального инференса и сценариев, где важны большой контекст и работа на одной видеокарте. Лицензия артефакта — Apache-2.0. Основные веса представлены в формате GGUF с importance-matrix-квантизацией, доступны варианты от Q3_K_M до Q8_0. В зависимости от варианта требуется примерно от 14 до 26,6 ГиБ памяти; для одной видеокарты на 24 ГиБ автор рекомендует Q4_K_M для скорости или Q6_K для качества, а для 16 ГиБ — IQ4_XS. Модель имеет гибридную архитектуру: из 64 слоёв только 16 используют полноценное attention, остальные 48 используют Gated DeltaNet, благодаря чему снижается расход KV-кэша и поддерживается контекст до примерно 111 872 токенов для Q4_K_M на RTX 3090. Точные характеристики исходной модели, включая языки и число параметров, в README дополнительно не раскрыты, однако название указывает на класс 27B. Мультимодальный режим с изображениями поддерживается через отдельный файл mmproj размером около 0,9 ГиБ; он позволяет, например, описывать изображения, но специализированные Qwen3-VL-модели должны быть лучше для плотного OCR и подсчёта небольших объектов. Также доступен отдельный MTP-файл для speculative decoding, который на CUDA в приведённом тесте увеличивал скорость генерации до 36 процентов при определённой настройке. Ограничения включают компромисс между качеством, скоростью и объёмом памяти при выборе квантизации, заметное замедление IQ4_XS по сравнению с Q4_K_M и слабую эффективность MTP на Vulkan. Для работы требуются совместимые сборки llama.cpp; режим draft-mtp поддерживается начиная со сборки b10502.

gjtgjt создал abliteration-версию Qwen/Qwen3.8-27B с помощью Heretic v1.4.0. Это доработка готовых весов, а не новое предобучение или SFT: изменена часть проекций языковых слоёв, тогда как токенизатор, шаблон чата, визуальный энкодер и блок MTP сохранены. Модель использует плотную гибридную архитектуру Qwen3.5 с 64 языковыми слоями: 48 Gated DeltaNet и 16 Gated Attention. Она принимает текст и изображения и предназначена для диалогов, анализа изображений и многошаговых запросов; описание базовой модели также указывает на поддержку видео и программирования. Языковые теги карточки — английский и китайский. Изменение направлено на снижение шаблонных отказов на английских запросах. В приведённой оценке число маркеров отказа на 100 вредоносных запросов снизилось с 98 у базовой модели до 27; KL-дивергенция на 100 безвредных запросах составила 0,0446. Это не гарантия безопасности и не подтверждение качества на других языках или модальностях. Для режима без рассуждений README рекомендует передавать enable_thinking=False. Модель распространяется по лицензии Apache-2.0.

RecurrentGemma-9B-IT — инструктивно дообученная языковая модель из семейства RecurrentGemma, разработанного Google. Это плотная авторегрессионная модель с рекуррентной архитектурой; в метаданных указано 13,9 млрд параметров. Модель предназначена для генерации текста в диалоге, ответов на вопросы, суммаризации и рассуждений. По карточке, архитектура RecurrentGemma требует меньше памяти, чем Gemma, и ускоряет генерацию длинных последовательностей. Модель принимает текст и генерирует текст. Семейство представлено англоязычными предварительно обученными и инструктивными версиями; для этой модели карточка описывает разговорное применение. Модель доступна в формате Safetensors и запускается через Transformers. Лицензия — Gemma; применяются условия использования Gemma. Как и другие большие языковые модели, она может выдавать фактические ошибки, отражать смещения обучающих данных и испытывать трудности с неоднозначностью, нюансами языка и сложными открытыми задачами. Для приложений с пользовательскими ответами необходимы проверка результатов и меры безопасности.

T3qm7xNeuralsirkrishna_Strangemerges_32Ogno — объединённая языковая модель семейства Mistral, созданная слиянием automerger/T3qm7xNeuralsirkrishna-7B и automerger/Strangemerges_32Ogno-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и диалогов; поддерживает контекст длиной до 32 768 токенов. Модель принимает текст и выдаёт текст. Карточка не описывает конкретные специализации, набор языков или результаты оценки качества, поэтому её можно характеризовать как модель общего назначения. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.