I.4Обработка документов и форм

Keural-Cortex-8B — разговорная модель компании MKD Co., Ltd. из Пусана, Южная Корея, созданная на базе Qwen/Qwen3-8B-Base. Модель содержит 7,6 млрд параметров и поддерживает контекст до 65 536 токенов. Её обучали на корейских текстах, расширяли контекст с помощью YaRN и дообучали на инструкциях и диалогах; веса опубликованы в формате safetensors. Модель предназначена для общения на корейском и английском языках, ответов на вопросы, помощи с текстами и кодом, а также для сценариев с вызовом инструментов. По результатам сравнительных тестов из карточки она достигает заявленной цели по корейскому языку, а по английскому сопоставима с Qwen3-8B-Instruct. При этом у неё есть заметная слабость на тестах с выбором фиксированного ответа, включая задачи на логическое следование и ответы «да/нет»; результаты таких тестов могут недооценивать способность модели отвечать на те же вопросы в обычном диалоге. Модель может уверенно выдавать неверные сведения и не проходила оптимизацию предпочтений. Разработчик не рекомендует использовать её для медицинских, юридических и финансовых советов, сведений о самой MKD Co., Ltd., сценариев, требующих thinking mode, или цепочек зависимых вызовов инструментов без внешнего управления порядком. Лицензия — Apache-2.0.

Kimi-Linear-48B-A3B-Base — базовая языковая модель Moonshot AI с архитектурой Kimi Linear и разреженной смесью экспертов. В карточке указаны 48 млрд параметров всего и около 3 млрд активируемых параметров; метаданные каталога отдельно приводят 2,7 млрд параметров. Модель использует гибридное внимание Kimi Delta Attention и MLA с соотношением 3:1 и предназначена для генерации текста, включая диалоги и задачи с длинным контекстом. Заявленная длина контекста — до 1 млн токенов. Архитектура нацелена на эффективную работу с длинными последовательностями: в README заявлены сокращение KV-кэша до 75% и ускорение декодирования до 6 раз в некоторых сценариях. Это базовая версия, поэтому для диалога и следования инструкциям может потребоваться дополнительная настройка. Указана лицензия MIT.

nm-testing/Llama-3.2-1B-Instruct-FP8-KV — тестовый вариант Meta Llama 3.2 1B Instruct, опубликованный организацией nm-testing на Hugging Face. Он основан на авторегрессионной языковой модели Meta с оптимизированной архитектурой Transformer, дообученной с помощью supervised fine-tuning и reinforcement learning from human feedback для полезного и безопасного диалога. Репозиторий не содержит отдельной карточки модели, поэтому сведения о назначении и характеристиках частично унаследованы от базовой модели Meta Llama 3.2 1B Instruct. Модель предназначена для генерации текста, многоязычного диалога, ассистентских и агентных сценариев, включая извлечение знаний, суммаризацию, переписывание запросов и работу локально при ограниченных вычислительных ресурсах. Базовая модель содержит около 1,23 млрд параметров, поддерживает текст на входе и выходе, Grouped-Query Attention и контекст до 128 тысяч токенов; официально заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В данном варианте веса представлены в BF16, а KV-cache использует формат FP8 E4M3, что может снижать потребление памяти и ускорять инференс, но способно приводить к численной погрешности. Основное ограничение — это тестовый чекпойнт, предназначенный прежде всего для проверки инфраструктуры квантования и инференса, а не отдельная модель с собственной оценкой качества. Для использования применяются условия Llama 3.2 Community License Meta, включая требования Acceptable Use Policy и специальные условия распространения.

unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF-UD — это GGUF-версия инструкционно дообученной модели Llama 4 Maverick, разработанной Meta и опубликованной Unsloth. Модель предназначена для генерации текста и выполнения пользовательских инструкций в общих сценариях работы с языком, включая диалоговые приложения и задачи обработки текста. В идентификаторе указаны конфигурация с 17B параметров и 128E экспертов, а также вариант Instruct; дополнительные сведения об архитектуре и методе квантования в предоставленных данных отсутствуют. Заявлены следующие языки: арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский. Модальность, размер контекстного окна, конкретные уровни квантования, требования к оборудованию, результаты тестирования и известные ограничения не указаны, поэтому оценить производительность в отдельных задачах по этим данным невозможно. Использование модели регулируется Llama 4 Community License от Meta, действующей с 5 апреля 2025 года. Лицензия допускает использование, воспроизведение, распространение, создание производных работ и модификацию на указанных условиях, включая сохранение лицензионного уведомления, предоставление копии соглашения и отображение обозначения «Built with Llama» при распространении материалов или продуктов. Для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено требование запросить отдельную лицензию у Meta.

Meta-Llama-3.1-8B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta и подготовленной в формате GGUF пользователем bartowski. Это текстовая модель для генерации ответов по инструкциям и диалогового взаимодействия. Модель предназначена для задач text generation, включая ответы на запросы, создание и преобразование текста и другие сценарии, где требуется работа с естественным языком. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Размер базовой модели — 8B параметров; модальности и размер контекстного окна в предоставленных данных не указаны. Квантизация в формате GGUF может упростить локальный запуск и снизить требования к ресурсам по сравнению с полноразмерными весами, однако конкретный уровень квантизации в README не указан. Ограничения включают возможные ошибки и неточности генерации, а также отсутствие данных о производительности, точном варианте квантования и контекстном окне. Модель распространяется по Llama 3.1 Community License от Meta с требованиями соблюдать Acceptable Use Policy, включать текст лицензии и атрибуцию при распространении, а также использовать обозначение «Built with Llama» в предусмотренных лицензией случаях.

Guile/orcarouter_Qwen3.8-27B-Uncensored-GGUF — это квантованная версия модели orcarouter/Qwen3.8-27B-Uncensored, подготовленная bartowski в формате GGUF для запуска через llama.cpp. Модель содержит около 28 млрд параметров и предназначена для генерации текста, рассуждений, function calling, задач red teaming и работы с изображениями при использовании дополнительного файла mmproj. Заявлена поддержка английского и китайского языков. Модель поддерживает мультимодальный ввод текста и изображений, speculative decoding с использованием MTP и imatrix-квантизацию. Доступны варианты от BF16 размером 54,66 ГБ до более компактных конфигураций Q3–Q8; вариант Q4_K_M размером 17,77 ГБ указан как сбалансированный по качеству и требованиям к памяти. README не содержит сведений об архитектуре слоёв, размере контекстного окна, точных мультимодальных ограничениях и результатах бенчмарков, поэтому эти характеристики оценить нельзя. Для работы требуются совместимые версии llama.cpp и, при обработке изображений, файл mmproj. Преимуществами являются большой размер модели, поддержка текста и изображений, рассуждений, function calling и speculative decoding, а также широкий выбор уровней квантизации для различного объёма доступной памяти. Ограничения включают высокие требования к памяти даже у компактных вариантов, возможное снижение качества при сильной квантизации и отсутствие в README подробных данных о безопасности и фактической производительности. Указанная лицензия — Apache-2.0.

Jackrong/Qwen3.5-27B-GLM5.1-Distill-v1 — экспериментальная мультимодальная модель с 27 млрд параметров, созданная автором Jackrong на базе Qwen3.5-27B. Модель прошла supervised fine-tuning с использованием LoRA на отфильтрованных данных рассуждений, полученных от GLM-5.1; в обучении также использовался набор Qwen3.5-reasoning-700x. Весы опубликованы в формате safetensors, модель рассчитана на работу через Transformers и распространяется по лицензии Apache-2.0. Модель предназначена для диалогов и следования инструкциям, многошаговых рассуждений, решения математических и логических задач, программирования и анализа изображений. Заявлена поддержка английского, китайского, японского и испанского языков; архитектура Qwen3.5 поддерживает обработку текста и изображений. Карточка описывает её как экспериментальную версию для обучения, демонстраций и технического исследования, с ожидаемыми улучшениями в структурированности и последовательности ответов. Модель может галлюцинировать факты, а цепочки рассуждений — становиться нестабильными, зацикливаться или отклоняться от задачи. Автор предупреждает, что прирост качества умеренный и не гарантирован; особенно важна проверка ответов о реальных событиях. Хотя метаданные классифицируют модель как image-text-to-text, README также описывает её как инструмент для аналитических задач, кода и математики.

TheWegemann/Qwen3.8-27B-LowGPU-uncensored-NoMTP-IQ3XXXS-GGUF — это квантованная GGUF-версия 27-миллиардной модели Qwen3.8, подготовленная TheWegemann на основе аблитерированной и «uncensored» модели OrcaRouter Qwen3.8-27B-Uncensored, восходящей к официальной Qwen/Qwen3.8-27B. Модель предназначена для локального запуска через llama.cpp, включая агентские сценарии, задачи рассуждения и работу с изображениями при наличии совместимого vision-проектора. Модель использует гибридную архитектуру с блоками Gated DeltaNet и линейным вниманием, чередующимися с блоками полного внимания; всего заявлено 64 слоя. Это custom per-tensor mixed-precision квантование с 498 назначениями типов, собственной importance matrix и удалённой MTP-головой для снижения потребления памяти. Размер файла составляет около 9,3 ГБ. Сборка ориентирована на GPU с 12 ГБ VRAM: она тестировалась на NVIDIA RTX 4070 с полным GPU offload, контекстом до 64 000 токенов, Q4_0 KV-кэшем, Flash Attention и F16 vision-проектором. Поддерживаемые языки в README не указаны. Сильная сторона модели — сочетание крупного размера, агрессивной оптимизации памяти и возможности полностью разместить модель на GPU с 12 ГБ VRAM, сохранив большой контекст и мультимодальный сценарий. Ограничения включают зависимость от версии llama.cpp, драйверов и настроек запуска, а также возможное увеличение требований к памяти; конфигурации с менее чем 12 ГБ VRAM и CPU offload находятся вне целевого сценария. Модель унаследовала сниженные защитные механизмы исходного аблитерированного чекпойнта: квантование их не восстанавливает, поэтому при развёртывании необходимы собственные меры модерации и контроля доступа. Лицензия — Apache 2.0.

Qwen3.8-Flash-Next-Uncensored-NVFP4 — квантизированная версия модели Qwen3.8-Flash-Next, разработанной Qwen и опубликованной OrcaRouter. Это мультимодальная Mixture-of-Experts-модель для работы с текстом и изображениями, рассуждений, вызова инструментов, функционального вызова, исследовательского red-teaming и анализа механизмов отказа моделей. Модель представляет preview-архитектуры Qwen4 и поддерживает английский и китайский языки. Архитектура включает 512 экспертов, из которых для каждого запроса активируются 10 маршрутизируемых и 1 общий эксперт, Gated DeltaNet linear attention, Qwen Sparse Attention, HyperConnections и PLE n-gram embeddings. Экспертные веса сжаты в NVFP4 с точностью 4 бита, attention и общие экспертные веса — в FP8, а отдельные компоненты, включая эмбеддинги, vision tower и нормализации, сохранены в bf16. Размер хранения сокращён примерно с 330 ГБ в bf16 до 178 ГБ; KV-кэш во время работы остаётся в bf16. Главное преимущество модели — значительное снижение требований к памяти при сохранении полноточных путей в важных компонентах, а также встроенная поддержка vision, reasoning и tool calling. Ограничения включают необходимость GPU с архитектурой Blackwell и FP4 tensor cores; Hopper и более старые GPU не поддерживаются. Для запуска нужны свежие версии vLLM с архитектурой qwen4_exp и compressed-tensors NVFP4, а мультимодальный режим зависит от поддержки vision-стека Qwen. Из модели удалена значительная часть safety alignment методом abliteration, поэтому она может выполнять вредоносные или незаконные запросы, от которых исходная модель отказалась бы. Модель предназначена только для легитимных исследований; перед практическим развёртыванием необходимы собственные фильтры безопасности и модерация. Лицензия — Apache 2.0, унаследованная от базовой модели.

duyntnet/SmolLM2-1.7B-imatrix-GGUF — набор GGUF-квантизаций компактной языковой модели SmolLM2-1.7B, разработанной Hugging Face. Модель предназначена для генерации текста и широкого спектра задач, включая следование инструкциям, работу со знаниями, рассуждения, математику, переписывание и суммаризацию текста, а instruct-версия также поддерживает function calling. GGUF-вариант ориентирован на локальный запуск через llama.cpp и совместимые приложения. Модель содержит 1,7 млрд параметров и работает в текстовой модальности; в карточке указан английский язык. Базовая SmolLM2-1.7B обучалась на 11 трлн токенов с использованием данных FineWeb-Edu, DCLM, The Stack, а также математических и программных наборов данных. Instruct-версия дополнительно обучалась методом supervised fine-tuning и оптимизировалась с помощью Direct Preference Optimization на базе UltraFeedback. К сильным сторонам относятся компактность, возможность запуска на устройстве и улучшения по сравнению с SmolLM1-1.7B в следовании инструкциям, знаниях, рассуждениях и математике. Размер контекста в README не указан, поэтому его характеристики и ограничения нельзя определить точнее. Для использования доступны llama.cpp, KoboldCPP, Ollama, text-generation-webui, GPT4All и Jan. Лицензия обозначена как other, без дополнительных условий в README; точные права и ограничения следует уточнять в исходной карточке модели и лицензии базовой SmolLM2-1.7B.