I.6Перевод и языковая адаптация

TheBloke/Mistral-7B-Instruct-v0.2-AWQ — это 4-битная AWQ-квантизированная версия Mistral 7B Instruct v0.2, разработанной Mistral AI и подготовленной для публикации TheBloke. Модель предназначена для генерации текста и диалоговых сценариев с инструкциями, включая локальный запуск через text-generation-webui, vLLM, Transformers, TGI и AutoAWQ. Для работы используется шаблон запросов Mistral: <s>[INST] {prompt} [/INST]. Модель относится к семейству Mistral, содержит около 7 млрд параметров и поддерживает контекст длиной 4096 токенов. Указана только текстовая модальность; сведения о языках в README отсутствуют. AWQ-квантизация снижает требования к памяти и обеспечивает быстрый инференс на совместимых NVIDIA GPU, при этом заявляется сопоставимое или лучшее качество по сравнению с распространёнными настройками GPTQ. Размер опубликованной сборки составляет около 4,15 ГБ. Основные ограничения связаны с аппаратной и программной совместимостью: AWQ-версия рассчитана на Linux и Windows с NVIDIA GPU, а для macOS рекомендуется использовать формат GGUF. В README также указана лицензия Apache-2.0. Поддержка и качество конкретных задач зависят от исходной модели, настроек инференса и используемого программного окружения.

Это объединённая модель MaziyarPanahi, созданная методом SLERP на основе Mistral-7B-Instruct-v0.2 и Mistral-7B-v0.1-sharded. Она предназначена для генерации текста в диалогах и выполнения инструкций. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров; длина контекста — до 32 768 токенов. Весы опубликованы в формате Safetensors. Модель принимает текст и выдаёт текст. Метаданные не определяют конкретные языки, поэтому их нельзя указать. Репозиторий распространяется по лицензии Apache-2.0. README описывает состав и параметры слияния, но не приводит сравнительных оценок качества или подробных ограничений применения.

Nanonets-OCR2-1.5B-exp — экспериментальная модель Nanonets для преобразования изображений документов в структурированный Markdown. Она дообучена на основе Qwen/Qwen2-VL-2B-Instruct и использует архитектуру Qwen2-VL; модель содержит около 982,1 млн параметров, принимает изображения и текстовые запросы и генерирует текст. Контекст — до 32 768 токенов. Модель распознаёт печатный и рукописный текст на разных языках, извлекает сложные таблицы, формулы с разметкой LaTeX, водяные знаки и подписи, описывает изображения в документах и передаёт схемы в Mermaid. Также она отвечает на вопросы по содержимому документа, а если ответа там нет, должна сообщить, что сведения не упоминаются. Повышение разрешения изображения может улучшить распознавание; для сложных таблиц результат зависит от настроек генерации и качества исходного документа. Лицензия — Apache-2.0.

NeuralsirkrishnaShadow_Inex12Neural — слитая языковая модель семейства Mistral, созданная из automerger/NeuralsirkrishnaShadow-7B и automerger/Inex12Neural-7B. Она содержит 7,1 млрд параметров и предназначена для генерации текста на основе текстового запроса; длина контекста составляет до 32 768 токенов. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Данные карточки не описывают специализацию по языкам или прикладным областям, поэтому её следует рассматривать как модель общего назначения. Качество и конкретные возможности зависят от запроса и сценария применения.

NeuralSoTa-7b-v0.1 — объединённая языковая модель Kukedlc на архитектуре Mistral с 7,1 млрд параметров. Она создана методом Model Stock с помощью mergekit на основе mistralai/Mistral-7B-v0.1 и объединяет веса Dolphin 2.8 Mistral 7B v02, WizardLM-2-7B и Starling-LM-7B-beta. Модель предназначена для генерации текста на основе текстовых запросов; её можно применять для диалогов, ответов на вопросы и написания текстов. Контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors, библиотека для работы — Transformers. Лицензия в предоставленных данных не указана.

MaziyarPanahi/notus-7b-v1-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием моделей mistralai/Mistral-7B-Instruct-v0.2 и argilla/notus-7b-v1 методом SLERP. Она основана на архитектуре Mistral с плотной причинной языковой моделью MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста в формате диалога и выполнения инструкций. Контекст составляет до 32 768 токенов, что позволяет использовать её для продолжительных бесед и работы с длинными текстовыми запросами. На Hugging Face опубликована в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка описывает способ слияния, но не приводит отдельных оценок качества или известных ограничений; результат зависит от формулировки запроса и сценария применения.

olmOCR-2-7B-1025-bf16 — преобразованная в формат MLX модель сообщества mlx-community на основе allenai/olmOCR-2-7B-1025. Это визуально-языковая модель с архитектурой Qwen2.5-VL и 7,1 млрд параметров, предназначенная для обработки изображений с выдачей текста. Карточка этой копии отсылает за подробностями к исходной модели. Модель подходит для OCR и извлечения текстовой информации из изображений и документов. Она принимает изображения и текстовые инструкции, а результат выдаёт в виде текста; заявленный родительский чекпойнт поддерживает контекст до 128 000 токенов. По метаданным, исходная модель дообучена на Qwen/Qwen2.5-VL-7B-Instruct, а данная копия преобразована в формат MLX. Лицензия — Apache-2.0.

Guile/orcarouter_Qwen3.8-27B-Uncensored-GGUF — это квантованная версия модели orcarouter/Qwen3.8-27B-Uncensored, подготовленная bartowski в формате GGUF для запуска через llama.cpp. Модель содержит около 28 млрд параметров и предназначена для генерации текста, рассуждений, function calling, задач red teaming и работы с изображениями при использовании дополнительного файла mmproj. Заявлена поддержка английского и китайского языков. Модель поддерживает мультимодальный ввод текста и изображений, speculative decoding с использованием MTP и imatrix-квантизацию. Доступны варианты от BF16 размером 54,66 ГБ до более компактных конфигураций Q3–Q8; вариант Q4_K_M размером 17,77 ГБ указан как сбалансированный по качеству и требованиям к памяти. README не содержит сведений об архитектуре слоёв, размере контекстного окна, точных мультимодальных ограничениях и результатах бенчмарков, поэтому эти характеристики оценить нельзя. Для работы требуются совместимые версии llama.cpp и, при обработке изображений, файл mmproj. Преимуществами являются большой размер модели, поддержка текста и изображений, рассуждений, function calling и speculative decoding, а также широкий выбор уровней квантизации для различного объёма доступной памяти. Ограничения включают высокие требования к памяти даже у компактных вариантов, возможное снижение качества при сильной квантизации и отсутствие в README подробных данных о безопасности и фактической производительности. Указанная лицензия — Apache-2.0.

bunsenfeng/parti_19_full — языковая модель для генерации текста и диалогового взаимодействия, опубликованная на Hugging Face. По метаданным она относится к семейству Qwen2, содержит около 7,1 млрд параметров и предназначена для использования через библиотеку Transformers с форматом safetensors. Модель подходит для чат-ботов, генерации ответов, продолжения текста и других сценариев, где требуется autoregressive text generation. Она поддерживает контекст до 32 768 токенов, что позволяет обрабатывать относительно длинные запросы и фрагменты переписки. README не содержит сведений о разработчике, языках, обучающих данных, результатах оценки, лицензии и рекомендуемых ограничениях использования. Поэтому модель следует предварительно проверять на качество, безопасность, устойчивость к галлюцинациям и соответствие требованиям конкретного применения.

Qwen3.8-27B-NVFP4 — квантизированная версия мультимодальной модели Qwen3.8-27B, созданная vrfai на основе исходной модели Qwen. Она предназначена для задач понимания текста и изображений, включая визуальные вопросы и ответы, анализ документов, диаграмм, OCR и математических изображений. Модель рассчитана на использование через Transformers и vLLM. Модель имеет 27 млрд параметров и распространяется в формате NVFP4 W4A4 с сериализацией compressed-tensors. Размер контрольной точки составляет 18,4 ГБ против 52 ГБ у базовой модели. Квантизация применяется к 93,28% весов линейных слоёв; отдельные компоненты, включая зрительную башню, lm_head, нормализации, эмбеддинги и некоторые слои Gated DeltaNet, сохранены в bf16. В архитектуре используются attention и Gated DeltaNet, однако размер контекстного окна и список поддерживаемых языков в карточке не указаны. Основное преимущество модели — существенно меньшее потребление памяти при сохранении мультимодальных возможностей. При наличии GPU с compute capability 10.0 или новее, например NVIDIA Blackwell B100, B200 или GB200, поддерживается полноценная NVFP4-арифметика. На H100, H200 и графических процессорах Ada модель работает через weight-only путь Marlin FP4: экономия памяти сохраняется, но вычисления, особенно при обработке длинных входов и больших пакетов, могут быть медленнее, чем у версии bf16. Результаты тестов показывают измеримые потери на отдельных задачах компьютерного зрения и обработки документов; опубликованные оценки не следует напрямую считать показателями полноценного W4A4-режима на Blackwell. Модель распространяется по лицензии Apache-2.0.

Avifenesh/Qwen3.8-27B-NVFP4-MTP-GGUF — квантизированная версия Qwen3.8-27B, разработанная Qwen и подготовленная Avifenesh как артефакт сервинга лаборатории tiyuvta. Модель предназначена для генерации текста, диалоговых приложений и агентных сценариев; встроенный MTP (multi-token prediction) позволяет использовать speculative decoding для ускорения инференса в совместимых движках, прежде всего memra. Модель использует NVFP4-квантизацию с 4-битными весами, эмбеддинги и выходную голову в формате Q5_K, а также включает отдельный MTP-блок и маскированную draft head для speculative decoding. Размер базовой модели — 27B параметров, словарь содержит 248 320 токенов, встроенный chat template поддерживает tool calling и thinking blocks. Заявлен нативный текстовый контекст до 262 144 токенов. Мультимодальный VL-компонент в этот артефакт не входит, а поддерживаемые языки в README не указаны. К сильным сторонам относятся существенно сниженный размер файла, поддержка длинного контекста и ускорение декодирования: для конфигурации MTP K=3 указаны медианная скорость 137,9 токена в секунду на RTX PRO 6000 Blackwell и 73,6 токена в секунду на RTX 5090 Laptop при коэффициенте принятия черновых токенов 0,74. Ограничения связаны с необходимостью движка, поддерживающего GGUF, NVFP4 и MTP, а также с оптимизацией под аппаратные платформы Blackwell; приведённые сервисные измерения относятся к уже закрытому endpoint и не являются текущей гарантией производительности. Модель распространяется по лицензии Apache-2.0.

Модель vito95311/Qwen3-Omni-30B-A3B-Thinking-GGUF-INT8FP16 — квантованная версия Qwen3-Omni-30B-A3B-Thinking от автора vito95311, опубликованная в формате GGUF для запуска через llama.cpp и Ollama. В основе лежит мультимодальная модель Qwen3-Omni с архитектурой смеси экспертов и режимом рассуждения; в README указан размер исходной модели 31,7 млрд параметров. Репозиторий содержит варианты Q8_0 с весами INT8 и F16, а также отдельный файл FP16. Версия предназначена прежде всего для генерации текста, рассуждений, диалога и написания кода на локальном оборудовании. Карточка описывает поддержку китайского и английского языков и заявляет многоязычность. Исходная модель принимает текст, изображения, аудио и видео и может формировать текстовые и аудиовыходы, однако автор предупреждает, что мультимодальные функции в llama.cpp и Ollama могут быть недоступны или работать с ухудшением; в текущей упаковке следует ориентироваться на текстовые сценарии. Квантование уменьшает требования к памяти по сравнению с исходной моделью, но README не приводит независимой проверки заявленных показателей качества и скорости. Для использования указана лицензия Apache 2.0; базовая модель сохраняет условия лицензии Qwen3-Omni.

Qwen Plus 0728 — гибридная модель с рассуждением от команды Qwen, основанная на фундаментальной модели Qwen3. Она предназначена для генерации текста и решения задач, требующих рассуждений. Контекст модели составляет 1 миллион токенов; заявлен баланс производительности, скорости и стоимости. Модель подходит для диалогов, анализа длинных материалов и ответов на вопросы по большим текстовым контекстам. README не приводит подробностей об архитектуре, поддерживаемых языках или лицензии, поэтому эти характеристики нельзя уточнить по имеющимся данным.

SciPhi-Mistral-7B-32k-Mistral-7B-Instruct-v0.2-slerp — объединённая методом SLERP диалоговая языковая модель на архитектуре Mistral, созданная из mistralai/Mistral-7B-Instruct-v0.2 и SciPhi/SciPhi-Mistral-7B-32k. Разработчик в карточке не назван. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ответы на инструкции в диалоговом формате. Контекст модели составляет до 32 768 токенов. Веса доступны в формате safetensors, лицензия — Apache-2.0. Объединение сочетает instruct-модель Mistral с вариантом SciPhi, рассчитанным на длинный контекст; конкретные преимущества и результаты сравнительной оценки в карточке не приводятся. Модель работает с текстом; список поддерживаемых естественных языков в карточке не указан.

slerp-test-turdus-beagle — текстовая генеративная модель объёмом 7,1 млрд параметров, созданная объединением udkai/Turdus и mlabonne/NeuralBeagle14-7B методом SLERP с помощью LazyMergekit. Модель основана на архитектуре Mistral и распространяется в формате Safetensors; для неё заявлено контекстное окно до 32 768 токенов. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и творческих задач. В карточке приведены результаты оценок на бенчмарках AI2 Reasoning Challenge и HellaSwag. Лицензия — Apache-2.0. Метаданные указывают на объединение двух базовых моделей; README также приводит OpenPipe/mistral-ft-optimized-1218 как базовую модель в конфигурации слияния.

Карточка модели WillowVoiceAI/surya-ocr-2 на Hugging Face совпадает с карточкой datalab-to/surya-ocr-2, поэтому описание составлено по ней. Surya OCR 2 — модель Datalab для распознавания и структурирования документов. Это плотная мультимодальная модель семейства Qwen3.5 с 650 млн параметров, которая принимает изображения и обрабатывает страницы документов как единая VLM. Она выполняет OCR, анализ структуры и порядка чтения, а также распознавание таблиц; заявлена поддержка 91 языка по внутреннему тестированию. Модель подходит для извлечения текста и структуры из изображений и PDF, включая таблицы, заголовки, формы и математические выражения. В README указаны результат 83,3% на olmOCR-bench и пропускная способность около пяти страниц в секунду на RTX 5090; это результаты авторов и конкретной конфигурации. Для инференса OCR, анализа структуры и таблиц требуется сервер vLLM или llama.cpp. Модель специализируется на документах, а не на фотографиях или природных сцен. Код Surya распространяется по Apache 2.0, но веса — по модифицированной лицензии AI Pubs Open Rail-M: бесплатное использование разрешено для исследований, личных проектов и стартапов с финансированием или выручкой менее 5 млн долларов. Для более широкого коммерческого использования весов требуется отдельная лицензия.

Swift-Qwen3.8-27B-NVFP4 — квантизированная мультимодальная модель UkisAI, производная от Swift-Qwen3.8-27B, которая, в свою очередь, основана на Qwen3.8-27B. Модель предназначена для задач рассуждения и обработки текста и изображений; в карточке указана поддержка сценариев image-text-to-text. Архитектура, компоненты зрения, токенизатор и веса BF16 для MTP сохранены от исходной модели. Модель использует смешанную точность NVIDIA Model Optimizer: основные MLP-проекции и lm_head представлены в NVFP4 с размером блока 16, крупные проекции DeltaNet и полнослойного внимания — в FP8 E4M3, а embeddings, нормализации, свёртки, компоненты зрения и MTP — в BF16. Размер чекпойнта составляет примерно 21,945 ГБ. Квантизация снижает требования к памяти под веса и оставляет больше памяти для KV-кэша, при этом точность KV-кэша не изменена. Сильными сторонами являются сохранение мультимодальных компонентов и MTP, документированная калибровка и совместимость с vLLM 0.28.0 при наличии загрузчика для смешанных ModelOpt-чекпойнтов. Ограничения включают необходимость соответствующего программного стека и оборудования; модель проверялась на GPU H100. Языки и размер контекстного окна в предоставленных данных не указаны. Доступ к модели ограничен, а лицензия обозначена как swift-open-license-1.0; также указана возможность корпоративного лицензирования.

T3qm7xNeuralsirkrishna_NeuralsirkrishnaExperiment26 — объединённая языковая модель, созданная из automerger/T3qm7xNeuralsirkrishna-7B и automerger/NeuralsirkrishnaExperiment26-7B. Она использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и предназначена для генерации текста и диалогов с контекстом до 32 768 токенов. Модель принимает текст и выдаёт текст; репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. Карточка не приводит сведений о специализированной области применения или языках, поэтому модель описывается как общего назначения.

Ternary-Bonsai-8B-gguf — языковая модель для генерации текста, разработанная Prism ML на базе Qwen3-8B. Она предназначена для локального и встраиваемого запуска, включая сценарии on-device, через llama.cpp и совместимые инструменты. Модель распространяется в формате GGUF Q2_0 и ориентирована на задачи диалога, ответов на вопросы, рассуждений и программной интеграции. Модель содержит 8,19 млрд параметров, включая около 6,95 млрд параметров без учёта эмбеддингов, и использует 36 декодерных Transformer-блоков с GQA, архитектурой SwiGLU, RoPE и RMSNorm. Длина контекста составляет 65 536 токенов, размер словаря — 151 936 токенов. Веса квантизованы до троичного представления {-1, 0, +1} с групповым масштабированием FP16; размер рекомендуемого файла Q2_0 составляет около 2,03 GiB, или 2,18 GB. Главное преимущество модели — существенное снижение требований к памяти: примерно в 7,5 раза по сравнению с FP16 при заявленном сохранении информации для троичных весов. По приведённым бенчмаркам она показывает высокое качество среди моделей сопоставимого размера, но уступает исходной Qwen3-8B по среднему результату. Для работы с форматом Q2_0 требуется специальная ветка Prism ML для llama.cpp, поскольку поддержка этого формата ещё не включена в основную ветку проекта. Языки, на которых модель оптимизирована, в README не указаны. Лицензия — Apache 2.0.

ThinkingCap-Qwen3.6-27B-GGUF — набор GGUF-квантизаций мультимодальной vision-language модели ThinkingCap-Qwen3.6-27B, разработанной BottleCap AI на основе Qwen3.6-27B от Qwen Team. Модель предназначена для локального запуска через llama.cpp и совместимые среды, включая Ollama и LM Studio, и поддерживает работу с текстом и изображениями. Дообучение направлено на сокращение рассуждений примерно на 50% в среднем при сохранении качества и стиля ответов базовой модели. Доступны варианты f16, Q8_0, Q6_K и Q4_K_M размером примерно от 15,7 до 50,9 ГБ; Q4_K_M рекомендуется как баланс размера и качества, а Q8_0 и Q6_K — как варианты, близкие к исходной точности. Для обработки изображений требуется отдельный мультимодальный проектор mmproj размером около 0,9 ГБ. Поддерживается MTP self-speculative decoding, способный дополнительно повысить скорость генерации при использовании современной версии llama.cpp. По приведённым оценкам, точность квантованных вариантов статистически сопоставима с f16 и базовой моделью: около 0,89–0,91 на MMLU-Pro и 0,78–0,82 на RealWorldQA. Сильными сторонами являются существенно более короткие рассуждения, ускорение выполнения задач, локальный запуск и почти без потерь качества при квантовании. Ограничения включают значительные требования к дисковому пространству и памяти, необходимость совместимого runtime, а для изображений — отдельного vision-проектора. Лицензия в README не указана; доступ к модели может предоставляться по запросу.

Модель создана Liquid AI и представляет собой дообученную для агентных сценариев версию LFM2.5-2.6B — плотной языковой модели семейства LFM2. Она рассчитана на локальное и периферийное развёртывание и поддерживает диалог, вызов инструментов, следование инструкциям и многошаговые агентные задачи. Модель принимает текст и генерирует текст; архитектура включает 30 слоёв, около 2,6 млрд параметров и контекст до 131 072 токенов. Модель подходит для извлечения данных, ответов с опорой на документы и RAG, а также длинных контекстных и агентных рабочих процессов. По данным карточки, её обучали на взаимодействиях в популярных агентных средах; заявлена эффективная локальная инференс-работа. Поддерживаются 17 языков, включая русский, английский, китайский, арабский и хинди. Карточка не рекомендует модель для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other, поэтому конкретные условия использования следует сверить с файлами лицензии репозитория. Доступен формат safetensors для Transformers; в README также упомянуты варианты GGUF и ONNX.

MaziyarPanahi объединил модели mistralai/Mistral-7B-Instruct-v0.2 и uukuguy/zephyr-7b-alpha-dare-0.85 методом SLERP с настройкой весов для слоёв self-attention и MLP. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для диалоговой генерации текста и выполнения инструкций. Она принимает текст и выдаёт текст; заявленная длина контекста — до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и генерации текста по инструкциям. Распространяется в формате Safetensors по лицензии Apache-2.0. В предоставленной карточке не приведены оценки качества объединённой версии или сведения о конкретных языках; характеристики базовой модели не гарантируют аналогичное качество после слияния.

bruhzair/Behemoth-Gigaber-SLERP — объединённая языковая модель на архитектуре Mistral, созданная методом SLERP с помощью mergekit на основе Behemoth-123B-v1.2 и Gigaberg-Mistral-Large-123B. Репозиторий содержит веса в формате safetensors; размер модели — 122,2 млрд параметров, заявленный контекст — до 131 072 токенов. Модель предназначена для генерации текста и диалогового общения. Её можно использовать для ответов на вопросы, написания и продолжения текстов, а также для сценариев с интерфейсом вызова инструментов. Карточка не приводит оценки качества или подробностей о специализации объединённых моделей. Лицензия в предоставленных данных не указана.

CrystalMistral_7b_v.04 — диалоговая языковая модель, созданная Crystalcareai слиянием моделей CrystalMistral_7b_v.01 и CrystalMistral_7b_v.02 методом SLERP с помощью LazyMergekit. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалоговых ответов по запросам. Модель принимает текст и выдаёт текст. Заявленная длина контекста — 32 768 токенов. В карточке не приведены сведения о поддерживаемых естественных языках или специализированных областях применения. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

ExpertRamonda-7Bx2_MoE — диалоговая языковая модель на архитектуре Mixtral MoE, созданная mayacinka с помощью LazyMergekit путём объединения mlabonne/AlphaMonarch-7B и bardsai/jaskier-7b-dpo-v5.6. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в диалоге; заявленная длина контекста — 32 768 токенов. Модель подходит для общения, выполнения инструкций, ответов на вопросы и рассуждений в текстовом формате. В README приведены результаты Open LLM Leaderboard и MMLU, но они не гарантируют качество на конкретных пользовательских задачах. Файлы представлены в формате safetensors. Лицензия — Apache-2.0.

Falcon OCR — модель TII для распознавания текста и разбора документов по изображению. Это компактная модель на 270 млн параметров с ранним слиянием визуальных и текстовых токенов: единый Transformer обрабатывает патчи изображения и текст в общем пространстве параметров, используя двунаправленное внимание для изображения и причинное декодирование текста с учётом изображения. Модель извлекает обычный текст, формулы в LaTeX и таблицы в HTML; промпты позволяют выбирать категории элементов страницы. Она рассчитана на сканы, фотографии документов, чеки, рукописные заметки, формы, журналы и другие материалы. Для большинства страниц рекомендуется сквозной OCR; для очень плотных многоколоночных страниц доступен двухэтапный сценарий с детектором макета PP-DocLayoutV3. Версия 1.5 дообучена с GRPO для улучшения работы с реальными документами, сложными таблицами, рукописным текстом и деградированными сканами, а также для снижения галлюцинаций и повторов. Компактный размер помогает снизить задержку и стоимость обслуживания; в описанной авторами конфигурации vLLM пропускная способность может быть в 2–3 раза выше, чем у OCR VLM размером около 0,9 млрд параметров, в зависимости от длины последовательностей и пакетирования. Для запуска требуются PyTorch 2.5 или новее и Transformers. Лицензия — Apache-2.0.

satgeze/Gemma4-12B-Uncensored-HauhauCS-1.5M-GGUF — GGUF-квантованная версия 12-миллиардной Gemma 4 без фильтрации, разработанная SatGeze на базе модели HauhauCS/Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced. Базовые модель и QAT предоставлены Google, снятие ограничений выполнено HauhauCS, а расширение контекста и сертификация — SatGeze. Модель предназначена для генерации текста, обработки очень длинных документов и поиска заданной информации в больших контекстах; также поддерживает работу с изображениями через отдельную vision-модель mmproj и ускорение декодирования с помощью MTP draft head. Нативный контекст составляет 262 144 токена, а с использованием YaRN с коэффициентом 6 расширен до 1 572 864 токенов. Для конфигурации f16 KV модель сертифицирована на контекстах до 1 310 720 токенов с результатом 10/10 в тестах needle-in-a-haystack; при q8_0 KV на максимальном контексте достигнут результат 9/10. Файл основной модели имеет размер около 7,4 ГБ и использует 4-битное квантование Google QAT. Для запуска предусмотрена интеграция с llama.cpp и Ollama. Сильные стороны модели — исключительно длинный контекст, подтверждённая устойчивость поиска информации за пределами миллиона токенов, поддержка vision и возможность ускорения генерации. Ограничения включают снижение качества на предельных длинах, особенно около 2 миллионов токенов, значительные требования к вычислительной памяти и времени предварительной обработки, а также зависимость результата от типа KV-кэша и выбранного квантования. Модель распространяется по лицензии Gemma; условия базовой лицензии применяются к производным компонентам.

MuXodious выпустил статические квантизованные GGUF-сборки Gemma 4 26B A4B Instruct, дообученной с помощью Heretic 1.2.0 и Arbitrary-Rank Ablation. Это диалоговая мультимодальная модель семейства Gemma 4 с архитектурой Mixture-of-Experts; в этой версии доступны текстовый и визуальный ввод и текстовый вывод. В репозитории есть GGUF и GGUF BF16. Шаблон чата обновлён с исправленной версией от Google. Модель предназначена для диалога, рассуждений и анализа изображений, включая извлечение информации из документов, OCR, понимание диаграмм и интерфейсов. README семейства Gemma 4 также описывает генерацию и редактирование кода, суммаризацию, поддержку длинного контекста до 256K токенов и мультиязычность; эти свойства приведены для семейства и отдельно не подтверждены для данной сборки. Ablation заметно уменьшила отказы: в приведённой проверке их стало 3 из 104 против исходных 103 из 104. Модель распространяется под лицензией Apache 2.0. Из-за ablation-процедуры она может отказывать реже, поэтому ответы на потенциально рискованные запросы требуют проверки; результаты теста отказов не гарантируют поведение в других сценариях. Для запуска GGUF требуется совместимый движок и корректный шаблон чата.

Granite-3.1-1B-A400M-Base — базовая языковая модель, разработанная командой Granite компании IBM. Она построена на декодерном разреженном трансформере Mixture of Experts (MoE); число параметров по метаданным — 163,6 млн. Контекст увеличен с 4K до 128K токенов посредством поэтапного обучения с настройкой RoPE и дополнительного предобучения примерно на 500 млрд токенов для длинного контекста. Модель предназначена для генерации текста и может служить базой для специализированной настройки. Она поддерживает суммаризацию, классификацию и извлечение информации, ответы на вопросы и другие задачи «текст-текст». В карточке указаны английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Обучающие данные охватывают веб, код, академические материалы, книги и математику, а также многоязычные и синтетические длинноконтекстные данные. Модель не прошла выравнивание по безопасности, поэтому может генерировать проблематичные ответы; также возможны предвзятость, дезинформация и дословное воспроизведение обучающих данных. Распространяется по лицензии Apache 2.0.

HermesStar-OrcaWind-Synth-11B-Mistral-7B-Instruct-v0.2-slerp — диалоговая текстовая модель, созданная слиянием Mistral-7B-Instruct-v0.2 от Mistral AI и HermesStar-OrcaWind-Synth-11B методом SLERP. Модель построена на архитектуре Mistral с плотной причинной языковой сетью, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции в диалоговом режиме. Лицензия Apache-2.0 разрешает использование на её условиях.