I.4Обработка документов и форм

Umranz/Qwen3.8-27B-heretic — версия Qwen3.8-27B с ослабленным отказом от ответов, созданная с помощью Heretic v1.4.0. Это плотная мультимодальная модель типа причинной языковой модели с визуальным энкодером, содержащая 27 млрд параметров и совместимая с Transformers, vLLM и SGLang. Модель предназначена для диалогов и многошаговых задач с текстом, изображениями и видео: анализа документов и диаграмм, программирования, исследований и агентных сценариев. Поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 млн токенов. Модель унаследовала архитектуру Qwen3.5; README приводит параметры абляции и сравнение с исходной моделью, но не описывает отдельные языки. По сравнению с исходной Qwen3.8-27B модель сильнее отклоняется от её поведения: в README указаны оценка Keywords 59/100 против 94/100 и KL divergence 0,0101. Это может быть важно при выборе версии с меньшим числом отказов, но само по себе не гарантирует качество или безопасность ответов. Лицензия — Apache-2.0.

Bernhard Brieger подготовил эту модель как посттренировочную NVFP4-квантизацию базовой Qwen/Qwen3.8-27B. Это мультимодальная модель для обработки текста и изображений, сохранившая языковую часть, vision tower и слой Multi-Token-Prediction (MTP). Квантизация не меняет логическое число параметров: оно составляет около 27,78 млрд, а размер весов на диске уменьшен до 20,59 ГБ по сравнению с 55,56 ГБ в формате bf16. Модель предназначена для следования инструкциям, программирования, диалогов, вызова инструментов и функций, работы с изображениями, а также задач с длинным контекстом, включая обработку документов объёмом свыше 100 тысяч токенов. Архитектура Qwen3_5ForConditionalGeneration включает 64 слоя: 48 слоёв с линейным вниманием Gated-DeltaNet и 16 слоёв с полным вниманием. Нативный контекст составляет 262 144 токена; работа проверена на контексте до 163 840 токенов с FP8 KV-кэшем. Поддерживается схема NVFP4 W4A4 с 4-битными весами и активациями, а критически важные компоненты, включая embeddings, lm_head, vision tower, нормализации и MTP-слой, сохранены в bf16. Главное преимущество модели — значительное снижение требований к памяти при сохранении мультимодальности и длинного контекста: объём весов уменьшен на 62,9%. Проверенным вариантом запуска является vLLM с backend modelopt_fp4. Формат NVFP4 требует аппаратной поддержки FP4-тензорных ядер и рассчитан на GPU поколения Blackwell с архитектурами sm_100 или sm_120; на более старых GPU модель работать не может. Это только квантизация исходной модели без дополнительного дообучения, дистилляции или усиленного обучения безопасности, поэтому заявленные данные не показывают разницу качества с полной версией. Лицензия — Apache-2.0.

Карточка модели RedHatAI/gemma-3-12b-it на Hugging Face совпадает с карточкой google/gemma-3-12b-it, поэтому описание составлено по ней. Gemma 3 12B IT — мультимодальная модель с открытыми весами от Google, дообученная для следования инструкциям на основе google/gemma-3-12b-pt. Она принимает текст и изображения и генерирует текст; относится к семейству Gemma 3 и доступна в формате safetensors для Transformers. Модель предназначена для диалоговых приложений, ответов на вопросы и задач понимания изображений, а также для создания и обобщения текста. Контекстное окно — до 128 тысяч токенов, поддерживается более 140 языков. Размер модели — 12 млрд параметров. Модель подходит для извлечения сведений из изображений, составления черновиков, суммаризации и исследовательских задач. Google отмечает, что ответы могут содержать фактические ошибки, отражать предвзятость обучающих данных и хуже справляться со сложными открытыми запросами, языковыми нюансами и задачами, требующими здравого смысла. Лицензия — Gemma; при использовании следует соблюдать условия лицензии и политику запрещённого использования Gemma.

google/gemma-3-4b-it-qat-q4_0-gguf — мультимодальная instruction-tuned модель Gemma 3, разработанная Google DeepMind. Она использует открытые веса и предназначена для генерации текста и понимания изображений: ответов на вопросы, суммаризации документов, рассуждений, анализа визуального содержимого и извлечения информации из изображений. Модель принимает текст и изображения, а выдаёт текст. Это 4B-версия в формате GGUF с квантизацией Q4_0 и Quantization Aware Training (QAT). QAT позволяет приблизить качество к версии в формате bfloat16 при существенно меньших требованиях к памяти, что облегчает запуск на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Для модели заявлено контекстное окно до 128K токенов, максимальный объём генерируемого вывода — 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов. Поддерживается более 140 языков. Ограничения включают зависимость качества от квантизации и используемой инфраструктуры, а также то, что поддержка изображений может различаться между инструментами запуска: например, в README указано отсутствие такой поддержки для Ollama через Hugging Face. Использование регулируется лицензией Gemma и соответствующими Terms of Use.

Gemma 3n E2B — мультимодальная генеративная модель Google из семейства Gemma, предназначенная для эффективного запуска на устройствах с ограниченными ресурсами. Она принимает текст, изображения, видео и аудио и генерирует текст; поддерживает сценарии диалога, создания и суммаризации текстов, извлечения сведений из изображений, транскрибации и перевода речи. Модель использует архитектуру MatFormer и выборочную активацию параметров: при общем количестве около 6 млрд параметров её эффективный размер и требования к памяти сопоставимы с традиционной моделью на 2 млрд параметров. Репозиторий содержит вариант E2B на базе Gemma 3n E4B. Модель обучалась на данных более чем на 140 разговорных языках. Её можно применять для чат-ботов, помощников, анализа мультимодальных данных и генерации черновиков. Возможны предвзятые, неточные или устаревшие ответы; модель может испытывать трудности с неоднозначностью и сложными открытыми задачами. Лицензия — Gemma License.

Карточка модели 12B-Suite/gemma-4-12B-it-QAT-SOMPOA-heresy на Hugging Face совпадает с карточкой MuXodious/gemma-4-12B-it-QAT-SOMPOA-heresy, поэтому описание составлено по ней. MuXodious/gemma-4-12B-it-QAT-SOMPOA-heresy — дообученная версия мультимодальной инструкционной Gemma 4 12B от Google DeepMind. Автор репозитория применил к базовой модели метод abliteration с инструментом Heretic и настройками Self-Organizing Maps и Magnitude-Preserving Orthogonal Ablation; по карточке, доля отказов в указанном тесте снизилась с 522/535 до 34/535. Модель предназначена для диалога, рассуждений и генерации текста, а также для анализа изображений, видео и аудио; семейство Gemma 4 также поддерживает код и вызов инструментов. Для этой версии в карточке названы размер 12B, контекст до 256K токенов и поддержка более 140 языков. Архитектура — плотная Gemma4UnifiedForConditionalGeneration; репозиторий содержит веса safetensors. Карточка описывает её как вариант Gemma с ослабленными отказами, но не приводит отдельной оценки качества этой конкретной модификации. Базовая модель Gemma 4 QAT использует веса, подготовленные с учётом квантования, однако в этом репозитории указан вариант unquantized Q4_0, а формат файлов — safetensors. Лицензия — Apache-2.0.

llmfan46/gemma-4-12B-it-uncensored-heretic — производная от Google Gemma 4 12B IT модель, опубликованная независимым автором. По README это мультимодальная модель для диалога, рассуждений, программирования и понимания текста, изображений, видео и аудио. Вариант 12B построен на плотной архитектуре Gemma 4 Unified с чередованием локального скользящего и глобального внимания; заявленный контекст базовой модели — до 256K токенов. Модель поддерживает многоязычные сценарии и вызов инструментов. В названии и тегах автор характеризует эту версию как uncensored, decensored и abliterated; README сообщает о целевом компоненте attn.o_proj, но не раскрывает конкретную методику изменения модели. Заявлены распознавание речи и перевод речи в текст, а также анализ изображений и последовательностей видеокадров. Возможные применения включают диалоговых помощников, извлечение сведений из документов и изображений, суммаризацию и генерацию кода. Ответы могут содержать фактические ошибки, отражать смещения обучающих данных и быть ненадёжными при неоднозначных или сложных запросах. Указанная в метаданных лицензия — Apache-2.0.

Это зеркальная копия Gemma 4 E2B IT от Google DeepMind, подготовленная chibifire. Модель прошла обучение с учётом квантизации Q4_0 (QAT), а в репозитории хранятся полут точные веса в формате safetensors вместе с токенизатором, шаблоном диалога и конфигурациями обработки и генерации. Она основана на плотной архитектуре Gemma 4 и предназначена для локального вывода и дальнейшего преобразования весов. Модель принимает текстовые и мультимодальные запросы и формирует ответы в диалоговом режиме; базовая Gemma 4 E2B IT поддерживает анализ изображений и аудио наряду с текстом. Обучение QAT рассчитано на сохранение качества при последующем хранении весов в Q4_0, хотя данная копия содержит полут точные, а не квантизованные веса. Для загрузки README рекомендует Transformers. Лицензия репозитория — Apache 2.0.

Модель создана Liquid AI и представляет собой дообученную для агентных сценариев версию LFM2.5-2.6B — плотной языковой модели семейства LFM2. Она рассчитана на локальное и периферийное развёртывание и поддерживает диалог, вызов инструментов, следование инструкциям и многошаговые агентные задачи. Модель принимает текст и генерирует текст; архитектура включает 30 слоёв, около 2,6 млрд параметров и контекст до 131 072 токенов. Модель подходит для извлечения данных, ответов с опорой на документы и RAG, а также длинных контекстных и агентных рабочих процессов. По данным карточки, её обучали на взаимодействиях в популярных агентных средах; заявлена эффективная локальная инференс-работа. Поддерживаются 17 языков, включая русский, английский, китайский, арабский и хинди. Карточка не рекомендует модель для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other, поэтому конкретные условия использования следует сверить с файлами лицензии репозитория. Доступен формат safetensors для Transformers; в README также упомянуты варианты GGUF и ONNX.

unsloth/gemma-3-27b-it — мультимодальная инструктивная модель семейства Gemma 3, опубликованная Unsloth на основе Google/gemma-3-27b-it. Это плотная архитектура Gemma 3 с 27 млрд параметров, предназначенная для диалогов и генерации текста по текстовым и визуальным запросам; принимает изображения, отвечает на вопросы о них, а также поддерживает суммаризацию и рассуждения. Контекстное окно составляет 128 тыс. токенов, модель поддерживает более 140 языков; в метаданных карточки указан английский язык. Веса опубликованы в формате safetensors и доступны по лицензии Gemma. Модель подходит для чат-ботов и виртуальных помощников, составления и редактирования текстов, краткого пересказа документов, извлечения сведений из изображений и ответов на вопросы по визуальному содержимому. Карточка описывает базовые возможности Gemma 3 и инструменты Unsloth для дообучения и экспорта, но не приводит сведений об отдельном дообучении именно этой копии. Возможны фактические ошибки, трудности с языковыми нюансами и сложными открытыми задачами; результаты также зависят от обучающих данных и формулировки запроса.

Mungert/gemma-3n-E4B-it-GGUF — квантованный формат GGUF инструкционной мультимодальной модели Gemma 3n E4B, разработанной Google DeepMind и преобразованной с использованием llama.cpp. Модель предназначена для эффективного запуска на устройствах с ограниченными ресурсами и генерации текстовых ответов на основе текста, изображений, видео и аудио. Возможные сценарии включают ответы на вопросы, анализ визуального содержимого, суммирование документов, распознавание речи и автоматический перевод речи. Модель имеет 8 млрд фактических параметров, но благодаря выборочной активации параметров и выгрузке редко используемых матриц рассчитана на потребление памяти, сопоставимое с традиционной моделью на 4 млрд параметров. Она использует архитектуру MatFormer, поддерживает вложенную подмодель E2B и допускает создание моделей промежуточного размера. Контекст составляет до 32K токенов; изображения обрабатываются в разрешениях 256×256, 512×512 или 768×768, аудио — с частотой 6,25 токена в секунду для одноканального сигнала. Максимальная длина вывода — до 32K токенов за вычетом входа. Модель обучалась на данных более чем 140 разговорных языков. К сильным сторонам относятся мультимодальность, компактное эффективное выполнение и поддержка сценариев на устройствах с ограниченными ресурсами. Ограничения связаны с использованием GGUF и необходимостью совместимого программного обеспечения для запуска; конкретные характеристики квантования в представленном README не указаны. Для использования требуется принять лицензию Google Gemma; лицензия обозначена как gemma, а авторами исходной модели являются Google DeepMind.

cafepm/gemma-4-12b-it-Q3Q4-GGUF — это смешанно-квантованная версия Gemma 4 12B Instruct, опубликованная cafepm. По карточке, 20% весов квантованы до 4 бит, а остальные 80% — до 3 бит; файлы представлены в формате GGUF. Базовая модель — google/gemma-4-12B-it. Репозиторий предназначен для локального запуска, в том числе для помощи при программировании в VS Code и работы на потребительском оборудовании. Модель принимает текст и изображения и формирует текстовые ответы; поддерживает диалог и визуальное понимание. В карточке базового семейства заявлены анализ документов и изображений, распознавание текста, работа с длинным контекстом и использование инструментов. Для этого конкретного квантованного варианта заявлен контекст до 200 тысяч токенов, однако README также приводит для Gemma 4 12B значение до 256 тысяч; фактический предел зависит от сборки и рантайма. Семейство поддерживает более 35 языков, но список языков для этой сборки не приведён. README заявляет, что схема смешанной точности сохраняет качество генерации уровня Q4 при размере, близком к Q3, и позволяет разместить модель в 8 ГБ VRAM; независимые результаты оценки не приведены. Квантование снижает требования к памяти, но может влиять на качество по сравнению с исходными весами, а длинный контекст требует значительных ресурсов. Указана лицензия Apache-2.0.

MuXodious/gemma-4-12B-it-QAT-SOMPOA-heresy — дообученная версия мультимодальной инструкционной Gemma 4 12B от Google DeepMind. Автор репозитория применил к базовой модели метод abliteration с инструментом Heretic и настройками Self-Organizing Maps и Magnitude-Preserving Orthogonal Ablation; по карточке, доля отказов в указанном тесте снизилась с 522/535 до 34/535. Модель предназначена для диалога, рассуждений и генерации текста, а также для анализа изображений, видео и аудио; семейство Gemma 4 также поддерживает код и вызов инструментов. Для этой версии в карточке названы размер 12B, контекст до 256K токенов и поддержка более 140 языков. Архитектура — плотная Gemma4UnifiedForConditionalGeneration; репозиторий содержит веса safetensors. Карточка описывает её как вариант Gemma с ослабленными отказами, но не приводит отдельной оценки качества этой конкретной модификации. Базовая модель Gemma 4 QAT использует веса, подготовленные с учётом квантования, однако в этом репозитории указан вариант unquantized Q4_0, а формат файлов — safetensors. Лицензия — Apache-2.0.

Llama-Krikri-8B-Instruct-GGUF — инструкционная большая языковая модель, разработанная ILSP на основе Llama 3.1 8B. Модель ориентирована прежде всего на греческий язык, сохраняя двуязычные возможности для греческого и английского. Она создана с помощью дополнительного предварительного обучения на корпусе объёмом 91 млрд токенов с последующим увеличением эффективного объёма до 110 млрд токенов, а также многоэтапного дообучения на инструкциях и предпочтениях пользователей. Модель предназначена для диалогов, следования инструкциям, генерации, понимания, редактирования и суммаризации текста, анализа тональности и сущностей, перевода между греческим и английским, французским, немецким, итальянским, португальским и испанским языками. Также заявлены применение в юридических, финансовых, медицинских и научных сценариях, Retrieval-Augmented Generation по нескольким документам, структурированное преобразование данных в XML или JSON, программирование, использование инструментов и агентские задачи. Модель имеет архитектурную основу Llama 3.1 8B, расширенный токенизатор с греческими токенами и контекстное окно 128 тысяч токенов, что соответствует примерно 80 тысячам греческих слов. В обучающих данных представлены греческие, английские, параллельные, математические и программные тексты; постобучение проводилось на греческих и английских инструкциях, многошаговых диалогах и preference triplets с применением Length Normalized DPO. К сильным сторонам относятся специализация на греческом языке, поддержка английского, длинный контекст и широкий набор текстовых и структурированных задач. Ограничения, точные показатели качества и требования к аппаратному обеспечению в README не указаны. Лицензия обозначена как llama3.1.

unsloth/gemma-3-27b-it-qat-GGUF — instruction-tuned мультимодальная модель семейства Gemma 3, разработанная Google DeepMind и подготовленная Unsloth в формате GGUF с QAT-квантизацией. Модель основана на google/gemma-3-27b-it-qat-q4_0-unquantized и имеет размер 27 млрд параметров. Она принимает текст и изображения, а генерирует текст; поддерживает более 140 языков, включая английский, указанный в карточке модели. Изображения нормализуются до разрешения 896×896 и представляются как 256 токенов каждое. Контекстное окно составляет 128K токенов, максимальный объём генерируемого ответа — 8192 токена. Модель предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Большое контекстное окно и мультимодальность подходят для работы с длинными документами и визуальными данными, а GGUF и квантизация ориентированы на локальное развертывание на ноутбуках, настольных компьютерах и собственной инфраструктуре с ограниченными ресурсами. К возможным ограничениям относятся компромисс между эффективностью и качеством, связанный с квантизацией, а также отсутствие в доступных данных подробностей об аппаратных требованиях, результатах тестирования и ограничениях безопасности. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use.

unsloth/gemma-3-27b-it-unsloth-bnb-4bit — это 4-битная версия instruction-tuned модели Gemma 3 27B, подготовленная Unsloth на базе google/gemma-3-27b-it. Исходная модель разработана Google DeepMind в рамках семейства Gemma, созданного с использованием исследований и технологий Gemini. Модель предназначена для генерации текста и мультимодального понимания изображений: она принимает текст и изображения, а на выходе генерирует текст. Подходит для ответов на вопросы, суммаризации документов, рассуждений, анализа содержимого изображений и диалоговых сценариев. Для размеров 4B, 12B и 27B заявлено контекстное окно до 128K токенов, максимальный объём генерируемого ответа — 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов. Поддерживается более 140 языков, при этом в метаданных данной версии явно указан английский язык. Ключевое преимущество версии — 4-битное квантование, снижающее требования к памяти и упрощающее локальное развёртывание, однако оно может сопровождаться потерей точности по сравнению с полноразмерными вариантами. Модель рассчитана на работу через Transformers и может быть полезна на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Использование регулируется лицензией Gemma и соответствующими Terms of Use.

Gemma 3 4B IT GGUF — квантизированное или иным образом подготовленное для формата GGUF представление instruction-tuned модели Google Gemma 3 4B IT. Разработчик — Google DeepMind. Модель относится к семейству лёгких открытых моделей, созданных на основе исследований и технологий Gemini, и предназначена для генерации текста и анализа изображений. Модель поддерживает текстовые и графические входные данные и генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений, анализа содержимого изображений и извлечения визуальной информации. Для версии 4B заявлено контекстное окно до 128K токенов, максимальный объём генерируемого результата — до 8192 токенов; изображения нормализуются до 896×896 и кодируются в 256 токенов каждое. Указана поддержка более 140 языков, а обучающие данные также включали код и математические материалы. Ключевое преимущество — сочетание мультимодальности, большого контекста и относительно небольшого размера, что упрощает развёртывание на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. README не содержит точных сведений об архитектуре, параметрах квантования GGUF, фактической производительности или ограничениях качества. Использование регулируется лицензией Gemma и условиями Google; конкретные условия необходимо проверять в Terms of Use.

Granite-3.0-1B-A400M-Base — базовая языковая модель IBM Granite Team для генерации текста и решения задач преобразования текста. Это декодерный трансформер с разреженной архитектурой Mixture of Experts (MoE), обученный с нуля в два этапа на разнообразных данных; в метаданных указано 163,6 млн параметров, контекст — 4096 токенов. Модель поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель предназначена для суммаризации, классификации и извлечения информации из текста, ответов на вопросы и генерации продолжений. Она также может служить базой для дообучения под специализированные сценарии. Выпущена под лицензией Apache 2.0. Это базовая модель без safety alignment: возможны предвзятые или недостоверные ответы, а небольшие модели могут воспроизводить фрагменты обучающих данных.

MiMo-V2.5 — мультимодальная модель Xiaomi для диалогов, понимания изображений, видео и аудио, а также агентных сценариев. Она построена на разреженной MoE-архитектуре MiMo-V2-Flash с гибридным вниманием и отдельными визуальным и аудиокодировщиками. Метаданные репозитория указывают 12 млрд параметров и формат safetensors FP8; README описывает семейство MiMo-V2.5 как модель на 310 млрд параметров, из которых активируются 15 млрд. Эти сведения расходятся, поэтому размер конкретного чекпойнта неоднозначен. Модель рассчитана на генерацию текста, мультимодальное понимание и работу с длинным контекстом до 1 048 576 токенов. README заявляет поддержку текста, изображений, видео и аудио, а также обучение для агентных задач; метаданные отмечают чат и интерфейс вызова инструментов. В карточке указаны английский и китайский языки. Репозиторий распространяется по лицензии MIT. Для корректного поведения следует использовать обновлённые config.json и tokenizer_config.json, поскольку устаревшие версии, по сообщению разработчика, могут ухудшить качество.

CataLlama-v0.2-Instruct-SFT-DPO-Merged — объединённая модель Laurentiu Petrea на базе Llama 3 от Meta. Это авторегрессионная плотная Transformer-модель с архитектурой LlamaForCausalLM и 7,5 млрд параметров; она принимает текст и выдаёт текст, поддерживая контекст до 8192 токенов. Модель настроена для диалогов и языковых задач преимущественно на каталанском языке. Она подходит для извлечения информации из документов, распознавания именованных сущностей, перевода между каталанским и английским, краткого и развернутого суммирования, анализа тональности и чат-ассистентов. По данным карточки, объединение показало более высокие результаты на MMLU и GSM8K, чем обе родительские модели. Весовые параметры слоёв объединены усреднением двух моделей SFT и DPO; эмбеддинги, нормализация и выходная голова взяты из DPO-модели. Лицензия — Llama 3 Community License. Карточка отмечает, что исходная лицензия Llama 3 задаёт ограничения на использование; разработчики могут адаптировать модель для языков помимо английского при соблюдении лицензии и Acceptable Use Policy.

MuXodious/gemma-4-26B-A4B-it-ARA-heresy — дообученная версия мультимодальной Gemma 4 26B A4B IT от Google DeepMind. Автор применил к базовой модели движок Heretic с Arbitrary-Rank Ablation, чтобы сократить число отказов; в карточке указаны 3 отказа из 104 проверок против 103 из 104 у исходной модели. Это диалоговая модель с архитектурой Gemma4, которая принимает текст и изображения и генерирует текст. Её можно использовать для визуальных вопросов и ответов, разбора документов и изображений, диалогов, программирования и рассуждений. README описывает возможности семейства Gemma 4, включая длинный контекст до 256 тысяч токенов и поддержку многих языков, однако не подтверждает отдельными данными, что все эти характеристики проверены именно для этой производной версии. Модель распространяется в формате Safetensors по лицензии Apache 2.0. Уменьшение отказов не гарантирует корректность ответов или пригодность для всех сценариев; результаты ограничены приведённой проверкой.

Muse-Glimmer-30B-OptiQ-4bit — мультимодальная модель для работы с текстом и изображениями, разработанная сообществом mlx-community на базе meta-models/Muse-Glimmer-30B. Она предназначена для локального запуска на компьютерах Apple Silicon через MLX и подходит для анализа изображений, генерации текста, рассуждений, решения математических задач, извлечения информации из длинного контекста, следования инструкциям, вызова инструментов и генерации кода. Модель содержит около 30 млрд параметров и 52 decoder-слоя. Языковая часть использует чувствительно-ориентированное смешанное квантование 4/8-bit: 169 слоёв работают в 4-bit, 248 — в 8-bit. Vision tower сохраняется в формате bf16 в отдельном sidecar-файле. Объём на диске составляет около 18,6 ГБ для языковой части и 3,8 ГБ для визуальной. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. Архитектура использует gated attention, sliding window размером 2048 в трёх слоях и NoPE в 13 глобальных слоях. К сильным сторонам относятся локальная работа без PyTorch и облачных сервисов, сохранение визуальной части в bf16, высокая оценка OptiQ Capability Score — 87,36, а также идеальный результат на тесте извлечения из длинного контекста HashHop. Ограничения включают требовательность к объёму памяти и необходимость специального стека mlx-optiq, поскольку стандартный mlx-lm не знает архитектуру модели. Для корректного использования также требуется учитывать раздельные каналы рассуждений и финального ответа. Модель распространяется по лицензии Apache-2.0.

CataLlama-v0.1-Instruct-SFT — чат-модель на архитектуре Llama 3, разработанная Лаурентиу Петреа и дообученная методом SFT на наборе catallama/Catalan-Instruct. Это второй этап обучения CataLlama; модель получила около 445 млн новых токенов за три этапа обучения. Она предназначена прежде всего для работы с каталонским языком: извлечения сведений из документов, распознавания именованных сущностей, перевода между каталонским и английским, краткого и подробного пересказа, анализа тональности и диалогов по инструкциям. Модель имеет 7,5 млрд параметров, использует авторегрессионный трансформер и принимает текстовые запросы; длина контекста составляет 8192 токена. В карточке приведены результаты MMLU 55,28 и GSM8K 51,63, а также validation loss 0,8528 после двух эпох; автор отмечает, что модель создана для демонстрации адаптации LLM к новым языкам, а не для лидерства в бенчмарках. Лицензия — Llama 3 Community License. README содержит ограничение на использование не на английском языке, хотя модель специально дообучена для каталонского; перед применением следует учитывать условия лицензии и политики использования Llama 3.

AMAImedia/DeepSeek-V4.1-Flash-FP8-GGUF — GGUF-квантизированная версия мультимодальной модели DeepSeek-V4.1-Flash, опубликованная AMAImedia в рамках платформы NOESIS. Модель основана на разработках DeepSeek AI и связана с базовыми моделями Tencent/Hy4-preview и AngelSlim/Hy4-preview-GGUF, указанными в карточке. Дата выпуска — 20 сентября 2026 года. Модель предназначена для работы с текстом и изображениями: она принимает изображения и текст, а генерирует текст авторегрессивно. Заявлена поддержка контекстов до одного миллиона токенов и широкого набора языков, включая английский, русский, китайский, вьетнамский, японский и многие другие. Архитектура представляет собой мультимодальную Mixture-of-Experts с 552 млрд параметров в backbone и структурой Causal Encoder-Decoder из 40 Transformer-слоёв: 20 слоёв причинного энкодера и 20 слоёв декодера. Ключевая особенность — оптимизация KV-кэша и вычислений для длинного контекста и input-heavy агентских сценариев. Во время prefill активируется около 8 млрд параметров на токен, а во время decode — около 16 млрд; механизм SWA Bounded Replay уменьшает постоянный объём KV-кэша примерно до одной восьмой от DeepSeek-V4-Flash. Используется Compressed Sparse Attention 2 с режимами Full, Reindex и Reuse. GGUF и FP8 ориентированы на эффективное локальное или специализированное инференс-развёртывание, однако требования к памяти и производительности для модели такого масштаба в карточке не указаны. Лицензия, указанная в метаданных этой версии, — Apache 2.0. Полные сведения о качестве, бенчмарках, точных характеристиках квантизации и ограничениях применения в представленном README отсутствуют.

en_core_web_lg — англоязычный NLP-конвейер spaCy, разработанный компанией Explosion и оптимизированный для работы на CPU. Модель предназначена для обработки английских текстов: токенизации, морфологической разметки, синтаксического анализа зависимостей, определения границ предложений, распознавания именованных сущностей и лемматизации. Конвейер включает компоненты tok2vec, tagger, parser, senter, attribute_ruler, lemmatizer и ner. В составе используется 514 157 уникальных 300-мерных векторов. Модель поддерживает английский язык и содержит 113 меток для частеречной и морфологической разметки, синтаксических зависимостей и сущностей, включая PERSON, ORG, GPE, DATE и MONEY. Указанная версия — 3.7.1; требуется spaCy версии >=3.7.2,<3.8.0. Сильные стороны модели — широкий набор компонентов для комплексного анализа текста, высокая точность токенизации и частеречной разметки, а также наличие векторных представлений и работа на CPU. По приведенным оценкам, F1 для распознавания сущностей составляет 85,43%, точность синтаксического анализа с метками зависимостей — 90,27%, а F1 определения предложений — 90,71%. Ограничения включают поддержку только английского языка и возможные ошибки на текстах, отличающихся от данных обучения. Модель распространяется по лицензии MIT; среди источников указаны OntoNotes 5, WordNet 3.0, данные Wikipedia, OSCAR, OpenSubtitles и новостных корпусов.

mmBERT-32K PII Detector — модель разметки токенов для обнаружения персональных данных, разработанная vLLM Semantic Router. Она дообучена на базе vllm-sr/mmbert-32k-yarn и представляет собой ModernBERT с 306,9 млн параметров; поддерживает контекст до 32 768 токенов. Модель принимает текст и помечает в нём сущности, включая имена, адреса, телефоны, электронную почту, платёжные и государственные идентификаторы, даты, возраст и названия организаций. Модель предназначена для выявления чувствительных данных в документах и текстовых потоках, например перед передачей данных внешним сервисам или для маршрутизации запросов. В README приведены показатели точности для некоторых типов сущностей, но они не описывают качество на всех языках и доменах. В карточке указан английский язык; качество на других языках не подтверждено. Модель распространяется под лицензией MIT. Доступны веса Safetensors и формат ONNX.

btbtyler09/Qwen3.6-27B-GPTQ-4bit — квантизированная версия Qwen/Qwen3.6-27B, разработанная пользователем btbtyler09. Это плотная мультимодальная модель примерно на 27 млрд параметров для работы с текстом и изображениями, включая понимание изображений, генерацию текста и сценарии серверного инференса. Модель совместима с Transformers и ориентирована на использование через vLLM. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания, а также полный vision encoder на базе ViT и модуль MTP для speculative decoding. Контекстное окно составляет 262 144 токена. Текстовый декодер квантизирован в INT4 методом GPTQ с компенсацией ошибок FOEM; vision encoder, MTP, эмбеддинги, нормы и LM head сохранены в BF16 или FP16. Размер модели составляет около 21 ГБ вместо примерно 50 ГБ у исходной BF16-версии. Сильной стороной является существенное сокращение требований к хранению и памяти при сохранении мультимодальности и заявленном снижении деградации perplexity: до +1,95% относительно BF16 на wikitext-2-raw-v1, против +8,45% у обычного GPTQ 4-bit. К ограничениям относятся необходимость подходящей аппаратной конфигурации для полного контекста и потенциальные проблемы совместимости с некоторыми версиями vLLM, для которых в README указан обходной патч. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-W4A16-AWQ — это 4-битная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Qwen и дополнительно квантованной пользователем hyperhuzaifa. Квантизация выполнена методом AWQ в формате compressed-tensors pack-quantized с симметричной схемой int4, размером группы 128 и разрядностью W4A16. Модель использует MoE-архитектуру с 35 млрд параметров и рассчитана на запуск с длинным контекстом на одной потребительской видеокарте с 24 ГБ памяти. На диске она занимает около 20,5 ГБ, а в памяти GPU — около 19,06 GiB. Модель предназначена для генерации текста и обработки изображений, поскольку сохраняет vision tower. В архитектуре используются 40 слоёв, включая 30 слоёв gated DeltaNet с линейным вниманием и 10 блоков полного внимания, а маршрутизация MoE выбирает 8 экспертов из 256. Также сохранена MTP-голова для спекулятивного декодирования. Квантированы языковые Linear-слои, включая routed и shared experts, но эмбеддинги, lm_head, vision tower, маршрутизаторы, нормализации и MTP-голова оставлены в bf16 для сохранения качества и совместимости. Основные преимущества — заметно сниженные требования к памяти, поддержка длинного контекста, мультимодальность и совместимость с vLLM версии 0.26.0 и новее. На одной 24-ГБ видеокарте заявлена работа с контекстом до 32K при использовании CUDA graphs; на двух GPU через tensor parallelism поддерживается до 262K токенов. Ограничения включают невысокую допустимую конкурентность на одной карте из-за recurrent cache для DeltaNet, резкое снижение скорости при использовании enforce-eager и необходимость корректно выбирать мультимодальный класс загрузки. MTP не рекомендуется включать на одной 24-ГБ карте из-за резкого уменьшения доступного KV-кэша; на двух PCIe-GPU он также может снижать итоговую производительность. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-abliterated-AWQ-MTP — квантизированная модель, опубликованная пользователем twolven на базе JonathanColetti/Qwen3.8-27B-Uncensored и исходной Qwen3.8-27B от Qwen. Модель использует AWQ-квантизацию W4A16 с размером группы 128, сохраняя модуль MTP для speculative decoding. Лицензия — Apache-2.0. Модель предназначена для генерации и понимания текста, диалоговых приложений, tool calling и обработки изображений с текстовыми запросами. Это vision-language model с гибридной архитектурой: 64 слоя, включая 48 слоёв linear attention на базе Qwen3_5GatedDeltaNet и 16 полноценных attention-слоёв. Зрительная башня содержит 27 слоёв и оставлена в формате bfloat16. Заявленный контекст — 262 144 токена; модуль MTP содержит один скрытый слой и также не квантизирован. Ключевые преимущества — заметно меньшее потребление памяти по сравнению с FP8-версией, поддержка изображений без дополнительного ухудшения со стороны квантизации vision tower и ускорение генерации при корректно работающем MTP. На конфигурации с двумя RTX 3090 автор получил медианную скорость около 84 токенов в секунду и подтвердил работу извлечения данных из длинного контекста, tool calling и распознавания содержимого изображений. Точность относительно исходной bfloat16-модели отдельно не оценивалась, поэтому степень потери качества из-за W4A16 неизвестна. Модель имеет ограничения: MTP требует правильной настройки и при некорректной загрузке может снизить производительность; абсолютные показатели скорости зависят от характера запросов. Не рекомендуется использовать greedy decoding с temperature 0, поскольку возможны зацикливание и повторение предложений. Следует применять repetition_penalty около 1.05 и ненулевую temperature. Термин «abliterated» означает удаление исходных механизмов отказа, поэтому поведение модели в отношении безопасных ограничений может отличаться от оригинальной Qwen3.8-27B.

UTC-DeBERTa-base — модель универсальной классификации токенов от Knowledgator, основанная на DeBERTaV3-base и дообученная на нескольких задачах классификации токенов, включая задачи, которые можно представить в таком формате. Архитектура — DeBERTa-v2 для классификации токенов; модель содержит 211,6 млн параметров и обрабатывает до 512 токенов за контекст. Она работает с текстом на английском языке. Модель предназначена для извлечения сущностей и другой информации из текста. Карточка описывает сценарии распознавания именованных сущностей с нулевым обучением, ответов на вопросы, извлечения отношений, разрешения кореференции, очистки и суммаризации текста. Авторы приводят результаты оценки на CrossNER для областей ИИ, литературы, музыки, политики и науки. Модель доступна в формате PyTorch через библиотеку Transformers, а для распознавания сущностей авторы рекомендуют pipeline `ner`. Лицензия — Apache-2.0. README не уточняет ограничения сверх длины контекста и английского языка, указанных в метаданных.