I.4Обработка документов и форм

Gemma-SEA-LION-v3-9B — языковая модель, разработанная Products Pillar команды AI Singapore при финансировании Национального исследовательского фонда Сингапура. Это плотная авторегрессионная модель-декодер на архитектуре Gemma 2 с 9 млрд параметров, созданная продолжением предобучения Google Gemma 2 9B примерно на 200 млрд токенов. Она предназначена для генерации текста на английском и языках Юго-Восточной Азии: бирманском, китайском, филиппинском, индонезийском, кхмерском, лаосском, малайском, тамильском, тайском и вьетнамском. Контекст модели составляет 8192 токена. Модель подходит для генерации ответов и текстов, вопросов и ответов, анализа тональности и токсичности, перевода, суммаризации, причинных рассуждений и естественно-языкового вывода. Карточка сообщает об оценке на SEA-HELM, но не приводит в предоставленном тексте конкретные результаты. Модель не прошла выравнивание по безопасности, поэтому при использовании нужны собственные проверки и меры безопасности. Веса доступны в формате safetensors; лицензия — Gemma Community License.

Jais Family 30B 8K — плотная авторегрессионная языковая модель семейства Jais, опубликованная Inception Institute of Artificial Intelligence. Модель предназначена для генерации текста на арабском и английском языках; семейство оптимизировано для арабского и сохраняет сильные возможности английского. В карточке семейства указано, что модели этого варианта предварительно обучались с нуля, а базовые версии дообучались для диалога; конкретно этот репозиторий не обозначен как чат-вариант. Модель подходит для генерации и продолжения текста, ответов на вопросы, классификации тональности и обработки двуязычных документов, включая их краткое изложение. Архитектура — плотная модель JAISLMHeadModel на PyTorch, размер 30 млрд параметров, контекстное окно — 8192 токена. Для загрузки требуется пользовательский класс модели с включением trust_remote_code. Лицензия — Apache 2.0. Модель может ошибаться, воспроизводить предвзятость или выдавать оскорбительный контент; она не предназначена для критически важных решений без контроля человека и для работы с конфиденциальными данными. Уровень владения другими языками и диалектами не следует считать сопоставимым с арабским и английским.

unsloth/LFM2-1.2B-unsloth-bnb-4bit — 4-битная версия модели LFM2-1.2B, разработанной Liquid AI и подготовленной Unsloth. Это гибридная Liquid-модель для edge AI и локального запуска на устройствах, включая смартфоны, ноутбуки и автомобили. Она поддерживает выполнение на CPU, GPU и NPU и предназначена для эффективного использования памяти и высокой скорости инференса. Модель содержит около 1,17 млрд параметров, 16 слоёв, включая 10 сверточных и 6 attention-слоёв, использует архитектуру с мультипликативными gates и короткими свёртками, а также поддерживает контекст до 32 768 токенов. Модель обучена на 10 трлн токенов и рассчитана на английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Она предназначена для агентских сценариев, извлечения данных, RAG, творческого письма и многоходовых диалогов; для узких задач рекомендуется дополнительная настройка. К сильным сторонам относятся компактность, скорость обучения и инференса, эффективность на CPU и сравнительно высокая производительность среди моделей аналогичного размера в задачах знаний, математики, следования инструкциям и многоязычности. Ограничения связаны с небольшим размером: модель не рекомендуется для ресурсоёмких задач, требующих глубоких знаний или программирования. В карточке указана лицензия LFM Open License v1.0; конкретные условия использования следует проверять в тексте лицензии Liquid AI.

tjake/Llama-3.2-1B-Instruct-JQ4 — текстовая инструктивно настроенная модель семейства Llama 3.2, разработанного Meta. Она предназначена для диалогов в формате помощника и агентных сценариев, включая поиск знаний, суммаризацию, помощь при написании текстов и переформулирование запросов. Модель использует авторегрессионную архитектуру Transformer с 1,2 млрд параметров и поддерживает контекст до 131 072 токенов. Модель принимает и генерирует текст, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В README указано, что модель прошла supervised fine-tuning и обучение с обратной связью от людей; репозиторий содержит веса в формате safetensors. Указанная лицензия — Llama 3.2 Community License, специальное лицензионное соглашение, допускающее коммерческое и исследовательское использование при соблюдении его условий и Acceptable Use Policy. Компактный размер рассчитан, в частности, на запуск в ограниченных средах, включая мобильные устройства. По сравнению с более крупными моделями у неё могут быть слабее качество ответов и профиль безопасности; разработчикам следует проверять пригодность и защитные меры для своего сценария. Модель статична и обучена на данных с отсечкой знаний в декабре 2023 года.

unsloth/Llama-3.2-1B-Instruct-unsloth-bnb-4bit — это 4-битная динамически квантованная версия инструкционной модели Meta Llama 3.2 1B Instruct, подготовленная Unsloth и совместимая с Transformers. Базовая модель разработана Meta; вариант предназначен для генерации текста и диалоговых сценариев, включая мультиязычные чаты, извлечение данных агентами и суммаризацию. Модель использует авторегрессионную архитектуру оптимизированного Transformer с Grouped-Query Attention (GQA). Она относится к семейству моделей размером 1B параметров, работает в режиме текст на входе — текст на выходе и официально поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Инструкционная версия дополнительно обучалась с помощью SFT и RLHF для повышения полезности и безопасности. Размер контекста в README не указан. Ключевое преимущество варианта — динамическое 4-битное квантование Unsloth, при котором отдельные параметры сохраняются без квантования для улучшения точности по сравнению со стандартным 4-битным форматом и снижения требований к памяти. Ограничения включают меньший размер и, соответственно, более ограниченные возможности по сравнению с крупными моделями, а также отсутствие данных о контекстном окне и подробных результатах оценки именно этой квантованной версии. Использование регулируется Llama 3.2 Community License и Acceptable Use Policy; точные условия следует проверять в лицензии Meta.

Llama-Express.1-Math — компактная плотная языковая модель семейства Llama, разработанная prithivMLmods на основе Meta Llama 3.2 1B Instruct и дообученная на наборах математических данных с длинными цепочками рассуждений. Она содержит 1,2 млрд параметров, работает с текстом и поддерживает контекст до 131 072 токенов. Модель предназначена для диалогов и следования инструкциям на нескольких языках, а также для математических рассуждений, поиска и суммаризации сведений в контексте. Её можно применять в виртуальных помощниках, автоматизации и сценариях с извлечением информации; заявленное интерфейсом чата взаимодействие поддерживает Transformers. В карточке указан английский язык, а README заявляет многоязычное применение без перечисления поддерживаемых языков. Модель не обрабатывает изображения, аудио и видео. Качество может снижаться на очень длинном контексте, в языках с малым представленным ресурсом и при неясных запросах; ответы также могут отражать предвзятости обучающих данных и не имеют доступа к актуальным интернет-источникам. Лицензия — Llama 3.2.

llm-jp-3-8x13b-instruct2 — диалоговая языковая модель, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это трансформерная модель семейства Mixtral с архитектурой Mixture of Experts: 8 экспертов, из которых активируются 2. Вариант содержит около 73,2 млрд параметров всего и около 22,2 млрд активируемых параметров; метаданные каталога указывают 13,2 млрд параметров. Контекст — 4096 токенов. Модель обучена на смеси данных, включая японские, и дообучена на инструкциях с последующим выравниванием методом Direct Preference Optimization. Модель предназначена для диалога и генерации текста, особенно на японском и английском языках. Её можно использовать для ответов на вопросы, следования инструкциям, краткого изложения и других текстовых задач. Карточка приводит оценки на японских тестах, но результаты относятся к отдельным оценочным выборкам и не гарантируют качество в конкретном приложении. Разработчики предупреждают, что модель находится на ранней стадии разработки и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

OrionLLM_LRM-3.2-GGUF — это набор GGUF-квантизаций модели LRM-3.2, разработанной OrionLLM и квантизированной bartowski с использованием llama.cpp. Модель имеет 27 млрд параметров и распространяется в нескольких вариантах точности и размера, включая BF16, Q8_0, Q6, Q5, Q4, Q3 и IQ-квантизации. Модель предназначена для обработки текста и изображений; для мультимодального режима требуется дополнительный файл mmproj. README не уточняет поддерживаемые языки, максимальный размер контекста и конкретные прикладные сценарии. Формат GGUF позволяет запускать модель через совместимые инструменты, включая llama.cpp. MTP не поддерживается, для квантизации использовалась imatrix. Сильной стороной является выбор вариантов квантизации: от полноразмерной BF16 до компактных версий для устройств с ограниченным объёмом оперативной памяти. Q4_K_M указан как сбалансированный вариант по размеру и качеству, а Q5–Q6 — как более качественные. Более сильное сжатие уменьшает требования к памяти, но снижает качество; низкобитные варианты могут быть непригодны для требовательных задач. Модель распространяется по лицензии Apache-2.0.

Pula-8B-v0.1 — языковая модель семейства BOTS-LM, разработанная Nathan Brown и Vukosi Marivate для работы на сетсвана и английском языках. Это плотная авторегрессионная модель на архитектуре Llama 3.1 с 7,5 млрд параметров, дообученная на основе Meta-Llama-3.1-8B-Instruct. В метаданных указан контекст до 131 072 токенов; при обучении использовались последовательности длиной до 4 096 токенов. Модель предназначена прежде всего для диалогового помощника и следования инструкциям. Её можно применять для ответов на вопросы, написания текстов, перевода между сетсвана и английским, извлечения именованных сущностей, разметки частей речи и вызова инструментов. Авторы также сообщают о возможностях рассуждения и улучшенных результатах на сетсвана и английском по сравнению с существующими открытыми языковыми и переводческими моделями для этих языков. Модель принимает текст и генерирует текст. README разрешает коммерческое и исследовательское использование, однако конкретная лицензия в карточке не названа. Как и другие языковые модели, Pula-8B может выдавать неточные или предвзятые ответы; для клиентских приложений авторы рекомендуют дополнительные меры безопасности. Официальная поддержка заявлена для сетсвана и английского, а качество на других языках и при обычной генерации текста проверено ограниченно.

shawnw3i/Qwen3.6-27B-AWQ-MTP — квантизированная версия модели Qwen3.6-27B, разработанной командой Qwen. Модель предназначена для задач генерации текста и работы с изображениями и текстом; в README она классифицирована как image-text-to-text. Вариант ориентирован на запуск через vLLM и ускоренное инференс-развёртывание. Модель имеет размер 27 млрд параметров и использует квантизацию AWQ. Поддерживаются ядро AWQ Marlin с автоматической конвертацией vLLM во время выполнения и MTP speculative decoding, позволяющее ускорять генерацию за счёт спекулятивного декодирования. Для запуска в README указан максимальный размер контекста 65 536 токенов, а также reasoning parser qwen3. Заявлена производительность более 110 токенов в секунду на одном ускорителе A800 80 GB при использовании vLLM 0.21.0, MTP и FP8 KV cache. Сильные стороны модели — сочетание относительно крупного размера, AWQ-квантизации, поддержки Marlin и встроенного MTP для эффективного инференса. README не содержит сведений о языках, точных возможностях мультимодального ввода, результатах бенчмарков, требованиях к другим конфигурациям оборудования или ограничениях качества. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — квантованная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также работы с изображениями и видео; заявлена поддержка английского, китайского и других языков. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и без стандартного отказного поведения. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder, 64 слоями, размером скрытого состояния 5120, FFN-размером 17408 и словарём из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживается нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Встроенный NextN/MTP сохранён, а FastMTP 32K предоставляется как отдельный профиль ускорения; заявлено ускорение генерации до 3,02 раза для документов и до 1,93 раза для рассуждений относительно режима без MTP. К сильным сторонам относятся широкий набор текстовых, визуальных и видеосценариев, длинный контекст, несколько вариантов квантования и совместимость с GGUF-совместимыми средами, включая llama.cpp и LM Studio. Aggressive-профиль может быть менее подходящим для надёжно контролируемых агентских задач, поскольку ориентирован на отсутствие отказов; README также не приводит подробностей о качестве на стандартных бенчмарках. Распространение указано по лицензии Apache-2.0.

Qwen3.8-Flash-Next — экспериментальная открытая модель компании AMAImedia, выпущенная в рамках платформы NOESIS для профессиональной автоматизации многоязычного дубляжа. В README также указано, что архитектура разработана как preview основы будущего поколения Qwen4. Модель предназначена для задач обработки текста, агентных сценариев и работы с визуальными данными; она совместима с Hugging Face Transformers, vLLM, SGLang и TokenSpeed. Это каузальная языковая модель с vision encoder и физическим объёмом 180B параметров: 125B параметров основной языковой модели, 51B параметров n-gram embedding и 4B параметров MTP. На один токен активируется около 6B параметров. Архитектура включает 48 слоёв, гибридную связку Gated DeltaNet и Qwen Sparse Attention, MoE с 512 экспертами, из которых активируются 10 маршрутизируемых и 1 общий, а также Gated Residual и n-gram embedding. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 000 000 токенов. Языки и точный набор поддерживаемых визуальных форматов в README не указаны. Сильными сторонами модели заявлены эффективная обработка длинного контекста, сниженная задержка благодаря разреженному вниманию на уровне микроблоков, экономичное масштабирование параметров и низкие вычислительные затраты инференса. Ограничения связаны с экспериментальным статусом архитектуры и отсутствием в предоставленных данных подробных результатов бенчмарков, описания языкового покрытия и практических ограничений применения. Модель распространяется по лицензии qwen-community-1.0; условия лицензии следует уточнять в файле LICENSE.

dealignai/Qwen3.8-Flash-Next-CRACK-JANG_2L — это исследовательская CRACK-abliterated-версия модели JANGQ-AI/Qwen3.8-Flash-Next-JANG_2L, относящейся к preview-линейке qwen4_exp компании Alibaba. Модель предназначена для запуска на Apple Silicon через MLX и vMLX, а также для текстовых, мультимодальных и агентских сценариев: работы с изображениями и видео, рассуждений, использования инструментов и задач, требующих многошагового взаимодействия. В основе лежит гибридная архитектура Mixture-of-Experts примерно на 176 млрд параметров с 512 экспертами и около 6 млрд активных параметров. Используются Gated DeltaNet и Qwen Sparse Attention, хешированное n-gram-эмбеддирование и встроенная multi-token prediction head. Поддерживаются текст, изображения и видео; заявлены английский и китайский языки. Доступны режимы рассуждений off, low и xhigh. Для модели требуется около 65 ГБ дискового пространства и примерно 47 ГБ активной оперативной памяти, при этом около 18 ГБ таблицы хешированных n-gram-эмбеддингов подгружаются с диска по требованию. Ключевая особенность CRACK-сборки — удаление стандартного отказного поведения при сохранении рассуждений, инструментов и мультимодальных возможностей. На приведённом тесте MMLU точность составила 81,84%, что на 1,49 процентного пункта ниже базовой версии; в отдельных предметах наблюдалось заметное снижение качества. В тестах HarmBench заявлена высокая доля ответов, непосредственно выполняющих запросы, однако модель может генерировать китайский текст даже для некоторых других запросов, а отдельные ответы классифицировались как бессвязные. README также предупреждает, что это исследовательский артефакт и что ответственность за использование весов лежит на пользователе. Лицензия указана как qwen-community-1.0.

Athena-3-14B — каузальная языковая модель, разработанная Aayan Mishra и дообученная на Qwen/Qwen2.5-14B-Instruct. Она предназначена для диалогов, следования инструкциям и генерации текста, включая написание материалов, суммаризацию, ответы на вопросы, перевод, классификацию текста и рассуждения по STEM-темам. Модель построена на архитектуре Qwen2 с 14 млрд параметров; использует Transformer, RoPE, SwiGLU, RMSNorm и Grouped Query Attention. Метаданные указывают контекст до 32 768 токенов. Карточка заявляет поддержку более 29 языков, включая английский, китайский и русский; заявленная лицензия — MIT. Модель подходит для общих текстовых задач, однако качество зависит от языка, а наиболее сильные возможности заявлены для английского. Ответы могут содержать ошибки и предубеждения; знания ограничены сведениями примерно до августа 2024 года. Модель не предназначена для критически важных решений или работы с конфиденциальными данными.

Bonsai 2 27B Ternary CRACK GGUF — языковая и мультимодальная модель, созданная исследовательской командой dealignai на основе тернарной версии Bonsai от PrismML и Qwen3.8-27B от Qwen. Из модели на уровне весов удалены механизмы отказа, при этом заявлено сохранение базовых возможностей, режимов рассуждения, использования инструментов и многоходового диалога. Модель предназначена для генерации текста, задач с рассуждением, работы с инструментами и сценариев, где требуется обработка изображений; конкретные поддерживаемые языки и размер контекстного окна в README не указаны. Модель использует гибридную архитектуру Attention и SSM на базе GatedDeltaNet: 64 блока, размер скрытого состояния 5120, отдельная vision tower. Применяется тернарное квантование PrismML PQ2_0 с эффективностью 2,13 бит на вес и размером файла около 7,21 ГБ. Доступны режимы рассуждения off, low и xhigh; для работы с изображениями используются отдельные mmproj-файлы в форматах BF16 или Q8_0. Запуск поддерживается через форк llama.cpp от PrismML на CPU, CUDA и Metal, что позволяет использовать модель на ноутбуке или одной GPU. Сильными сторонами являются малый размер для модели класса 27B, поддержка vision, рассуждений и инструментов, а также сохранение общей производительности относительно базовой тернарной версии: на указанной выборке MMLU разница составила −0,62 процентного пункта. Ограничения включают крайне низкую точность тернарного квантования, зависимость от специального форка llama.cpp и совместимых файлов проекторов, а также отсутствие встроенных механизмов отказа, что делает модель неподходящей для сценариев, требующих строгих защитных ограничений. README также предупреждает об исправлении прежней ошибки зацикливания токенов в режимах low и xhigh; рекомендуется использовать сборку, опубликованную после 18 сентября 2026 года. Лицензия — Apache-2.0.

GLM-5.3-Flash-MLX-4bit — это сборка модели GLM-5.3-Flash от zai-org, адаптированная PipeNetwork для MLX на устройствах с Apple Silicon. Модель имеет архитектуру Mixture-of-Experts общим размером 320B параметров, из которых активируется 18B (A18B), и поддерживает обработку текста и изображений. В ней сочетаются 34 слоя линейного внимания Kimi-Delta и 11 слоёв разреженного внимания DeepSeek с NoPE MLA и lightning indexer, а также manifold-constrained hyper-connections. Контекст, список поддерживаемых языков и точные сценарии мультимодального применения в README не указаны. Чекпойнт занимает 177,6 ГБ и квантизирован преимущественно в 4-bit с размером группы 64; vision tower сохранён в bfloat16, а отдельные компоненты — в 8-bit, float32 или исходном формате. По сравнению с 8-bit-версией равномерная 4-bit-квантизация показывает более высокую perplexity на wikitext-2, поэтому экономит место и память ценой некоторого снижения качества. Архитектура исходной модели сохранена, но слой multi-token prediction не включён. Для запуска требуется MLX-совместимое окружение и исправленный runtime из проекта PipeNetwork, поскольку стандартная ветка mlx-vlm содержит несовпадения вычислений. Размер модели ограничивает применение устройствами с большим объёмом памяти; README также не приводит конкретных требований к объёму RAM или VRAM. Модель распространяется по лицензии MIT.

Llama 4 Maverick — мультимодальная модель Meta для диалога и понимания изображений. Она использует авторегрессионную архитектуру mixture-of-experts с 17 млрд параметров и 128 экспертами, а также раннее объединение модальностей для работы с текстом и изображениями. В репозитории доступны веса Safetensors для Transformers. Модель предназначена для коммерческих и исследовательских сценариев: чат-помощников, визуального анализа, распознавания объектов и сцен, описания изображений и ответов на вопросы по ним. Она поддерживает арабский, английский, французский, немецкий, хинди, индонезийский, итальянский, португальский, испанский, тагальский, тайский и вьетнамский языки. Модель проверена для анализа до пяти изображений на вход. Для использования действует пользовательская Llama 4 Community License Agreement. Модель обучена на статичном офлайн-наборе данных. Возможности и качество могут различаться в зависимости от языка и сценария; для работы с большим числом изображений, чем проверенное, требуется дополнительная проверка и настройка.

Карточка модели unsloth/Llama-4-Maverick-17B-128E на Hugging Face совпадает с карточкой meta-llama/Llama-4-Maverick-17B-128E, поэтому описание составлено по ней. Llama 4 Maverick — мультимодальная модель Meta для диалога и понимания изображений. Она использует авторегрессионную архитектуру mixture-of-experts с 17 млрд параметров и 128 экспертами, а также раннее объединение модальностей для работы с текстом и изображениями. В репозитории доступны веса Safetensors для Transformers. Модель предназначена для коммерческих и исследовательских сценариев: чат-помощников, визуального анализа, распознавания объектов и сцен, описания изображений и ответов на вопросы по ним. Она поддерживает арабский, английский, французский, немецкий, хинди, индонезийский, итальянский, португальский, испанский, тагальский, тайский и вьетнамский языки. Модель проверена для анализа до пяти изображений на вход. Для использования действует пользовательская Llama 4 Community License Agreement. Модель обучена на статичном офлайн-наборе данных. Возможности и качество могут различаться в зависимости от языка и сценария; для работы с большим числом изображений, чем проверенное, требуется дополнительная проверка и настройка.

cloudbjorn/merged_Qwen3.6-27B_eschaton-uncensored — дообученная и объединённая версия Qwen3.6-27B, созданная с помощью Eschaton Engine на датасете cloudbjorn/eschaton-uncensored. Модель предназначена для диалогов и рассуждений, в том числе по чувствительным и спорным темам: автор нацеливал её на нейтральные, прямые ответы без морализаторского тона. Она поддерживает генерацию текста и работу с изображениями, контекст до 262 144 токенов, режим рассуждений, вызов инструментов и структурированный вывод. Репозиторий содержит веса safetensors в формате bfloat16; в метаданных указано 22,3 млрд параметров. В README приведён результат ARC Challenge: нормированная точность 0,7619 при 25 примерах в контексте. Модель основана на Qwen/Qwen3.6-27B; лицензия обозначена как other. Заявления о качестве и поведении отражают описание автора и не гарантируют одинаковых результатов на всех запросах.

Merlinite-7B — языковая модель IBM Research для генерации текста и диалогового общения. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров, дообученная на базе mistralai/Mistral-7B-v0.1 методом LAB (Large-scale Alignment for chatBots). При подготовке использовалась синтетическая обучающая выборка, созданная с помощью Mixtral-8x7B-Instruct в роли учителя. Модель рассчитана прежде всего на английский язык и поддерживает контекст до 32 768 токенов. Её можно применять для ответов на вопросы, рассуждений, творческого письма и работы с информацией из документов. Авторы рекомендуют использовать системный промпт из обучения для оптимальной работы. Merlinite-7B не проходила выравнивание по человеческим предпочтениям с помощью RLHF и может выдавать проблемные или вымышленные ответы; сохраняются и ограничения базовой модели. Для важных решений ответы нужно проверять. Модель распространяется по лицензии Apache 2.0.

Ministral-3-14B-Instruct-2512-GGUF — это GGUF-квантизированная версия инструкционной модели Ministral-3-14B-Instruct-2512, разработанной Mistral AI и подготовленной квантизатором bartowski. Модель предназначена для запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp, включая сценарии генерации текста и работы с изображениями согласно заявленному типу pipeline image-text-to-text. Модель имеет около 14 млрд параметров в исходной версии, а репозиторий содержит варианты от BF16 до низкобитных форматов Q3 и IQ4. Доступны версии с разным компромиссом между качеством, размером и требованиями к памяти; рекомендуемыми названы некоторые варианты Q4–Q6. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Архитектура и размер контекстного окна в README не указаны, а формат промпта рекомендуется уточнять на странице исходной модели. Основные преимущества этой версии — возможность локального запуска, широкий выбор уровней квантизации и применение imatrix-калибровки для снижения потерь качества. Ограничения связаны с тем, что низкобитные варианты требуют компромисса между качеством и потреблением памяти, а подробные сведения о возможностях, контекстном окне и ограничениях исходной модели в README отсутствуют. Репозиторий распространяется по лицензии Apache-2.0.

MPropositioneur-V2-large — языковая модель на основе Qwen3-4B, дообученная дистилляцией для извлечения атомарных пропозиций. Разработана Люком Поммере в LISN (CNRS); содержит около 3,7 млрд параметров и использует архитектуру Qwen3 с плотной языковой моделью. Принимает текст и генерирует список простых, независимых утверждений, сохраняя смысл исходного предложения или фрагмента. Контекст модели — до 40 960 токенов. Модель предназначена для подготовки данных для RAG, открытого извлечения информации (OpenIE), упрощения текста и анализа дискурса. По карточке она поддерживает французский и английский; метаданные также перечисляют немецкий, итальянский, испанский и португальский. Сравнительно с версией 0.6B, автор заявляет о более высокой точности передачи смысла и лучшей работе со сложными структурами предложений. Распространяется по лицензии Apache-2.0.

Qwen2.5-0.5B-Instruct-GPTQ-Int4 — компактная инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это GPTQ-квантизированная 4-битная версия базовой модели Qwen2.5-0.5B-Instruct, предназначенная для генерации текста и диалоговых сценариев, включая чат-ассистентов, следование инструкциям, работу со структурированными данными и формирование структурированных ответов, в том числе JSON. Модель также ориентирована на задачи программирования и математики, однако README не содержит подробных результатов оценки. Модель относится к causal language models и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV attention и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, из которых 0,36 млрд не являются эмбеддингами, 24 слоя и GQA с 14 головами для Q и 2 для KV. Поддерживается контекст до 32 768 токенов и генерация до 8192 токенов. Модель текстовая, поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Ключевые преимущества — небольшой размер, 4-битное представление, поддержка длинного контекста, многоязычность и улучшенное следование инструкциям. Ограничения README не раскрывает количественно; как компактная модель с 0,49 млрд параметров, она может уступать более крупным моделям в сложных рассуждениях и качестве генерации. Модель распространяется по лицензии Apache-2.0. Для использования рекомендуется актуальная версия библиотеки transformers; версии ниже 4.37.0 не поддерживают архитектуру Qwen2.

Ar4ikov/Qwen3.8-27B-Uncensored-AWQ-W4A16-ASYM — 4-битная AWQ-квантованная версия мультимодальной модели orcarouter/Qwen3.8-27B-Uncensored. Модель предназначена для генерации и анализа текста и изображений, включая сценарии с поддержкой reasoning и спекулятивного декодинга. Разработчик квантованного варианта — Ar4ikov; исходная модель разработана orcarouter. Модель содержит 27B параметров и использует гибридную архитектуру Qwen3.8-27B: 64 слоя с комбинацией Gated DeltaNet и Gated Attention, vision-башню и MTP-голову. Применяется схема W4A16_ASYM с 4-битными весами, group size 128 и BF16-активациями; размер модели сокращён примерно с 52 до 19 ГБ. Поддерживаются мультимодальные входы, контекст до 262 144 токенов и режимы reasoning_effort low, medium и xhigh. Vision-башня, эмбеддинги, lm_head, чувствительные SSM-гейты и MTP-голова сохранены в BF16. Основное преимущество — существенное снижение размера при сохранении визуальной части и совместимость с нативной загрузкой в vLLM, а также потенциально в SGLang. Реальная экономия памяти доступна в рантаймах с INT4-ядрами; transformers распаковывает веса обратно в BF16. Качество на изображениях должно быть близко к исходной модели, но в текстовой части возможна деградация из-за квантования. Бенчмарк-валидация не проводилась, проверена только связность генерации, поэтому модель требует собственных оценок перед production-использованием. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-NVFP4 (ModelOpt) — это квантованная версия мультимодальной модели JonathanColetti/Qwen3.8-27B-Uncensored, опубликованная joshebbs и подготовленная с помощью NVIDIA TensorRT Model Optimizer 0.43.0. Модель предназначена для инференса под управлением vLLM на GPU архитектуры Blackwell и поддерживает обработку текста и изображений. Заявленные языки — английский и китайский. Лицензия — Apache-2.0. Модель содержит 27 млрд параметров и использует гибридную архитектуру из 64 слоёв, объединяющую Gated DeltaNet и Gated Attention. Квантование NVFP4 с размером блока 16 и FP8-масштабами применено к 400 линейным слоям; vision tower, lm_head, MTP head и отдельные чувствительные к точности проекции DeltaNet сохранены в исходной точности. Размер весов уменьшен примерно с 65 ГБ в BF16 до 19,2 ГиБ. Vision tower и голова многотокенного предсказания сохранены. Модель подходит для генерации текста, рассуждений, мультимодальных сценариев и вызова инструментов через совместимый XML-формат Qwen. Контекст до 131 072 токенов проверен при распределённом запуске на двух NVIDIA DGX Spark GB10 с tensor parallelism. Для работы необходим runtime с поддержкой modelopt_fp4; стандартная загрузка через transformers невозможна. Рекомендуется vLLM с Blackwell, FP8 KV-cache и FlashInfer. При включённом режиме рассуждений ответы могут оказаться пустыми, если генерация обрывается внутри блока <think>; также для автоматического tool calling требуются специальные параметры vLLM.

Это квантованная версия модели supergemma4-e4b-abliterated, основанной на Jiunsong/supergemma4-e4b-abliterated. Квантование выполнил mradermacher; набор файлов опубликован в формате GGUF. Модель предназначена для генерации текста по инструкциям, включая сценарии с tool-calling и structured output, а также поддерживает обработку изображений как vision-модель. В README указано, что модель ориентирована на английский язык и использует экосистему Transformers. Доступны варианты квантования i1 с разными типами и размерами примерно от 4,5 до 6,3 ГБ; среди рекомендуемых отмечены i1-Q4_K_M как быстрый вариант и i1-Q4_K_S как компромисс между размером, скоростью и качеством. Конкретные архитектурные параметры, число параметров и размер контекста не указаны. Для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Основные преимущества — широкий выбор GGUF-квантов, возможность локального запуска при ограниченных ресурсах и поддержка текстовых, визуальных, инструментальных и структурированных сценариев. Качество зависит от выбранного типа квантования: варианты с более низким размером могут уступать по качеству, а IQ-кванты в README часто рекомендуются вместо сопоставимых обычных вариантов. Модель распространяется по лицензии Gemma.

SuperQwen3.8-27b-abliterated-MLX-4bit — мультимодальная версия модели, разработанная Jiunsong для локального запуска на компьютерах Apple Silicon. Она основана на SuperQwen3.8-27b-abliterated и представляет собой встроенную MLX-квантизацию с 4-битными аффинными весами. Модель поддерживает текстовые и визуальные входы, заявлена для английского и корейского языков, а также рассчитана на рассуждения и вызов инструментов. Модель содержит 27 млрд параметров и занимает около 15 ГиБ; веса распределены по трём safetensors-файлам, размер группы квантизации — 64. Изменения abliteration встроены непосредственно в MLX-веса, поэтому отдельный адаптер при запуске не требуется. На Apple M5 Max заявлена скорость около 27 токенов в секунду при обычной авторегрессионной генерации и около 33 токенов в секунду с DFlash 2. В тестах также подтверждены мультимодальный инференс и сохранение ограниченного режима рассуждений. Сильные стороны модели — возможность локального запуска 27B-модели на Mac без серверного GPU, компактное 4-битное представление, поддержка изображений, рассуждений и инструментов, а также проверенная совместимость с MLX. При этом показатели производительности зависят от оборудования и приведены для однопоточного сценария; размер контекста в README не указан. Abliteration существенно меняет поведение отказов модели: в заявленных тестах родительские отказы на вредоносные запросы снизились с 30/32 до 0/32, поэтому модель не следует рассматривать как вариант с исходными ограничениями безопасности. Лицензия — Apache-2.0.

Academic TRURL 2 — языковая модель Voicelab.AI на архитектуре Llama 2, дообученная для диалогов и генерации текста на польском и английском языках. Версия содержит 12,9 млрд параметров; метаданные указывают контекст 2048 токенов, тогда как README заявляет длину контекста 4096 токенов. Модель предназначена для общения в формате ассистента и других задач генерации естественного языка. Она принимает текст и генерирует текст; для диалога требуется форматирование запросов по шаблону Llama 2. В обучении использовались польские и английские разговорные данные, включая наборы вопросов и ответов и диалоговые примеры; академическая версия обучена без MMLU. Модель может давать неточные, предвзятые или нежелательные ответы, а опубликованные проверки охватывали польский и английский языки не во всех сценариях. Перед внедрением рекомендуется проверять её на целевых задачах и настраивать меры безопасности. README указывает на коммерческое и исследовательское применение; конкретная лицензия в предоставленных данных не указана.

German-RAG-LLAMA-3.1-8B-SFT-HESSIAN-AI — авторегрессионная языковая модель на архитектуре Transformer семейства Llama 3.1, разработанная командой Avemio AI при поддержке Hessian AI. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст, а её контекстное окно составляет 131 072 токена. Она дообучена для немецкоязычных сценариев RAG на примерах с контекстом и вопросами и ответами. Модель предназначена для ответов на вопросы по найденным документам и контексту, извлечения релевантной информации, суммаризации и задач рассуждения. Поддерживает немецкий и английский языки; README также отмечает обучающие примеры для вызова функций. В карточке указана лицензия Apache 2.0, тогда как метаданные Hugging Face указывают llama3.1; условия распространения следует сверять с лицензией в репозитории. Ответы могут содержать фактические ошибки, а фильтрация безопасности не заявлена.

unsloth/LFM2-2.6B-Exp-GGUF — GGUF-версия экспериментальной языковой модели LFM2-2.6B-Exp, разработанной Liquid AI и подготовленной Unsloth. Модель создана на основе LFM2-2.6B с использованием обучения с подкреплением и ориентирована на следование инструкциям, работу со знаниями и математическими задачами. Указано, что её результативность особенно высока среди моделей класса около 3B параметров, включая сильный результат на IFBench. Модель предназначена для агентных сценариев, извлечения данных, RAG, творческого письма и многошаговых диалогов. Из-за небольшого размера разработчики рекомендуют дообучение под узкие прикладные задачи. Модель не рекомендуется для задач, требующих глубоких знаний или программирования. Архитектура LFM2-2.6B включает 30 слоёв, из которых 22 являются convolutional-слоями и 8 attention-слоями, около 2,57 млрд параметров, контекст до 32 768 токенов и словарь размером 65 536 токенов. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Модель поддерживает диалоги через ChatML-подобный шаблон и вызов инструментов. В этой версии исправлен chat template; для llama.cpp рекомендуется использовать параметр --jinja. Рекомендуемые параметры генерации: temperature 0.3, min_p 0.15 и repetition_penalty 1.05. Лицензия — LFM Open License v1.0. README не указывает точные параметры квантования данной GGUF-сборки, поэтому объём памяти и компромисс между качеством и скоростью по конкретному файлу определить нельзя.