I.4Обработка документов и форм

Это версия Qwen3-4B-Instruct-2507, подготовленная сообществом mlx-community для запуска с библиотекой MLX. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 3,7 млрд параметров; в метаданных указан контекст до 262 144 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно применять для ответов на вопросы, составления и редактирования текстов, а также работы с длинными текстовыми контекстами. Карточка подтверждает формат MLX и safetensors; лицензия — Apache-2.0. README сообщает о конвертации из Qwen/Qwen3-4B-Instruct-2507 с помощью mlx-lm 0.30.2.

Qwen3.6-35B-A3B-Qwable-Holo3-Qwopus — экспериментальная мультимодальная модель, созданная автором nightmedia слиянием NuSLERP нескольких моделей на базе Qwen3.6-35B-A3B, включая Holo3, Qwopus и Qwable. В метаданных указана архитектура семейства Qwen3.5 MoE и класс Qwen3_5MoeForConditionalGeneration; репозиторий содержит веса safetensors. Базовая модель имеет 35 млрд параметров, но в карточке нет отдельного подтверждения размера итоговой сборки или длины её контекста. Модель предназначена для диалога и следования инструкциям, работы с изображениями, рассуждений, программирования, математики и творческого письма. В README описано переключение режимов быстрого ответа и глубокого рассуждения с помощью шаблона чата. Метаданные указывают поддержку английского, китайского, японского и испанского языков. Автор приводит сравнительные результаты нескольких вариантов квантования и показатели perplexity, памяти и скорости токенов. Модель распространяется по лицензии AGPL-3.0. Автор отмечает, что использованный шаблон чата — ранняя версия и модель не проверялась с его актуальной версией; поэтому поведение переключателей рассуждения может зависеть от шаблона и конфигурации.

lued/Qwen3.8-27B-INT8-W8A16-DFlash2 — это квантованная версия Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем lued. Репозиторий изменяет числовое представление модели, сохраняя основные возможности исходной версии, включая vision tower, управление режимом рассуждений и вызов инструментов. Модель предназначена для диалоговых и мультимодальных задач, а также для развёртывания через vLLM на потребительском оборудовании. Модель использует INT8-квантование весов W8A16 с активациями FP16 или BF16 и рассчитана на GPU архитектуры Ampere, включая RTX 3090. Заявлен контекст до 262 144 токенов; размер модели на диске составляет около 28 ГиБ. Для ускорения генерации применяется speculative decoding с отдельной моделью-черновиком DFlash2, которая предлагает до семи токенов за шаг. На двух RTX 3090 заявлена скорость до 117 токенов в секунду при полном контексте, а совпадение наиболее вероятного следующего токена с исходной BF16-моделью составляет 98,1%. Сильными сторонами являются заметное снижение размера, почти полное сохранение поведения исходной модели и ускоренная генерация на совместимом оборудовании. Ограничения включают необходимость отдельной модели DFlash2, использования неподдерживаемых в стабильной версии vLLM патчей и конфигурации с двумя GPU для заявленных характеристик. Языки и точные архитектурные параметры в README не указаны. Модель распространяется по лицензии Apache 2.0.

Qybera2.5-0 — компактный диалоговый ассистент Stackpulse Cloud на базе причинной языковой модели Qwen2, дообученной следовать инструкциям. Модель содержит 494 млн параметров, принимает текст и выдаёт текст; контекст — до 32 768 токенов. В репозитории указаны веса Safetensors и библиотека Transformers. Модель предназначена для общего чата, выполнения инструкций, суммаризации, объяснения кода, локального запуска на маломощных устройствах и недорогой маршрутизации API. В карточке заявлена многоязычная поддержка с сильными сторонами в английском и китайском языках. Лицензия — Apache 2.0. Компактный размер подходит для сценариев с ограниченными ресурсами, однако модель может ошибаться и воспроизводить смещения данных обучения. Карточка не рекомендует полагаться на неё в сложных многошаговых математических задачах, продвинутых агентных сценариях и создании длинной художественной прозы без дополнительного руководства; важные ответы следует проверять.

Wiederchat-7b-dpo-laser — чат-модель для генерации текста, созданная mayflowergmbh. Это объединение трёх моделей на архитектуре Mistral: mlabonne/OmniTruthyBeagle-7B-v0, mayflowergmbh/Wiedervereinigung-7b-dpo-laser и cognitivecomputations/openchat-3.5-0106-laser. Веса представлены в формате safetensors; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации ответов. В README приведены результаты оценки Mt-Bench-De, включая категории письма, ролевого общения, рассуждений, математики, программирования, извлечения информации, STEM и гуманитарных дисциплин. Базовая модель описана как немецкоязычная, поэтому немецкий — основной язык модели; результаты теста сами по себе не гарантируют качество в конкретных сценариях. Условия лицензирования в предоставленных данных не описаны.

Breeze-7B-Instruct-v1_0 — диалоговая языковая модель MediaTek Research для ответов на вопросы, многоходового чата, суммаризации и сценариев RAG. Это дообученная версия Breeze-7B-Base-v1_0, которая, в свою очередь, основана на Mistral-7B; модель использует архитектуру Mistral с плотным декодером и содержит 7,2 млрд параметров. Модель рассчитана прежде всего на традиционный китайский язык, а также поддерживает английский. Словарь расширен с 32 тыс. до 62 тыс. токенов для лучшей поддержки традиционного китайского; в карточке заявлено ускорение инференса на этом языке. Контекст модели — 32 768 токенов по метаданным каталога; README описывает версию с контекстом 8 тыс. токенов. Эти значения различаются между источниками. Модель работает с текстом и предназначена для использования как готовый чат-ассистент. В README отмечено, что для диалогов нет специальной обработки вредоносных запросов. Модель опубликована под лицензией Apache-2.0; её качество и скорость могут зависеть от сценария и условий запуска.

G2-Nowing-9B-32K-YS — объединённая методом SLERP языковая модель Gemma 2, созданная автором djuna с помощью mergekit из zelk12/MT-Merge2-MU-gemma-2-MTg2MT1g2-9B и allknowingroger/GemmaSlerp5-10B. Модель имеет плотную архитектуру Gemma2ForCausalLM, содержит 9 млрд параметров и рассчитана на генерацию текста и диалоговое общение. Заявленная длина контекста составляет 32 768 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

Sci-fi-vy/gemma-3-270m-it-GGUF — модель Gemma 3 270M от Google DeepMind, представленная в формате GGUF. Это instruction-tuned вариант базовой модели google/gemma-3-270m-it, предназначенный для генерации текста по инструкциям и запросам. Модель подходит для ответов на вопросы, суммаризации документов, рассуждений, работы с кодом и других задач генерации текста. Семейство Gemma 3 поддерживает текстовые и графические входы с генерацией текста, однако для вариантов 270M в карточке явно указан контекст до 32K токенов, а параметры обработки изображений для этой размерности не описаны. Заявлена поддержка более 140 языков; обучающие данные включали веб-тексты, код, математические материалы и изображения. Дата отсечения знаний — август 2024 года, размер модели — 270 млн параметров. Небольшой размер облегчает локальное развёртывание на компьютерах с ограниченными ресурсами и в собственной облачной инфраструктуре, но по возможностям и качеству модель может уступать более крупным вариантам Gemma. Для работы рекомендуется использовать temperature 1.0, top_k 64, top_p 0.95 и min_p 0.0. Модель распространяется на условиях лицензии Gemma; точные условия следует уточнять в официальных Terms of Use.

GAIA — модель семейства Gemma 3, разработанная ABRIA, CEIA при Федеральном университете Гояса, Nama, Amadeus AI и Google DeepMind для работы с бразильским португальским языком. Это плотный декодерный Transformer с генерацией текста; модель основана на google/gemma-3-4b-pt и дообучена непрерывным предобучением на корпусе примерно из 13 млрд португалоязычных токенов, после чего слияние весов помогло восстановить следование инструкциям и диалоговый режим. В метаданных указаны архитектура Gemma3ForConditionalGeneration, поддержка изображений и текста, библиотека Transformers и формат safetensors. Модель предназначена для диалогов, ответов на вопросы, суммаризации и создания текстов на бразильском португальском. Её также можно адаптировать для анализа тональности, классификации документов, корпоративных RAG-систем и чат-ботов поддержки. В оценках на португалоязычных тестах GAIA улучшила результат базовой модели на ENEM 2024, сохранив сопоставимые результаты на других упомянутых тестах. Лицензия — Gemma. Модель может воспроизводить предвзятости обучающих данных и уверенно генерировать фактические ошибки; важные сведения следует проверять. Качество работы на языках, отличных от португальского, существенно ниже. Для чувствительных решений требуется человеческий контроль.

google_gemma-3-27b-it-qat-GGUF — это GGUF-квантизация instruction-tuned модели Gemma 3 с 27 млрд параметров, разработанной Google. Квантизацию выполнил bartowski на основе QAT-весов Google с использованием llama.cpp и метода imatrix. В карточке модель обозначена как image-text-to-text, поэтому она предназначена для генерации текста по текстовым и, вероятно, визуально-текстовым входным данным. Основной файл Q4_0 имеет размер около 15,62 ГБ и рассчитан на запуск через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты с разными уровнями квантования — от BF16 и Q8_0 до Q3 и IQ-форматов, что позволяет выбирать между качеством, требованиями к памяти и скоростью инференса. Для Q4_0 заявлены улучшения благодаря QAT и поддержка онлайн-репаковки для ARM- и AVX-совместимых CPU. Языки, размер контекста и точные архитектурные характеристики в README не указаны. Модель подходит для локального запуска, диалоговых приложений и мультимодальных сценариев, поддерживаемых Gemma 3 и используемым рантаймом. Более высокие варианты квантования обеспечивают лучшее качество, но требуют больше памяти; низкие варианты экономичнее, однако могут заметно уступать по качеству. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face требуется ознакомиться с условиями и принять лицензию.

Granite-4.2-30B (NVFP4) — вариант модели Granite-4.2-30B, разработанный IBM и опубликованный в формате для библиотеки Transformers. Репозиторий содержит NVFP4-версию базовой модели ibm-granite/granite-4.2-30b, однако README не раскрывает её архитектуру, размер контекста, языки, модальности и конкретные сценарии применения. Модель предназначена для задач обработки естественного языка и использования в совместимых приложениях на базе Transformers. Ключевая характеристика данного варианта — представление NVFP4, которое может быть ориентировано на более эффективное хранение и выполнение модели, но README не содержит измерений производительности, требований к оборудованию или описания ограничений этого формата. Модель распространяется по лицензии Apache-2.0.

Hermes-Mistral-Saul-Slerp — объединённая модель генерации текста, созданная с помощью mergekit из Equall/Saul-Instruct-v1 и NousResearch/Nous-Hermes-2-Mistral-7B-DPO. Она основана на архитектуре Mistral, содержит 7,1 млрд параметров и предназначена для диалогов и генерации ответов по текстовым инструкциям; поддерживает контекст длиной до 32 768 токенов. Модель объединяет навыки двух исходных чекпойнтов методом slerp. Подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста на основе инструкций. Репозиторий содержит веса в формате safetensors. Лицензия Apache-2.0.

Linkbricks-Horizon-AI-Japanese-Base-32B — языковая модель, дообученная директором по данным Linkbricks Юнсоном Джи (Saxo) на базе Qwen/QwQ-32B-Preview. Модель Qwen2 с 32 млрд параметров предназначена для генерации текста и диалогов; обучение включало японское продолженное предобучение, SFT и DPO, а также данные на японском, корейском, китайском и английском языках. В README заявлено окно контекста 128 тыс. токенов, тогда как метаданные указывают нативный контекст 32 768 токенов. Модель рассчитана на многоязычные задачи, включая перевод, суммаризацию, анализ отзывов и публикаций в социальных сетях, написание текстов и кода, математические и логические рассуждения. Поддерживает интерфейс вызова функций и инструментов. Лицензия — Apache-2.0. README не приводит результаты сравнительных оценок, поэтому заявленные сильные стороны не дают основания судить о качестве на конкретных тестах.

Llama-SEA-LION-v3-70B-IT — языковая модель с настройкой по инструкциям, разработанная командой Products Pillar организации AI Singapore при финансировании Национального исследовательского фонда Сингапура. Это плотная авторегрессионная модель-декодер на архитектуре Llama 3.1 с 69,5 млрд параметров; она принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Контекст составляет до 131 072 токенов. Модель предназначена для следования инструкциям и общения на английском и языках Юго-Восточной Азии. В README перечислены бирманский, китайский, английский, филиппинский, индонезийский, яванский, кхмерский, лаосский, малайский, сунданский, тамильский, тайский и вьетнамский; настройка по инструкциям проводилась на английском, индонезийском, яванском, сунданском, тамильском, тайском и вьетнамском. Среди проверявшихся задач — ответы на вопросы, анализ тональности, выявление токсичности, перевод и суммаризация. Модель распространяется по лицензии Llama 3.1 Community License. Модель может галлюцинировать, выдавать нерелевантные или вымышленные сведения и непоследовательно рассуждать. В README также отмечено, что релиз не прошёл настройку безопасности, поэтому для ответственных сценариев пользователям следует самостоятельно применять меры безопасности и проверять результаты.

MANGO1.5-Qwen3.5-9B — двуязычная текстовая модель CMKL University, дообученная на базе Qwen/Qwen3.5-9B. Это плотная модель семейства Qwen3.5 с 9 млрд параметров; опубликованный чекпойнт содержит LoRA-адаптер, объединённый с базовыми весами, и распространяется в формате Safetensors. Модель обучена методом supervised fine-tuning на корпусе из 5 млн англо- и тайскоязычных инструкций; это первый этап постобучения. Модель предназначена для диалога и выполнения инструкций на тайском и английском языках, включая ответы на вопросы, рассуждения, краткое изложение, перевод, математику, программирование и творческие задачи. Она принимает и генерирует текст. Хотя базовая архитектура поддерживает мультимодальный ввод, эта версия обучалась только на текстовых данных, поэтому улучшенную работу с изображениями предполагать не следует. Авторы отмечают, что модель не прошла отдельный этап DPO или RLHF и не сертифицирована для безопасного применения в производстве. Оценка охватывает ограниченное число моделей; возможны галлюцинации и чувствительность к формулировкам запросов, а качество по отдельным предметным областям и перенос между языками проверены неравномерно. Лицензия — Apache 2.0, унаследованная от базовой модели.

MiniCPM4-8B — плотная языковая модель OpenBMB с 7,9 млрд параметров, построенная на архитектуре MiniCPMForCausalLM. Она предназначена для эффективного запуска на устройствах с ограниченными ресурсами; разработчики сообщают об ускорении генерации более чем в пять раз на типичных конечных устройствах, а на Jetson AGX Orin — примерно в семь раз по сравнению с Qwen3-8B при декодировании. Модель обучена на 8 трлн токенов и поддерживает диалоговый режим. Модель принимает текст и генерирует текст. Она предобучена на контекстах длиной 32 тысячи токенов, а расширение контекста до 128 тысяч достигается с помощью YaRN; README приводит результаты теста поиска фрагмента в длинном тексте. Карточка и метаданные указывают поддержку китайского и английского языков. Модель распространяется по лицензии Apache-2.0. Производитель отмечает, что генерируемые ответы требуют самостоятельной проверки: модель не выражает личных мнений или ценностных суждений, а её выводы не следует считать позицией разработчиков. Для корректного форматирования запросов при использовании chat API vLLM нужно явно включать добавление специальных токенов.

pandafish-2-7b-32k — объединённая модель на архитектуре Mistral, созданная ichigoberry с помощью LazyMergekit из Mistral-7B-Instruct-v0.2 и dolphin-2.8-mistral-7b-v02. Она предназначена для генерации текста и диалоговых ответов по инструкциям; в карточке указан шаблон Mistral Instruct. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. README приводит результаты сравнительных оценок AGIEval, GPT4All, TruthfulQA и Bigbench, но не описывает конкретные гарантии качества для отдельных задач. Опубликована в формате safetensors и распространяется по лицензии Apache-2.0.

Карточка модели ArchiveStudio/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Карточка модели Davedav/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

thread13/Qwen3.5-4B-llamafile — сборка модели Qwen3.5-4B в формате llamafile, разработанная автором репозитория thread13 на основе Qwen/Qwen3.5-4B. Это мультимодальная чат-модель для диалога с текстом и изображениями; её можно запускать как консольный чат или веб-сервер. Llamafile объединяет модель и исполняемые компоненты в один файл на базе llama.cpp. В карточке рекомендуются параметры контекста 16 384 токена для задач рассуждения и программирования в режиме thinking. Модель предназначена для ответов на вопросы по изображениям, обычного диалога, рассуждений и помощи с кодом. Указанный в карточке формат — GGUF BF16; размер модели — 4 млрд параметров. В README не приведена лицензия этой сборки. Веб-сервер по умолчанию пытается слушать все доступные сетевые интерфейсы; для локального доступа README рекомендует явно задавать 127.0.0.1.

Qwen3.6-27B-Architect-Polaris2-Fable-B-F451 — мультимодальная модель Nightmedia, полученная слиянием NuSLERP нескольких моделей семейства Qwen. Карточка описывает её как диалоговую и экспериментальную модель для рассуждений, программирования и творческого письма; в примере показаны развёрнутые ответы на математические и художественные вопросы. Архитектура в метаданных обозначена как плотная Qwen3.5 для генерации текста с изображениями, размер базовой модели — 27 млрд параметров. Метаданные указывают поддержку зрения, следования инструкциям и интерфейса вызова инструментов, а также языки английский, китайский, японский и испанский. Заявлены контекстные варианты до 256 тыс. и 1 млн токенов, однако README не уточняет, к каким именно вариантам они относятся. Модель подходит для диалоговых помощников, анализа изображений, программирования, рассуждений и создания художественных текстов. Карточка приводит отдельные сравнительные показатели компонентов с разными форматами квантования, но не даёт полноценной независимой оценки качества итогового слияния. Лицензия — Apache-2.0. README содержит фрагменты кода, опущенные в карточке, поэтому детали рецепта слияния и воспроизводимости по нему проверить нельзя.

Rombos-EVAGutenberg-TIES-Qwen2.5-32B — языковая модель на архитектуре Qwen2.5, созданная nbeerbower слиянием методом TIES через mergekit. В объединение вошли nbeerbower/EVA-Gutenberg3-Qwen2.5-32B и nbeerbower/Rombos-Qwen2.5-32B-lorablated; базовая модель — Qwen/Qwen2.5-32B. Модель содержит 32 млрд параметров, принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов. Она предназначена для диалогов и генерации текста. В метаданных указаны интерфейс вызова инструментов и языковые теги для китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Репозиторий содержит веса в формате safetensors, библиотека — Transformers. Лицензия — Apache-2.0. Карточка не приводит результатов оценивания или конкретных ограничений качества; применимость к отдельным задачам следует проверять на собственных данных.

fradinho/world-llama2 — объединённая диалоговая языковая модель на архитектуре Llama с 6,6 млрд параметров. Она создана методом task arithmetic с помощью mergekit из LargeWorldModel/LWM-Text-Chat-1M и NousResearch/Llama-2-7b-chat-hf; веса сохранены в формате safetensors, исходная точность — bfloat16. Модель предназначена для генерации текста и ведения диалогов. Заявленная длина контекста составляет 1 048 576 токенов, что позволяет обрабатывать длинные текстовые запросы и документы. В карточке базовая диалоговая модель описана как англоязычная; отдельные языковые возможности итогового объединения не уточняются. Модель распространяется по лицензии MIT. Карточка не приводит сравнительных оценок качества или специальных мер безопасности; результаты на длинном контексте и в других языках могут зависеть от сценария применения.

airoboros-13b-gpt4-1.1 — дообученная модель семейства LLaMA с 12,9 млрд параметров, созданная Jon Durbin на синтетических данных, сгенерированных GPT-4. Она предназначена для диалоговой генерации текста и отвечает на вопросы, выполняет рассуждения и решает задачи по программированию, математике, викторинам, тестам с выбором ответа и заданиям на заполнение пропусков. Особенность версии 1.1 — улучшенные инструкции для работы с контекстом и около тысячи дополнительных примеров по программированию. В режиме ответов по заданному контексту модель обучена опираться на предоставленные сведения и ограничивать ответ ими, что может помогать снижать галлюцинации. Для этого используется формат с явными разделителями блоков контекста и инструкций. Модель использует шаблон диалога Vicuna 1.1 и имеет контекстное окно 2048 токенов. Модель принимает текст и генерирует текст; карточка не заявляет поддержку конкретных естественных языков. Автор отмечает, что математические рассуждения остаются слабой стороной. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Carnice-V3-27b-Pollard — это квантизированная версия модели Carnice-V3, разработанной kai-os и подготовленной PollardWeights с использованием метода Pollard Weights. Модель предназначена для диалоговых и универсальных задач генерации текста, а также поддерживает мультимодальные сценарии с изображениями при подключении отдельного визуального проектора. Она распространяется в формате GGUF и совместима с llama.cpp, ik_llama.cpp, Ollama, LM Studio и другими совместимыми приложениями. Модель содержит около 27,4 млрд параметров и использует архитектуру qwen3_5. В карточке указана поддержка английского языка; базовая модель заявлена как текстовая, а обработка изображений доступна через проектор mmproj-Carnice-V3-BF16.gguf, который необходимо загрузить отдельно. Основной вариант PollardMix IQ3_S занимает 12,08 ГБ вместо примерно 54,72 ГБ в формате f16; также доступны варианты IQ4_XS и Q6_K с большим размером и потенциально более высокой точностью. Распределение битов выполняется по чувствительности отдельных слоёв, а не равномерно. Для IQ3_S указаны perplexity 7,88 и производительность около 6,9 токена в секунду, однако скорость зависит от оборудования. Сильной стороной модели является существенное снижение требований к памяти при сохранении единого набора весов и совместимости со стандартной экосистемой GGUF. Ограничения включают потерю точности из-за квантизации, зависимость производительности от оборудования и необходимость ik_llama.cpp для некоторых вариантов Trellis; для мультимодального режима требуется отдельный BF16-проектор. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Это квантизированная instruction-tuned модель Gemma 3 12B, разработанная Google и представленная сообществом abhishekchohan в формате для размещения на Hugging Face. Модель предназначена для диалоговых сценариев и задач генерации текста, а также заявлена как image-text-to-text модель, то есть может обрабатывать текстовые и визуальные данные. В репозитории предусмотрены chat template и средства разбора tool calls для использования с vLLM. Модель использует архитектуру Gemma 3 с 12 миллиардами параметров и квантизацию W4A16, выполненную с помощью LLM Compressor: веса представлены в 4-битной точности, а активации — в 16-битной. Это существенно снижает требования к памяти и делает модель более подходящей для развёртывания на потребительском оборудовании при сохранении хорошего качества работы, однако квантизация может влиять на точность по сравнению с полной версией. Языки и размер контекстного окна в README не указаны. Для запуска рекомендуется vLLM с соответствующими chat template, parser для Gemma и поддержкой автоматического выбора инструментов. Модель распространяется на условиях Gemma license; перед использованием необходимо ознакомиться с условиями и принять лицензию Google на Hugging Face.

Gemma 4 31B it qat JANG_4M CRACK — созданная dealignai модификация Google Gemma 4 31B Instruct для запуска в vMLX на компьютерах Mac с Apple Silicon. Это плотная мультимодальная модель класса Gemma4 с 60 слоями и гибридным скользящим и глобальным вниманием; она принимает текст и изображения, поддерживает диалог, ответы на вопросы, многошаговые рассуждения и генерацию кода. Квантизация JANG_4M использует 8-битную точность для attention и 4-битную для MLP. По заявлению авторов, модель сохраняет возможности зрения и связность ответов; в их тестах MMLU снизился на 1,8 процентного пункта относительно базовой модели. Авторы также сообщают о снятии отказов для широкого набора вредоносных запросов. Это существенно ограничивает безопасное применение модели: она может помогать с опасными действиями. Для запуска требуется vMLX с поддержкой Gemma 4 и Mac на Apple Silicon с достаточной общей памятью; стандартные mlx_lm и mlx_vlm, согласно карточке, не обеспечивают полной поддержки Gemma 4. Лицензия — Gemma; авторы указывают исследовательское назначение и ответственность пользователей за соблюдение законов.

richardyoung/Llama-3.2-3B-Instruct-heretic — текстовая разговорная модель на базе Llama 3.2 3B от Meta, опубликованная пользователем richardyoung. Это авторегрессионный трансформер с 3,2 млрд параметров, рассчитанный на генерацию ответов в диалоге и другие задачи генерации текста. В карточке указаны контекст до 131 072 токенов и поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модификация обозначена как heretic, uncensored, decensored и abliterated; конкретный способ изменения модели в предоставленных данных не описан. Модель может применяться для чат-ассистентов, суммаризации, поиска по знаниям и переформулирования запросов. Она принимает текст и выдаёт текст. README указывает лицензию Llama 3.2 Community License — специальное соглашение с условиями использования, включая Acceptable Use Policy. Как и другие компактные языковые модели, она может уступать более крупным моделям в качестве и требует проверки безопасности при внедрении.

Llama-SEA-LION-v3.5-70B-R — гибридная языковая модель AI Singapore, разработанная командой Products Pillar при финансировании NRF Сингапура. Это плотная авторегрессионная модель-декодер на архитектуре Llama 3.1 с 69,5 млрд параметров, дообученная на инструкциях на базе Llama-SEA-LION-v3-70B-IT. Режим рассуждений или обычной генерации выбирается через шаблон чата токенизатора. Модель предназначена для диалога, генерации текста, рассуждений и выполнения инструкций, в том числе на языках Юго-Восточной Азии. Поддерживает бирманский, китайский, английский, филиппинский, индонезийский, яванский, кхмерский, лаосский, малайский, сунданский, тамильский, тайский и вьетнамский языки. Контекст составляет до 128 тыс. токенов по README; метаданные указывают 131 072 токена. Доступна в формате Safetensors и запускается через Transformers. Модель оценивалась на задачах вопросов и ответов, анализа тональности, обнаружения токсичности, перевода, суммаризации, причинного рассуждения и следования инструкциям. Она может галлюцинировать и давать нерелевантные или непоследовательные ответы. Модель не прошла настройку безопасности, поэтому ответы следует проверять, а для развёртывания предусмотреть собственные меры безопасности. Лицензия — Llama 3.1 Community License.

Llama-SEA-LION-v3-70B — многоязычная текстовая модель AI Singapore, разработанная командой Products Pillar при финансировании NRF Сингапура. Это декодер на архитектуре Llama 3.1 с 69,5 млрд параметров, созданный продолжением предобучения meta-llama/Llama-3.1-70B-Instruct на примерно 200 млрд токенов на 11 языках Юго-Восточной Азии и английском; модель использует токенизатор Llama 3.1 и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, анализа тональности и токсичности, перевода между английским и языками региона, причинных рассуждений и следования инструкциям. Карточка сообщает оценки по SEA-HELM и SEA-IFEval, включая проверку ответа на нужном языке. Модель рассчитана на бирманский, китайский, английский, филиппинский, индонезийский, кхмерский, лаосский, малайский, тамильский, тайский и вьетнамский языки. Для использования необходима инфраструктура, способная обслуживать модель на 70B параметров. Доступна в формате safetensors; лицензия — Llama 3.1 Community License.