I.4Обработка документов и форм

Tencent разработала Hunyuan-Large — текстовую языковую модель на архитектуре Transformer с разреженной структурой Mixture of Experts. Она содержит 389 млрд параметров, из которых при обработке активны 52 млрд. Предварительно обученная версия поддерживает контекст до 256 тысяч токенов, а версия Instruct — до 128 тысяч токенов. Модель предназначена для генерации текста, ответов на вопросы, чтения и понимания длинных документов, рассуждений и решения математических задач. В карточке описаны оценки на англоязычных и китайских тестах, включая MMLU, CMMLU и C-Eval; метаданные также отмечают английский язык. Для развёртывания README указывает vLLM и TRT-LLM. Репозиторий распространяется по лицензии с обозначением other, поэтому конкретные условия следует уточнять в лицензии проекта.

Gemma 4 E2B IT QAT NVFP4 GGUF — мультимодальная разговорная модель на основе контрольной точки Gemma 4 E2B IT с QAT-оптимизацией и преобразованием весов в формат GGUF с квантованием NVFP4. Модель разработана Google DeepMind; этот вариант подготовлен WhiskyAKM для запуска через llama.cpp и другие совместимые с GGUF движки. Эффективный размер составляет 2,3 млрд параметров, или 5,1 млрд с учётом встраиваний; архитектура — Gemma4ForConditionalGeneration, 35 слоёв. Модель принимает текст, изображения и аудио и формирует текстовые ответы. Она предназначена для диалогов, анализа изображений и аудио, локального запуска и сценариев с вызовом инструментов; заявлены контекст до 128 тыс. токенов и поддержка более 140 языков. QAT и NVFP4 снижают требования к памяти, а файлы GGUF позволяют использовать модель в llama.cpp. Для обработки изображений и аудио нужен движок с мультимодальной поддержкой. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия инструкционной модели Gemma 3 12B IT, разработанной Google и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска в LM Studio, llama.cpp и совместимых проектах. Модель поддерживает текстовые сценарии и работу с изображениями через vision-компонент, для которого требуется отдельный файл MMPROJ в формате GGUF. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций объёмом примерно от 6 до 23,5 ГБ; версии Q4–Q6 отмечены как рекомендуемые благодаря балансу качества и требований к памяти. Архитектура, максимальный контекст и список поддерживаемых языков в представленном README не указаны. Основные преимущества — возможность локального запуска, широкий выбор уровней квантизации и поддержка анализа изображений при использовании совместимой сборки llama.cpp. Ограничения связаны с необходимостью подбора квантизации под доступную память, а для мультимодальной работы — с отдельным vision-компонентом и специальной поддержкой Gemma 3. Модель распространяется по лицензии Google Gemma; для доступа на Hugging Face требуется принять условия этой лицензии.

Jina Embeddings v4 — мультимодальная мультиязычная модель эмбеддингов, разработанная Jina AI на базе Qwen2.5-VL-3B-Instruct. Она предназначена для поиска по текстам, изображениям и визуально насыщенным документам, включая материалы с диаграммами, таблицами и иллюстрациями. Модель поддерживает плотные векторные представления и многовекторный late-interaction поиск, а также задачи сопоставления текстов и поиска по коду; адаптер задачи выбирается при инференсе. Модель содержит 2,8 млрд параметров, принимает текст и изображения и выдаёт эмбеддинги. Размерность плотного эмбеддинга по умолчанию составляет 2048 и может быть уменьшена до 128; заявлена поддержка более 30 языков. Длина контекста — до 128 000 токенов. Веса опубликованы в формате safetensors, для работы доступны Transformers и интерфейс Sentence Transformers. Модель подходит для мультиязычного семантического поиска, поиска по визуальным документам, сопоставления текстов и поиска фрагментов кода. Карточка не сообщает лицензию; количественные результаты оценки и конкретные ограничения качества в предоставленных данных не приведены.

saishf/Long-SOVL-Experiment-8B-L3-262K — объединённая разговорная языковая модель, созданная с помощью mergekit методом Model Stock на базе gradientai/Llama-3-8B-Instruct-262k. В объединение вошли модели Aura, BlueMoon, Luna, RP_Format_QuoteAsterisk и Smarts от ResplendentAI. Модель построена на архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и принимает текст для генерации текста; поддерживает контекст до 262 144 токенов. Модель предназначена для диалогов и генерации ответов, включая работу с длинными текстами в пределах контекстного окна. Репозиторий содержит веса в формате safetensors. Сведения о лицензии и конкретных ограничениях качества в предоставленных данных отсутствуют.

Mungert/Mistral-Small-3.1-24B-Instruct-2503-GGUF — это GGUF-квантизованная instruct-модель на базе Mistral-Small-3.1-24B-Base-2503 от Mistral AI, подготовленная пользователем или организацией Mungert с использованием llama.cpp. Модель предназначена для генерации текста в диалоговых и прикладных сценариях, а также, согласно указанному pipeline tag, для задач image-text-to-text, то есть обработки сочетаний изображений и текста. Доступны варианты с разной степенью квантизации, включая форматы Q4, Q6, Q8 и ультранизкобитные IQ1–IQ3, ориентированные на снижение потребления памяти и запуск на CPU, устройствах с ограниченной VRAM и edge-оборудовании. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Размер модели составляет 24B параметров по обозначению в имени. README не указывает точную архитектуру и размер контекстного окна для этой модели; приведённые бенчмарки относятся к другой модели, Llama-3-8B-Instruct, поэтому их нельзя напрямую считать характеристиками данного экземпляра. Сильной стороной являются варианты квантизации, позволяющие выбирать компромисс между качеством, скоростью и требованиями к памяти; особенно низкобитные варианты рассчитаны на ресурсоограниченные среды и исследование ультранизкобитного вывода. Ограничения включают возможное снижение точности при агрессивной квантизации и зависимость производительности от конкретного формата и оборудования. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-0.8B-Claude-Opus-Distill-Heretic-UNCENSORED — компактная текстовая модель Ghost (ghost-actual), созданная дообучением Qwen/Qwen3.5-0.8B с дистилляцией рассуждений Claude Opus и последующим снижением частоты отказов методом abliteration с помощью Heretic. Она предназначена для диалогов, генерации структурированных ответов и кода, а также для работы на устройствах с ограниченными ресурсами. В метаданных указаны 581,4 млн параметров, архитектура Qwen3.5 для причинной генерации текста, поддержка чата и контекст до 262 144 токенов; README также заявляет нативную поддержку изображений и анализа видео, однако метаданные относят модель к текстовой генерации. Карточка приводит результаты тестов отказов 2 из 100 и KL-дивергенцию 0,0100, а также заявляет производительность на OCRBench 74,5. Эти показатели приведены автором модели и не являются независимой оценкой. Формат репозитория — safetensors; автор заявляет возможность запуска в BF16 примерно на 1,5 ГБ памяти и приводит настройки генерации. Лицензия в предоставленных данных не указана. Снижение числа отказов означает, что модель может отвечать на запросы, которые модели с более строгими ограничениями отклонили бы; ответы следует проверять, особенно при использовании в чувствительных сценариях.

coder3101/Qwen3.5-35B-A3B-heretic — мультимодальная разговорная модель на основе Qwen3.5-35B-A3B, изменённая автором репозитория методом abliteration для заметного снижения частоты отказов. Это модель с причинным языковым ядром и кодировщиком изображений; архитектура использует разреженную смесь экспертов и Gated Delta Networks: всего 35 млрд параметров, из которых активируются около 3 млрд. Веса доступны в формате Safetensors и совместимы с Transformers и рядом движков инференса. Модель предназначена для диалогов, ответов на вопросы по изображениям, рассуждений и сценариев с вызовом инструментов. Она унаследовала от базовой модели контекст 262 144 токена с возможностью расширения примерно до 1 010 000 токенов. Карточка сообщает о поддержке 201 языка и диалекта базовой моделью, но не уточняет языковой охват именно этой производной версии. В приведённом сравнении частота отказов составила 5 из 100 запросов против 91 из 100 у исходной модели; KL-дивергенция относительно неё указана как 0,0972. Это указывает на ослабление отказного поведения, но не подтверждает качество ответов по другим задачам. Лицензия — Apache-2.0. Пониженная частота отказов означает, что модель может слабее ограничивать ответы на потенциально вредные запросы.

SECWIKI/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive — мультимодальная версия Qwen3.6-27B, разработанная HauhauCS на основе модели Qwen/Qwen3.6-27B. Это модификация без встроенных отказов, предназначенная для генерации ответов на широкий круг запросов, включая сценарии, где требуется минимальное количество ограничений. Модель поддерживает текст, изображения и видео, а заявленные языки включают английский, китайский и другие языки в мультиязычном режиме. Модель содержит 27 млрд плотных параметров и распространяется в формате GGUF с различными уровнями квантования, включая специальные варианты K_P, оптимизированные с использованием importance matrix. Архитектура включает 64 слоя, сочетает 48 слоёв линейного внимания Gated DeltaNet и 16 слоёв полного gated attention. Нативная длина контекста составляет 262 тысячи токенов и может быть расширена примерно до 1 млн с помощью YaRN. Для мультимодальной работы поставляется отдельный компонент mmproj. Сильной стороной модели является сочетание большого контекста, мультимодальности, нескольких режимов генерации и отсутствия отказов, а K_P-квантизации позволяют сохранить качество при уменьшенном размере файлов. Ограничения включают возможное добавление кратких дисклеймеров, повышенные требования к памяти: размер файлов варьируется примерно от 10 до 32 ГБ, а также риски, связанные с отсутствием защитных ограничений. В README указана лицензия Apache-2.0.

Qwen3.8-27B-NVFP4-vllm — квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем kekzle. Модель предназначена для запуска в vLLM и imp; поддерживает текстовые и визуальные входы, при этом в карточке указан английский язык. Это гибридная архитектура с компонентами GDN, vision tower и MTP draft head, однако подробные сведения о точной архитектуре и максимальном контексте не приведены. Линейные веса внимания, MLP и GDN-проекций сжаты в NVFP4 с группами размера 16 по схеме W4A16, а embeddings, lm_head, нормализации, vision tower и MTP draft head сохранены в исходной точности BF16. Размер весов уменьшен примерно с 51,75 до 19,2 ГиБ, что позволяет разместить модель на видеокарте с 32 ГиБ памяти. По приведённым измерениям на RTX 5090 модель достигла perplexity 4,6158, скорости декодирования до 87,4 токена в секунду и результата 45/45 в тестовом наборе качества. Сильные стороны модели — существенная экономия памяти, поддержка работы с текстом и изображениями, совместимость с vLLM и imp, а также возможность запуска на потребительских видеокартах Blackwell sm_120, где опубликованные варианты с FP8 attention могут не работать. Ограничения связаны с экспериментальным характером квантования без калибровки активаций, меньшей производительностью vLLM на sm_120 из-за fallback на Marlin и необходимостью настраивать число последовательностей и параметры памяти. Для многошаговых диалогов рекомендуется выделять не менее примерно 400 токенов на ответ, поскольку бюджет включает внутреннее рассуждение. Модель распространяется по лицензии Apache-2.0. Квантованная версия создана из официального релиза BF16 с помощью экспериментального квантовщика imp.

EuroBERT-210m — многоязычная плотная модель-энкодер семейства EuroBERT, разработанная для работы с текстом, кодом и математическими задачами. В этой версии около 211,7 млн параметров; максимальная длина входной последовательности — 8192 токена. Модель доступна для использования через Transformers и опубликована под лицензией Apache-2.0. Модель предназначена для заполнения пропусков в тексте, поиска и извлечения информации, классификации и регрессии. По данным карточки, семейство EuroBERT оценивается на задачах retrieval, классификации последовательностей, оценки качества и задачах, связанных с кодом и математикой; каталог также указывает поддержку разметки токенов и ответов на вопросы. Поддерживаются английский, французский, немецкий, испанский, китайский, итальянский, русский, польский, португальский, японский, вьетнамский, нидерландский, арабский, турецкий и хинди. Сильная сторона модели — многоязычное представление текста и широкий набор сценариев для энкодера при умеренном размере. Это не генеративная чат-модель: её основная задача в метаданных — fill-mask, а для прикладных сценариев классификации, поиска и других задач может потребоваться соответствующая голова или дообучение. README сообщает о сильных результатах семейства на сравнительных оценках, но не приводит здесь подробных метрик для версии 210m.

Faro-Yi-9B — чат-модель wenbopan, созданная на основе Yi-9B-200K путём масштабного дообучения на инструкциях из набора Fusang-V1. Это плотная причинно-языковая модель семейства Llama с 8,6 млрд параметров; репозиторий содержит веса Safetensors, а для диалога используется шаблон ChatML. Модель предназначена для ответов на инструкции и различных текстовых задач на английском и китайском языках, включая работу с длинными документами и сложными запросами. В README заявлена длина контекста до 200 тысяч токенов. В метаданных Hugging Face указано значение 32 768 токенов; для практического использования длинного контекста README приводит настройки vLLM и отмечает влияние квантизации AWQ на качество. В опубликованных автором тестах Faro-Yi-9B превосходит Yi-9B-200K по большинству приведённых показателей, в том числе по ряду тестов понимания длинного контекста; результаты кодогенерации в LongBench ниже, чем у базовой модели. Лицензия — MIT.

google/flan-t5-base — языковая модель семейства T5, разработанная Google и дообученная по инструкциям на более чем тысяче дополнительных задач. Она преобразует текстовый запрос в текстовый ответ и подходит для генерации, ответов на вопросы, рассуждений и выполнения разнообразных NLP-задач, в том числе в режимах zero-shot и few-shot. Модель имеет архитектуру T5 encoder-decoder с 123,8 млн параметров и контекстом до 512 токенов. Карточка описывает поддержку множества языков, включая русский, английский, французский, немецкий и румынский; метаданные также отмечают многоязычность. Доступны версии для PyTorch, TensorFlow и Flax, лицензия — Apache 2.0. Карточка сообщает о сильных результатах на широком наборе задач, но модель не проверялась в реальных приложениях. Она может воспроизводить предвзятость и неподходящее содержание из обучающих данных, поэтому перед применением требуется оценка безопасности и справедливости для конкретного сценария.

Это форк FLAN-T5 XXL, опубликованный philschmid на Hugging Face. Модель представляет собой плотную encoder-decoder архитектуру T5ForConditionalGeneration с 5,8 млрд параметров и предназначена для генерации текста по текстовому запросу. В карточке приведён пример развёртывания на Inference Endpoints и пользовательского обработчика для запуска на одном NVIDIA A10G; файлы модели представлены в формате PyTorch. FLAN-T5 прошла инструкционное дообучение на более чем тысяче дополнительных задач и рассчитана на широкий круг сценариев: ответы на вопросы, суммаризацию, перевод и другие задачи преобразования текста. README заявляет поддержку английского, русского и множества других языков. Лицензия — Apache 2.0. Указание README на «квантизированную» версию расходится с метаданными, где формат обозначен как PyTorch; подтверждения конкретного формата квантизации в метаданных нет.

Gemma-3-27b-it-GGUF — квантизированная GGUF-версия мультимодальной инструкционной модели Gemma 3 27B IT, разработанной Google и квантизированной Second State Inc. Модель предназначена для диалоговых приложений и сценариев image-text-to-text: обработки текстовых запросов, а при использовании файла mmproj — анализа изображений вместе с текстом. Для запуска в LlamaEdge требуется версия v0.18.5 или новее и шаблон prompt gemma-3. Модель содержит 27 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также F16; размеры файлов составляют примерно от 10,5 до 30 ГБ, не считая разбиения F16 на два файла. Рекомендуемыми вариантами названы Q4_K_M, Q5_K_M и Q5_K_S, поскольку они обеспечивают баланс размера и качества или небольшие потери качества. Для обработки изображений требуется отдельный mmproj-файл; изображения должны быть нормализованы до 896×896 пикселей и представлены как 256 токенов каждое. Основные сильные стороны — большой контекст, поддержка текста и изображений, широкий выбор уровней квантования и возможность локального запуска через LlamaEdge. Ограничения включают значительные требования к дисковому пространству и вычислительным ресурсам, а при низких уровнях квантования — существенное снижение качества. README не указывает поддерживаемые языки и конкретную архитектуру. Модель распространяется по лицензии Gemma.

German-RAG-NEMO-12B-CPT-HESSIAN-AI — авторегрессионная трансформерная языковая модель команды Avemio AI при поддержке Hessian AI. Это дообученная версия Mistral-Nemo-Base-2407 с 12,1 млрд параметров, предназначенная для задач генерации текста, контекстных ответов на вопросы, структурированного рассуждения и суммаризации. Модель адаптировали для немецкоязычных сценариев, сохранив поддержку английского языка; обучение включало около 507 млн токенов. Модель подходит для ответов по предоставленному контексту, в том числе в системах RAG, а также для обобщения документов и решения задач с несколькими ограничениями. В метаданных заявлено контекстное окно до 1 024 000 токенов. Модель распространяется по лицензии Apache 2.0. Без фильтров безопасности она может генерировать вредный или предвзятый контент, а ответы и фактические утверждения могут быть недостоверными и требуют проверки.

Gemma 3 27B IT — мультимодальная instruction-tuned модель Google, представленная в формате GGUF и квантизированная bartowski с использованием llama.cpp и imatrix. Модель предназначена для диалогов, следования инструкциям и задач, работающих с текстом и изображениями. Для работы с изображениями требуется отдельный файл MMPROJ и сборка llama.cpp с поддержкой Gemma 3 vision. Модель содержит 27 миллиардов параметров; доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций. Размер файлов варьируется примерно от 13,44 до 54,03 ГБ, а MMPROJ-файлов — от 858 МБ до 1,69 ГБ. Квантизации Q5 и Q6 обозначены как высококачественные, а Q4_K_M — как вариант, подходящий для большинства сценариев; более компактные варианты экономят оперативную память ценой снижения качества. README не содержит сведений о поддерживаемых языках и размере контекстного окна. Модель можно запускать локально через LM Studio, llama.cpp и совместимые проекты. Использование мультимодальных возможностей требует совместимого vision-компонента и правильного chat-шаблона Gemma. Доступ регулируется лицензией Google Gemma; для загрузки на Hugging Face необходимо принять условия этой лицензии. Конкретные ограничения производительности зависят от выбранной квантизации и доступной памяти.

Qwen3.7 Flash — мультимодальная модель рассуждения с поддержкой изображений, разработанная Alibaba. Она предназначена для мультимодальных агентов, визуального программирования, поиска и взаимодействия с компьютером, а также задач распознавания объектов и пространственного понимания. Модель принимает текст и изображения и генерирует текст.

KostkaIT/Qwen3.8-27B-Huihui-Abliterated-oQ4e-MTP-MLX — мультимодальная версия семейства Qwen3.8-27B, разработанная независимым технологическим проектом KostkaIT на основе huihui-ai/Huihui-Qwen3.8-27B-abliterated. Модель предназначена для локального программирования, рассуждений, создания мультимодальных ассистентов и исследовательских задач. Модель поставляется в формате MLX safetensors, оптимизированном для Apple Silicon и совместимого с рантаймом oMLX. Это смешанная квантизация oQ4e: базовые веса представлены в 4-битном формате с group_size 64, а отдельные тензоры сохранены в 5- и 6-битной точности с использованием importance matrix. В репозитории присутствуют конфигурация и процессор для работы с изображениями, vision-тензоры, а также встроенные веса Native MTP с одним скрытым слоем MTP. MTP можно включать или отключать в совместимых версиях oMLX. К сильным сторонам относятся поддержка текста и изображений, более компактное локальное развертывание благодаря квантизации, а также сочетание смешанной точности с Native MTP. Ограничения включают зависимость от оборудования Apple Silicon и совместимого MLX/oMLX-окружения, возможные потери качества из-за 4-битной квантизации и отсутствие в предоставленных данных сведений о языках, размере контекста и точных характеристиках производительности. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-Uncensored-NVFP4-FP8PLE — квантованная vision-language модель, опубликованная lychee888 на основе orcarouter/Qwen3.8-Flash-Next-Uncensored-NVFP4, который, в свою очередь, создан на базе Qwen/Qwen3.8-Flash-Next. Модель предназначена для обработки текста и изображений, рассуждений, function calling, тестирования безопасности и red-teaming. Вариант описан как abliterated и uncensored, то есть с изменениями, направленными на снижение встроенных ограничений поведения. Архитектура относится к семейству Qwen3.8-Flash-Next и использует 48 слоёв: 36 слоёв Gated-DeltaNet и 12 слоёв full attention с интервалом full_attention_interval 4. В конфигурации указаны 512 экспертов и MTP. Эксперты квантованы в NVFP4, attention-компоненты используют FP8, а таблица PLE n-gram embeddings дополнительно переведена из BF16 в FP8 e4m3 с единой глобальной шкалой. Благодаря этому размер контрольной точки уменьшен примерно со 170,93 до 123,25 GiB. Для запуска ориентирована на vLLM и рецепт развёртывания на двух NVIDIA DGX Spark; точные поддерживаемые языки и размер контекстного окна в предоставленных данных не указаны. К сильным сторонам относятся существенно меньший размер по сравнению с исходной сборкой, совместимость по структуре PLE с определёнными NVFP4-сборками Qwen3.8-Flash-Next и сохранение остальных файлов модели без изменений относительно исходной версии orcarouter. Ограничения включают необходимость совместимой инфраструктуры и vLLM, а также то, что PLE-веса нельзя смешивать с аналогичной сборкой RadixArk: формат совместим, но сами значения отличаются. Модель распространяется по лицензии Apache-2.0.

RigoChat-7b-v2 — диалоговая языковая модель, разработанная Instituto de Ingeniería del Conocimiento (IIC) на базе Qwen2.5-7B-Instruct. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2 без изменений и дообучена методом Direct Preference Optimization (DPO) для более точных ответов на запросы на испанском языке. Максимальная длина контекста — 32 768 токенов. Модель предназначена для широкого круга задач на испанском: диалогов, суммаризации, математических и кодовых запросов, ответов на вопросы по контексту и работы с инструментами. В карточке отдельно отмечено применение в RAG-системах с испанскими документами, где обучение было направлено на ответы с учетом контекста и снижение галлюцинаций. Модель распространяется в формате Safetensors и поддерживает интерфейс вызова инструментов. Лицензия RIGOCHAT NON-COMMERCIAL ограничивает коммерческое использование загруженной модели; для коммерческого применения разработчик указывает отдельный вариант через AWS Marketplace. Модель может воспроизводить предвзятости, ошибаться, особенно в технических, научных и юридических темах, и не знать событий после даты отсечения обучения.

Shadowm7expMeliodaspercival_01_experiment26t3q-7B — автоматически объединённая текстовая модель на архитектуре Mistral, созданная Maxime Labonne. Она предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом до 32 768 токенов. Модель содержит 7,1 млрд параметров и объединяет ShadowM7EXP-7B и MeliodasPercival_01_Experiment26T3q с базовой моделью Mistral-7B-v0.1 методом model_stock; веса представлены в формате safetensors и типе bfloat16. Репозиторий распространяется по лицензии Apache-2.0.

AriannaV6 — мультимодальная модель для диалогов и агентных сценариев, разработанная независимым автором и дообученная на базе Google Gemma 4 12B. QLoRA-адаптер обучен на вызове инструментов, устойчивой идентичности и поведении с долговременной памятью, а затем объединён с весами модели. Архитектура gemma4_unified обрабатывает текст, изображения и аудио; заявленная длина контекста — до 262 144 токенов. Доступны объединённые веса Safetensors и варианты GGUF, включая квантизированные сборки. Модель предназначена для универсального помощника, рабочих процессов с инструментами и роли рассуждающего ядра в мультимодальных системах. По описанию автора, V6 исправляет часть потери знаний и здравого смысла в предыдущих версиях, но уступает базовой Gemma на отдельных проверках знаний и общих рассуждений. Голосовой ввод-вывод и генерация изображений или видео в веса не встроены: для них нужны отдельные компоненты. Лицензия CC-BY-NC-SA-4.0 требует указания авторства и распространения производных на тех же условиях и ограничивает коммерческое использование.

Это GGUF-квантизации инструкционной модели Gemma 3 4B IT, разработанной Google и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, генерации и обработки текста, а также поддерживает работу с изображениями через vision-компонент. Она может использоваться локально в LM Studio, llama.cpp и других совместимых проектах. Модель содержит около 4 миллиардов параметров и доступна в вариантах BF16, F32/F16 для vision-компонента и многочисленных квантизациях от Q8_0 до Q2_K_L, что позволяет выбирать баланс между качеством, размером файлов и требованиями к памяти. Для анализа изображений требуется отдельный файл mmproj и сборка llama.cpp с поддержкой Gemma 3. В README не указаны поддерживаемые языки, размер контекста и точные архитектурные характеристики. Сильными сторонами являются локальный запуск, широкий выбор уровней квантизации и мультимодальные возможности. Более низкие варианты квантизации экономят память, но снижают качество; некоторые форматы отмечены как устаревшие или нерекомендуемые. Лицензия в предоставленных данных не указана.

Huihui-Qwen3.5-27B-Opus-abliterated-YaRN-1M — текстовая генеративная модель на архитектуре Qwen3.5 с 27 млрд параметров, представленная в GGUF BF16. Это версия модели HuihuiAI с расширением контекста YaRN и включённым пошаговым рассуждением; в README также указана поддержка изображений через файл mmproj. Модель предназначена для диалогов, генерации текста и работы с длинными контекстами: заявлено 262 тысячи токенов активного контекста и до 1 млн токенов с YaRN, а максимальная длина ответа — 81 920 токенов. Карточка указывает английский язык. Для контекста 262K заявлено около 60 ГБ видеопамяти, для 1M — около 90 ГБ. Модель основана на HuihuiAI/Huihui-Qwen3.5-27B-Opus-abliterated; исходное семейство разработано командой Qwen. Лицензия — Apache-2.0. Термин «abliterated» указывает на изменение поведения модели, однако README не уточняет его влияние на безопасность или качество; длинный контекст требует значительных ресурсов видеопамяти.

Nemotron-3-Nano-Omni-30B-A3B-JANGTQ4-CRACK — мультимодальная модель dealignai, созданная на базе nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning. Это доработанная и квантизированная сборка с гибридной архитектурой Mamba-2, attention и MoE: 52 слоя, 128 маршрутизируемых экспертов с выбором шести и один общий эксперт на MoE-слой. В README указано 19 ГБ; метаданные сообщают 1,9 млрд параметров и контекст до 262 144 токенов. Модель предназначена для диалогов и рассуждений с текстом, изображениями и аудио; для мультимодального конвейера с видео README рекомендует дополнение Multimodal-Addon. Заявлены поддержка tool calling и сохранение мультимодальных компонентов базовой модели. Разработчик приводит результаты собственных проверок HarmBench и MMLU, однако это не независимая оценка; в частности, на сложных задачах рассуждения может потребоваться бюджет не менее 16 384 токенов. Сборка использует JANGTQ4 (8-битные attention-компоненты и 4-битные маршрутизируемые эксперты) и CRACK v2, в которой удалено обучение отказам. Поэтому модель может выдавать вредоносное содержание и требует отдельного защитного слоя перед практическим развёртыванием. Лицензия в метаданных обозначена как other; конкретные условия использования следует проверять в репозитории. Для запуска README указывает vMLX или jang-tools.

Qwen2.5-14B-Instruct-4bit — преобразованная в формат MLX 14-миллиардная instruct-модель семейства Qwen2.5, опубликованная mlx-community. Она предназначена для диалоговой генерации текста и работы с запросами в формате чата; в метаданных также отмечен интерфейс вызова инструментов. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Репозиторий создан 18 сентября 2024 года, использует формат safetensors и лицензию Apache-2.0. README указывает, что конверсия выполнена из Qwen/Qwen2.5-14B-Instruct с помощью mlx-lm 0.18.1. Русский язык не заявлен в языковых тегах карточки; в метаданных указан английский.

Qwen3.8-27B-MXFP4-MagicQuant-GGUF — адаптированная GGUF-сборка модели Qwen3.8-27B, основанная на официально постобученном и квантованном чекпойнте AMD Qwen3.8-27B-Quark-AWQ-MXFP4. Репозиторий подготовлен magiccodingman и содержит исходную нативную MXFP4-версию, а также варианты дополнительного квантования по рецептам MagicQuant и Unsloth. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая обработку изображений благодаря поддержке vision projectors. Также заявлена поддержка MTP. Размер базовой модели составляет 27B параметров, формат распространения — GGUF, а нативная версия занимает около 18,89 ГБ. Доступны варианты с различными уровнями квантования; среди рекомендуемых по соотношению качества и размера указаны MQ-IQ4_XS_1, UD-Q4_K_S, UD-IQ4_XS и UD-Q3_K_XL. Для них заявлено близкое соответствие логитам нативной MXFP4-версии при уменьшении размера примерно на 20,7–31,05%. Сильной стороной сборки является наличие нескольких проверенных вариантов квантования, опубликованных tensor maps, результатов KLD-тестов и сведений об imatrix, что упрощает выбор между качеством и требованиями к памяти. Ограничения связаны с потерями качества при агрессивном квантовании: один вариант UD-IQ2_XXS был удалён после провала установленного порога качества, а остальные низкобитные варианты также могут заметно отличаться от нативной версии. Это адаптированный downward clone, а не новый полный поиск рецептов MagicQuant; языки и размер контекстного окна в README не указаны. Лицензия — Apache-2.0.

manjunathshiva/Qwen3.8-Flash-Next-tq4a-tq2e-g64 — это сжатая версия модели Qwen/Qwen3.8-Flash-Next, подготовленная пользователем manjunathshiva с использованием TurboQuant и MLX. Модель предназначена для генерации текста и обработки изображений на компьютерах Apple Silicon, включая локальный запуск и обслуживание через turboquant-mlx-full. В README указана поддержка английского языка. Модель основана на архитектуре mixture-of-experts qwen4_exp: 180 млрд параметров, 512 маршрутизируемых экспертов с выбором top-10, 48 слоёв и гибридная схема Gated DeltaNet и Qwen Sparse Attention. Заявлен контекст до 262 тысяч токенов. Текстовая часть занимает около 52 GiB, vision tower в формате bf16 — ещё 0,84 GiB, поэтому модель поддерживает работу как с текстом, так и с изображениями. Сборка выполнена без калибровочного набора данных и использует 4-битное квантование TurboQuant. Ключевое преимущество — возможность запуска на Mac с 64 ГБ памяти; на M4 Max заявлена скорость декодирования около 16,2–17,9 токена в секунду при отключённом thinking. Режим --ngram-offload снижает требуемую GPU-память примерно с 52 до 34 GiB при идентичном выводе, но увеличивает задержку обработки длинных промптов. Ограничения включают высокие требования к памяти, зависимость от Apple Silicon и MLX, более низкую скорость по сравнению с некоторыми альтернативными сборками, а также неполную практическую проверку на Mac с 48 ГБ памяти. Лицензия указана как qwen-community-license-1.0.

SG-Raccoon-Yi-55B-200k — авторегрессионная языковая модель на архитектуре Llama, собранная путём слияния двух дообученных моделей Yi 34B: Tess-M-v1.3 и Nous-Capybara-34B. Модель содержит 55,1 млрд параметров и поддерживает контекст до 200 000 токенов; файлы опубликованы в формате safetensors. Разработчик указывает, что это первая объединённая модель такого размера с контекстом 200K. Модель предназначена для генерации текста и диалогового общения. Для подачи запросов README предлагает формат с ролями SYSTEM, USER и ASSISTANT. Автор отмечает, что для Yi может потребоваться отключить BOS-токен или снизить температуру с MinP, а иногда добавить токен остановки в список условий завершения генерации. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования по имеющимся данным определить нельзя. В README результаты бенчмарков не приведены.