I.6Перевод и языковая адаптация

V-ORC — дообученная GIGAParviz компактная мультимодальная модель на базе unsloth/PaddleOCR-VL. Она предназначена для распознавания текста и извлечения сведений из изображений документов, а также для диалогового взаимодействия с визуальным содержимым. Модель имеет архитектуру PaddleOCR-VL с 318,2 млн параметров, принимает изображения и текст и выдаёт текст. Заявленная длина контекста — 131 072 токена. Модель распространяется в формате safetensors по лицензии Apache-2.0. В карточке указано обучение с использованием Unsloth и Hugging Face TRL; отдельные показатели качества для этой версии не приведены.

Whittle-Qwen-3.8-35B-A3B-i1-GGUF — это квантизированная GGUF-версия модели Whittle-Qwen-3.8-35B-A3B, разработанной logic65 и опубликованной в формате квантизаций пользователем mradermacher. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений, программирования и математических задач, а также для локального запуска через llama.cpp и совместимые инструменты. Модель использует архитектуру mixture-of-experts (MoE) и заявленные механизмы n-gram memory, conditional memory, hyper-connections и knowledge distillation. В обозначении указано 35B параметров, однако README не уточняет число активных параметров при инференсе. Поддерживаются английский, китайский и другие языки; модель работает с текстом и не предназначена для мультимодальных входов. Размер контекста и другие параметры архитектуры не указаны. Доступно множество вариантов квантизации i1-GGUF объёмом примерно от 13,1 до 29,4 ГБ. Они предлагают разные компромиссы между размером, скоростью и качеством; README отмечает i1-Q4_K_M как быстрый рекомендуемый вариант, а i1-Q4_K_S — как удачный баланс размера, скорости и качества. Ограничения включают возможную потерю качества при низкой разрядности и отсутствие подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

YiXin-Distill-Qwen-72B — плотная авторегрессионная языковая модель YiXin AI Lab на архитектуре Qwen2.5, дообученная с применением обучения с подкреплением и дистилляции для математических рассуждений и ответов на вопросы общего характера. Модель насчитывает 71,5 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. В карточке заявлена поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Модель предназначена для диалоговых приложений, решения математических задач с объяснением хода решения и ответов на вопросы, требующие общих знаний и рассуждений. В README приведены результаты сравнительных тестов, включая MATH-500, GPQA-Diamond и AIME-24; они отражают оценки авторов модели. Модель распространяется в формате safetensors, поддерживает интерфейс вызова инструментов и выпущена по лицензии Apache-2.0. В README отмечены уязвимость к состязательным атакам и prompt injection, возможность утечки данных, смещения по областям и потеря части тонких способностей исходной модели при дистилляции. Качество может различаться в доменах, недостаточно представленных в обучающих данных.

Карточка модели Bepemin/Babelbit-h1 на Hugging Face совпадает с карточкой mistralai/Mistral-7B-Instruct-v0.2, поэтому описание составлено по ней. Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

bartowski/DeepSeek-R1-Distill-Qwen-7B-GGUF — это набор квантизированных версий языковой модели DeepSeek-R1-Distill-Qwen-7B, подготовленный bartowski в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для генерации текста и локального инференса на устройствах с ограниченными ресурсами. В основе лежит модель размером 7B параметров; точная архитектура, поддерживаемые языки и размер контекста в представленном README не указаны. Доступны версии от F32 и F16 до различных вариантов квантизации Q8, Q6, Q5, Q4, Q3 и Q2 с размером файлов примерно от 3,55 до 30,47 ГБ. Квантизация выполнена с использованием llama.cpp и imatrix, а для запуска рекомендуется применять указанный формат prompt. Сильная сторона набора — широкий выбор компромиссов между качеством, размером файла и требованиями к памяти: версии Q6 и Q5 заявлены как обеспечивающие очень высокое или высокое качество, а Q4 — как подходящие для большинства сценариев. Более компактные варианты предназначены для систем с небольшим объёмом RAM, но могут заметно уступать по качеству. Лицензия в README не указана, поэтому условия использования следует уточнять в документации исходной модели и репозитория.

FlowVec-v1 — мультиязычная модель текстовых эмбеддингов от LingoIITGN, дообученная на базе Qwen/Qwen3-Embedding-8B с помощью трёхэтапного рецепта LoRA и дистилляции относительно замороженной базовой модели. Она предназначена для семантического поиска, ранжирования, кластеризации и сопоставления текстов на индийских языках. Модель использует архитектуру Qwen3 с 7,6 млрд параметров, извлекает векторы размерности 4096 посредством пулинга последнего токена и L2-нормализации. В README указана максимальная длина последовательности 512 токенов; метаданные базовой модели указывают контекст 40960 токенов. Обучение охватывает retrieval, bitext, классификацию, NLI и кластеризацию; модель оценивалась на MTEB(Indic, v1). В README приведены сильные результаты для поиска и ранжирования, но оценки следует трактовать с учётом пересечения обучающих данных с двумя задачами и подбора инструкций на самом бенчмарке. Для подходящих задач важно передавать prompt_name; при поиске и ранжировании запросы кодируются с инструкцией, а документы — без неё. Модель принимает текст и выдаёт эмбеддинги. Лицензия — Apache 2.0.

Gemma 3 27B PT — предварительно обученная мультимодальная модель Google из семейства Gemma 3 с открытыми весами. Она принимает текст и изображения и генерирует текст; размер модели — 27 млрд параметров. Модель предназначена для понимания изображений и генерации текста: ответов на вопросы, суммаризации, рассуждений, диалогов и создания контента. Контекстное окно — до 128 тыс. токенов, заявлена поддержка более 140 языков. Вариант PT является базовой предварительно обученной моделью, а не версией, настроенной для следования инструкциям. Модель можно применять для описания изображений и извлечения из них данных, создания текстовых ассистентов, составления кратких пересказов и исследовательских экспериментов с VLM и NLP. Google отмечает, что ответы могут содержать фактические ошибки, отражать смещения обучающих данных и хуже справляться со сложными запросами, неоднозначностями и тонкими языковыми нюансами. Лицензия — Gemma; перед использованием следует учитывать условия лицензии и политику запрещённого использования Gemma.

Gemma-4-26B-A4B-it-NVFP4A16 — пользовательская NVFP4-квантизация инструкционной модели google/gemma-4-26B-A4B-it, выполненная Mario Iseli. Это мультимодальная Mixture-of-Experts-модель для генерации текста и диалоговых сценариев с поддержкой текста, изображений и видео. Всего модель содержит 25,2 млрд параметров, из которых 3,8 млрд активируются для каждого токена; архитектура включает 128 экспертов, 8 из которых выбираются на токен. Контекстное окно составляет до 256 тысяч токенов. Модель использует квантизацию W4A16: веса представлены в FP4, а активации — в FP16. Размер на диске уменьшен примерно с 49 до 16,5 ГБ, то есть примерно в три раза, при сохранении исходного числа параметров. Vision encoder оставлен в BF16. Квантизация выполнена с помощью NVIDIA Model Optimizer на данных CNN/DailyMail; это общественная, а не официальная сборка Google или NVIDIA. Основное преимущество — существенное снижение требований к памяти при сохранении мультимодальности, MoE-архитектуры и длинного контекста. Для запуска через vLLM требуется версия с transformers не ниже 5.4, backend Marlin для MoE и специальный патч gemma4_patched.py для корректной загрузки NVFP4 scale-параметров; конфигурация ориентирована, в частности, на NVIDIA DGX Spark с GB10 Blackwell. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

canada-quant/GLM-5.3-Flash-W4A16-MTP — это квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной zai-org и подготовленной canada-quant. Модель предназначена для генерации текста и обработки изображений с текстом, включая сценарии с очень длинным контекстом и ускоренным инференсом на совместимом GPU-оборудовании. Заявлены английский и китайский языки, архитектура Transformers и контекст до 1 048 576 токенов. В модели применяется weight-only-квантизация INT4 (W4A16, GPTQ, group-128) для 36 288 routed-expert GEMM-операций. Веса занимают около 177,7 GiB вместо примерно 599 GiB в BF16. Компоненты внимания, маршрутизатор, shared experts, embeddings, vision tower и BF16 MTP draft head сохранены без квантизации; MTP используется для speculative decoding. Артефакт рассчитан на запуск, в частности, на 4× H100/H200, 4× RTX PRO 6000 или 2× DGX Spark, при этом максимальный подтверждённый контекст зависит от конфигурации оборудования. Сильные стороны модели — существенно сниженные требования к памяти, поддержка длинного контекста, мультимодальность и ускорение генерации за счёт MTP. README приводит высокие результаты на AIME 2026 и GSM8K, а также сравнительные показатели производительности на H100, H200 и DGX Spark. Ограничения включают зависимость доступного контекста и скорости от конкретного оборудования и serving stack; модель не является новой базовой разработкой, а сохраняет возможности исходной GLM-5.3-Flash с компромиссами квантизации. Лицензия — MIT.

Hermes-3-Llama-3.1-8B — языковая модель семейства Llama, опубликованная под идентификатором Unsloth на Hugging Face. Она предназначена для генерации текста и диалогового взаимодействия и может использоваться через библиотеку Transformers.

IceSakeV82RP-7b — объединённая языковая модель на архитектуре Mistral, созданная автором репозитория с помощью mergekit методом SLERP из IceSakeV8RP-7b и WestKunai-Hermes-7b. Модель содержит 7,1 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов; в метаданных также указана возможность диалогового общения. Модель предназначена для генерации текста и диалоговых сценариев. Веса опубликованы в формате safetensors, библиотека — Transformers. Лицензия в предоставленных данных не указана.

MihaiPopa опубликовал дообученную версию LiquidAI/LFM2.5-350M-Base с применением abliteration — изменения весов, снижающего частоту отказов. Это компактная плотная языковая модель семейства LFM2, предназначенная для диалоговой генерации текста и локального запуска. В модели 444,6 млн параметров по метаданным; README описывает базовую версию семейства как модель на 350 млн параметров с 16 слоями и контекстом 32 768 токенов. Метаданные указывают контекст до 128 000 токенов, поэтому сведения о длине контекста расходятся. Модель рассчитана на извлечение данных, формирование структурированных ответов и вызов инструментов; в сравнении с исходной моделью в README указано меньше отказов. Поддерживаемые языки по карточке: английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский. README не рекомендует её для задач, требующих обширных знаний, и программирования. Лицензия в метаданных обозначена как other; конкретные условия следует сверить на странице модели.

EXAONE-4.0-32B-GGUF — это набор GGUF-квантизаций языковой модели EXAONE-4.0-32B, разработанной LGAI-EXAONE. Квантизации подготовлены пользователем bartowski с помощью llama.cpp версии b5934 и imatrix на основе исходной модели LGAI-EXAONE/EXAONE-4.0-32B. Модель предназначена для генерации текста и может использоваться локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от BF16 размером около 64 ГБ до компактных IQ3 и Q3 размером примерно 13–17 ГБ, а также более качественные Q4–Q8. Рекомендуемым вариантом по умолчанию указан Q4_K_M; варианты Q5 и Q6 обеспечивают более высокое качество при значительных требованиях к памяти, а низкобитные варианты подходят для систем с ограниченным объёмом RAM, но могут заметно уступать в качестве. Из README известно, что модель содержит 32 миллиарда параметров и работает в текстовой модальности. Архитектура, поддерживаемые языки, размер контекстного окна и точные характеристики исходной модели здесь не указаны. Шаблон чата также не задан: в README приведён предполагаемый формат, который может быть некорректным и требует проверки по карточке оригинальной модели. Лицензия в предоставленных данных не указана.

MaziyarPanahi/Mistral-7B-Instruct-v0.1-GGUF — это набор файлов модели в формате GGUF для Mistral-7B-Instruct-v0.1, разработанной Mistral AI (mistralai) и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и инструкционного диалога, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Основа модели — Mistral с 7 миллиардами параметров; точные архитектурные характеристики, поддерживаемые языки и размер контекста в README не указаны. Доступны варианты квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файла, требованиями к памяти, скоростью и качеством. Формат GGUF ориентирован на эффективный запуск, в том числе с GPU-ускорением, в локальных интерфейсах и серверных решениях. Сильными сторонами являются широкий выбор уровней квантизации и совместимость с популярными инструментами локального инференса. Ограничения включают возможное снижение качества на агрессивно квантизированных вариантах, а также отсутствие в README подробных данных о результатах оценки, языковых возможностях и контекстном окне. Модель распространяется по лицензии Apache-2.0.

Monstral — слитая языковая модель на архитектуре Mistral, созданная объединением частей MarsupialAI/Monstral-123B-v2 и MidoriUnko/Behemoth-v2.2-Magnum-v4-123B методом passthrough с помощью mergekit. Модель содержит 169,3 млрд параметров и предназначена для генерации текста и диалогового общения. Модель принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Репозиторий содержит веса в формате safetensors. Лицензия не указана в предоставленных данных, поэтому условия использования по ним определить нельзя.

Это GGUF-квантизированная версия языковой модели Llama-3_3-Nemotron-Super-49B-v1_5, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться через llama.cpp, LM Studio и другие проекты на его основе. Модель относится к классу крупных текстовых моделей примерно на 49 млрд параметров. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. В README рекомендуются, в частности, варианты Q4_K_M, Q5, Q6 и IQ4_XS; размеры файлов составляют примерно от 26,87 до 99,74 ГБ. Для работы используется специальный prompt format семейства Llama 3. Сильной стороной являются высокое качество старших вариантов квантизации и возможность локального запуска в совместимых инструментах. Ограничения связаны с большим размером модели и высокими требованиями к памяти, особенно для BF16 и качественных вариантов. В предоставленных данных не указаны поддерживаемые языки, размер контекстного окна, мультимодальные возможности и лицензия исходной модели.

NVIDIA-Nemotron-3-Ultra-550B-A55B-Base-BF16 — базовая большая языковая модель, разработанная NVIDIA Corporation и выпущенная в версии v1.0 GA. Она предназначена для разработчиков и исследователей, которые создают и адаптируют LLM. Модель предварительно обучена на данных по программированию, математике, науке и общим знаниям; заявлены 550 млрд параметров всего и 55 млрд активных параметров. Архитектура Nemotron Hybrid LatentMoE сочетает слои Mamba-2, MoE и выборочные слои Attention. Слои Multi-Token Prediction помогают ускорить генерацию, в том числе посредством speculative decoding. Метаданные указывают контекст до 262 144 токенов; в README заявлена поддержка до 1 млн токенов. Модель принимает и генерирует текст и поддерживает английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, хинди, арабский, китайский и иврит согласно тегам метаданных; README отдельно называет бразильский вариант португальского и не упоминает арабский и иврит. Модель заявлена для коммерческого и некоммерческого использования, однако в метаданных лицензия обозначена как «other», поэтому конкретные условия следует проверить на странице модели. Для запуска NVIDIA рекомендует GPU-ускоренные системы; README перечисляет интеграцию с NeMo и совместимое оборудование NVIDIA. Перед внедрением требуется проверка на данных конкретного сценария. (Размер файлов BF16 и практические требования к памяти в предоставленных данных не раскрыты.)

OPT-IML-Max — инструкционно дообученная языковая модель семейства OPT, разработанная Meta. Она обучена на примерно 2000 задачах обработки естественного языка из восьми бенчмарков, включая Super-NaturalInstructions, FLAN и PromptSource, и предназначена для выполнения разнообразных инструкций и генерации текста. Модель использует плотную причинную архитектуру OPTForCausalLM, содержит около 1,7 млрд параметров и поддерживает контекст до 2048 токенов. Модель подходит для ответов на вопросы, суммаризации, перефразирования и других текстовых задач, сформулированных в виде инструкций. Карточка не уточняет список поддерживаемых естественных языков. Возможны фактические ошибки, токсичные высказывания и воспроизведение стереотипов; ответы требуют проверки. Лицензия указана как other, поэтому условия использования следует сверять с лицензией репозитория.

paraphrase-spanish-distilroberta — модель sentence-transformers, созданная участниками организации hackathon-pln-es для Hackathon 2022 NLP - Spanish. Это дообученная методом переноса знаний испанская RoBERTa-модель BERTIN, обученная на параллельных испанско-английских предложениях с использованием paraphrase-mpnet-base-v2 в роли учителя. Модель содержит 151,8 млн параметров и преобразует предложения и короткие абзацы в плотные векторы размерностью 768; максимальный контекст — 514 токенов. Векторы подходят для поиска по смыслу, оценки сходства предложений и кластеризации текстов на испанском и английском языках. В README приведены результаты оценки семантического сходства для пар ES-ES и ES-EN на наборах STS-2017. Репозиторий содержит веса PyTorch. Сведения о лицензии в предоставленных источниках отсутствуют.

RobinsonLabs/Qwen3.5-122B-A10B-abliterated-GGUF — набор квантизированных моделей в формате GGUF на базе Qwen/Qwen3.5-122B-A10B. Модель разработана Robinson Labs методом abliteration и предназначена для генерации и обработки текста в совместимых локальных runtime. Базовая архитектура — MoE qwen35moe с 122 млрд параметров и бюджетом около 10 млрд активных параметров на токен. В сборке сохранён Multi-Token Prediction (MTP/NextN), поэтому совместимые runtime могут использовать спекулятивное декодирование. Доступны варианты с разными уровнями квантизации и размером файлов. Это текстовая модель: vision tower из исходного чекпойнта в GGUF не включена, поэтому обработка изображений не поддерживается. Языки и размер контекстного окна в README не указаны. Ключевая особенность версии — снижение склонности к отказам в запросах для взрослого и творческого контента при заявленном сохранении возможностей модели. При этом защитные механизмы для запросов, связанных с самоповреждением, и другие ограничения безопасности, по данным автора, сохранены. Ограничениями являются высокая требовательность к вычислительным ресурсам из-за полного размера модели, отсутствие мультимодальности и зависимость от поддержки GGUF и MTP конкретным runtime. Модель помечена как не предназначенная для всех аудиторий, а ответственность за использование возложена на пользователя. Лицензия наследуется от базовой модели и указана как Apache-2.0.

Sehyo/Qwen3.5-122B-A10B-NVFP4 — квантизированная версия модели Qwen/Qwen3.5-122B-A10B, подготовленная Sehyo с использованием схемы квантования NVFP4. Модель относится к семейству Qwen3.5 и имеет MoE-архитектуру; для загрузки и запуска используется библиотека Transformers, а для поддержки NVFP4 рекомендуется nightly-версия vLLM. Модель предназначена для запуска Qwen3.5-122B-A10B в более компактном квантизированном формате, что может быть полезно для инференса больших языковых моделей и сценариев, где важны снижение требований к памяти и эффективное выполнение. Квантование выполнено с помощью VLLM LLM Compressor с поддержкой Qwen3.5 MoE. При калибровке использовано 512 образцов из наборов ultrachat_200k и Nemotron-Post-Training-Dataset-v2, максимальная длина последовательности составляла 4096 токенов, а калибровка охватывала всех экспертов MoE. Ключевые особенности — NVFP4-квантование и наличие весов MTP (multi-token prediction), добавленных для поддержки speculative decoding в vLLM. Ограничения README не описывает: неизвестны точный размер контекста исходной модели, поддерживаемые языки, модальности, показатели качества и требования к оборудованию. Лицензия в предоставленных данных не указана.

Saiga/MistralNemo 12B — русскоязычная чат-модель, разработанная Ильёй Гусевым на основе изменённой версии Mistral Nemo. Это плотная авторегрессионная модель семейства Mistral с 12,1 млрд параметров, предназначенная для диалогов и помощи пользователям на русском языке. README описывает версии, обученные с использованием SFT и SimPO на наборах данных Saiga; для работы используется формат запросов Mistral Nemo с системным сообщением в начале диалога. Модель принимает текстовые запросы и генерирует текстовые ответы. В метаданных указан нативный контекст размером до 1 024 000 токенов, формат весов — safetensors. Лицензия — Apache-2.0. README указывает на базу в виде abliterated-версии Mistral Nemo, но точный идентификатор базового репозитория не приведён.

Swift-Qwen3.8-27b-oQ4e-fp16-mtp — плотная мультимодальная модель класса 27B, разработанная на основе Swift-Qwen3.8-27b от UkisAI и преобразованная в формат MLX. Она предназначена для задач, сочетающих работу с текстом и изображениями, включая генерацию и понимание текстово-визуального содержимого. Модель содержит текстовый backbone, vision encoder и один слой multi-token prediction (MTP). Текстовая часть включает 64 слоя со скрытым размером 5 120 и feed-forward-размером 17 408. В архитектуре используются 48 слоёв linear attention и 16 слоёв full attention; полный attention применяется на каждом четвёртом слое. Словарь содержит 248 320 токенов, заявленный предел контекста составляет 262 144 токена, однако фактическая доступная длина зависит от настроек runtime и объёма памяти. Vision encoder состоит из 27 слоёв со скрытым размером 1 152, 16 attention heads и обрабатывает изображения через патчи 16×16; визуальные признаки проецируются в пространство размерности 5 120. Чекпойнт использует смешанную квантизацию: по умолчанию применяются аффинные 4-битные веса с группами по 64 значения, а для 187 модулей заданы 5-битные переопределения. Часть параметров MTP, включая fusion matrix и веса нормализации, сохраняется в FP16, поэтому суффикс fp16 не означает полностью FP16-модель. Такой формат снижает требования к памяти по сравнению с полноразмерными весами, но точные характеристики производительности и совместимость зависят от MLX runtime и оборудования. Языки в README не указаны. Модель распространяется на условиях Swift Open License v1.0; преобразование не изменяет условия upstream-лицензии. Перед использованием необходимо ознакомиться с условиями лицензии и ограничениями доступа исходной модели.

Bonsai 2 27B 1bit CRACK GGUF — языковая и визуальная модель, разработанная командой dealignai на основе тернарно сжатой PrismML версии Qwen3.8-27B. Из модели удалены механизмы отказа на уровне весов, при этом заявлено сохранение общих возможностей, режимов рассуждения, инструментального использования и многотуровой связности. Модель предназначена для генерации текста, рассуждений, работы с инструментами и обработки изображений в совместимом окружении llama.cpp. Модель использует гибридную архитектуру Attention и SSM на базе GatedDeltaNet: 64 блока, размер скрытого состояния 5120 и отдельная vision tower. Применяется квантование PrismML PTQ1_0 с тернарными весами, группами по 128 и эффективным размером около 2,13 bpw; файл занимает примерно 5,95 ГБ. Поддерживаются режимы рассуждения off, low и xhigh, а для обработки изображений требуются совместимые mmproj-файлы. Запуск заявлен на CPU, CUDA и Metal, включая ноутбуки и системы с одной GPU. Сильной стороной является низкое потребление памяти при сохранении класса модели 27B, а также отсутствие встроенных отказов, что делает модель пригодной для исследовательских и экспериментальных сценариев, где требуется высокая исполнительность. Однако заявленная abliteration снижает защитные ограничения, поэтому модель не следует использовать без собственного контроля безопасности. Результаты MMLU показывают небольшое снижение точности относительно базовой версии, а для старых сборок была отмечена ошибка зацикливания токенов в режимах low и xhigh; рекомендуется использовать версию, выпущенную после 18 сентября 2026 года. Лицензия — Apache-2.0.

DeepSeek-V4-Flash-8bit — это 8-битная версия модели DeepSeek-V4-Flash, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.31.3. Исходная модель разработана deepseek-ai. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm; README показывает использование диалогового шаблона и генерацию ответа по текстовому prompt. Из указанных характеристик известны формат MLX, 8-битное представление весов и текстовая модальность. Размер модели, архитектура, поддерживаемые языки и длина контекста в README не указаны. К преимуществам относятся адаптация к экосистеме MLX и уменьшенное по сравнению с полноточным представлением потребление памяти, однако ограничения качества, производительности и совместимости отдельно не описаны. Модель распространяется по лицензии MIT.

DeepSeek-OCR 2 — мультимодальная модель DeepSeek для распознавания текста и анализа документов по изображениям. Она использует архитектуру DeepSeek-VL2 с причинным языковым декодером и рассчитана на запуск через Transformers на GPU NVIDIA; README также упоминает ускоренный инференс и обработку PDF через vLLM. Модель поддерживает динамическое разрешение изображений: указан режим от 0 до 6 фрагментов 768×768 и одного изображения 1024×1024. Размер модели составляет 559,7 млн параметров, контекст — 8192 токена. В карточке заявлена поддержка многоязычного ввода. Модель подходит для извлечения текста с изображений и документов, включая сценарии OCR и работы с PDF. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Для запуска README приводит зависимости для Transformers и CUDA; указанные версии окружения могут потребовать соответствующей GPU-конфигурации.

FuseChat-Gemma-2-9B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели FuseChat-Gemma-2-9B-Instruct, разработанной FuseAI и опубликованной в формате GGUF пользователем bartowski. Квантизации созданы с помощью llama.cpp версии b4273 и метода imatrix, предназначены для локального запуска и совместимы, в частности, с LM Studio. Модель относится к текстовым генеративным моделям и предназначена для диалогов, следования инструкциям и других сценариев генерации текста. Указан размер базовой модели — 9 миллиардов параметров; поддерживаемые модальности, языки и размер контекста в README не описаны. Для работы используется специальный шаблон промпта с маркерами Gemma для ролей пользователя и модели. Доступны варианты от F32 и F16 до квантизаций Q8, Q6, Q5, Q4 и Q3, а также IQ-форматы, что позволяет выбирать между качеством, размером файла и требованиями к памяти. В README рекомендуются, среди прочих, Q6_K_L, Q6_K, Q5 и Q4 варианты; некоторые сборки оптимизированы для ARM или AVX, а отдельные требуют аппаратной поддержки i8mm или sve и не предназначены для Mac. Более компактные варианты экономят память, но могут снижать качество генерации. Лицензия в предоставленных данных не указана.

Neural-ICE/Gemma-4-E4B-it-NVFP4 — это версия модели Google Gemma 4 E4B instruction-tuned, подготовленная Neural-ICE для запуска через vLLM. Модель предназначена прежде всего для генерации текста и диалоговых сценариев, включая ответы на вопросы, объяснение сложных тем и другие задачи, выполняемые через совместимый API chat completions. Основная текстовая часть модели квантизирована в формате NVFP4, а lm_head, vision tower и связанные с ним embeddings, а также audio tower и audio embeddings сохранены в более высокой точности. KV cache использует формат FP8. Таким образом, модель поддерживает текстовые, визуальные и аудиокомпоненты базовой Gemma 4, однако точные сведения о количестве параметров, языках и размере контекста в карточке не указаны. Квантизация ориентирована на снижение требований к памяти и эффективный инференс на совместимом GPU через vLLM. Сильной стороной модели является сочетание низкоточной квантизации текстового backbone с более высокой точностью отдельных компонентов, что может обеспечивать более экономичный запуск при сохранении качества критически важных частей модели. Ограничения связаны с зависимостью от vLLM и поддержки ModelOpt/NVFP4, а также с возможными особенностями качества и совместимости квантизированной версии по сравнению с исходной моделью. Модель распространяется по лицензии Apache-2.0.

GLM-5.3-Flash-MLX-8bit — это квантованная 8-битная сборка модели GLM-5.3-Flash, разработанной организацией zai-org и адаптированной PipeNetwork для MLX на Apple Silicon. Модель относится к классу смесей экспертов (Mixture-of-Experts), имеет 320 млрд параметров, из которых активно используется 18 млрд (320B-A18B). Архитектура включает 34 слоя Kimi-Delta с линейным вниманием и 11 слоёв DeepSeek sparse attention с NoPE MLA и lightning indexer, а также manifold-constrained hyper-connections. Мультитокенная предсказательная прослойка исключена, а vision tower сохранена в формате bfloat16. Модель предназначена для генерации текста и работы с изображениями и текстом; в README указана модальность image-text-to-text. Сборка рассчитана на запуск через MLX и совместимый runtime на компьютерах Apple Silicon. Размер файлов на диске составляет около 334,1 ГБ. Основная масса параметров, включая маршрутизируемых экспертов, квантована в 8 бит с группами по 64 значения; отдельные служебные параметры хранятся в float32, а vision tower — в bfloat16. Языки и размер контекстного окна в README не указаны. Сильной стороной сборки является существенное уменьшение размера по сравнению с исходной версией bfloat16 объёмом около 642,7 ГБ при близком качестве: заявленная perplexity на wikitext-2 составляет 3,4607. Для корректной работы рекомендуется пропатченный runtime из проекта PipeNetwork, поскольку стандартная ветка mlx-vlm содержит расхождения в вычислениях. Модель распространяется по лицензии MIT; в README также указано, что файлы были конвертированы из upstream-релиза и архитектура модели не изменялась.

Это GGUF-квантизации инструкционной модели Gemma 3 4B IT, разработанной Google и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, генерации и обработки текста, а также поддерживает работу с изображениями через vision-компонент. Она может использоваться локально в LM Studio, llama.cpp и других совместимых проектах. Модель содержит около 4 миллиардов параметров и доступна в вариантах BF16, F32/F16 для vision-компонента и многочисленных квантизациях от Q8_0 до Q2_K_L, что позволяет выбирать баланс между качеством, размером файлов и требованиями к памяти. Для анализа изображений требуется отдельный файл mmproj и сборка llama.cpp с поддержкой Gemma 3. В README не указаны поддерживаемые языки, размер контекста и точные архитектурные характеристики. Сильными сторонами являются локальный запуск, широкий выбор уровней квантизации и мультимодальные возможности. Более низкие варианты квантизации экономят память, но снижают качество; некоторые форматы отмечены как устаревшие или нерекомендуемые. Лицензия в предоставленных данных не указана.