I.1Поиск и навигация по информации

PaddleOCR-VL-1.6 GGUF — мультимодальная модель для преобразования изображений и текста в текст, предназначенная прежде всего для интеллектуального распознавания и разбора документов. Модель разработана командой PaddlePaddle как развитие PaddleOCR-VL-1.5 и ориентирована на OCR, извлечение структуры документа, анализ макета, таблиц, формул, графиков, печатей и обнаружение отдельных элементов на изображении. В репозитории представлена GGUF-версия модели, сгенерированная с использованием llama.cpp. В README не указаны точный размер модели, архитектура, длина контекста и конкретные параметры квантования. Заявлена поддержка английского, китайского и других многоязычных сценариев. Модель может быть полезна для автоматической обработки сканированных документов, счетов, отчетов и других визуально сложных материалов, где требуется не только распознать текст, но и сохранить сведения о структуре и расположении элементов. К сильным сторонам относятся мультимодальный анализ документов и широкий набор поддерживаемых типов содержимого. Ограничения и результаты сравнительных тестов в карточке не приведены, поэтому качество на конкретных языках, форматах документов и аппаратных конфигурациях следует проверять отдельно. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-14B-Instruct-Abliterated — производная версия Qwen/Qwen2.5-14B-Instruct от sci4ai, созданная удалением поведения отказа с помощью изменения весов на основе активаций. Это плотная авторегрессионная модель семейства Qwen2 для генерации текста и диалогов; размер — 14 млрд параметров, контекст — до 32 768 токенов. README рекомендует её для агентных сценариев и вызова инструментов, отмечая следование форматам вызовов инструментов и многошаговые рассуждения. При обработке модели удаляли направления отказа в выходных проекциях attention и MLP в 47 из 48 слоёв. Поэтому модель может отвечать на запросы, которые базовая модель отклонила бы; качество и безопасность ответов не гарантированы. Модель распространяется по лицензии Apache-2.0. README приводит исследовательскую оговорку и возлагает ответственность за использование на пользователя.

BenevolenceMessiah/Qwen2.5-72B-2x-Instruct-TIES-v1.0 — объединённая плотная языковая модель семейства Qwen2.5, созданная методом TIES с помощью mergekit. В качестве основы использована Qwen/Qwen2.5-72B; в объединение также вошли Rombos-LLM-V2.5-Qwen-72b и Dracarys2-72B-Instruct. Модель содержит 71,5 млрд параметров и имеет заявленное контекстное окно 131 072 токена. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Её можно применять для составления ответов, продолжения текста и сценариев чат-ассистента. README не уточняет специальные преимущества объединения, а сведения о языках обучения и целевых сценариях ограничены. Файлы представлены в формате Safetensors и предназначены для Transformers. Лицензия в предоставленных данных не указана.

RedHatAI/Qwen2.5-VL-7B-Instruct-quantized.w8a8 — это квантованная версия мультимодальной модели Qwen/Qwen2.5-VL-7B-Instruct, разработанная Neural Magic. Модель принимает текст, изображения и видео, а генерирует текстовые ответы; она предназначена для задач визуального анализа и работы с текстом, включая ответы на вопросы по изображениям, анализ документов, графиков и визуальных материалов. Модель имеет архитектуру Qwen2.5-VL-7B-Instruct и использует 8-битное квантование весов и активаций по схеме W8A8, что снижает требования к ресурсам при инференсе. В README указана поддержка английского языка, однако полный набор языков не описан. Приведённый пример рассчитан на контекст до 4096 токенов и развёртывание через vLLM версии 0.5.2 или новее; также доступна совместимая с OpenAI схема сервинга через vLLM. К сильным сторонам относятся мультимодальность, оптимизация INT8 для эффективного инференса и готовность к использованию в vLLM. Ограничения включают возможные потери качества из-за квантования, а также отсутствие в предоставленных данных подробных результатов оценки, точных требований к оборудованию и исчерпывающего описания поддерживаемых языков. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-122B-A10B-PRISM-LITE-GGUF — мультимодальная GGUF-версия Qwen3.5-122B-A10B, подготовленная Ex0bit с применением PRISM-процесса для частичного снижения чрезмерных отказов. Модель предназначена для диалогов, рассуждений и анализа изображений и видео; поддерживает режимы Thinking и Instant. В README заявлены 122 млрд параметров, из которых 10 млрд активны на токен, архитектура MoE с 256 маршрутизируемыми и одним общим экспертом на слой, а также сочетание GatedDeltaNet и пол attention. Контекст составляет 262 144 токена. Поставляется в формате GGUF с динамической поканальной квантизацией размером около 57,7 ГБ; для работы с изображениями включён файл vision encoder mmproj. Метаданные указывают лицензию Apache-2.0 и библиотеку llama.cpp. Вариант LITE снижает чрезмерные отказы лишь частично; заявления README о сохранении связности и удалении отказов не сопровождаются независимыми оценками. Базовая модель поддерживает широкий набор языков, включая русский.

lemonyins/Qwen3.6-27B-abliterated-i1-IQ4_XS-GGUF-Smaller — квантизированная версия Qwen3.6-27B, подготовленная разработчиком lemonyins на основе abliterated-варианта Huihui-Qwen3.6-27B от mradermacher. Модель предназначена для локального инференса, исследовательских задач и сценариев, где важны уменьшенный размер весов, экономия видеопамяти и большой контекст. Заявлена поддержка текстовых и, при подключении отдельного vision-проектора mmproj-BF16.gguf, визуально-текстовых входов. Модель использует формат GGUF и гибридную квантизацию: ключевые attention-слои имеют IQ4_XS, а слои FFN — IQ3_S. Для работы рекомендуется сборка llama.cpp с поддержкой TurboQuant и компактным KV-кэшем. На видеокарте NVIDIA RTX 4060 Ti 16GB заявлена скорость 18–20 токенов в секунду; при IQ4_XS-FFN-IQ3_S указана работа с контекстом до 160–200 тысяч токенов в зависимости от формата KV-кэша. При подключении vision-модуля доступный контекст уменьшается примерно на 10 тысяч токенов. Сильными сторонами являются низкое потребление памяти, увеличенный контекст при сохранении квантизации attention-слоёв и поддержка изображений через дополнительный модуль. Ограничения включают обязательную зависимость от TurboQuant для заявленных показателей памяти, возможное ухудшение качества из-за IQ3_S в FFN-слоях и отсутствие полной верификации разницы с базовой квантизацией; приведённый тест на китайском романе показал увеличение perplexity примерно на 3,14%. Языки модели и точные характеристики исходной архитектуры в README не указаны. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-GGUF — GGUF-квантизированная версия модели Qwen3.8-Flash-Next, разработанной Qwen и квантизированной пользователем qtum с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp; заявленные языки — английский и китайский. Модель содержит около 180 млрд параметров: MoE-ядро на 125 млрд параметров с 48 слоями, 512 экспертами, маршрутизацией top-10 и одним общим экспертом, а также 51-миллиардную PLE-таблицу n-грамм. Используется гибридное внимание: линейное внимание Gated DeltaNet чередуется с блоками Qwen Sparse Attention и гиперсвязями. Максимальная длина контекста — до 262 тысяч токенов. Слой MTP для чернового предсказания был исключён при конвертации. Доступны варианты BF16 и квантизации IQ4_XS, IQ3_XXS, IQ2_XS-layered и IQ1_M-layered размером примерно от 76,4 до 118,8 GiB; каждый вариант поставляется в восьми сегментах. Квантизация снижает требования к хранилищу, но ухудшает показатель perplexity относительно BF16, особенно у низкобитных вариантов. Для работы необходимо скачать все восемь сегментов и использовать llama.cpp; модель предъявляет очень высокие требования к ресурсам. Лицензия — Qwen Community License 1.0, унаследованная от исходной модели, а не MIT.

Qwen3.8-Flash-Next-W4A16 — это 4-битная версия модели Qwen3.8-Flash-Next, опубликованная aixiaoma и предназначенная для запуска на потребительских GPU NVIDIA Ampere. Модель использует INT4-квантизацию W4A16 с группами по 128 элементов, симметричными масштабами и форматом compressed-tensors. Архитектурно это мультимодальная модель image-text-to-text с MoE-компонентом: квантифицированы основные экспертные и attention-матрицы, тогда как чувствительные компоненты, включая vision encoder, эмбеддинги, маршрутизатор, GDN/linear attention, PLE-таблицы и MTP-модуль, сохранены в BF16. Точные размеры, список поддерживаемых языков и параметры контекстного окна в README явно не приведены, однако указано, что исходная BF16-модель имеет около 335 ГБ, а квантифицированная версия занимает около 168 ГБ на диске. Модель предназначена для диалоговых и мультимодальных сценариев, включая обработку изображений и текста, а также инференс с длинным контекстом. Она запускается через специальную сборку vLLM с поддержкой qwen4_exp, Marlin kernels и PLE offload. На конфигурации из 4 RTX 3090 поддерживается контекст до 96 тысяч токенов, а на 8 RTX 3090 — полный заявленный контекст до 262 тысяч токенов. MTP-модуль сохранён в BF16, поэтому доступно speculative decoding; по данным авторов, для однопоточного декодирования это даёт прирост примерно на 57 процентов. К сильным сторонам относятся возможность запуска на широко распространённых GPU Ampere без поддержки FP8, сохранение качества на заявленном наборе greedy-тестов на уровне базовой модели и существенное сокращение объёма GPU-памяти за счёт выгрузки 102 ГБ PLE-таблиц в оперативную память. Ограничения включают высокие требования к оборудованию и минимум около 110 ГБ свободной оперативной памяти, обязательное использование expert parallelism, специальные параметры Docker и vLLM, а также необходимость отключить torch.compile из-за проблем с компиляцией на Ampere. Лицензия указана как qwen-community-1.0; также отмечена связь с базовой моделью Qwen3.8-Flash-Next.

halt95/Qwen3.8-Flash-Next-W4A16-Merlin — это квантованный вариант Qwen3.8-Flash-Next, подготовленный halt95 на основе компонентов Qwen, Intel и RadixArk. Модель предназначена для генерации текста и инференса в vLLM, включая сценарии с длинным контекстом, параллельными сессиями, включённым режимом рассуждений, vision-вводом и speculative decoding с MTP-драфтером. Модель использует смесь экспертов с 512 маршрутизируемыми экспертами на слой и 512 экспертами MTP draft-head. Основные эксперты представлены в INT4 с групповой схемой g128, отдельные проекции Gated DeltaNet — в INT8, а часть компонентов, включая 12 attention-слоёв, vision tower, эмбеддинги и lm_head, сохранена в BF16. Таблица n-gram (PLE) на 51 млрд параметров хранится в FP8 и выгружается в память CPU. При обслуживании применяется FP8 E4M3 KV-cache; заявлена поддержка контекста до 262 144 токенов и пула KV-cache размером 806 792 токена. README не указывает поддерживаемые языки и точное общее число параметров. Сильными сторонами являются работа с очень длинным контекстом, поддержка vision, MTP speculative decoding, структурированного вывода при конкуренции запросов и возможность запуска на четырёх потребительских RTX 3090 с архитектурой Ampere без NVLink. Ограничения связаны с узкой аппаратной и программной конфигурацией: для sm_86 требуется патченный vLLM с поддержкой FP8 KV-cache и специального доступа к большой n-gram-таблице, а стандартный vLLM не подходит. Качество INT4-квантования для отдельных компонентов и влияние дополнительной квантизации attention в README не оценивались. Распространение осуществляется по лицензии qwen-community-1.0; в метаданных также указана общая лицензия other. Для запуска может потребоваться companion-репозиторий halt95/qwen38-flash-next-3090s с закреплёнными скриптами сборки и модифицированным движком.

Qwen-3-VL-8B-Instruct-heretic — мультимодальная разговорная модель, созданная Heretic как декензурированная версия Qwen/Qwen3-VL-8B-Instruct с помощью Heretic v1.3.0. Это плотная архитектура Qwen3-VL с 8 млрд параметров, предназначенная для диалога по тексту и изображениям, визуального анализа и рассуждений. В README указано контекстное окно 256K токенов с возможностью расширения до 1M у базовой модели; метаданные подтверждают поддержку изображений и формат safetensors. Модель подходит для ответов на вопросы по изображениям, OCR, понимания видео и пространственных сцен, а также для визуального взаимодействия с интерфейсами. README сообщает о снижении отказов: 6 из 100 запросов против 100 из 100 у исходной модели; это может влиять на защитное поведение. Качество и заявленные возможности унаследованы от описания базовой Qwen3-VL, а отдельные показатели этой производной модели ограничены приведённой метрикой KL-дивергенции и отказов. Лицензия — Apache-2.0.

synapticstudio/rxcortix-qwen3-14b-merged — дообученная языковая модель synapticstudio на архитектуре Qwen3 с плотной причинной языковой моделью Qwen3ForCausalLM. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Модель содержит 14 млрд параметров и рассчитана на контекст до 40 960 токенов. В карточке указано, что обучение выполнялось с Unsloth и библиотекой TRL от Hugging Face. Базовая модель — unsloth/qwen3-14b-unsloth-bnb-4bit. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Карточка не описывает специализацию по предметным областям или отдельные результаты оценки качества.

Twilight-XL-195B — объединённая авторегрессионная языковая модель, созданная softwareweaver с помощью mergekit методом passthrough на основе Twilight-Large. Архитектура — плотная MistralForCausalLM; размер составляет 192,8 млрд параметров, формат весов — safetensors. Для общения используется формат промпта Mistral Large; модель также поддерживает интерфейс вызова инструментов. Модель предназначена для генерации текста и диалогового взаимодействия. Заявленная длина контекста — 131 072 токена. Карточка не описывает отдельную специализацию или результаты оценки качества. Репозиторий распространяется по лицензии other, поэтому условия использования следует уточнять в сопровождающих лицензионных материалах.

Apertus v1.5 8B text — MLX MXFP4 — это текстовая квантованная версия базовой модели swiss-ai/Apertus-v1.5, разработанной Swiss AI Initiative при участии EPFL, ETH Zurich и Швейцарского национального суперкомпьютерного центра на открытых данных. Данная конверсия выполнена независимо от авторов исходной модели и предназначена для запуска на компьютерах Apple с использованием MLX и mlx-lm. Модель поддерживает генерацию текста: принимает текст на вход и возвращает текст. Она содержит около 8,05 млрд параметров, использует архитектуру ApertusForCausalLM с 32 слоями, скрытым размером 4096, 32 головами внимания и 8 key-value головами, активацию xIELU, словарь из 131072 текстовых токенов и контекст длиной до 262144 токенов. Модель мультиязычная, однако конкретный перечень поддерживаемых языков в README не указан. Ключевое преимущество сборки — калиброванное квантование MXFP4 с эффективной точностью 4,250 бита на вес и размером файлов около 4,28 ГБ, что снижает требования к хранению и делает модель удобной для локального использования на Apple silicon. Ограничения связаны с потерями качества из-за квантования по сравнению с полноразмерными версиями, текстовой модальностью и зависимостью от совместимого программного стека MLX. Модель распространяется по лицензии Apache 2.0 с политикой допустимого использования Apertus 1.5.

ByT5-xl — предобученная байтовая модель семейства T5, разработанная Google. Она использует архитектуру Transformer для преобразования текста в текст и обрабатывает строки непосредственно как последовательности UTF-8 байтов, без отдельного токенизатора. Размер модели — 3,3 млрд параметров; доступны веса PyTorch и TensorFlow. Модель предобучена на mC4 с задачей восстановления замаскированных фрагментов и не проходила supervised-обучение для прикладных задач. Перед использованием её нужно дообучить под конкретный сценарий: например, ответы на вопросы или другие задачи преобразования текста. ByT5 особенно хорошо подходит для зашумлённого текста; в README отмечено превосходство над mT5-xl на TweetQA. Поддерживаются многие языки, включая английский, испанский, французский, арабский, хинди, японский и корейский; обработка байтов позволяет подавать текст на разных языках без токенизатора. Работа с байтовыми последовательностями может быть менее эффективной по длине входа, чем токенизация. Модель опубликована Google и распространяется по лицензии Apache-2.0.

DeepSeek-V4-Flash-0731-RAZOR-156B-A13B-E128of256 — производная модель семейства DeepSeek-V4 от DeepSeek-AI, созданная методом RAZOR без градиентного дообучения. Метод сокращает число маршрутизируемых экспертов в каждом из 43 MoE-слоёв с 256 до 128; внимания, общие эксперты, эмбеддинги и выходная голова сохранены. В карточке указано 156 млрд параметров, включая упаковку весов экспертов в 4 бита, и около 13 млрд активных параметров на токен. Модель предназначена для генерации текста. Для диалоговых запросов кодирование промптов выполняется официальной реализацией DeepSeek-V4, поскольку Jinja-шаблона чата нет. Заявленное контекстное окно — 1 048 576 токенов; репозиторий использует Transformers и содержит веса safetensors в формате FP8, при этом эксперты хранятся в MXFP4. Сокращение экспертов уменьшает модель при сохранении исходных весов оставшихся экспертов и не требует восстановительного обучения. Лицензия — MIT. Обрезка с потерями может менять разнообразие ответов, форматирование и поведение при завершении генерации; конечный корпус калибровки не характеризует поведение на далёких от него областях. Перед применением следует оценить качество на собственных задачах.

EMMA-500 — многоязычная языковая модель MaLA-LM на архитектуре Llama 2 7B, дообученная продолжительным предварительным обучением для улучшения представления языков с ограниченными ресурсами. Модель содержит 6,6 млрд параметров, принимает текст и генерирует текст; базовый контекст составляет 4096 токенов. В карточке заявлена поддержка 546 языков, включая языки, для которых в обучающих данных было более 100 тысяч токенов. Модель предназначена для многоязычной генерации и может применяться для машинного перевода, классификации текста, логического вывода на естественном языке, ответов на вопросы по тексту, генерации кода и рассуждений на основе здравого смысла. Обучение продолжалось на корпусе MaLA, который, согласно карточке, охватывает более 500 языков и содержит 74 млрд токенов из разных областей. В карточке сообщается об улучшении результатов на многоязычных задачах и бенчмарках относительно других моделей на основе Llama 2. Для низкоресурсных языков отмечено снижение разнообразия генераций. Модель распространяется по лицензии Llama 2; перед использованием следует соблюдать её условия.

axolotl-ai-co/gemma-2-9b — текстовая генеративная модель семейства Gemma 2, разработанного Google. Это плотная decoder-only языковая модель с 9 млрд параметров, предназначенная для генерации текста по запросу; карточка указывает библиотеку Transformers, формат safetensors и контекст до 8192 токенов. В README описаны англоязычные варианты Gemma и сценарии генерации, ответов на вопросы, суммаризации и диалогов. Модель подходит для создания черновиков и творческих текстов, чат-ботов, суммаризации документов и ответов на вопросы. Относительно компактный размер позволяет запускать её на локальных компьютерах или собственной облачной инфраструктуре; README также описывает применение квантования через bitsandbytes. Лицензия — gemma. Ответы могут содержать фактические ошибки или отражать предвзятость данных; модель может испытывать трудности с неоднозначностью, сложными инструкциями и рассуждениями. Для прикладных систем рекомендуется проверять результаты и применять меры безопасности.

Lemura Labs выпустила Gemma-4-12B-uncensored-bf16 — мультимодальную модель Google Gemma 4 на 11,95 млрд параметров, дообученную на основе google/gemma-4-12B-it. Разработчики удалили часть направлений отказа с помощью ablation toolkit; новые возможности при этом не добавлялись. Модель принимает текст, изображения, аудио и видео и предназначена для диалога, анализа мультимодальных данных, распознавания речи и перевода речи. Контекст базовой модели — 256 тысяч токенов; заявлена поддержка более 140 языков. Модель распространяется в формате bfloat16, занимает около 23,9 ГБ и работает через Transformers на CUDA и Apple Silicon MPS. В README приведена оценка на 100 вредоносных запросах: доля отказов снизилась с 99% у базовой модели до 12% у этой версии. Аудио ограничено 30 секундами, видео — 60 секундами при примерно одном кадре в секунду. Лицензия — Apache-2.0.

Neural-ICE/Gemma-4-E4B-it-NVFP4 — это версия модели Google Gemma 4 E4B instruction-tuned, подготовленная Neural-ICE для запуска через vLLM. Модель предназначена прежде всего для генерации текста и диалоговых сценариев, включая ответы на вопросы, объяснение сложных тем и другие задачи, выполняемые через совместимый API chat completions. Основная текстовая часть модели квантизирована в формате NVFP4, а lm_head, vision tower и связанные с ним embeddings, а также audio tower и audio embeddings сохранены в более высокой точности. KV cache использует формат FP8. Таким образом, модель поддерживает текстовые, визуальные и аудиокомпоненты базовой Gemma 4, однако точные сведения о количестве параметров, языках и размере контекста в карточке не указаны. Квантизация ориентирована на снижение требований к памяти и эффективный инференс на совместимом GPU через vLLM. Сильной стороной модели является сочетание низкоточной квантизации текстового backbone с более высокой точностью отдельных компонентов, что может обеспечивать более экономичный запуск при сохранении качества критически важных частей модели. Ограничения связаны с зависимостью от vLLM и поддержки ModelOpt/NVFP4, а также с возможными особенностями качества и совместимости квантизированной версии по сравнению с исходной моделью. Модель распространяется по лицензии Apache-2.0.

JiRackUltra_14b-i1-GGUF — GGUF-квантизированная версия модели CMSManhattan/JiRackUltra_14b, подготовленная mradermacher. Это текстовая генеративная модель с заявленным размером 14 млрд параметров, связанная с архитектурами Qwen2.5 и DeepSeek и ориентированная на эффективный запуск на CPU и устройствах с ограниченной памятью. В описании также указаны технологии ternary и BitNet 1.58bit. Модель предназначена для генерации текста, работы через web-интерфейсы, маршрутизации запросов, tool calling и робототехнических сценариев. Заявлена поддержка английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского языков. Поддержка изображений или других модальностей, а также размер контекстного окна в README не указаны. Репозиторий содержит варианты квантизации IQ и Q разных размеров: примерно от 3,7 до 12,2 ГБ. Это позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством, причём для ряда вариантов автор рекомендует IQ-квантизации или i1-Q4_K_M. Ограничениями являются возможное снижение качества у низкобитных вариантов и отсутствие в README результатов бенчмарков, подробного описания обучения и точных характеристик контекста. Указанная лицензия — MIT.

LFM2.5-230M — компактная инструкционная языковая модель Liquid AI для локального запуска на устройствах с ограниченными ресурсами. Это дообученная на основе LiquidAI/LFM2.5-230M-Base модель семейства LFM2: плотная гибридная архитектура сочетает свёрточные блоки с блоками GQA и содержит около 221,2 млн параметров. Модель принимает текст и генерирует текст; поддерживает диалоговый формат и вызов инструментов. Карточка указывает 32 768 токенов контекста, а метаданные каталога — 128 000 токенов.

mlx-community/LFM2.5-8B-A1B-MLX-4bit — 4-битная MLX-версия языковой модели LiquidAI LFM2.5-8B-A1B, конвертированная сообществом mlx-community с использованием mlx-lm 0.31.1. Модель предназначена для генерации текста и запуска в экосистеме MLX, в том числе для локального инференса через mlx-lm. Это авторегрессионная модель с архитектурой lfm2_moe: гибрид из 18 блоков double-gated short-conv и 6 блоков внимания GQA, с разреженным MoE на 32 эксперта и активацией 4 экспертов на токен. Она содержит около 8,3 млрд параметров, из которых активно используется около 1,5 млрд, и поддерживает контекст до 128 тысяч токенов. Заявлены языки: английский, арабский, китайский, французский, немецкий, японский, корейский, португальский и испанский. README не содержит сведений о мультимодальных возможностях или результатах бенчмарков. К сильным сторонам относятся разреженная MoE-архитектура, большой контекст и 4-битное представление, потенциально снижающее требования к памяти при запуске в MLX. Ограничения включают зависимость от экосистемы MLX и отсутствие в README подробностей о качестве на конкретных задачах. Модель является производной от LiquidAI LFM2.5-8B-A1B и распространяется по лицензии LFM Open License v1.0 (lfm1.0); применяются условия коммерческого использования этой лицензии.

Llama-3.1-Nemotron-Nano-4B-v1.1-bf16 — версия компактной языковой модели NVIDIA, опубликованная mlx-community и преобразованная из nvidia/Llama-3.1-Nemotron-Nano-4B-v1.1 для запуска с библиотекой MLX. Это плотная авторегрессионная модель семейства Llama с 3,9 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для диалоговой генерации текста. Базовая модель NVIDIA ориентирована на рассуждения, код, математику, RAG и вызов инструментов; эти сценарии могут быть полезны и для данной версии, но README подтверждает только конверсию и не приводит отдельной оценки её качества или результатов тестирования. В карточке заявлена поддержка английского языка. Репозиторий содержит веса safetensors в формате для MLX, а не отдельную квантизацию. Лицензия указана как other, поэтому перед использованием следует свериться с условиями лицензирования исходной модели NVIDIA и репозитория.

Llama3-70B-EnSecAI-Ru-Chat — чат-модель EnSec AI, полученная дообучением Meta Llama 3.1 70B на открытых наборах SFT и DPO. Она предназначена для диалога и генерации текста с упором на понимание и ответы на русском языке. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 69,5 млрд параметров и поддерживает контекст до 8192 токенов; в репозитории представлены веса safetensors для Transformers. Карточка сообщает о результатах выше исходной Llama 3 70B Instruct на бенчмарке MERA и о меньшем числе переключений с русского на английский во внутренней оценке. Модель подходит для русскоязычных диалоговых помощников, ответов на вопросы и генерации текста. Она также поддерживает английский язык, однако основной акцент дообучения — русский. Лицензия — Llama 3.1 Community License (llama3); следует учитывать её условия при использовании и распространении.

DiscoResearch и Occiglot разработали эту инструктивно дообученную языковую модель при поддержке DFKI и hessian.Ai. Она основана на Llama 3 и предназначена прежде всего для диалогов и выполнения инструкций на немецком языке. Модель имеет плотную архитектуру LlamaForCausalLM с 7,5 млрд параметров и принимает текст, выдавая текст. Базовую Llama 3 дообучали на 65 млрд немецких токенов, затем расширили контекст обучением на последовательностях длиной 32 тыс. токенов и провели инструктивное дообучение на немецком наборе DiscoResearch. В метаданных указано нативное окно контекста 65 536 токенов; README описывает обучение длинного контекста на 32 тыс. токенов. Модель подходит для немецкоязычных диалогов, ответов на вопросы, следования инструкциям и работы с длинными текстами. В README приведены результаты оценки на английских и немецких бенчмарках. Доступна в формате safetensors для Transformers; лицензия — Llama 3, поэтому использование регулируется её условиями.

Hikari07jp разработал эту японско-английскую диалоговую модель на основе llm-jp/llm-jp-4.1-32b-a3b-thinking, применив abliteration: изменение весов, снижающее склонность модели отказывать в ответах. Модель использует архитектуру Qwen3 MoE с 32 слоями, общим размером 32 млрд параметров и примерно 3,3 млрд активных параметров. Она предназначена для генерации текста в диалогах, рассуждений, ответов на вопросы и вызова инструментов; в карточке приведены результаты небольших проверок знаний и математических задач. Доступны исходные веса BF16 и сборки GGUF, в том числе смешанная Q5-квантизация и NVFP4 W4A8. Указанная в карточке лицензия — Apache-2.0. Контекст модели составляет 65 536 токенов по метаданным, хотя примеры запуска llama.cpp в README используют 4096 токенов. Известна проблема совместимости llama.cpp: обработчик Harmony может не разобрать начальный токен-пробел в `/v1/chat/completions` и вернуть ошибку, хотя текст ответа может присутствовать в сообщении об ошибке. В README рекомендуется использовать raw prompt через `/completion` либо адаптировать клиент для извлечения канала `final`. Abliteration снижает склонность к отказам, поэтому модель может отвечать на запросы, от которых базовая модель отказалась бы.

MindLink-32B-0801 — диалоговая языковая модель, разработанная Kunlun Inc. на основе Qwen3-32B и дообученная с применением методов постобучения. Она предназначена для генерации ответов в чате, рассуждений и решения общих текстовых задач. В карточке заявлены плановое и адаптивное рассуждение: модель подбирает глубину ответа в зависимости от сложности запроса. Модель имеет плотную архитектуру Qwen3ForCausalLM и 29,7 млрд параметров. Метаданные указывают контекст 40 960 токенов, тогда как README сообщает о контексте 128K для семейства MindLink; фактическую длину для этой версии стоит уточнить перед использованием. Карточка указывает английский язык, а базовая Qwen3-32B описана как многоязычная. Доступны веса в формате safetensors, также описан совместимый с OpenAI Chat Completions API интерфейс. Лицензия — Apache 2.0. Для производных работ README требует сохранять уведомления об авторских правах Qwen и документировать изменения. В README также отмечена возможность непоследовательных ответов при инференсе и дана рекомендация очищать историю диалога перед повторной попыткой.

Mistral-Small-4-119B-2603-OptiQ-2bit — это MLX-квантизированная версия модели Mistral-Small-4-119B-2603, разработанной Mistral AI и опубликованной сообществом mlx-community. Квантизация выполнена с помощью mlx-optiq — инструментария для локального запуска моделей на Apple Silicon. Модель предназначена для генерации текста и локального инференса, в том числе через OpenAI-совместимый API. Загрузчик mlx-optiq также заявляет поддержку текстовых, визуальных и MTP-сценариев, тогда как штатный mlx-lm поддерживает только текстовый режим. В основе лежит разреженная архитектура MoE со 128 маршрутизируемыми экспертами и MLA-вниманием. Это экстремальная смешанная квантизация: 352 проекционных слоя представлены в 4-битном формате, а 82 — в 2-битном, при целевом среднем размере около 2,5 бита на вес. Размер модели сокращён примерно с 239 ГБ в формате BF16 до 43 ГБ на диске. Благодаря потоковой загрузке выбранных экспертов с SSD модель рассчитана на запуск на Mac с 36 ГБ памяти; резидентный объём составляет около 9–12 ГБ. Языки, заявленные в карточке, включают английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский и ряд других языков. Размер контекстного окна в README не указан. Главное преимущество модели — возможность запускать 119-миллиардную разреженную MoE-модель локально на ограниченном по памяти Apple Silicon-устройстве. Ограничения связаны с экстремальной 2-битной квантизацией: README не приводит стандартных бенчмарков и предупреждает, что для такой сборки вместо набора тестов предоставлена демонстрация связности. Для корректной работы требуется optiq версии 0.4.4 или новее с декодером mistral4; использование штатного mlx-lm или старых версий OptiQ может привести к неправильной загрузке архитектуры и потере экспертов. Модель распространяется по лицензии Apache-2.0.

Mistral-Trismegistus-7B-Mistral-7B-Instruct-v0.2-slerp — объединённая модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием mistralai/Mistral-7B-Instruct-v0.2 и teknium/Mistral-Trismegistus-7B методом SLERP; веса опубликованы в формате safetensors. Модель предназначена для диалоговой генерации текста и выполнения инструкций. Контекст составляет до 32 768 токенов, что подходит для многошаговых диалогов и запросов с большим объёмом входного текста. Карточка не уточняет специализацию Trismegistus, поэтому узкие области применения не заявляются. Лицензия — Apache-2.0. Как и другие генеративные языковые модели, она может выдавать неточные или вымышленные сведения; результаты следует проверять.

Fizzarolli/Nemo_Pony_2-merged — объединённая языковая модель, созданная методом passthrough с помощью mergekit. В состав объединения входят mistralai/Mistral-Nemo-Instruct-2407 и Ada321/Nemo_Pony_2; в конфигурации также указан путь к LoRA-адаптеру. Модель построена на архитектуре MistralForCausalLM, содержит 12,1 млрд параметров и распространяется в формате safetensors с библиотекой Transformers. Модель предназначена для генерации текста и диалоговых сценариев. Каталог также отмечает интерфейс вызова инструментов. Базовая Mistral Nemo — многоязычная инструктивная модель для диалога, следования инструкциям и вызова инструментов; карточка этой модели отдельно не уточняет поддерживаемые языки, длину контекста, лицензию или результаты оценки качества.