I.14Автоматизация процессов и AI-агенты

ISTA-DASLab/gemma-3-27b-it-GPTQ-4b-128g — квантизированная версия мультимодальной модели Gemma 3 27B IT, разработанная на основе google/gemma-3-27b-it. Модель предназначена для диалогов, генерации и понимания текста, а также обработки изображений с текстовыми запросами, включая описание визуального содержимого. Она поддерживает работу через Transformers и vLLM. Весовые параметры модели сжаты до INT4 с применением алгоритма GPTQ, симметричной поканальной групповой схемы с размером группы 128 и формата compressed_tensors. Квантизации подверглись линейные операторы языковой части трансформерных блоков; vision-модель и мультимодальный проекционный слой сохранены в исходной точности. Такое сжатие примерно на 75% уменьшает размер модели на диске и требования к видеопамяти по сравнению с представлением FP16, при этом средний результат на указанных тестах OpenLLM снижается незначительно: 0,7810 против 0,7854 у исходной модели. Модель подходит для мультимодальных ассистентов и сценариев, где важны более низкие требования к памяти GPU. В README не указаны точные длина контекста и список поддерживаемых языков; приведённый пример использует максимальную длину контекста 4096 токенов. Ограничением является возможная небольшая потеря качества из-за INT4-квантизации и необходимость использовать совместимые версии Transformers или vLLM. Модель распространяется по лицензии Gemma.

heretic-org/gemma-3-4b-it-heretic — это производная от Gemma 3 4B IT модель с открытыми весами, размещённая heretic-org. Она принимает текст и изображения и генерирует текст; поддерживает диалоговые сценарии и задачи понимания изображений. В карточке базовой Gemma 3 указаны контекст до 128K токенов и поддержка более 140 языков. Модель подходит для ответов на вопросы по изображениям, извлечения и краткого изложения визуальной информации, диалоговых помощников, генерации и суммаризации текста. Метаданные отмечают её как uncensored/decensored, поэтому она может слабее ограничивать генерацию нежелательного содержания. Указанная лицензия — gemma; применяются условия лицензии и политики использования Gemma.

Gemma-4-26B-A4B-JANG_4M-CRACK — мультимодальная MoE-модель на базе google/gemma-4-26b-a4b-it, подготовленная dealignai. В ней заявлены 128 экспертов с выбором 8 активных, гибридное скользящее и глобальное внимание, режим рассуждений и обработка изображений. Репозиторий содержит квантизированные веса в формате safetensors; профиль JANG_4M использует указанные авторами уровни точности 8 и 4 бит для разных частей модели. Для запуска рекомендован vMLX или совместимый движок MLX с поддержкой Gemma 4; в README указаны Mac на Apple Silicon и 24 ГБ или больше объединённой памяти. Модель предназначена для диалогов, программирования, общих вопросов и анализа изображений. Автор сообщает о тестах на HarmBench, MMLU и наборе запросов по кибербезопасности, однако это результаты собственных проверок, а не независимая оценка качества. Модель намеренно ослабляет отказы на вредоносные запросы, что повышает риск получения небезопасных инструкций; показатели бенчмарков сами по себе не гарантируют качество или безопасность в практических сценариях. Лицензия — Gemma; README описывает модель как исследовательскую и возлагает ответственность за соблюдение законов на пользователя.

GLM-5.3-Flash — EXL3 4.65bpw — это квантизированная версия модели GLM-5.3-Flash-BF16, разработанной Z.ai. Квантизация выполнена в формате EXL3 с использованием инструментария exllamav3; модель предназначена для запуска через ExLlamaV3 версии 1.4.5 или новее. В сборку включены vision tower и компонент MTP для ускорения генерации. Модель рассчитана на задачи обработки и генерации текста, а также на мультимодальные сценарии с изображениями. В карточке заявлены английский и китайский языки, а максимальный контекст составляет 262 144 токена. Размер модели на диске — около 189,6 ГБ, эффективная разрядность — 4,67 bpw; для загрузки требуется примерно 210 ГиБ VRAM плюс значительный объём памяти под кеш. Конфигурация содержит 45 декодерных слоёв и 35 файлов-шардов. К сильным сторонам относятся существенное снижение требований к памяти по сравнению с исходной BF16-версией, включённая поддержка MTP и vision tower, а также высокая скорость обработки длинных контекстов на многокарточной конфигурации. Ограничения — очень высокие аппаратные требования, необходимость совместимого рантайма ExLlamaV3 и корректной настройки распределения GPU; приведённые показатели производительности относятся к конкретной конфигурации из четырёх ускорителей CMP 170HX. Модель и её квантизированная версия распространяются по лицензии MIT.

GLM-5.3-Flash-MLX-8bit — это квантованная 8-битная сборка модели GLM-5.3-Flash, разработанной организацией zai-org и адаптированной PipeNetwork для MLX на Apple Silicon. Модель относится к классу смесей экспертов (Mixture-of-Experts), имеет 320 млрд параметров, из которых активно используется 18 млрд (320B-A18B). Архитектура включает 34 слоя Kimi-Delta с линейным вниманием и 11 слоёв DeepSeek sparse attention с NoPE MLA и lightning indexer, а также manifold-constrained hyper-connections. Мультитокенная предсказательная прослойка исключена, а vision tower сохранена в формате bfloat16. Модель предназначена для генерации текста и работы с изображениями и текстом; в README указана модальность image-text-to-text. Сборка рассчитана на запуск через MLX и совместимый runtime на компьютерах Apple Silicon. Размер файлов на диске составляет около 334,1 ГБ. Основная масса параметров, включая маршрутизируемых экспертов, квантована в 8 бит с группами по 64 значения; отдельные служебные параметры хранятся в float32, а vision tower — в bfloat16. Языки и размер контекстного окна в README не указаны. Сильной стороной сборки является существенное уменьшение размера по сравнению с исходной версией bfloat16 объёмом около 642,7 ГБ при близком качестве: заявленная perplexity на wikitext-2 составляет 3,4607. Для корректной работы рекомендуется пропатченный runtime из проекта PipeNetwork, поскольку стандартная ветка mlx-vlm содержит расхождения в вычислениях. Модель распространяется по лицензии MIT; в README также указано, что файлы были конвертированы из upstream-релиза и архитектура модели не изменялась.

Jackrong/GPT-5-Distill-llama3.2-3B-Instruct — диалоговая текстовая модель на архитектуре Llama 3.2, дообученная на базе unsloth/Llama-3.2-3B-Instruct методом SFT и дистилляции ответов GPT-5. Модель содержит 3,2 млрд параметров и предназначена для запуска на потребительском оборудовании, включая устройства с ограниченными ресурсами. В карточке указано использование LoRA при обучении; репозиторий также содержит веса safetensors. Модель подходит для чата и следования инструкциям, объяснений, суммаризации и перефразирования, а также для ответов по документам в RAG-сценариях. В README заявлен контекст до 32 тыс. токенов; метаданные каталога указывают 131 072 токена. Поддерживаемые языки — английский и китайский, на них рассчитана смесь обучающих данных. Небольшой размер удобен для локального запуска, но модель может уступать крупным моделям в сложных математических и программных задачах и склонна к фактическим ошибкам. Ответы для медицинских и юридических решений требуют проверки. Лицензия — Llama 3.2.

HermesStar-OrcaWind-Synth-11B-Mistral-7B-Instruct-v0.2-slerp — диалоговая текстовая модель, созданная слиянием Mistral-7B-Instruct-v0.2 от Mistral AI и HermesStar-OrcaWind-Synth-11B методом SLERP. Модель построена на архитектуре Mistral с плотной причинной языковой сетью, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции в диалоговом режиме. Лицензия Apache-2.0 разрешает использование на её условиях.

Tech-Meld/HX-Mistral-1.5B_v0.3 — диалоговая языковая модель семейства Mistral, созданная слиянием весов через SLERP в mergekit на основе mistralai/Mistral-7B-Instruct-v0.2. Она предназначена для генерации текста и ответов в чате на пользовательские запросы. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Модель распространяется в формате safetensors и использует точность float16 согласно конфигурации слияния. Метаданные классифицируют её как дообученную производную базовой модели, хотя README описывает именно слияние весов; поэтому происхождение указано как merge. Лицензия и заявленные языки в предоставленных данных не обозначены.

Это набор GGUF-квантизованных версий Granite 3.2 8B Instruct — инструкционной языковой модели, разработанной IBM под именем ibm-granite. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия в приложениях, поддерживающих llama.cpp, включая LM Studio и другие совместимые проекты. Модель имеет размер 8 миллиардов параметров и относится к текстовым моделям: сведения о поддержке изображений, аудио или других модальностей в README отсутствуют. Также не указаны поддерживаемые языки и размер контекстного окна. Доступны варианты квантования от Q8_0 до Q3 и IQ3/IQ4, размером примерно от 3,59 до 8,68 ГБ. Более высокие варианты обычно обеспечивают лучшее качество, а менее точные позволяют снизить требования к оперативной памяти; в README рекомендуются, в частности, Q4_K_M, Q5 и Q6 версии. Сильные стороны модели — локальный запуск, широкий выбор компромиссов между качеством и потреблением памяти, а также совместимость с экосистемой llama.cpp. Ограничения связаны с потерями качества при низком уровне квантования и зависимостью от совместимого программного обеспечения и аппаратных ресурсов. Для корректного диалога следует использовать указанный в README шаблон prompt format. Для набора указана лицензия Apache-2.0.

InternVL2-4B — мультимодальная инструктивно настроенная модель OpenGVLab для диалога по изображениям и тексту. Она объединяет визуальный энкодер InternViT-300M-448px, MLP-проектор и языковую модель Phi-3-mini-128k-instruct; размер модели в карточке указан как 4,2 млрд параметров. Модель доступна через Transformers, веса опубликованы в формате Safetensors по лицензии MIT. Модель предназначена для понимания изображений и видео, ответов на вопросы о визуальном содержимом, чтения документов и диаграмм, OCR, решения научных и математических задач с изображениями. Она также принимает несколько изображений в одном запросе. Обучение проводилось с контекстом 8 тысяч токенов и данными с длинными текстами, несколькими изображениями и видео. Карточка сообщает о конкурентных результатах на тестах понимания документов, диаграмм, сценического текста и видео, но эти оценки зависят от конкретных бенчмарков и не гарантируют качество в каждом сценарии. Для видео в описанных тестах использовалось извлечение 16 кадров с изменением размера до 448×448; это не свидетельствует о полноценной обработке непрерывного видеопотока. В метаданных отмечена многоязычность, но конкретный перечень языков не приведён.

L3.1-70b-Swallow-Saigetsu — объединённая языковая модель, созданная автором репозитория с помощью LazyMergekit на Runpod из tokyotech-llm/Llama-3-Swallow-70B-v0.1 и NousResearch/Meta-Llama-3.1-70B-Instruct. Это плотная архитектура Llama с 69,5 млрд параметров, предназначенная для диалога и генерации текста; используется формат чата Llama 3 Instruct. Модель принимает текст и генерирует текст, а нативный контекст составляет 131 072 токена. Подходит для многоязычного общения, ответов на вопросы и генерации текста в формате инструкционного чата. В карточке описана как экспериментальная неформальная попытка объединить две модели; результаты и отдельные языковые преимущества не заявлены. Лицензия — llama3.1.

LFM2-8B-A1B-GGUF — языковая модель для генерации текста, разработанная компанией Liquid AI. Она предназначена прежде всего для edge AI и локального запуска на устройствах, включая производительные смартфоны, планшеты и ноутбуки. Модель распространяется в формате GGUF и ориентирована на использование с llama.cpp и совместимыми инструментами. Модель построена по архитектуре Mixture of Experts (MoE): содержит около 8,3 млрд общих параметров, из которых при обработке запроса активно используется около 1,5 млрд. По заявлению разработчика, её качество сопоставимо с плотными моделями на 3–4 млрд параметров, а скорость выше, чем у Qwen3-1.7B. По сравнению с LFM2-2.6B улучшены возможности программирования и работы со знаниями. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Размер контекста и дополнительные модальности в README не указаны. Сильными сторонами модели являются сочетание компактного активного размера, скорости и эффективности использования памяти, что делает её подходящей для локального вывода и on-device-сценариев. Ограничения включают отсутствие в предоставленных данных подробных результатов тестирования, точного размера контекста и информации о мультимодальности; заявленные характеристики качества и скорости приведены разработчиком без детальной методики сравнения. Модель распространяется по лицензии lfm1.0.

Llama-3.1-Minitron-4B-Chat — чат-модель на архитектуре Llama, созданная дообучением базовой модели NVIDIA nvidia/Llama-3.1-Minitron-4B-Width-Base. Разработчик провёл supervised fine-tuning на 64 тысячах пар «инструкция — ответ» из набора teknium/OpenHermes-2.5; модель содержит 3,9 млрд параметров и рассчитана на генерацию текста в диалоговом формате. Модель подходит для ответов на вопросы, выполнения инструкций и других текстовых диалоговых сценариев. Указанная длина контекста — 131 072 токена. Для использования автор рекомендует передавать запросы в формате чата с ролями system, user и assistant. В метаданных указана библиотека Transformers и формат весов safetensors; лицензия обозначена как other.

Это 4-битно квантованная версия инструкционной языковой модели Llama 3.2 3B Instruct, опубликованная сообществом mlx-community на базе модели Meta Llama 3.2. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, составление и преобразование текста. Формат ориентирован на использование с экосистемой MLX; в метаданных также указана совместимость с библиотекой Transformers. Модель относится к текстовым, одномодальным моделям и содержит около 3 млрд параметров. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Ключевая особенность — 4-битное квантование, которое снижает требования к памяти и может облегчать локальный запуск, но потенциально ограничивает точность по сравнению с полноразмерной версией. Длина контекста и другие характеристики архитектуры в представленном README не указаны. Модель распространяется по Llama 3.2 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на безвозмездной основе при соблюдении её условий, включая передачу текста лицензии, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов и сервисов с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные требования.

LlongOrca-13B-16k — языковая модель Open-Orca, дообученная на базе LLongMA-2-13b-16k на отфильтрованной части набора OpenOrca с данными, дополненными GPT-4. Это плотная модель семейства Llama с 12,9 млрд параметров, предназначенная для генерации текста и диалогов; она поддерживает контекст до 16 384 токенов и рассчитана на английский язык. Модель обучали полным дообучением в четыре эпохи с использованием Axolotl и упаковки данных OpenChat. Для общения применяется формат ChatML. Авторы сообщают об улучшении результатов относительно базовой модели и сохранении большей части результатов другой модели OpenOrca, однако эти оценки относятся к тестам авторов на момент выпуска и не гарантируют качество на других задачах. Репозиторий распространяет веса PyTorch; лицензия указана как Llama 2.

LwQ-10B-Instruct — инструкционно настроенная языковая модель prithivMLmods на архитектуре Llama 3.1, дообученная на основе meta-llama/Llama-3.1-8B-Instruct. Модель содержит 10,6 млрд параметров и предназначена для генерации текста и диалога на нескольких языках; в карточке заявлено контекстное окно 4096 токенов. Модель подходит для чат-ботов и виртуальных помощников, следования инструкциям, математических и логических рассуждений, решения задач по контексту, а также создания и суммаризации текстов. По README, дообучение включало синтетические наборы для рассуждений; семейство Llama 3.1 описано как авторегрессионный трансформер, а инструкция — как настроенная с использованием SFT и RLHF. Доступна в формате safetensors для Transformers. Качество может различаться между языками; сложные рассуждения могут содержать ошибки, а неоднозначные запросы ухудшают ответы. Ограниченное контекстное окно, потребность в значительных вычислительных ресурсах и отсутствие доступа к актуальным данным ограничивают применение. Лицензия — Llama 3.1.

Bineric Lynx Instruct 30B — языковая модель компании Bineric из Осло, дообученная на основе Qwen/Qwen3-30B-A3B-Instruct-2507 для европейских языков с особым упором на норвежский, шведский, датский и исландский. Она предназначена для диалогов, генерации текстов и выполнения инструкций; в карточке указаны результаты оценки на задачах распознавания именованных сущностей, анализа тональности, чтения с пониманием и суммаризации на северных языках. Модель использует архитектуру Qwen3 MoE с 30 млрд параметров суммарно и примерно 3 млрд активных параметров на токен; контекстное окно составляет 262 144 токена. Репозиторий содержит веса Safetensors, библиотека запуска — Transformers. Карточка заявляет поддержку более 100 языков, а метаданные подтверждают английский, норвежский, шведский и датский; языки с основными оценками — также исландский. Доступны варианты в bf16, 8-битном и 4-битном представлении, причём квантование может снижать качество. Сильные стороны по приведённым оценкам — распознавание сущностей и понимание прочитанного на северных языках, а также датские тесты на знания. Слабее модель справляется с грамматическими суждениями, исландским здравым смыслом и норвежскими идиомами. Лицензия — Apache-2.0; модель доступна для самостоятельного размещения и интеграции через API.

Mistral-7B-Instruct-guidance-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая языковая модель на базе Mistral-7B-Instruct-v0.2 и Mistral-7B-Instruct-guidance. Модели объединены методом SLERP с настройками по слоям и типам блоков; архитектура — плотная причинная модель MistralForCausalLM с 7,1 млрд параметров. Модель предназначена для генерации текста в диалогах и ответов на инструкции. Она принимает текст, поддерживает контекст до 32 768 токенов и выдаёт текст. В метаданных не указаны поддерживаемые естественные языки; поэтому конкретные языки не перечисляются. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

Mistral-7B-Instruct-v0.3-GGUF — набор квантизированных GGUF-версий модели Mistral-7B-Instruct-v0.3 от Mistral AI, подготовленный и опубликованный bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от IQ1 и IQ2 до Q8_0, различающиеся размером файла, требованиями к памяти и качеством генерации. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях на базе llama.cpp и совместимых инструментов. Модель подходит для диалоговых сценариев, ответов на запросы и других задач текстовой генерации. Для работы используется формат запроса <s>[INST] {prompt} [/INST]</s>; системные сообщения не поддерживаются. В README не указаны контекстное окно, поддерживаемые языки и точная архитектура базовой модели, поэтому эти характеристики нельзя достоверно определить по имеющимся данным. Более высокие уровни квантизации обычно обеспечивают лучшее качество, а низкие позволяют снизить потребление памяти, но сопровождаются заметным ухудшением качества. Распространение указано под лицензией Apache-2.0.

Mistral-7B-ReMax-v0.1 — языковая модель Ziniu Li на архитектуре Mistral, дообученная методом RLHF с алгоритмом ReMax на базе Mistral-7B-Instruct-v0.2. Она предназначена для диалогов и генерации ответов на инструкции; формат запросов использует токены [INST] и [/INST]. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Карточка описывает обучение на 10 тысячах запросов из lmsys-chat-1m без использования ответов этого набора и приводит результаты сравнительных оценок на Chat1M и AlpacaEval. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Качество и ограничения унаследованы от Mistral-7B-Instruct-v0.2; в частности, у модели нет встроенных механизмов модерации. Приведённые в карточке оценки основаны на конкретных тестовых наборах и не гарантируют качество во всех сценариях.

Это GGUF-квантизированная версия Devstral-Small-2505, разработанной Mistral AI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. README не уточняет её специализированные сценарии применения, однако формат и базовая модель ориентированы на работу с текстовыми запросами и, вероятно, задачами разработки, соответствующими семейству Devstral. Доступны варианты от BF16 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 11,47 до 47,15 ГБ. Указаны языки: английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и ряд других. README не содержит сведений о числе параметров, архитектуре, размере контекста или точных характеристиках качества. Для vision предусмотрен файл mmproj от Mistral Small 3.1, но эта поддержка неофициальна и может работать неидеально. Сильными сторонами являются широкий выбор квантизаций для разного объёма памяти и возможность локального запуска; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M — как подходящий вариант по умолчанию. Ограничениями являются значительные требования к дисковому пространству и памяти, а также возможное снижение качества в компактных вариантах. Модель распространяется по лицензии Apache-2.0.

Vortex5/Moonlit-Shadow-12B — языковая модель, собранная автором репозитория методом Model Stock с помощью mergekit на основе mistralai/Mistral-Nemo-Instruct-2407 и десяти других моделей семейства Mistral-Nemo. Модель имеет плотную архитектуру MistralForCausalLM, содержит 12,1 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по запросам. Её можно использовать для составления текстов, ответов в чате и продолжения пользовательских запросов. В карточке указаны библиотека Transformers и формат весов safetensors. Лицензия в доступных данных не указана.

Nemotron-3-Nano-Omni-30B-A3B-JANGTQ-CRACK — мультимодальная модель dealignai на базе NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning. Это вариант с дообучением CRACK v2 и смешанной низкоразрядной схемой JANGTQ: 8-битными весами внимания и 2-битными маршрутизируемыми экспертами. В архитектуре сочетаются Mamba-2, внимание и MoE; базовая модель содержит 30B параметров с 3B активных, а в метаданных этой модели указано 1,9B параметров. Для запуска заявлена библиотека MLX; README рекомендует vMLX или jang-tools. Модель предназначена для диалогов, рассуждений и мультимодальной работы с текстом, изображениями и аудио, включая речь. В карточке заявлена поддержка видео при использовании отдельного мультимодального дополнения. Контекст составляет 262 144 токена. README приводит результаты 81,5% на MMLU-200 и 91,6% на HarmBench-320, а также сообщает об удалении обучения отказам: модель может выдавать вредные ответы и требует собственного защитного слоя перед применением. Лицензия указана как other; конкретные условия следует проверять в репозитории.

M4-ai neural-chat-mini-v2.2-1.8B — языковая модель-ассистент на архитектуре Qwen2, дообученная на tau-1.8B с помощью SFT и DPOP. Модель содержит 1,5 млрд параметров, принимает текст и рассчитана на диалоговое использование; заявленная длина контекста — 32 768 токенов. Модель предназначена для ответов на вопросы и других общих задач ассистента, включая рассуждения, математику, программирование и написание текстов. В обучающую смесь вошли наборы данных для диалогов, кода, математики и естественных наук. В карточке заявлены английский и, возможно, китайский языки; метаданные указывают английский. Разработчик указывает лицензию tongyi-qianwen; метаданные классифицируют лицензию как other. В карточке отмечены риски предвзятости и ограничения, а результаты оценивания ещё не опубликованы. Рекомендации по ответственному использованию требуют дополнительной проработки.

next-12b-i1-GGUF — квантизированная версия модели next-12b от thelamapi, подготовленная mradermacher в формате GGUF. Это плотная causal transformer-модель примерно на 12 миллиардов параметров, предназначенная для локального запуска и генерации текста. В README она обозначена как vision model, поэтому может поддерживать мультимодальные сценарии при наличии соответствующего mmproj-файла, однако конкретные возможности обработки изображений не описаны подробно. Модель ориентирована на диалог, ответы на вопросы, суммаризацию, творческое письмо, рассуждения, программирование и работу с текстами в специализированных областях, включая химию, биологию, финансы и право. Для дообучения использовались наборы данных с инструкциями, математическими задачами, рассуждениями, диалогами и письменными запросами. Заявлена поддержка множества языков, включая английский, турецкий, русский, немецкий, французский, испанский, китайский, японский, корейский и другие. Репозиторий содержит варианты квантизации от i1-IQ1_S до i1-Q5_K_M и более качественные или компактные сборки с разным размером примерно от 3 до 8,5 ГБ. Квантизация снижает требования к памяти и позволяет запускать модель локально, но может ухудшать качество по сравнению с исходной версией; наиболее сбалансированными в README названы i1-Q4_K_S и i1-Q4_K_M. Размер контекста и точные показатели качества не указаны. Лицензия модели — MIT.

Это GGUF-квантизированная версия языковой модели NVIDIA Nemotron-3-Super-120B-A12B, разработанной NVIDIA и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Доступны варианты квантования Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и Q3_K с размером файлов примерно от 64,65 до 128,47 ГБ; более высокие уровни квантования обычно обеспечивают лучшее качество, но требуют больше памяти. Для запуска может потребоваться актуальная версия используемого программного обеспечения с поддержкой модели. В основе лежит NVIDIA-Nemotron-3-Super-120B-A12B-BF16; по метаданным модель использует архитектурные подходы Latent MoE и MTP, однако точные параметры архитектуры и размер контекста в README не указаны. Заявлены английский, французский, испанский, итальянский, немецкий, японский и китайский языки. Сильной стороной является возможность локального инференса в различных форматах GGUF и выбора компромисса между качеством и требованиями к памяти; ограничениями остаются очень большой объём файлов, высокие требования к оперативной или видеопамяти и возможное снижение качества на низких уровнях квантования. Лицензия указана как NVIDIA Open Model License; условия следует уточнять по официальной лицензии NVIDIA.

openbuddy-mistral-7b-v13-base-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.1 и OpenBuddy/openbuddy-mistral-7b-v13-base методом SLERP. Модель содержит 7,1 млрд параметров, распространяется в формате safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. В метаданных перечислены китайский, английский, французский, немецкий, японский, корейский, итальянский и русский языки. Лицензия — Apache-2.0. Карточка не приводит оценок качества или подробностей об ограничениях; фактическое качество может зависеть от языка и сценария использования.

Qwen3-4B-Instruct-2507-GGUF — квантизированная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, включая диалоговые сценарии, ответы на вопросы, подготовку и преобразование текстов, а также другие задачи общего назначения. Вариант распространяется в формате GGUF и создан bartowski на основе llama.cpp release b6096; LM Studio выступает площадкой распространения, а не разработчиком модели. Модель содержит 4 миллиарда параметров и относится к текстовым autoregressive-моделям для text generation. Формат GGUF и поддержка llama.cpp упрощают локальный запуск и позволяют использовать её в совместимых инструментах, однако конкретные уровни квантования, размер контекста, поддерживаемые языки и дополнительные характеристики в README не указаны. К преимуществам относятся относительно компактный размер и возможность локального использования; ограничения включают возможное снижение точности из-за квантования, меньшие возможности по сравнению с более крупными моделями и типичные риски генерации неточной или неподходящей информации. Лицензия в предоставленных данных не указана.

Qwen3.5-397B-A17B-VQ-3.1bpw — векторно-квантизированная сборка базовой модели Qwen3.5-397B-A17B, опубликованная TheDrainFlorist для запуска в экосистеме MLX на машинах Apple Silicon. Модель предназначена для генерации текста, а после исправления от 19 сентября 2026 года также поддерживает обработку изображений через mlx-vlm. В метаданных указан английский язык, однако полный набор поддерживаемых языков и максимальный размер контекста не приведены. Сборка использует vector quantization с эффективностью 3.1 бита на параметр, размер весов составляет около 143,7 GiB. Указана архитектура с MoE-экспертами, а также плоская конфигурация d4/K2048; дополнительные сведения о числе активных параметров и точной архитектуре не раскрыты. По измерениям авторов, модель показывает perplexity 2,3410 на Wikitext и 2,5963 на смешанном наборе для кода, превосходя приведённую 3.5-битную сборку по Wikitext и находясь с ней на сопоставимом уровне по коду. Главные ограничения — очень высокие требования к памяти, необходимость совместимого runtime и зависимость от специальных загрузчиков. Для текста требуется mlx-lm с поддержкой model_file, для изображений — mlx-vlm версии 0.6.16 или новее; устаревшие версии могут не загрузить модель. Это квантизированная сборка, поэтому её характеристики могут отличаться от исходной модели, а заявленные результаты относятся к конкретному артефакту и методике измерений. Лицензия Apache-2.0.

Qwen3.5-Thinking-AIO-GGUF — экспериментальная серия мультимодальных моделей, созданная prithivMLmods на основе моделей Alibaba Qwen3.5. В репозитории представлены варианты Unredacted MAX с размером 0,8B, 2B, 4B и 9B параметров в формате GGUF; README также упоминает вариант 27B, но подробности его файлов в каталоге не приведены. Модели предназначены для генерации текста, рассуждений, программирования, математических задач и работы с изображениями, а также для локального запуска через llama.cpp и совместимые инструменты. Заявлены гибридная архитектура Gated DeltaNet, контекст до 262 144 токенов, словарь на 201 язык и переключаемые режимы рассуждений. Для мультимодальной работы доступны отдельные файлы mmproj, а для разных требований к памяти предусмотрены варианты F32, BF16, F16 и Q8_0. Малые версии ориентированы на периферийные устройства и системы с ограниченными ресурсами, более крупные — на повышение качества ответов и сложные задачи. Ключевая особенность серии — так называемая abliteration: автор заявляет минимизацию отказов и удаление стандартных защитных ограничений при сохранении или улучшении возможностей рассуждения. Это может быть полезно для исследовательских задач, создания датасетов и сценариев, где требуется более свободное следование инструкциям, но одновременно повышает риски небезопасных или нежелательных ответов. Модели экспериментальные, официальные оценки производительности не представлены, а заявления о превосходстве над исходными моделями основаны на неподтверждённых community-бенчмарках. Распространение указано по лицензии Apache-2.0.