I.14Автоматизация процессов и AI-агенты

TelperionAI Huihui-Qwen3.8-27B-abliterated-INT4-AWQ-GPTQ — квантованная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated. Модель построена с использованием llm-compressor и предназначена для запуска и генерации текста с меньшими требованиями к памяти, в том числе через vLLM. Калибровка выполнена на данных, сгенерированных самой abliterated-моделью, с примерами кода, математики, STEM, диалогов и многоязычных запросов. Основой является смешанная квантализация INT4 W4A16: большинство MLP-слоёв используют асимметричную INT4-квантализацию с размером группы 32, а отдельные компоненты сохраняются в INT8 или BF16. Attention-компоненты, GDN-слои, эмбеддинги, нормализации, выходная голова и vision tower используют более высокую точность. Размер весов на диске составляет около 25,1 ГБ. Поддерживаются AWQ-масштабирование и GPTQ-компенсация ошибок; заявлена совместимость с GPU архитектуры Turing и новее без необходимости FP8 или FP4. По результатам внутреннего сравнения с исходной BF16-версией модель показывает 96,45% совпадения top-1 токенов и медианное расхождение генерации на 41-м токене. При этом оценка проведена только на одном корпусе и без downstream-бенчмарков, поэтому качество на прикладных задачах не установлено. Vision tower не квантован, но модель оценивалась как текстовая; эффективность speculative decoding с MTP-головой не измерялась. Модель унаследовала от базовой версии удалённые направления отказа, поэтому её поведение в части отказов отличается от стандартной модели Qwen. Лицензия — Apache-2.0.

Huihui-Qwen3.8-27B-abliterated-NVFP8 — это квантованная версия Huihui-Qwen3.8-27B-abliterated, опубликованная trailio и происходящая от Qwen/Qwen3.8-27B от Qwen. Модель предназначена для генерации текста и обработки изображений с текстом; в метаданных указана модальность image-text-to-text. Языки явно не перечислены. Базовая модель имеет 27,78 млрд параметров, из которых 24,33 млрд подвергнуты квантованию, а визуальная часть с ViT из 27 блоков и merger оставлена в BF16. В README не указано точное максимальное окно контекста; пример запуска использует 8192 токена. Основная особенность — weight-only-квантование W8A16 в нестандартный формат NVFP8: FP8 E4M3 с блочными масштабами размера 16 и двухуровневым масштабированием. Размер весов сокращён с 55,6 до 32,8 ГБ, относительная ошибка квантования указана на уровне 0,0252. Активации остаются в BF16, а Triton-ядро демонстрирует ошибку не более 3,7×10⁻³ относительно FP32-эталона. Квантование выполняется без калибровочного набора данных. Модель подходит для локального инференса в vLLM при ограниченных ресурсах видеопамяти, однако стандартный vLLM этот формат не загружает: необходимо скачать репозиторий локально и установить поставляемый пакет через pip. Требуются GPU с архитектурой sm_89 или новее и около 35 ГБ VRAM во время работы без учёта KV-кэша; заявлена проверка на RTX PRO 6000 Blackwell с vLLM 0.27.1. На CUDA младше 12.9 возможны проблемы FlashInfer. Производитель отмечает, что abliteration удаляет поведение отказа, поэтому к модели применимы оговорки о сниженной фильтрации базовой модели. Лицензия — Apache 2.0.

InternLM2.5-7B-Chat-GGUF — это квантизированная версия диалоговой языковой модели InternLM2.5-7B-Chat, разработанной командой InternLM и опубликованной в формате GGUF для использования с llama.cpp. Квантизацию выполнил bartowski с применением imatrix и различных схем квантования, рассчитанных на баланс между качеством ответов, размером файла и требованиями к памяти. Модель предназначена для текстовой генерации и диалоговых сценариев: ведения беседы, ответа на вопросы и выполнения инструкций. Для работы используется специальный шаблон prompt с ролями system, user и assistant. Доступны варианты от Q8 до Q2 и IQ-квантов; размеры файлов в README указаны примерно от 2,58 до 8,93 ГБ. Варианты с более высокой точностью обеспечивают лучшее качество, тогда как низкобитные версии подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. К сильным сторонам относятся широкий выбор уровней квантования, совместимость с llama.cpp и возможность локального запуска. Рекомендуемыми названы варианты Q4–Q6 и некоторые IQ4, тогда как Q3 и Q2 экономят память ценой снижения качества. README не содержит достоверных сведений о языках, размере контекста, точной архитектуре исходной модели и условиях лицензирования: указано лишь, что лицензия имеет тип other. Для использования необходимо учитывать требования выбранного GGUF-файла и поддерживать соответствующий формат prompt.

Lamarck-14B-v0.7-GGUF — это квантизированная версия текстовой генеративной модели Lamarck-14B-v0.7, разработанной sometimesanotion и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через совместимые среды, включая llama.cpp и LM Studio. Указан английский язык, а рекомендуемый формат промпта использует шаблон с ролями system, user и assistant. Модель имеет размер 14B параметров; точные сведения об архитектуре и размере контекста в README не приведены. Доступны варианты от F16 до низкобитных Q2 и IQ-квантизаций: более крупные варианты обеспечивают качество, близкое к исходной модели, а компактные снижают требования к оперативной памяти, но заметнее теряют в качестве. Для большинства сценариев рекомендуются Q4_K_M, Q5- и Q6-варианты; отдельные форматы оптимизированы для CPU и Apple Silicon. Квантизации созданы с использованием imatrix и llama.cpp. Модель распространяется по лицензии Apache-2.0; конкретные ограничения исходной модели следует проверять отдельно.

kosbu/Llama-3.3-70B-Instruct-AWQ — это 4-битная версия модели Meta AI Llama-3.3-70B-Instruct, подготовленная с использованием квантования AWQ. Модель предназначена для генерации текста и диалоговых сценариев на основе инструкций и интегрируется с библиотекой Transformers. Заявлена поддержка английского, французского, итальянского, португальского, хинди, испанского, тайского и немецкого языков. Размер исходной модели составляет 70 миллиардов параметров; README не уточняет архитектурные детали, размер контекста, поддерживаемые модальности и конкретные требования к оборудованию. Квантование до 4 бит может снизить требования к памяти и упростить развёртывание по сравнению с полной версией, однако README не содержит данных о точности, производительности или известных ограничениях. Модель распространяется по лицензии llama3.3. README не указывает дополнительные условия использования, результаты тестирования или сравнительные преимущества квантованной версии.

Это квантизированная версия llama-3-70B-Instruct-abliterated в формате GGUF, подготовленная пользователем bartowski на основе модели failspy/llama-3-70B-Instruct-abliterated. Квантизация выполнена с помощью llama.cpp версии b2854 и метода imatrix. Модель предназначена для генерации текста в диалоговом и инструкционном формате, включая локальный запуск через совместимые инструменты llama.cpp. Модель относится к семейству Llama 3 и содержит 70B параметров, однако README не указывает точную архитектуру, поддерживаемые языки, размер контекстного окна или набор модальностей. Доступны варианты квантизации от Q8_0 до Q2 и IQ2–IQ4, различающиеся размером файлов и качеством: от 74,97 ГБ у Q8_0 до 21,14 ГБ у IQ2_XS. В README рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; более компактные варианты требуют меньше памяти, но обычно снижают качество. Сильной стороной являются разнообразие квантизаций, возможность локального использования и сохранение высокого качества у вариантов Q6_K и Q5. Ограничения связаны с существенными требованиями к памяти для 70B-модели, потерей качества в низкобитных вариантах и отсутствием подробных сведений о результатах тестирования, языках и контекстном окне. Для корректного общения следует использовать указанный в README шаблон prompt format с системным, пользовательским и ассистентским сообщениями. Указана лицензия llama3; дополнительные условия следует уточнять в файле LICENSE исходной модели.

MaziyarPanahi/Llama-3-8B-Instruct-v0.10-GGUF — это набор файлов модели в формате GGUF для MaziyarPanahi/Llama-3-8B-Instruct-v0.10, разработанный и квантованный MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Известно, что это instruct-модель семейства Llama 3 с размером 8B; доступны варианты квантования от 2 до 8 бит. Формат GGUF ориентирован на эффективный локальный инференс с использованием CPU и GPU, однако конкретные требования к памяти и производительность зависят от выбранного варианта квантования и оборудования. README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре исходной модели, результатах оценки или сильных и слабых сторонах. Лицензия в README не указана, поэтому условия использования необходимо уточнять отдельно для исходной модели и её GGUF-представления.

MaziyarPanahi/M7Yamshadowexperiment28_Strangemerges_32Experiment28 — объединённая текстовая модель семейства Mistral, созданная из automerger/M7Yamshadowexperiment28-7B и automerger/Strangemerges_32Experiment28-7B. Она предназначена для генерации текста и диалогов по текстовым запросам. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В репозитории используются веса Safetensors. Модель распространяется по лицензии Apache-2.0.

MeliodasPercival_01_ShadowNeuralsirkrishna — объединённая модель для генерации текста на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием automerger/MeliodasPercival_01-7B и automerger/ShadowNeuralsirkrishna-7B и предназначена для генерации текста и диалогов. Модель принимает текст и выдаёт текст. Длина контекста составляет до 32 768 токенов; файлы весов представлены в формате safetensors. Модель опубликована под лицензией Apache-2.0.

Meta-Llama-3.1-8B-Instruct-abliterated-GGUF — набор GGUF-квантизаций инструкционной языковой модели объёмом 8 млрд параметров, основанной на mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp или LM Studio. Доступны варианты от полноточного F32 до компактных форматов Q2 и IQ3, с размерами файлов примерно от 3,66 до 32,13 ГБ. В README приведён специальный шаблон промпта Llama 3.1 с ролями system, user и assistant. Более высокие разрядности обеспечивают лучшее качество, тогда как низкоразрядные варианты снижают требования к оперативной памяти ценой качества; Q4_K_M обозначен как вариант стандартного размера, а Q5–Q6 — как рекомендуемые для высокого качества. Модель подходит для локального использования на совместимом оборудовании, однако конкретные языки, размер контекстного окна, архитектурные детали и результаты тестирования в README не указаны. Условия распространения определяются лицензией llama3.1.

Ministral-8B-Instruct-2410-4bit — 4-битная квантованная версия инструкционной языковой модели Ministral-8B-Instruct-2410-HF, разработанной Mistral AI и опубликованной сообществом mlx-community. Модель предназначена для генерации и обработки текста по инструкциям, включая диалоговые сценарии, ответы на вопросы, написание и преобразование текста, а также другие задачи, где требуется компактная локально запускаемая LLM. Модель имеет размер 8B параметров и использует 4-битное представление весов, что снижает требования к памяти по сравнению с полноразмерной версией. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Формат или параметры контекстного окна, точная архитектура, показатели качества и перечень поддерживаемых модальностей в предоставленных данных не указаны; по имеющейся информации это текстовая модель. К сильным сторонам относятся инструкционная настройка, многоязычность и уменьшенный объём памяти благодаря 4-битной квантизации. К ограничениям относятся возможная потеря качества по сравнению с исходной версией из-за квантизации, а также отсутствие в README подробных результатов тестирования и характеристик производительности. Модель распространяется по Mistral AI Research License (MRL-0.1): использование модели, производных версий и результатов ограничено исследовательскими целями, а распространение требует соблюдения условий лицензии и указания атрибуции Mistral AI.

lvkaokao/mistral-7b-finetuned-orca-dpo-v2 — текстовая генеративная модель, дообученная на базе Mistral-7B-v0.1 с использованием открытого датасета Open-Orca/SlimOrca. Она предназначена для генерации ответов и диалоговых сценариев общего назначения. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров; заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Карточка указывает на дообучение на инструкционном датасете, поэтому модель подходит для ответов на запросы, следования инструкциям и ведения текстового диалога. В метаданных перечислены Mistral и text-generation; конкретные языковые возможности и отдельные гарантии качества карточка не уточняет.

Mistral-7B-Instruct-Aya-101-GGUF — набор квантованных файлов в формате GGUF для модели Mistral-7B-Instruct-Aya-101, созданный и подготовленный MaziyarPanahi. Базой указана Mistral-7B-Instruct-v0.2 от Mistral AI; модель предназначена для генерации текста и диалогового взаимодействия. Модель ориентирована на многоязычные сценарии, включая работу более чем со 100 языками, среди которых английский, русский, французский, немецкий, испанский, арабский, китайский, японский и другие. Она имеет архитектуру Mistral с примерно 7 млрд параметров и поддерживает варианты квантования в форматах GGUF, включая 2-, 3-, 4-, 5-, 6- и 8-битные версии. GGUF позволяет запускать модель локально через llama.cpp и совместимые приложения и библиотеки, в том числе text-generation-webui, LM Studio, GPT4All и llama-cpp-python. Основные преимущества — уменьшенное потребление памяти по сравнению с полноразмерной моделью, возможность выбора компромисса между качеством и скоростью за счёт разных уровней квантования и удобство локального запуска на CPU или GPU. README не содержит данных о размере контекста, точных требованиях к памяти, результатах тестирования и ограничениях качества, поэтому эти характеристики нельзя достоверно оценить. Для модели указана лицензия Apache-2.0.

Ministral-3-3B-Instruct-2512-GGUF — это набор квантизованных GGUF-версий инструкционной модели Ministral-3-3B-Instruct-2512, разработанной Mistral AI и подготовленной пользователем bartowski. Модель предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты, включая сценарии генерации текста и обработки изображений с текстом, на что указывает pipeline image-text-to-text. Модель имеет около 3 млрд параметров; в README также доступна полная версия BF16 размером 6,87 ГБ и варианты квантизации от Q8_0 до Q3 и IQ4. Квантизация выполнена с использованием llama.cpp и imatrix-калибровки. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Архитектура, максимальная длина контекста и точные возможности работы с изображениями в предоставленных данных не указаны. Сильной стороной набора является широкий выбор вариантов квантизации, позволяющий подобрать баланс между качеством, размером файла и требованиями к оперативной памяти; для большинства сценариев рекомендуются Q4_K_M, Q5 и Q6. Ограничения включают возможное снижение качества на более агрессивных уровнях квантизации, отсутствие описания формата промптов и неполные сведения о характеристиках исходной модели. Модель распространяется по лицензии Apache-2.0.

Kimi-K2-Thinking-GGUF — это набор квантованных GGUF-версий языковой модели Kimi-K2-Thinking, разработанной moonshotai и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска через llama.cpp, LM Studio и другие совместимые проекты, включая локальный инференс. В набор входят варианты квантования Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и другие, с размером файлов примерно от 283 до 1090 ГБ среди указанных версий. Более крупные варианты обычно обеспечивают более высокое качество, тогда как компактные требуют меньше оперативной памяти, но заметно уступают по качеству; README рекомендует, в частности, Q6_K, Q5_K_M, Q4_K_M и IQ4_XS в зависимости от доступных ресурсов. Сведения об архитектуре, числе параметров, поддерживаемых языках, модальностях и размере контекста в карточке отсутствуют. Преимущество набора — широкий выбор квантований и совместимость с экосистемой llama.cpp. Ограничениями являются очень большие требования к дисковому пространству и памяти даже у наиболее компактных вариантов, а также возможное снижение качества при низком уровне квантования. Формат prompt не указан. Для модели заявлена лицензия modified-MIT, при этом в метаданных также указано значение other; перед использованием следует проверить условия лицензии исходной модели moonshotai/Kimi-K2-Thinking.

MyModelsMerge-7b — объединённая модель генерации текста на базе архитектуры Mistral, созданная Kukedlc с помощью LazyMergekit. В состав слияния вошли liminerity/M7-7b и модели Kukedlc, включая Neural4gsm8k, Jupiter-k-7B-slerp, NeuralMaxime-7B-slerp, NeuralFusion-7b-Dare-Ties, Neural-Krishna-Multiverse-7b-v3, NeuTrixOmniBe-DPO и NeuralSirKrishna-7b. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Она предназначена для генерации текста и диалоговых сценариев общего назначения. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

Nanbeige 16B Chat 32K — это диалоговая языковая модель семейства Nanbeige, разработанная Nanbeige LLM Lab и представленная в данном репозитории в формате GGUF. Квантованные файлы подготовлены TheBloke; исходная модель доступна в формате PyTorch на Hugging Face. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск через llama.cpp и совместимые графические интерфейсы и библиотеки. Модель имеет около 16 миллиардов параметров и заявленный контекст до 32K токенов. В метаданных указаны английский и китайский языки. Архитектура обозначена как nanbeige, а формат GGUF поддерживает различные варианты квантования с разрядностью от 2 до 6 бит, что позволяет выбирать компромисс между размером, требованиями к памяти, скоростью и качеством генерации. Модель рассчитана на текстовую модальность; сведения о поддержке изображений или других типов данных отсутствуют. К сильным сторонам относятся большой контекст, диалоговая специализация и возможность запуска на CPU и GPU с использованием llama.cpp, text-generation-webui, LM Studio, KoboldCpp и других совместимых инструментов. Ограничения включают возможные потери качества из-за квантования, зависимость требований к ресурсам от выбранного варианта GGUF и отсутствие в README подробных данных о результатах тестирования, обучающем наборе и точных характеристиках базовой архитектуры. В метаданных указана лицензия Apache-2.0.

NeuralsirkrishnaShadow_AlloyingotneoyYam — объединённая языковая модель на архитектуре Mistral, созданная слиянием automerger/NeuralsirkrishnaShadow-7B и automerger/AlloyingotneoyYam-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста; доступна в формате safetensors. Модель принимает текст и генерирует текст, поддерживая контекст до 32 768 токенов. Карточка не описывает специализированные сценарии или языки обучения. Лицензия — Apache-2.0.

Severian разработал Nexus-IKM-Mistral-Instruct-v0.2-7B — разговорную языковую модель на архитектуре Mistral с 7,1 млрд параметров. Модель дообучена на экспериментальном наборе Internal Knowledge Map в течение трёх эпох; для обучения использовалась фазовая методика, последовательно акцентирующая системный контекст и инструкции. Модель предназначена для генерации ответов, рассуждений и синтеза информации из разных областей знаний. Её можно применять для многошагового решения задач, поиска связей между дисциплинами и подготовки междисциплинарных идей; заявленные в карточке способности не подтверждены количественными оценками. Контекст составляет до 32 768 токенов. Указана лицензия MIT.

Это набор GGUF-квантизаций языковой модели OpenReasoning-Nemotron-32B, разработанной NVIDIA и преобразованной пользователем bartowski для запуска в llama.cpp и совместимых приложениях. Модель предназначена для генерации текста и локального использования в средах вроде LM Studio, а также в других проектах на базе llama.cpp. В README указано, что исходная модель имеет размер 32B параметров; сведения об архитектуре, языках, мультимодальности и размере контекста не приведены. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 14,39 до 65,54 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M обозначен как вариант стандартного размера для большинства сценариев, а Q6_K и Q6_K_L — как варианты очень высокого качества. Квантизации выполнены с использованием imatrix и llama.cpp версии b5934. Сильной стороной модели является возможность локального запуска с выбором компромисса между качеством и требованиями к памяти, включая варианты для ограниченных ресурсов и оптимизации для некоторых CPU-платформ. Ограничения включают значительный объём памяти, необходимый для 32B-модели, а также потенциальное снижение качества у низкобитных вариантов. Лицензия в предоставленном README не указана.

OpenBuddy Mistral 7B v13.1 — это языковая модель для генерации текста и диалогового взаимодействия, разработанная командой OpenBuddy на базе архитектуры Mistral. Данный репозиторий подготовлен TheBloke и содержит квантизированные версии модели в формате GGUF, предназначенные для запуска через llama.cpp и совместимые приложения и библиотеки, включая LM Studio, KoboldCpp, text-generation-webui и llama-cpp-python. Модель имеет около 7 миллиардов параметров и ориентирована на задачи ассистирования, ответов на вопросы, рассуждений и многоязычного общения. В метаданных заявлена поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и русского языков. Доступны варианты квантизации от 2 до 8 бит для инференса на CPU и GPU, что позволяет выбирать компромисс между качеством, скоростью и потреблением памяти. Информация о размере контекстного окна и мультимодальных возможностях не указана; модель предназначена для работы с текстом. К сильным сторонам относятся относительно компактный размер, широкий выбор уровней квантизации и возможность локального запуска на разнообразном оборудовании. Ограничения включают потенциальное снижение качества в квантизированных вариантах, отсутствие заявленных мультимодальных возможностей и неизвестный размер контекста. Модель распространяется по лицензии Apache 2.0.

Карточка модели OpenBuddy/openbuddy-mixtral-8x7b-v15.4 на Hugging Face совпадает с карточкой OpenBuddy/openbuddy-mixtral-7bx8-v16.3-32k, поэтому описание составлено по ней. OpenBuddy-mixtral-7bx8-v16.3-32k — многоязычная чат-модель семейства Mixtral, опубликованная командой OpenBuddy. Она предназначена для диалогов и генерации текста; архитектура — Mixtral MoE, класс MixtralForCausalLM. В репозитории указаны 7,1 млрд параметров и контекст до 32 768 токенов; модель распространяется в формате safetensors и использует библиотеку Transformers. Модель поддерживает китайский, английский, французский, немецкий, японский, корейский, итальянский и русский языки. Лицензия — Apache 2.0. Ответы могут быть ошибочными, вредными или оскорбительными; модель не следует использовать для решений в медицине, финансах, праве и других критически важных сценариях.

OpenBuddy Nemotron 70B v23.2q 131K GGUF — квантизированная версия языковой модели OpenBuddy-nemotron-70b-v23.2q-131k, подготовленная bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных приложениях, включая LM Studio, с применением формата диалоговых промптов OpenBuddy. Поддерживаются английский, китайский, французский, немецкий, японский, корейский, итальянский и финский языки. Модель содержит около 70 млрд параметров и имеет заявленный контекст до 131 072 токенов. Это текстовая модель без заявленной поддержки изображений или других модальностей. Доступны варианты GGUF с разными уровнями квантизации — от Q8_0 до Q2_K и IQ2_M; размер файлов составляет примерно от 24 до 75 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, тогда как компактные варианты рассчитаны на системы с ограниченным объёмом памяти. В README рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Сильными сторонами являются большой контекст, мультиязычность и возможность локального запуска с выбором компромисса между качеством и требованиями к памяти. Ограничения включают значительный размер модели, зависимость качества от выбранной квантизации и отсутствие в предоставленных данных результатов бенчмарков или подробного описания архитектуры. Лицензия указана как llama3.1.

bartowski/open-thoughts_OpenThinker-32B-GGUF — набор GGUF-квантизаций модели OpenThinker-32B, разработанной проектом open-thoughts. Репозиторий подготовлен bartowski с использованием llama.cpp и метода imatrix; исходная модель обучена на датасете open-thoughts/open-thoughts-114k. Модель относится к генеративным текстовым моделям и предназначена для запуска локально через llama.cpp, LM Studio и совместимые проекты. Варианты доступны в форматах от F16 до Q3 и IQ3/IQ4 с размерами примерно от 13,71 до 65,54 ГБ. Более крупные варианты обеспечивают более высокое качество, тогда как варианты с меньшей разрядностью требуют меньше оперативной памяти, но могут заметно уступать по качеству. В README не указаны архитектура исходной модели, поддерживаемые языки, размер контекста и мультимодальные возможности. Для работы следует использовать шаблон сообщений с маркерами <|im_start|> и <|im_end|>. Модель распространяется по лицензии Apache-2.0. Ограничения включают высокие требования к памяти для полноразмерных и качественных квантованных вариантов, а также возможное снижение качества при использовании низкоразрядных форматов.

OPT-IML-Max — инструкционно дообученная языковая модель семейства OPT, разработанная Meta. Она обучена на примерно 2000 задачах обработки естественного языка из восьми бенчмарков, включая Super-NaturalInstructions, FLAN и PromptSource, и предназначена для выполнения разнообразных инструкций и генерации текста. Модель использует плотную причинную архитектуру OPTForCausalLM, содержит около 1,7 млрд параметров и поддерживает контекст до 2048 токенов. Модель подходит для ответов на вопросы, суммаризации, перефразирования и других текстовых задач, сформулированных в виде инструкций. Карточка не уточняет список поддерживаемых естественных языков. Возможны фактические ошибки, токсичные высказывания и воспроизведение стереотипов; ответы требуют проверки. Лицензия указана как other, поэтому условия использования следует сверять с лицензией репозитория.

Ornith-1.5-35B-A3B-abliterated-NVFP4 — квантованная версия языковой модели Ornith-1.5-35B-A3B, разработанной ornith-ai, с изменёнными весами от pottokao. Из модели удалено направление, связанное с отказами в ответах, поэтому она не реализует стандартное защитное поведение и предназначена для исследовательских и прикладных сценариев генерации текста, где требуется меньше ограничений на содержание. Модель работает только с текстом: в сборке отсутствуют vision tower и MTP head. Это MoE-модель с заявленным размером 35B и активной частью около 3B параметров; архитектура сочетает слои линейного внимания Mamba-типа и обычного self-attention. Основная часть весов использует NVFP4 W4A16 с group size 16, отдельные проекции — FP8 W8A8, а некоторые компоненты сохранены в BF16. Поддерживается запуск через Transformers и vLLM; автор проверял работу на двух GPU RTX 5070 Ti по 16 ГБ, с контекстом до 131 072 токенов в указанной конфигурации и FP8 KV-кэшем. Для ускорения генерации предусмотрено использование speculative decoding с DFlash. К сильным сторонам относятся относительно небольшое потребление памяти для модели такого класса, возможность запуска на двух потребительских GPU, большой доступный контекст и интеграция с vLLM. Ограничения включают текстовую модальность, отсутствие защитных отказов, зависимость производительности от специализированных NVFP4/FP8-ядер и настроек vLLM, а также ограниченный бюджет KV-кэша при нескольких параллельных запросах. Модель распространяется по лицензии MIT; лицензия включённых компонентов и черновой модели DFlash может регулироваться отдельно.

Это GGUF-квантизированная версия текстовой языковой модели Phi-3-medium-128k-instruct, разработанной Microsoft. Репозиторий подготовлен пользователем legraphista с использованием llama.cpp b3003 и метода IMatrix для отдельных вариантов квантования. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые инструменты. Заявлена поддержка multilingual-сценариев, однако конкретный перечень языков в README не указан. Модель имеет контекстное окно до 128k токенов и поставляется в форматах GGUF с разными уровнями точности: от FP16 и BF16 до Q2_K, Q3_K, Q4_K, Q5_K, Q6_K, Q8_0 и вариантов IQ. Размер файлов составляет примерно от 4,77 до 27,92 ГБ. Варианты Q2–Q4 и некоторые IQ используют IMatrix, что должно помогать сохранять качество при сильном сжатии, но README не приводит количественных результатов сравнения. Сильная сторона репозитория — широкий выбор форматов для компромисса между качеством, размером и требованиями к памяти, а также поддержка длинного контекста исходной модели. Ограничения включают высокие аппаратные требования для крупных вариантов и возможное снижение качества у низкобитных квантований; архитектура и точное число параметров в README не указаны. Модель распространяется по лицензии MIT, унаследованной от исходной модели Microsoft.

POCKET-35B-GGUF — языковая модель семейства POCKET, разработанная FINAL-Bench. Это GGUF-сборка, предназначенная для запуска через стандартный llama.cpp без CUDA, GPU и облачных сервисов. Модель позиционируется для локального использования на ПК, серверах, мини-ПК и мобильных устройствах, включая сценарии on-device и edge-инференса. Модель имеет заявленный размер 35B параметров и архитектуру mixture-of-experts; в карточке она связана с FINAL-Bench/Darwin-36B-Opus, а также обозначена как основанная на Qwen3.5-35B-A3B. Доступны варианты квантования от IQ1_M и Q2_K до Q4_K_M: размер файлов составляет примерно от 8,2 до 21 ГБ, что позволяет выбирать между экономией памяти и качеством. В качестве ориентиров приведены показатели GPQA Diamond от 60,1% для Q2_K до 68,7% для Q4_K_M, а также измерения скорости генерации на CPU и GPU. Модель ориентирована на диалоговые и общие текстогенерационные задачи, включая локального повседневного ассистента. Среди сильных сторон заявлены работа на CPU, совместимость с upstream llama.cpp и высокая скорость генерации в ряде сравнительных тестов. Ограничения включают заметные требования к оперативной памяти, снижение качества при сильном квантовании и отсутствие завершённых измерений производительности на iPhone и Strix Halo. В карточке явно указаны английская и корейская специализации отдельных сборок, но полный набор поддерживаемых языков и максимальный контекст не приведены. Лицензия — Apache 2.0.

onnx-community/Qwen2.5-0.5B-Instruct-ONNX — это ONNX-версия инструкционно дообученной причинной языковой модели Qwen2.5-0.5B-Instruct. Исходную модель разработала команда Qwen, а ONNX-веса опубликованы сообществом ONNX Community для использования, в частности, с Transformers.js и локальными приложениями. Модель предназначена для генерации текста, диалогов, следования инструкциям, ответов на вопросы, создания структурированных ответов, а также базовых задач по программированию и математике. Архитектура Qwen2 с 494 млн параметров использует causal language modeling; доступны ONNX-варианты квантования и FP16. Модель поддерживает текстовую модальность, 32 768 токенов контекста и языки zho, eng, fra, spa, por, deu, ita, rus, jpn, kor, vie, tha и ara. К сильным сторонам относятся компактный размер, мультиязычность, поддержка диалогового режима и возможность запуска в ONNX-совместимых средах, включая браузерные сценарии. Из-за небольшого размера модели её качество и глубина рассуждений ниже, чем у более крупных моделей семейства. Модель распространяется по лицензии Apache 2.0 исходной Qwen-модели.

mergekit-community/qwen2.5-11B-Mzy — объединённая плотная языковая модель семейства Qwen2.5, созданная с помощью mergekit методом passthrough из AIDC-AI/Marco-o1, djuna/Q2.5-Fuppavy-7B и happzy2633/qwen2.5-7b-ins-v3. Модель содержит 10,8 млрд параметров и предназначена для генерации текста в диалоговых сценариях. Модель принимает текст и выдаёт текст; доступна в формате safetensors для Transformers. Заявленная длина контекста — 32 768 токенов. В README указано, что веса собраны из диапазонов слоёв трёх исходных моделей; детали лицензии и результаты сравнительных оценок в предоставленных данных отсутствуют.