I.14Автоматизация процессов и AI-агенты

MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp-Mistral-7B-Instruct-v0.1 — чат-модель MaziyarPanahi, полученная слиянием методом SLERP модели Mistral-7B-Instruct-v0.1 и Weyaxi/MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в диалоге. Указанная длина контекста — 32 768 токенов; веса опубликованы в формате safetensors. Модель подходит для диалоговых запросов и генерации ответов на инструкции. В карточке не приведены отдельные оценки качества или сведения о поддерживаемых естественных языках, поэтому их нельзя надёжно уточнить. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия Mistral-Medium-3.5-128B, разработанной Mistral AI и квантизированной пользователем bartowski с помощью llama.cpp и imatrix. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая обработку текстовых запросов и изображений в совместимых инструментах. Доступны варианты для llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI, vLLM и других решений. Модель содержит 128 миллиардов параметров. В README заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Представлены варианты квантования от Q3 до Q8 с размером файлов примерно от 63 до 133 ГБ; более качественные варианты требуют больше оперативной или видеопамяти. Для мультимодального режима требуется совместимый mmproj-файл, при этом указано, что корректно работают варианты bf16 и f32, а f16 может давать некогерентные результаты. Исправлены настройки RoPE и связанные параметры квантования. Сильными сторонами являются большой размер, широкая языковая поддержка и наличие вариантов квантования, позволяющих выбирать между качеством и требованиями к памяти. Ограничениями выступают очень высокие аппаратные требования, необходимость совместимого ПО и возможные проблемы мультимодального режима с отдельными настройками mmproj. Лицензия указана как other; конкретные условия в README не приведены.

Mistral-Instruct-Ukrainian-SFT — языковая модель Radu Chivereanu, полученная supervised fine-tuning модели Mistral-7B-Instruct-v0.2 на украиноязычных наборах данных. Она предназначена для диалогов и выполнения инструкций на украинском языке, включая ответы на вопросы, задания по чтению и пониманию текста, а также вопросы и ответы по тематике программирования. Модель содержит 7,1 млрд параметров; её архитектура — плотный трансформер MistralForCausalLM с Grouped-Query Attention и Sliding-Window Attention. Контекст составляет до 32 768 токенов. Для запросов используется формат инструкций с токенами [INST] и [/INST], также доступен chat template Transformers. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. README приводит результаты нескольких бенчмарков, но они не гарантируют качество на других задачах и данных.

bigscience/mt0-base — мультиязычная модель семейства mT0, разработанная BigScience на основе предобученной mT5 и дообученная на смеси заданий xP3 для следования инструкциям на естественном языке. Она подходит для выполнения задач по текстовым запросам в режиме zero-shot, включая перевод, ответы на вопросы, классификацию тональности и создание текстов. Модель использует архитектуру encoder-decoder MT5ForConditionalGeneration и содержит 291,2 млн параметров; доступны веса PyTorch, safetensors и ONNX. README описывает поддержку десятков языков, а метаданные перечисляют языки обучения и основные языки карточки. Результаты зависят от формулировки запроса: модели полезно явно обозначать границы входного текста, требуемую задачу и язык ответа. Лицензия — Apache-2.0.

Это GGUF-квантизованная версия языковой модели Llama-3_1-Nemotron-Ultra-253B-v1, разработанной NVIDIA и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в llama.cpp, LM Studio и других совместимых проектах на базе llama.cpp. Указан английский язык; поддерживается текстовая модальность. Размер исходной модели — 253 млрд параметров, однако точная архитектура и размер контекстного окна в README не указаны. Доступно множество вариантов квантизации GGUF — от Q8_0 до более компактных Q3 и IQ3/IQ4. Высокоточные варианты обеспечивают лучшее сохранение качества, а младшие квантизации снижают требования к памяти; рекомендуемыми названы, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS. Основное ограничение — чрезвычайно большой объём файлов: даже рекомендуемый Q4_K_M занимает около 150,94 ГБ, поэтому для запуска требуется мощное оборудование и значительный объём оперативной или видеопамяти. Лицензия — NVIDIA Open Model License; ссылка на условия приведена в карточке модели.

OLMo-2-1124-13B-DPO — англоязычная причинная языковая модель семейства OLMo 2, разработанная Allen Institute for AI (AI2). Это диалоговая версия с 13,2 млрд параметров: после supervised fine-tuning на варианте набора Tülu 3 она прошла дополнительное обучение методом DPO на данных предпочтений. Модель предназначена для генерации текста, диалога и выполнения инструкций, включая задачи рассуждения и математики. Модель принимает текст и генерирует текст, поддерживает чат-шаблон и имеет контекст длиной до 4096 токенов. Обучение охватывает разнообразные публичные, синтетические и созданные людьми данные; основной язык — английский. Доступны веса в форматах PyTorch и Safetensors, использовать модель можно на условиях Apache 2.0. В карточке отмечено, что модели OLMo-2 прошли ограниченное обучение безопасности и могут выдавать проблемные ответы, особенно при соответствующем запросе. Для релиза также указано обновление постобученных моделей из-за расхождения логики предварительной токенизации у первоначальных версий; при интеграции важно использовать актуальную версию модели и совместимые компоненты.

OLMo-2-1124-13B-DPO-Preview — англоязычная плотная авторегрессионная языковая модель семейства OLMo 2, разработанная Allen Institute for AI (AI2). Это вариант OLMo-2 на 13,2 млрд параметров, прошедший supervised fine-tuning на варианте набора Tülu 3, а затем обучение методом DPO на данных предпочтений. Модель предназначена для диалогов, выполнения инструкций и широкого круга задач генерации текста; карточка отмечает задачи MATH, GSM8K и IFEval. Модель принимает текст и выдаёт текст, поддерживает чат-шаблон и имеет контекстное окно 4096 токенов. Она рассчитана прежде всего на английский язык. Веса распространяются в формате PyTorch по лицензии Apache 2.0. В карточке отмечено, что у OLMo 2 ограничено обучение безопасности, поэтому модель может выдавать проблемные ответы, особенно при соответствующих запросах; встроенной фильтрации ответов нет. Сведения о качестве следует рассматривать с учётом того, что это предварительный DPO-вариант.

OmegaW10 — слитая с помощью mergekit методом SLERP языковая модель на архитектуре Mistral. Она объединяет ClaudioItaly/TopEvolutionWiz и Eric111/Yarn-Mistral-7b-128k-DPO; репозиторий содержит веса в формате safetensors, указанный размер — 7,1 млрд параметров, нативный контекст — 32 768 токенов. Модель предназначена для генерации текста, в том числе диалогов и развёрнутых ответов на вопросы.

OrionLLM_LRM-3.2-GGUF — это набор GGUF-квантизаций модели LRM-3.2, разработанной OrionLLM и квантизированной bartowski с использованием llama.cpp. Модель имеет 27 млрд параметров и распространяется в нескольких вариантах точности и размера, включая BF16, Q8_0, Q6, Q5, Q4, Q3 и IQ-квантизации. Модель предназначена для обработки текста и изображений; для мультимодального режима требуется дополнительный файл mmproj. README не уточняет поддерживаемые языки, максимальный размер контекста и конкретные прикладные сценарии. Формат GGUF позволяет запускать модель через совместимые инструменты, включая llama.cpp. MTP не поддерживается, для квантизации использовалась imatrix. Сильной стороной является выбор вариантов квантизации: от полноразмерной BF16 до компактных версий для устройств с ограниченным объёмом оперативной памяти. Q4_K_M указан как сбалансированный вариант по размеру и качеству, а Q5–Q6 — как более качественные. Более сильное сжатие уменьшает требования к памяти, но снижает качество; низкобитные варианты могут быть непригодны для требовательных задач. Модель распространяется по лицензии Apache-2.0.

TheBloke/phi-2-GGUF — это набор квантованных файлов модели Phi-2, разработанной Microsoft и преобразованной TheBloke в формат GGUF для локального запуска. Модель предназначена для генерации текста и кода, а также для задач, поддерживаемых исходной Phi-2, с использованием совместимых локальных приложений и библиотек. Phi-2 — языковая модель типа phi-msft, работающая с текстом и ориентированная на английский язык. В README не указаны размер модели, архитектурные детали и максимальная длина контекста. Доступны варианты квантования от 2 до 8 бит, включая методы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать между меньшим потреблением памяти и качеством вывода. Модель использует шаблон запроса «Instruct: {prompt} Output:». Главное преимущество версии GGUF — возможность запуска на CPU и совместимом GPU через llama.cpp и ряд сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Ограничения качества и применимости связаны с квантованием, англоязычной специализацией и возможностями исходной Phi-2; мультимодальность не заявлена. Лицензия указана как microsoft-research-license, применимая к исходной модели Microsoft.

PhoneLM-1.5B-Instruct — англоязычная авторегрессионная языковая модель на 1,6 млрд параметров, разработанная командой mllmTeam. Это дообученная для следования инструкциям версия PhoneLM-1.5B, предназначенная для генерации текста и диалоговых ответов. Модель использует декодерный трансформер с 19 слоями, скрытым размером 2560, 16 головами внимания и контекстом до 2048 токенов. Архитектура включает Rotary Position Embeddings для первой четверти размерности голов внимания, LayerNorm с обучаемыми смещениями и ReLU в полносвязных слоях; токенизатор основан на токенизаторе SmolLM с размером словаря 49 152. В обучении использовались наборы инструкций, диалогов, математических заданий и кода. Модель распространяется в формате safetensors по лицензии Apache-2.0. Она рассчитана прежде всего на английский язык; сведений о поддержке других языков нет.

bartowski/Qwen1.5-7B-Chat-GGUF — это набор квантизированных GGUF-версий диалоговой модели Qwen1.5-7B-Chat, разработанной командой Qwen. Квантизация выполнена bartowski с использованием llama.cpp, релиз b2440. Модель предназначена для генерации текста и чат-сценариев, включая локальный запуск через совместимое программное обеспечение на базе llama.cpp. Доступны варианты квантизации от Q8_0 до Q2_K размером примерно от 8,21 до 3,10 ГБ. Q6_K отмечен как рекомендуемый вариант с качеством, близким к исходному; Q5_K_M и Q5_K_S предлагают высокое качество при меньшем размере, а варианты Q3 и Q2 требуют меньше памяти, но заметно уступают по качеству. В метаданных указан английский язык; сведения о других языках, модальностях и размере контекста отсутствуют. Лицензия обозначена как tongyi-qianwen; подробные условия доступны по ссылке на лицензию исходной модели.

Qwen2.5-0.5B-Instruct-GPTQ-Int4 — компактная инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это GPTQ-квантизированная 4-битная версия базовой модели Qwen2.5-0.5B-Instruct, предназначенная для генерации текста и диалоговых сценариев, включая чат-ассистентов, следование инструкциям, работу со структурированными данными и формирование структурированных ответов, в том числе JSON. Модель также ориентирована на задачи программирования и математики, однако README не содержит подробных результатов оценки. Модель относится к causal language models и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV attention и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, из которых 0,36 млрд не являются эмбеддингами, 24 слоя и GQA с 14 головами для Q и 2 для KV. Поддерживается контекст до 32 768 токенов и генерация до 8192 токенов. Модель текстовая, поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Ключевые преимущества — небольшой размер, 4-битное представление, поддержка длинного контекста, многоязычность и улучшенное следование инструкциям. Ограничения README не раскрывает количественно; как компактная модель с 0,49 млрд параметров, она может уступать более крупным моделям в сложных рассуждениях и качестве генерации. Модель распространяется по лицензии Apache-2.0. Для использования рекомендуется актуальная версия библиотеки transformers; версии ниже 4.37.0 не поддерживают архитектуру Qwen2.

Qwen2.5-MOE-2X7B-DeepSeek-Abliterated-UNCensored-19B-gguf — текстовая generative-модель от DavidAU, основанная на архитектуре Qwen2.5 MOE и объединяющая два 7B-компонента DeepSeek/Qwen 2.5: обычный и abliterated (в основном uncensored) варианты. За счёт shared expert итоговый размер составляет немного более 19 млрд параметров. Модель распространяется в формате GGUF и предназначена для генерации текста. Модель ориентирована на универсальное применение: рассуждения и «thinking», решение математических и логических задач, мозговой штурм, ответы на вопросы, создание историй, сюжетов и другого художественного текста. Она поддерживает английский и китайский языки, имеет контекстное окно 128k токенов и, по описанию автора, особенно склонна к математическим, логическим и научным задачам. Архитектура MOE обеспечивает необычное поведение и потенциально более сильное рассуждение по сравнению с отдельной 7B-моделью, но модель не обязательно превосходит полноценные 14B- или 32B-модели. К сильным сторонам относятся широкий диапазон рабочих температур, способность сохранять рассуждение при различных настройках sampling и сочетание reasoning с творческой генерацией. Ограничения включают возможное появление китайских символов при англоязычных запросах, нестабильность рассуждений на высоких температурах и заметную вариативность ответов; для сложных задач может потребоваться несколько генераций или разбиение задачи на этапы. Для корректной работы требуется использовать встроенный Jinja Template, предпочтительно DeepSeek Tokenizer; рекомендуются контекст от 8k токенов и квантизации IQ4/Q4 или выше. Модель распространяется по лицензии Apache-2.0.

stefancosma/Qwen3-14B-Instruct-Q4_K_M-GGUF — это квантованная версия языковой модели OpenPipe/Qwen3-14B-Instruct, преобразованная в формат GGUF с использованием llama.cpp и проекта GGUF-my-repo. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp в режиме командной строки или серверном режиме. Модель содержит около 14 миллиардов параметров и использует квантование Q4_K_M, что уменьшает требования к памяти по сравнению с полноразмерными весами, но может сопровождаться некоторой потерей точности. Это текстовая модель без заявленной поддержки изображений или других модальностей. В README не указаны поддерживаемые языки, максимальная длина контекста, результаты оценивания или специализированные сценарии применения. Для работы требуется совместимое окружение llama.cpp; поддерживаются запуск через CLI и сервер, а также аппаратные варианты сборки, включая CUDA для GPU Nvidia. Модель распространяется по лицензии Apache 2.0. Подробные характеристики и ограничения исходной модели следует уточнять в карточке OpenPipe/Qwen3-14B-Instruct.

lmstudio-community/Qwen3-30B-A3B-MLX-8bit — это конвертированная в формат MLX 8-битная версия языковой модели Qwen3-30B-A3B, разработанной Qwen и опубликованной сообществом lmstudio-community. Конвертация выполнена с использованием mlx-lm версии 0.24.0. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через chat template при его наличии. Она ориентирована на запуск с библиотекой mlx-lm, преимущественно в экосистеме Apple MLX. В README не указаны поддерживаемые языки, размер контекста, точная архитектура исходной модели, модальности помимо текста и результаты оценки качества. Ключевая характеристика этой версии — 8-битное представление в формате MLX, потенциально подходящее для более эффективного локального запуска по сравнению с полноформатной моделью, однако конкретные требования к памяти и производительности не приведены. Ограничения и области применения следует оценивать по исходной модели Qwen3-30B-A3B; дополнительные сведения о них в README отсутствуют. Модель распространяется по лицензии Apache-2.0.

RobinsonLabs/Qwen3.5-122B-A10B-abliterated-GGUF — набор квантизированных моделей в формате GGUF на базе Qwen/Qwen3.5-122B-A10B. Модель разработана Robinson Labs методом abliteration и предназначена для генерации и обработки текста в совместимых локальных runtime. Базовая архитектура — MoE qwen35moe с 122 млрд параметров и бюджетом около 10 млрд активных параметров на токен. В сборке сохранён Multi-Token Prediction (MTP/NextN), поэтому совместимые runtime могут использовать спекулятивное декодирование. Доступны варианты с разными уровнями квантизации и размером файлов. Это текстовая модель: vision tower из исходного чекпойнта в GGUF не включена, поэтому обработка изображений не поддерживается. Языки и размер контекстного окна в README не указаны. Ключевая особенность версии — снижение склонности к отказам в запросах для взрослого и творческого контента при заявленном сохранении возможностей модели. При этом защитные механизмы для запросов, связанных с самоповреждением, и другие ограничения безопасности, по данным автора, сохранены. Ограничениями являются высокая требовательность к вычислительным ресурсам из-за полного размера модели, отсутствие мультимодальности и зависимость от поддержки GGUF и MTP конкретным runtime. Модель помечена как не предназначенная для всех аудиторий, а ответственность за использование возложена на пользователя. Лицензия наследуется от базовой модели и указана как Apache-2.0.

Qwen3.8-27B-NVFP4-GGUF — квантизированная версия базовой модели Qwen/Qwen3.8-27B, опубликованная akopytko. Модель предназначена для задач генерации текста и работы с изображениями, включая сценарии image-text-to-text. Она представлена в формате GGUF и использует специализированное 4-битное числовое представление NVFP4 с оптимизацией масштаба по среднеквадратичной ошибке реконструкции. В модель также встроена квантизированная MTP draft head для speculative decoding. Ключевое преимущество — высокая скорость предварительной обработки на GPU с архитектурой NVIDIA Blackwell: заявлено преимущество около 50% над обычными 4-битными вариантами при сопоставимом размере, а сама реализация NVFP4 работает ещё на 4–7% быстрее альтернативных NVFP4-квантов. Поддерживается ввод изображений; при загрузке не через -hf может потребоваться отдельный vision-проектор mmproj-BF16.gguf. Основное ограничение — необходимость совместимого NVIDIA Blackwell GPU, например RTX 50, DGX Spark, B200 или B300. По приведённым тестам, качество NVFP4 уступает вариантам Q4_0 и особенно Q6_K, хотя превосходит сравниваемый NVFP4-квант Unsloth по некоторым метрикам. Лицензия — Apache-2.0.

Qwen3.8-35B-A3B-Distill GGUF — это набор общественных GGUF-квантизаций текстовой MoE-модели empero-ai/Qwen3.8-35B-A3B-Distill, подготовленный пользователем ngquocvinh. Модель предназначена для локальной генерации текста с помощью llama.cpp и совместимых сред. Это неофициальный релиз Qwen3.8 и не результат дополнительного обучения или дообучения. Исходная модель содержит 35 млрд параметров, из которых примерно 3 млрд активируются для каждого токена, использует 256 экспертов и маршрутизацию к 8 экспертам. Архитектура включает гибридные компоненты внимания, а заявленная длина контекста в конфигурации исходной модели составляет 262 144 токена. В карточке указана поддержка английского языка и текстовой модальности. Доступны варианты квантизации от Q8_0 размером около 35,22 GiB до IQ2_XS размером около 10,01 GiB, что позволяет выбирать между качеством и требованиями к памяти. Сильной стороной релиза является возможность запуска крупной MoE-модели локально на совместимом оборудовании, а также наличие измерений отклонения квантизированных вариантов от BF16-источника. Q4_K_M обозначен как практичный баланс качества и потребления памяти; варианты Q3_K_M, Q2_K и IQ2_XS имеют существенно большее отклонение и считаются экспериментальными. Поддержка длинного контекста, вызова инструментов и других специализированных функций зависит от исходной модели и используемой среды, поэтому требует отдельной проверки. Релиз распространяется по лицензии Apache-2.0, унаследованной от исходной модели. Квантизации являются общественным проектом и не означают официального одобрения со стороны авторов исходной модели.

Qwen3.8-Flash-Next-Uncensored — это MLX-квантованная версия модели orcarouter/Qwen3.8-Flash-Next-Uncensored, опубликованная пользователем ddark-il. Модель предназначена для локального запуска на компьютерах Apple Silicon, прежде всего на M5 Max с 128 ГБ памяти, и поддерживает сценарии генерации текста и обработки изображений с текстом. Модель использует архитектуру qwen4_exp с mixture-of-experts (MoE), vision-language возможностями и механизмом multi-token prediction (MTP). Исходный размер составляет около 180 млрд параметров; в данном варианте применяется смешанная affine-квантизация MLX со средней точностью 4,857 бит на параметр. Размер файлов — 109,29 ГБ, заявлена поддержка контекста до 262 тысяч токенов. Основная часть весов квантизирована в 4, 6 и 8 битах с различными размерами групп, причём для o_proj используется 8-битная квантизация. По измерениям авторов, версия обеспечивает меньшую ошибку относительно исходных bf16-весов, чем предыдущая ревизия, и достигает 90,7% совпадения top-1 предсказаний с bf16-версией. Сильными сторонами являются существенно меньшие требования к памяти по сравнению с bf16, высокая точность для квантизированной модели, поддержка длинного контекста и мультимодальных входов. Ограничения включают очень большой размер, зависимость от MLX и Apple Silicon, возможное влияние квантизации на качество, а также требования к пропускной способности SSD и кэшированию при работе с крупными таблицами и экспертами. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-8B-Instruct-Unredacted-MAX-Quants-GGUF — набор высококачественных GGUF-квантизаций мультимодальной модели prithivMLmods/Qwen3-VL-8B-Instruct-Unredacted-MAX. Модель предназначена для диалогового взаимодействия, генерации текста и анализа изображений, включая задачи image-to-text, описания изображений и визуального распознавания. В README заявлена версия без ограничительных фильтров. Модель основана на архитектуре Qwen3-VL и содержит 8 миллиардов параметров. Поддерживаются текстовая и визуальная модальности, а также английский, русский и китайский языки. Доступны варианты квантования Q2_K, Q3_K_M, Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16; Q4_K_M рекомендован как баланс скорости и качества, а F16 служит эталонным вариантом с базовым качеством. Для обработки изображений требуется отдельный vision projector mmproj, доступный в форматах F32, F16, BF16 и Q8_0. Преимуществами являются совместимость с llama.cpp и другими GGUF-совместимыми средами, выбор вариантов под разные требования к памяти и производительности, а также полноценная поддержка изображений при использовании mmproj. К ограничениям относятся компромиссы между размером, скоростью и качеством у разных квантований; варианты Q2_K и Q3_K_M характеризуются более заметной потерей качества, а визуальные задачи требуют дополнительного файла проектора. Лицензия — Apache-2.0.

Qwen2.5-VL-32B-Instruct-GGUF — квантованная версия мультимодальной инструкционной модели Qwen2.5-VL-32B-Instruct, разработанной командой Qwen и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста по инструкциям и мультимодальных сценариев, включая работу с визуальными данными; в метаданных указан английский язык. Точные сведения о поддерживаемых форматах изображений, контекстном окне и внутренней архитектуре в README не приведены. Доступны варианты от BF16 и Q8_0 до низкобитных Q3- и IQ-квантований размером примерно от 14,39 до 65,54 ГБ. Квантования выполнены с использованием imatrix и поддерживаются llama.cpp, LM Studio и другими совместимыми проектами. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно терять в качестве; для большинства сценариев рекомендуется Q4_K_M как компромисс между размером и качеством. Для запуска необходима совместимая конфигурация, способная разместить выбранный файл модели. Распространение указано по лицензии Apache-2.0. README не содержит подробных результатов тестирования, ограничений мультимодального ввода или гарантированных характеристик производительности, поэтому качество и скорость будут зависеть от выбранного уровня квантования и аппаратного обеспечения.

Saul-Instruct-Extended — объединённая с помощью mergekit инструктивная языковая модель, опубликованная arcee-ai. В README в качестве компонентов указана Equall/Saul-Instruct-v1; повторение одного и того же идентификатора не позволяет установить, объединялись ли разные варианты весов. Модель основана на плотной архитектуре Mistral и содержит 8,9 млрд параметров. Она предназначена для диалоговой генерации текста и выполнения инструкций; заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0.

Tulu V2 DPO 70B — диалоговая языковая модель-ассистент, разработанная AllenAI на основе Llama 2 70B. Модель дообучена на смеси публичных, синтетических и созданных людьми инструкций и диалогов, а затем выровнена методом Direct Preference Optimization (DPO) на данных UltraFeedback. Архитектура — плотная LlamaForCausalLM с 68,7 млрд параметров; контекст — до 8192 токенов. Основной язык — английский. Модель предназначена для генерации ответов на инструкции и диалоговых сценариев, где нужен универсальный текстовый помощник. В карточке она описана как сильная альтернатива Llama 2 70B Chat; для форматирования запросов рекомендуется использовать формат Llama 2 с завершающим переводом строки. Модель может выдавать проблемные ответы: на этапе выравнивания её не обучали безопасно отказывать и не применяли фильтрацию ответов во время работы. Лицензия — AI2 ImpACT Low-risk.

Yi-1.5-34B-Chat-GGUF — это набор GGUF-квантизаций чат-модели Yi-1.5-34B-Chat, разработанной организацией 01.AI и подготовленной пользователем bartowski. Квантизация выполнена с помощью llama.cpp версии b2854 с использованием метода imatrix и набора данных Kalomaze. Модель предназначена для генерации текста в диалоговом формате и локального запуска через совместимые инструменты, включая llama.cpp. Модель содержит около 34 миллиардов параметров; README не указывает точную архитектуру, поддерживаемые языки, размер контекстного окна или дополнительные модальности, поэтому подтверждённые характеристики ограничиваются текстовой генерацией. Доступны варианты от Q8_0 до IQ1_S размером примерно от 7,49 до 36,54 ГБ. Квантизации Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и некоторые IQ-варианты отмечены как рекомендуемые за сочетание качества и экономии памяти, тогда как самые компактные варианты обеспечивают существенно более низкое качество. Сильная сторона набора — широкий выбор уровней квантизации, позволяющий адаптировать модель к доступному объёму памяти; наиболее качественные варианты близки к исходной модели, а некоторые компактные варианты сохраняют приемлемую работоспособность при ограниченных ресурсах. Ограничения связаны с потерями качества при сильной квантизации и необходимостью использовать корректный шаблон промпта Yi-1.5-34B-Chat. Модель распространяется по лицензии Apache-2.0.

airoboros-7b-gpt4-1.4 — полноточная дообученная модель семейства LLaMA с плотной архитектурой, созданная jondurbin на синтетических данных, сгенерированных GPT-4. Веса представлены в формате PyTorch; модель содержит около 6,6 млрд параметров и рассчитана на контекст до 2048 токенов. Модель предназначена для диалогов и генерации текста: она отвечает на вопросы, выполняет инструкции, помогает с программированием, письмом, загадками и ролевыми сценариями. Отдельно автор описывает режим ответов по предоставленному контексту, настроенный на использование информации из него. Обучающие примеры кода охватывают десять языков программирования, однако карточка не перечисляет естественные языки, на которых модель обучалась. Автор отмечает, что модель почти не тестировалась, поэтому качество и надёжность ответов не валидированы. В обучающем шаблоне заложено стремление отвечать без отказов независимо от законности или моральной стороны запроса. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

GLM4-32B-Neon-v2-GGUF — это квантизированная версия языковой модели GLM4-32B-Neon-v2, разработанной allura-org и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. В карточке указана поддержка английского языка и лицензия MIT. Модель содержит 32 млрд параметров; доступны варианты от BF16 до различных форматов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix на базе llama.cpp release b5228. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для работы рекомендуется использовать указанный формат промпта с системным сообщением, пользовательским запросом и ответом ассистента. Это текстовая модель: сведения о поддержке изображений, аудио, других модальностей, размере контекста и архитектурных особенностях в README не приведены. Для запуска необходима совместимая инфраструктура llama.cpp и объём памяти, соответствующий выбранному файлу; размеры файлов варьируются примерно от 13,66 до 65,14 ГБ.

Amadeus-Verbo-MI-Qwen-2.5-72B-PT-BR-Instruct-Experimental — объединённая модель на основе Qwen2.5-72B-Instruct и AV-BI-Qwen2.5-72B-PT-BR-Instruct от AmadeusAI. Она предназначена для диалогов и генерации ответов по инструкциям на португальском языке, в том числе для создания структурированного текста. Модель использует плотную архитектуру Qwen2ForCausalLM с 71,5 млрд параметров и контекстом до 32 768 токенов; доступна в формате safetensors и рассчитана на запуск через Transformers. Веса объединены методом SLERP с помощью mergekit в формате bfloat16. Модель может быть полезна для чат-ботов, генерации текстов и ответов на вопросы на бразильском португальском. В карточке также заявлен интерфейс вызова инструментов, однако подробности его поддержки не приведены. Лицензия в предоставленных данных не указана.

A.X 4.0 Light — компактная языковая модель компании SK Telecom, выпущенная в июле 2025 года. Она основана на Qwen2.5 и дополнительно обучена на крупных корейских наборах данных. В репозитории указана архитектура Qwen2 и размер около 6,9 млрд параметров; модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Контекст модели — до 16 384 токенов. Модель предназначена для понимания корейского языка и практических задач в деловой среде: диалогов, ответов на вопросы и работы с длинными документами. Разработчик сообщает о высоких результатах на корейских тестах KMMLU и CLIcK и об эффективном использовании токенов для корейского текста. README также описывает вариант семейства на 72 млрд параметров; этот репозиторий содержит облегчённую версию. Модель распространяется по лицензии Apache-2.0.

Bielik-PL-11B-v3.0-Instruct — генеративная языковая модель с 11 млрд параметров, разработанная SpeakLeash совместно с центром ACK Cyfronet AGH. Это дообученная для выполнения инструкций версия Bielik-11B-v3-Base-20250730 с заменённым на APT4 токенизатором, оптимизированным для польского языка. Модель имеет архитектуру causal decoder-only и использует шаблон чата ChatML. Модель предназначена для диалогов, ответов на вопросы и выполнения языковых инструкций. Она обучена на текстах на 32 европейских языках с акцентом на польский; обучение включало многоходовые диалоги, задачи на логику, STEM, математику и использование инструментов. Разработчики отмечают высокую способность работать с польским и другими европейскими языками. Модель может выдавать фактически неверные, предвзятые, оскорбительные или непристойные ответы и не имеет встроенных механизмов модерации. Лицензия — Apache 2.0.