I.14Автоматизация процессов и AI-агенты

RedHatAI/Qwen2.5-7B-Instruct-FP8-dynamic — инструкционная языковая модель архитектуры Qwen2, разработанная Neural Magic на основе Qwen2.5-7B-Instruct от Alibaba Cloud. Модель принимает текст и генерирует текст, предназначена для диалоговых ассистентов, генерации текста и исследовательского и коммерческого применения в многоязычных сценариях. Модель содержит около 7 миллиардов параметров и поддерживает широкий набор языков, включая китайский, английский, русский, французский, немецкий, испанский, японский, корейский, арабский и другие. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8: веса используют статическую симметричную поканальную схему, а активации — динамическую симметричную потокенную схему. Это примерно вдвое снижает требования к памяти и размер на диске, а также может увеличить пропускную способность матричных операций примерно вдвое. Контекст до 8192 токенов указан в примере развертывания; в другом примере используется длина 32768, поэтому точный поддерживаемый предел следует уточнять для конкретной конфигурации. Сильные стороны модели — сниженное потребление GPU-памяти, компактное хранение и эффективное развертывание через vLLM, включая OpenAI-совместимый сервер. Ограничения, связанные с влиянием FP8-квантизации на качество ответов, в README не приведены; как и любая языковая модель, она может генерировать неточные или нежелательные результаты. Модель распространяется по лицензии Apache-2.0. Использование не должно нарушать применимые законы и нормативные требования.

Qwen3.6-35B-A3B-QD-GGUF — квантизированная версия модели Qwen3.6-35B-A3B, подготовленная Quadux IT с использованием собственной методики Quadux Dynamic Quantization. Модель предназначена для диалоговых и мультимодальных сценариев, включая работу с текстом и изображениями, и рассчитана на запуск через llama.cpp в формате GGUF. В основе лежит MoE-архитектура: 35,5 млрд параметров всего и около 3 млрд активных параметров на токен. Используется гибридная схема attention с контекстом до 256 тысяч токенов и низкими затратами на KV-кэш. Поддерживаются английский, немецкий и, согласно карточке, другие языки. В комплект включены MTP head и совместимый vision projector, что обеспечивает поддержку изображений при использовании соответствующей конфигурации. Доступно несколько вариантов квантизации размером примерно от 10,6 до 26,42 ГБ, рассчитанных на видеокарты с 12–32 ГБ памяти. Распределение точности выполнено по результатам измерения чувствительности отдельных тензоров, поэтому варианты ориентированы на хорошее качество при ограниченном размере. Ограничения связаны с неизбежными потерями качества квантизации, зависимостью результата от выбранного варианта и необходимостью отдельного vision projector для мультимодальной работы. Лицензия — Apache 2.0.

Mia-AiLab/Qwen3.8-27B-EXL3-3.5bpw — это текстовая генеративная модель на основе Qwen/Qwen3.8-27B, разработанная Mia-AiLab и представленная в формате EXL3 для запуска через exllamav3. Модель предназначена для генерации текста, программирования и задач математического и логического рассуждения, включая сценарии с длинным контекстом. Вариант использует workload-калибровку на самостоятельно сгенерированном наборе из 622 515 токенов с кодом и рассуждениями, что, по данным автора, улучшает принятие токенов при speculative decoding и поведение на целевых задачах по сравнению с общей калибровкой. Это плотная модель размером 27B с гибридной архитектурой: 48 слоёв gated-deltanet с рекуррентным состоянием и 16 слоёв full attention с KV-кэшем. Средняя точность квантования составляет 3,5 bpw, веса занимают около 14,2 ГБ; эмбеддинги и lm_head сохранены в не-квантованном формате. Модель поддерживает нативный контекст до 262 144 токенов, а через YaRN доступно расширение до 1 048 576 токенов, однако качество за пределами 262 тысяч токенов ограничено. Это текстовая модель без vision tower; конкретный набор поддерживаемых языков в README не указан. К сильным сторонам относятся небольшое потребление видеопамяти для модели такого размера, эффективная работа с длинным контекстом, встроенная MTP-голова для speculative decoding и возможность применения FP8 или NVFP4 KV-кэша в расширенной версии exllamav3. На видеокарте с 24 ГБ памяти заявлена возможность разместить веса и полный нативный контекст при использовании NVFP4 KV-кэша. Ограничения включают зависимость от exllamav3, необходимость специализированного aarch64-порта на DGX Spark/GB10 и использование форка exllamav3 для некоторых функций KV-кэша и DFlash2. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3.8-27B-OptiQ-4bit — квантованная MLX-версия модели Qwen3.8-27B, разработанной Qwen, с оптимизацией mlx-optiq для локального запуска на компьютерах Apple Silicon. Модель поддерживает работу с текстом и изображениями и предназначена для генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и других сценариев мультимодального помощника. В режиме text-only её можно загружать через mlx-lm, а для image+text и расширенных возможностей требуется mlx-optiq. Модель использует гибридную архитектуру: три четверти из 64 блоков применяют linear attention, остальные — full attention. Квантование выполнено в смешанной точности: 237 чувствительных к потере качества слоёв представлены в 8-bit, а 261 менее чувствительный слой — в 4-bit; размер группы — 64. Vision tower сохранён в формате bf16 и поставляется отдельным файлом размером около 0,9 ГБ. Общий размер модели на диске составляет примерно 18,9–19 ГБ. Данные о размере контекстного окна и поддерживаемых языках в карточке не указаны. К сильным сторонам относятся сочетание мультимодальности, локальный запуск без облака и PyTorch, а также экономия памяти за счёт квантования при сохранении высокой производительности в тестах: 84,1% на MMLU, 96,1% на GSM8K, 92,1% на HumanEval и 93,5% на BFCL-V3 simple. Ограничения включают зависимость от экосистемы MLX и Apple Silicon для целевого сценария, необходимость mlx-optiq для обработки изображений и расширенного сервера, а также возможное снижение качества по сравнению с полноразмерной моделью из-за квантования. Лицензия — Apache-2.0.

Qwen3-Nemotron-32B-RLBFF — текстовая диалоговая модель NVIDIA на архитектуре Transformer Qwen3, дообученная на базе Qwen/Qwen3-32B для повышения качества ответов в режиме рассуждения. Она принимает многоходовый текстовый диалог и генерирует ответ на последнее сообщение пользователя; подходит для общих вопросов, анализа данных, планирования, программирования и творческих задач. В метаданных указано 29,7 млрд параметров и контекст до 40 960 токенов; README сообщает, что обучение велось на диалогах длиной до 4 тыс. токенов, хотя заявленный там максимальный вход — 128 тыс. токенов. Модель предназначена для запуска через Transformers или vLLM на GPU NVIDIA; README рекомендует один или несколько GPU с 80 ГБ памяти. В опубликованных оценках модель превосходит исходную Qwen3-32B на Arena Hard V2, WildBench и MT-Bench, однако эти результаты не гарантируют качество в конкретных сценариях. Карточка называет модель исследовательской и приводит результаты тестирования на общих диалоговых бенчмарках. Язык в метаданных — английский; лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией репозитория NVIDIA.

Ziya-LLaMA-13B-v1 — китайско-английская языковая модель семейства LLaMA, разработанная командой Fengshenbang. Это плотная авторегрессионная модель на 12,9 млрд параметров с контекстом 2048 токенов; для повышения эффективности работы с китайским текстом словарь LLaMA расширен китайскими символами. Модель обучалась в три этапа: продолженное предобучение, многозадачная настройка по инструкциям и обучение с обратной связью от людей. Модель предназначена для генерации текста и диалогов, перевода между китайским и английским, написания и анализа кода, классификации и извлечения информации, суммаризации, подготовки текстов, ответов на вопросы и математических задач. В README описаны многоходовый диалог и ролевые сценарии; репозиторий содержит веса PyTorch. Указанная лицензия — GPL-3.0, однако README отдельно предупреждает, что из-за лицензионных ограничений исходных весов LLaMA модель нельзя использовать коммерчески и требует соблюдать политику использования LLaMA.

Granite-4.1-8B-Base — базовая языковая модель IBM Granite Team, обученная с нуля. Это плотный декодерный трансформер на 8,4 млрд параметров для генерации текста и других задач преобразования текста; поддерживает дополнение кода по схеме Fill-in-the-Middle с использованием специальных префиксных и суффиксных токенов. В архитектуре используются GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. README сообщает о контекстном окне до 512 тыс. токенов после расширения на заключительном этапе обучения, тогда как метаданные указывают нативный контекст в 131 072 токена. Модель подходит для суммаризации, классификации и извлечения информации, ответов на вопросы, автодополнения кода и генерации с длинным контекстом. Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Лицензия — Apache 2.0. Модель не прошла выравнивание по безопасности и может выдавать проблемный контент, ошибочную информацию или воспроизводить фрагменты обучающих данных. Для приложений с повышенными требованиями к безопасности разработчик рекомендует использовать её вместе с Granite Guardian.

RedHatAI/Mistral-Small-24B-Instruct-2501-FP8-dynamic — текстовая instruct-модель на базе Mistral-Small-24B-Instruct-2501. Модель разработана Neural Magic и распространяется в каталоге Red Hat AI. Она принимает текст и генерирует текст, поддерживает английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Модель предназначена для диалоговых приложений, генерации и преобразования текста, работы через text-generation и text-to-text интерфейсы. Это FP8-квантованная версия с квантизацией весов и активаций линейных операторов в блоках Transformer. По сравнению с представлением в FP16 такая оптимизация примерно вдвое уменьшает размер на диске и требования к памяти GPU, что делает модель более удобной для инференса. README указывает готовность к работе с vLLM; пример развертывания допускает максимальную длину контекста 32768 токенов. Средний результат на OpenLLM Leaderboard v1 составляет 78,88 против 79,45 у неквантованной версии, поэтому основное ограничение — небольшое снижение качества после квантизации. Для запуска требуется совместимая инфраструктура инференса, например vLLM, а поддержка и производительность зависят от используемого GPU и программного окружения. Модель распространяется по лицензии Apache 2.0.

QuantFactory/Phi-3-mini-128k-instruct-GGUF — это квантизированная версия языковой модели microsoft/Phi-3-mini-128k-instruct, разработанной Microsoft. Модель содержит 3,8 млрд параметров, поддерживает контекст до 128 тысяч токенов и предназначена для генерации текста в формате инструкций. Она обучалась на синтетических и отфильтрованных общедоступных данных с акцентом на качество и рассуждения, а после базового обучения прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и соблюдения требований безопасности. Модель ориентирована на англоязычные коммерческие и исследовательские сценарии, включая работу в условиях ограниченных ресурсов и требований к задержке, а также задачи, связанные с рассуждениями, программированием, математикой, логикой и обработкой длинного контекста. К сильным сторонам относятся компактный размер, высокая производительность среди моделей с менее чем 13 млрд параметров и большой контекст. Ограничения включают поддержку английского языка в заявленных сценариях, возможные ошибки и необходимость отдельно проверять точность, безопасность, справедливость и соответствие требованиям законодательства, особенно в чувствительных и высокорисковых применениях. Модель распространяется по лицензии MIT.

Qwen2.5-72B-Instruct-GGUF — квантованная версия инструкционной языковой модели Qwen2.5-72B-Instruct, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp, поэтому модель предназначена для локального запуска в совместимых инструментах, включая LM Studio, и относится к моделям генерации текста и диалогового взаимодействия. Модель рассчитана на общение по инструкциям, генерацию и обработку текста, а также работу со структурированными данными. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Поддерживается контекст до 128 000 токенов с настройками YaRN RoPE и генерация до 8 000 токенов. В обучении использовался набор данных объёмом 18 триллионов токенов. К сильным сторонам относятся большой размер модели, широкий языковой охват, поддержка длинного контекста и улучшенная работа со структурированной информацией. Ограничения связаны с тем, что это GGUF-квантизация: конкретный уровень точности, требования к памяти и возможные компромиссы между качеством и производительностью в README не указаны. Как и другие генеративные модели, она может создавать неточную, вредную или вводящую в заблуждение информацию. Лицензия обозначена как Qwen; точные условия следует уточнять в лицензии оригинальной модели Qwen2.5-72B-Instruct.

RedHatAI/Qwen2.5-7B-Instruct-quantized.w8a8 — мультиязычная текстовая генеративная модель для диалоговых и ассистентских сценариев. Модель разработана Neural Magic на основе Qwen2.5-7B-Instruct от Alibaba Cloud и предназначена для коммерческого и исследовательского использования, включая чат на нескольких языках. Она принимает текст и генерирует текст; заявлены поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского и других языков. Модель использует архитектуру Qwen2 и содержит 7 миллиардов параметров в базовой версии. Вариант w8a8 оптимизирован квантованием весов и активаций до INT8. Для линейных операторов трансформерных блоков применяются симметричное статическое поканальное квантование весов и симметричное динамическое потокенное квантование активаций с использованием комбинации SmoothQuant и GPTQ. Это примерно на 50% снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных вычислений. Модель рассчитана на эффективное развертывание с vLLM и валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. В README приведён пример максимальной длины контекста 8192 токена, а для отдельных конфигураций указано значение 32768; точное ограничение зависит от среды развертывания. Ограничения включают возможное снижение точности из-за квантования и запрет на использование с нарушением применимого законодательства и экспортных ограничений. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B Hi-Fi (fraQtl) — это текстовая GGUF-версия модели Qwen3.8-27B, подготовленная участником сообщества fraQtl на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, включая задачи программирования, математики, общие текстовые сценарии и работу с длинным контекстом. Визуальная башня исходной модели не конвертирована, поэтому мультимодальные возможности в этой сборке отсутствуют. Модель использует квантизацию Q4_K_M с эффективностью около 4,8 бит на параметр и занимает примерно 16,5 ГБ, что ориентирует её на системы класса Snapdragon X-Elite и AI-PC, а не на смартфоны. Заявлен нативный контекст до 262 144 токенов; тестирование извлечения информации подтверждено для последовательностей длиной до 131 072 токенов. По данным README, по сравнению с эталонными сборками того же класса она обеспечивает более близкое к исходным весам поведение на задачах кода и математики, а также сопоставимые результаты на GSM8K и MATH-500. Ограничения включают возможное небольшое ухудшение качества: perplexity на Wikitext-2 выше на 0,7%, а совпадение ответов с исходной моделью в общих задачах ниже на 0,2 процентного пункта. Поддерживаемые языки отдельно не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Q4_0_ROCMFP4_STRIX_LEAN — квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная pugant в формате GGUF для llama.cpp. Это плотная гибридная модель с 48 слоями gated-delta-net и 16 слоями полного внимания, нативным контекстом до 262 тысяч токенов и поддержкой MTP для спекулятивного декодирования. В метаданных указаны английский и мультиязычный режимы, а основное назначение — генерация текста, включая программный код, структурированные ответы и задачи RAG. Модель использует квантизацию Q4_0_ROCMFP4_STRIX_LEAN с эффективной точностью около 4,34 BPW и размером примерно 13,82 ГиБ. Она оптимизирована для AMD Strix Halo с графикой RDNA 3.5 и ROCmFPX, поддерживает ROCm и Vulkan-бэкенды, а встроенный MTP-слой может заметно ускорять декодирование на предсказуемом и структурированном контенте. Наиболее высокое ускорение ожидается при генерации кода, детерминированных и структурированных данных; для обычной прозы эффект ограничен. Главное ограничение — модель несовместима со стандартной сборкой llama.cpp и требует форка ROCmFPX с пользовательскими типами тензоров. Она протестирована на Radeon 8060S в составе AMD Ryzen AI Max+ 395, поэтому работоспособность и производительность на другом оборудовании не гарантируются. Лицензия — Apache-2.0.

Qwen3-8B-GGUF — это квантизированная версия языковой модели Qwen3-8B, разработанной командой Qwen. Модель подготовлена в формате GGUF пользователем bartowski на основе llama.cpp, релиз b5200, и предназначена для генерации текста и локального использования через совместимые инструменты, включая LM Studio. Модель ориентирована на творческое письмо, ролевые сценарии, многошаговые диалоги, следование инструкциям, математику, программирование, рассуждения и агентские задачи. Она поддерживает более 100 языков и диалектов, а также режимы с рассуждением и без него; режим рассуждения можно отключить, добавив в запрос параметр /no_think. Заявлена поддержка контекста до 131 072 токенов с использованием YaRN, при этом стандартное значение составляет 32 000 токенов. Ключевое ограничение — это квантизированная сборка, поэтому фактические требования к ресурсам и качество могут зависеть от выбранного варианта квантизации и используемого программного обеспечения. Модель может генерировать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. Лицензия модели — Apache-2.0.

unsloth/Qwen3-VL-4B-Thinking-GGUF — GGUF-версия мультимодальной модели Qwen3-VL-4B-Thinking, разработанной командой Qwen и подготовленной Unsloth с исправлениями шаблона чата. Модель предназначена для обработки текста и изображений, визуального понимания и рассуждений, анализа документов, OCR, STEM- и математических задач, пространственного анализа, понимания видео, а также взаимодействия с графическими интерфейсами и инструментами. Модель имеет плотную архитектуру с 4 млрд параметров и относится к reasoning-ориентированной версии Thinking. Заявлена поддержка контекста длиной 256K токенов с возможностью расширения до 1M, а также обработки изображений, видео и текста. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных измерений, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. Сильные стороны модели — сочетание языкового и визуального понимания, мультимодальное рассуждение, работа с длинным контекстом, пространственными отношениями, видео и сложными визуальными документами. Ограничения, связанные с точностью, вычислительными требованиями и конкретными параметрами GGUF-квантизации, в README не описаны; фактические возможности зависят от используемого варианта файла и среды запуска. Модель распространяется по лицензии Apache-2.0.

Apriel-1.5-15b-Thinker-GGUF — это GGUF-квантизированная версия мультимодальной reasoning-модели Apriel-1.5-15b-Thinker, разработанной ServiceNow AI в рамках серии Apriel SLM. Модель предназначена для генерации текста, решения математических, научных и логических задач, программирования, работы с корпоративными сценариями и анализа изображений. Вариант GGUF создан с использованием llama.cpp; в процессе конвертации применялся подход с повышением точности отдельных важных слоёв для улучшения качества при заданном уровне квантизации. Модель содержит 15 млрд параметров и поддерживает текстовые и визуальные входные данные. Она обучалась на текстах, связанных с математикой, программированием, научными и логическими задачами, а также на мультимодальных данных для понимания изображений, создания подписей и работы с чередующимися изображениями и текстом. Постобучение включало текстовый SFT более чем на 2 млн высококачественных примеров; reinforcement learning не применялся. Заявлены результаты 52 балла в Artificial Analysis, 68 в Tau2 Bench Telecom и 62 в IFBench. Модель рассчитана на размещение на одной GPU и по умолчанию выполняет расширенное рассуждение, что может повышать точность, но увеличивает расход токенов и время ответа. К ограничениям относятся повышенная ресурсоёмкость вывода из-за подробного рассуждения, возможная зависимость качества от выбранного GGUF-квантизированного варианта и отсутствие image SFT и RL в процессе обучения. Лицензия модели — MIT.

MaziyarPanahi/calme-2.4-rys-78b — плотная авторегрессионная языковая модель семейства Qwen2, дообученная Maziyar Panahi на базе calme-2.1-rys-78b. Она предназначена для диалогов и генерации текста: ответов на вопросы, работы виртуальных помощников, создания и суммаризации контента, а также генерации и анализа кода и решения сложных задач. Модель насчитывает 76,7 млрд параметров, поддерживает контекст до 32 768 токенов и использует шаблон диалога ChatML. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH, но конкретных гарантий качества для отдельных сценариев нет. Модель может наследовать смещения и давать ненадёжные ответы; для применения нужны проверка результатов и человеческий контроль. Лицензия — MIT.

Dolphin-2.9-Llama3-8B-GGUF — это квантизированная версия текстовой генеративной модели Dolphin 2.9 Llama 3 8B, созданной cognitivecomputations на базе Meta-Llama-3-8B. Квантизации в формате GGUF подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалоговых ответов, следования инструкциям, генерации и анализа текста, программирования, решения математических задач, function calling и агентских сценариев. При обучении использовались наборы данных Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, UltraChat, Orca Math и другие специализированные датасеты. Модель имеет текстовую модальность и около 8 миллиардов параметров. README не содержит точных сведений о поддерживаемых языках и размере контекстного окна. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-классов размером примерно от 2,6 до 8,54 ГБ: более качественные варианты требуют больше памяти, а низкобитные позволяют запускать модель на менее производительном оборудовании с некоторой потерей качества. Для работы указан формат чата с ролями system, user и assistant. Сильными сторонами являются широкий набор инструкционных, кодовых, математических и агентских данных, поддержка локального запуска через llama.cpp и большой выбор компромиссов между качеством и требованиями к памяти. Версия устарела и помечена как deprecated из-за проблем с настройками токенизатора; рекомендуется использовать более новую переквантизированную версию dolphin-2.9-llama3-8b-GGUF. Лицензия указана как other, без подробностей об условиях использования.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-NVFP4 — мультимодальная версия GLM-5.3-Flash с архитектурой от Zhipu AI / ZAI, некорректированными в сторону отказов весами от dealignai и упаковкой NVFP4 от Solstice-AI. Модель предназначена для диалогов, рассуждений, программирования, математических задач, анализа изображений и понимания видео. Заявлена поддержка контекста до 1 048 576 токенов. Это foundation-модель общим размером 320 млрд параметров на основе MoE с 288 маршрутизируемыми экспертами и примерно 18 млрд активных параметров на токен. Используется смешанная точность W4A16: веса маршрутизируемых экспертов представлены в 4-битном формате NVFP4, а attention-слои, общие эксперты и активации сохраняются в BF16/FP16. Мультимодальный модуль включает 24-слойный ViT и проектор с размерностью 10 240; заявлена обработка изображений высокого разрешения и временных последовательностей видео. В комплект также входит DFlash 2 для speculative decoding. К сильным сторонам относятся большой контекст, нативные возможности работы с изображениями и видео, сниженные требования к памяти благодаря квантизации и потенциальное ускорение генерации с DFlash 2. Модель позиционируется для NVIDIA Blackwell, Hopper, Ada Lovelace и Ampere, включая B200, H100/H200, RTX 4090/L40S и A100. Ограничениями являются высокая общая размерность модели, зависимость производительности от совместимого ПО и GPU, а также отсутствие встроенного отказного поведения: это может быть полезно для исследовательских и специализированных сценариев, но повышает риски небезопасного применения. Приведённые в карточке результаты бенчмарков следует считать заявленными авторами модели. В карточке указана лицензия MIT; отдельно отмечены атрибуция базовой архитектуры Zhipu AI / ZAI, калибровка dealignai и упаковка Solstice-AI.

li-14b-v0.4 — языковая модель на 14 млрд параметров от wanlige, объединённая с помощью mergekit методом Model Stock. В качестве основы использована Qwen/Qwen2.5-14B-Instruct; в слияние также вошли Qwen2.5-Coder-14B, DeepSeek-R1-Distill-Qwen-14B и другие модели семейства Qwen. Модель имеет плотную архитектуру Qwen2 и доступна в формате safetensors. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, выполнение инструкций, рассуждения и задачи, связанные с кодом. Поддерживает контекст до 32 768 токенов; в карточке указаны китайский, английский, французский и немецкий языки. Для инференса используется библиотека Transformers. Лицензия — Apache-2.0. В README приведены результаты Open LLM Leaderboard, включая оценку IFEval 81,33 и MATH Level 5 55,74; они характеризуют тестирование автора и не гарантируют качество на пользовательских задачах. Модель объединяет несколько чекпойнтов, поэтому её поведение и качество могут различаться между типами задач; независимые подробные оценки в карточке не представлены.

MaziyarPanahi/Meta-Llama-3-70B-Instruct-GGUF — это набор квантованных сборок Meta-Llama-3-70B-Instruct в формате GGUF, подготовленный и опубликованный MaziyarPanahi на основе модели Meta. Исходная модель разработана Meta и предназначена для диалоговых сценариев, коммерческого и исследовательского использования на английском языке. Модель содержит около 70 млрд параметров и построена на авторегрессионной архитектуре оптимизированного Transformer с Grouped-Query Attention (GQA). Она принимает только текст и генерирует текст и код, поддерживает контекст до 8 тысяч токенов и была обучена на смеси общедоступных онлайн-данных объёмом более 15 трлн токенов. Инструкционная версия дополнительно оптимизирована с помощью supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Главное преимущество репозитория — наличие вариантов квантования от 2 до 8 бит, а также 16-битной версии, что позволяет запускать модель с различными требованиями к памяти и производительности. При этом более сильное квантование может снижать качество по сравнению с исходными весами, а запуск 70-миллиардной модели всё равно требует значительных вычислительных ресурсов. Модель ориентирована прежде всего на английский язык; использование для других языков обозначено как выходящее за предполагаемую область применения, хотя разработчикам разрешено дообучение при соблюдении условий лицензии. Распространение регулируется специальной коммерческой лицензией Meta Llama 3 и Community License, включая Acceptable Use Policy. Это статическая модель, обученная на офлайн-данных; дата выпуска семейства — 18 апреля 2024 года.

Это квантованная в NVFP4 сборка NVIDIA Nemotron-3.5-Lightning-30B-A3B, подготовленная в формате GGUF для запуска через llama.cpp. Модель разработана NVIDIA и имеет гибридную архитектуру MoE с чередованием слоёв Mamba-2 и MoE, а также отдельными слоями Attention; всего в ней 30 млрд параметров, из которых активны 3 млрд. В репозитории также есть черновая модель DFlash для спекулятивного декодирования. Модель предназначена для диалоговой генерации текста, рассуждений, ответов на вопросы и задач программирования. В README заявлена длина контекста до 1 млн токенов при нативном значении по умолчанию 256 тыс. Поддерживаются английский, испанский, французский, немецкий, итальянский и японский языки. Для коммерческого использования указана лицензия OpenMDW-1.1. Квантованная сборка может отличаться по качеству от исходной BF16-версии; показатели README приведены лишь для отдельных бенчмарков.

Phi-3-Small-8K-Instruct — компактная языковая модель Microsoft из семейства Phi-3 с плотной архитектурой и примерно 8,2 млрд параметров. Она дообучена с помощью supervised fine-tuning и direct preference optimization для следования инструкциям и диалогового взаимодействия; доступна в формате safetensors и распространяется по лицензии MIT. Модель предназначена для генерации текста в чат-системах и приложениях общего назначения, особенно в условиях ограниченных вычислительных ресурсов или требований к низкой задержке. В карточке отмечены сильные стороны в рассуждениях, математике, логике и коде. Контекст составляет до 8192 токенов; основное внимание при обучении уделено английскому языку, хотя модель помечена как многоязычная. Как и другие языковые модели, она может выдавать неверную или устаревшую информацию, предвзятые либо оскорбительные ответы. Для языков помимо английского качество может быть ниже; сгенерированный код и ответы для чувствительных областей требуют проверки. Карточка не рекомендует использовать модель в высокорисковых сценариях без дополнительных оценок и мер защиты.

unsloth/Phi-4-mini-instruct-GGUF — GGUF-версия модели Phi-4-mini-instruct от Microsoft, подготовленная Unsloth с исправлениями токенизации и шаблона чата. Исправлены совпадение токенов padding и EOS, лишний EOS-токен в шаблоне, корректно настроен токен завершения <|end|> и изменён unk_token. Модель распространяется как открытая модель семейства Phi-4. Модель предназначена для генерации текста, диалоговых сценариев и следования инструкциям, включая задачи программирования, математики, обработки естественного языка и рассуждений. Она обучалась на синтетических данных и отфильтрованных общедоступных веб-источниках, а также прошла supervised fine-tuning и direct preference optimization для повышения точности следования инструкциям и безопасности. Поддерживается контекст длиной до 128K токенов и многоязычное использование. Ключевые сведения об архитектуре и точном размере модели в README не указаны. GGUF и динамическая квантизация Unsloth ориентированы на более эффективное локальное использование при сохранении качества по сравнению со стандартной 4-битной квантизацией, однако конкретный уровень квантизации и требования к ресурсам зависят от выбранного файла. Модель ограничена возможными ошибками генерации и не гарантирует абсолютную безопасность или корректность ответов. Указана лицензия MIT.

Quartz-R1-8B-Genesis — русско- и англоязычная диалоговая языковая модель, разработанная Vaultek на основе YandexGPT-5-Lite-8B-pretrain. Это плотная модель семейства Llama с 7,5 млрд параметров и контекстом до 32 768 токенов, предназначенная для генерации текста, рассуждений, решения математических задач и помощи с программированием. В карточке заявлены дообучение SFT и LoRA, формат ChatML и использование наборов данных для кода, математики, диалогов и русского текста. Разработчик заявляет о децензурировании и дополнительной обработке весов методом Genesis Tensor Denoising, а также приводит результаты собственных тестов. Эти заявления и показатели представлены в карточке модели и не подтверждены независимой оценкой. Веса доступны в формате safetensors; модель распространяется по лицензии YandexGPT-5-Lite-8B.

DreamFast/Qwen-2.5-7b-apostate — разговорная языковая модель на базе Qwen2.5-7B-Instruct, изменённая сообществом с помощью Apostate. Веса представлены в формате safetensors с точностью bfloat16; модель содержит около 7,1 млрд параметров и использует плотную архитектуру Qwen2. Контекстная длина этой версии — 32 768 токенов. Модель предназначена для диалогов и генерации текста, в том числе ответов на инструкции, кода и структурированных данных. Её ключевое отличие — ослабленное поведение отказа: по описанию авторов, направление отказа удалено ортогональной проекцией в большинстве слоёв. README сообщает о высокой доле выполнения запросов из HarmBench и сохранении результатов на ряде тестов базовой модели; эти показатели получены в оценке авторов и не гарантируют такое же поведение в других сценариях. Поддерживаются английский и, согласно описанию семейства Qwen2.5, многоязычные сценарии, включая русский. Модель распространяется по лицензии Apache-2.0. Она может выдавать ответы на вредоносные запросы, поэтому требует контроля применения и выходных данных.

ulkaa/Qwen3.8-27B-AWQ-INT4 — это квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем ulkaa. Модель предназначена для генерации и понимания текста, работы с изображениями и задач с большим контекстом. Она использует архитектуру Qwen3_5ForConditionalGeneration, поддерживает сохранённую vision tower в формате BF16 и рассчитана на применение через Transformers и SGLang, в частности на GPU Intel Arc Pro. Модель сжимает веса методом AWQ в формате compressed-tensors pack-quantized по схеме W4A16 с асимметричной квантизацией и размером группы 128. Размер артефакта составляет 18,2 GiB против 55,6 GiB у исходной BF16-версии. Большая часть параметров хранится в четырёхбитном виде, а vision tower, MTP head, embeddings, lm_head, нормализации и отдельные малые компоненты сохраняются в BF16. Основная конфигурация поддерживает контекст до 262 144 токенов; ревизия 1m с YaRN расширяет его до 1 048 576 токенов. К сильным сторонам относятся существенно сниженные требования к памяти, поддержка мультимодальных сценариев, длинного контекста и спекулятивного декодирования через встроенный MTP head либо внешнюю модель Qwen3.8-27B-DFlash2. К ограничениям относятся ожидаемое расхождение результатов с BF16-версией, необходимость проверки качества на собственных данных и зависимость оптимизированного сценария обслуживания от SGLang, Intel XPU и соответствующей конфигурации. Для DFlash2 не поддерживаются запросы с возвратом logprob. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GSQ-RCO-GGUF — квантизированная версия Qwen3.8-27B, разработанная с использованием методов GSQ и RCO в Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель распространяется в формате GGUF и предназначена для локального запуска в llama.cpp, Ollama и LM Studio. Модель рассчитана на текстовые и мультимодальные сценарии благодаря отдельному vision encoder и проектору mmproj в формате BF16. Доступны варианты с эффективной средней разрядностью от 2,50 до 3,50 бит на вес и размером от 8,4 до 11,8 ГБ; файл mmproj занимает около 0,9 ГБ. Вариант IQ3_S позиционируется как рекомендуемый и практически не уступающий базовой модели на заявленных тестах AIME25, LiveCodeBench v6 и GPQA-Diamond. Дополнительные сборки с MTP head поддерживают speculative decoding и примерно на 0,35 ГБ больше. GSQ выполняет посттренировочную скалярную квантизацию с учетом чувствительности отдельных координат и масштабов групп, а RCO распределяет типы квантизации между тензорами в рамках заданного бюджета размера. Это позволяет существенно уменьшить объем модели при сохранении качества, однако низкоразрядные варианты могут иметь компромиссы по точности и требуют совместимого программного обеспечения. Лицензия — Apache 2.0.

Yi-1.5-34B — базовая языковая модель компании 01.AI, построенная на плотной архитектуре семейства Llama. В репозитории представлена версия примерно на 33,9 млрд параметров в формате Safetensors; метаданные указывают контекст 4096 токенов. Модель создана на основе Yi: семейство Yi-1.5 прошло дополнительное предобучение на высококачественном корпусе объёмом 500 млрд токенов и дообучение на 3 млн разнообразных примеров. Модель предназначена для генерации текста, понимания инструкций, рассуждений, чтения и ответов на вопросы, а также задач по математике и программированию. Разработчик отмечает улучшения относительно Yi в программировании, математике, рассуждениях и следовании инструкциям. В README перечислены также варианты Yi-1.5 с контекстом 16K и 32K, но метаданные этого репозитория указывают 4096 токенов. Модель распространяется по лицензии Apache-2.0. Это базовая версия, а не одна из перечисленных в README чат-версий; заявленные сильные стороны и результаты бенчмарков относятся к семейству, а не гарантируют качество на конкретных задачах. В карточке нет сведений о специальных ограничениях применения.

Cohere Labs Command R7B Arabic — авторегрессионная языковая модель Cohere и Cohere Labs примерно с 8 млрд параметров: 7 млрд параметров трансформера и 1 млрд параметров эмбеддингов. Она оптимизирована для современного литературного арабского языка (MSA) и английского, а контекст составляет до 128 000 токенов. Архитектура использует чередование слоёв с локальным скользящим вниманием и слоя глобального внимания; после предварительного обучения модель прошла дообучение на инструкциях и обучение предпочтениям. Модель предназначена для диалогов, следования инструкциям и генерации ответов в сценариях RAG. При подаче фрагментов документов она может формировать ответы с внутритекстовыми ссылками на источники. Также подходит для извлечения информации, суммаризации, перевода и классификации; режим работы задаётся шаблоном промпта. README отмечает хорошие результаты на арабских тестах понимания языка, следования инструкциям и RAG. Весам доступна лицензия CC-BY-NC-4.0; также требуется соблюдать политику допустимого использования Cohere Labs. Модель принимает и выдаёт только текст. Хотя она оптимизирована прежде всего для арабского и английского, в обучающих данных присутствовали и другие языки; уровень её работы на них не гарантирован.