I.14Автоматизация процессов и AI-агенты

MLX-версия модели Qwen3-14B, разработанной командой Qwen и преобразованной сообществом mlx-community из исходной модели Qwen/Qwen3-14B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и может применяться в сценариях диалогового взаимодействия и других задачах, требующих текстовой генерации, включая локальный запуск через библиотеку MLX. Модель имеет размер 14 миллиардов параметров и представлена в 8-битном формате квантования. Она работает с текстовой модальностью; поддержка конкретных языков и размер контекстного окна в предоставленных данных не указаны. Для использования предусмотрена библиотека mlx-lm и чат-шаблон токенизатора, если он доступен. К сильным сторонам относятся адаптация к экосистеме MLX и уменьшенный объём хранения и требования к памяти благодаря 8-битному представлению. Ограничения включают зависимость от MLX и отсутствие в README подробных данных о результатах оценки, языковых возможностях и контексте. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Qwen3-14B-GGUF — это набор файлов модели в формате GGUF для Qwen3-14B. Исходную модель разработала команда Qwen, а конвертацию и публикацию квантованных вариантов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты и библиотеки. В репозитории представлены варианты с квантованием от 2 до 8 бит, что позволяет выбирать компромисс между качеством, размером файлов и требованиями к памяти. Формат GGUF поддерживается, в частности, llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, candle и другими решениями. Это делает модель подходящей для локальных чат-интерфейсов, серверов генерации текста и приложений с OpenAI-совместимым API. README не содержит подробных сведений об архитектуре, поддерживаемых языках, размере контекста, модальностях, результатах оценки или сравнении качества вариантов квантования. Поэтому сильные стороны модели можно связывать с разнообразием уровней квантования и широкой поддержкой локальных инструментов, однако возможное снижение качества на более компактных вариантах следует учитывать. Лицензия в представленном README не указана; условия использования исходной Qwen3-14B и опубликованных квантованных файлов необходимо проверять отдельно.

k1nto/Qwen3-14B-Q5_K_M-GGUF — это квантизированная версия базовой модели Qwen/Qwen3-14B, преобразованная пользователем k1nto в формат GGUF с использованием llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для генерации текста и запуска локального вывода через llama.cpp, включая режим командной строки и серверный режим. Известно, что модель содержит около 14 миллиардов параметров и использует квантизацию Q5_K_M, которая уменьшает требования к памяти по сравнению с полноразмерной версией, сохраняя значительную часть качества. Поддерживаются сценарии диалога, дополнения текста и другие задачи генерации, совместимые с базовой моделью Qwen3-14B. Точные архитектурные особенности, список языков и размер контекстного окна в представленном README не указаны. Преимуществами являются компактный GGUF-формат, совместимость с llama.cpp и возможность локального запуска на подходящем CPU или GPU. Ограничения включают потенциальную потерю качества из-за квантизации, зависимость от настроек и аппаратных ресурсов, а также отсутствие в README подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-235B-A22B-8bit — языковая модель для генерации текста, разработанная на основе Qwen/Qwen3-235B-A22B и конвертированная сообществом mlx-community в формат MLX. Модель предназначена для запуска и генерации ответов в экосистеме MLX с использованием библиотеки mlx-lm, включая диалоговые сценарии через chat template. Из README известно, что модель имеет 8-битное представление и относится к семейству Qwen3-235B-A22B. Архитектура, точное число параметров, поддерживаемые языки, модальности и максимальная длина контекста в предоставленных данных не указаны. Для работы требуется библиотека mlx-lm; формат MLX ориентирован на совместимое с этой экосистемой выполнение. Модель распространяется по лицензии Apache-2.0. README не содержит сведений о результатах тестирования, сильных сторонах и ограничениях качества, поэтому их оценка по имеющимся данным невозможна.

jedisct1/Qwen3.6-35B-A3B-q3-mlx — это конвертированная в формат MLX версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для генерации текста и запуска локальных сценариев вывода с использованием библиотеки mlx-lm, включая диалоговое взаимодействие через chat template. Модель доступна для использования на платформах и в средах, поддерживающих MLX. В README указано обозначение 35B-A3B, однако подробности об архитектуре, количестве активируемых параметров, модальностях, поддерживаемых языках и размере контекста не приведены. Для загрузки и генерации требуется mlx-lm версии 0.31.2 или совместимая версия; предусмотрена работа с токенизатором и шаблоном чата, если он задан. Сильной стороной модели является адаптация к экосистеме MLX, что упрощает её локальный запуск в соответствующих средах. Ограничения и требования к аппаратному обеспечению, а также результаты тестирования производительности в README не указаны. Лицензия — Apache-2.0.

esatapedico публикует набор из девяти вариантов Qwen3.8-27B в формате GGUF, сконвертированных из unsloth/Qwen3.8-27B-NVFP4. Это плотная мультимодальная модель с обработкой изображений и видео, гибридной архитектурой Gated DeltaNet и Gated Attention, 27 млрд параметров и нативным контекстом до 262 144 токенов. В каждый файл встроена голова MTP для спекулятивного декодирования, поэтому отдельная модель-черновик не нужна. Варианты образуют лестницу по размеру и точности дополнительных весов: от компактных уровней с NVFP4-квантизацией до вариантов с головами в Q8_0 или BF16. Для обработки изображений и видео README рекомендует подключать проектор mmproj-BF16.gguf из репозитория. Модель предназначена для генерации текста и мультимодального диалога; автор приводит лишь предварительные наблюдения на одном запуске, а не результаты полноценного бенчмарка. Репозиторий рассчитан на использование с llama.cpp и аппаратурой NVIDIA Blackwell; доступность и скорость зависят от выбранного файла, видеопамяти и длины KV-кэша. Указана лицензия Apache-2.0.

Qwen3.8-27B-nvfp4qat-NInfer — квантизированная версия модели Qwen3.8-27B, подготовленная cometkim для выполнения в runtime NInfer v3. В состав артефакта также встроен модуль-черновик DFlash2 от z-lab для speculative decoding. Модель предназначена для генерации текста, диалоговых сценариев и мультимодальных задач с обработкой текста и изображений через компоненты Text и Vision. Модель содержит около 27 млрд параметров в основном Text-компоненте и использует профиль весов NVFP4 W4A4, полученный с применением quantization-aware training из QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4. В артефакте также присутствуют MTP, Vision, оптимизированная draft head и NVFP4-версия DFlash2 размером около 2 млрд параметров. Для DFlash2 заявлены пять слоёв, скользящее окно 2048, selector rank 256 и top-16. Размер файла составляет около 17,35 GiB. Языки и максимальная длина контекста в карточке не указаны. Сильными сторонами являются существенное уменьшение размера весов за счёт NVFP4, отсутствие необходимости в отдельном файле для DFlash2 и поддержка ускоренного декодирования в NInfer. В приведённых оценках модель получила accuracy 89,22 на GPQA-Diamond, 91,11 на AIME 2026 и 66,30 на LongBench v2, однако эффективность встроенного DFlash2 ниже, чем у профиля nvfp4full: 2,50 токена за раунд и 21,4% принятия против 5,50 и 64,3% соответственно на указанном тесте. Модель не является checkpoint для Transformers, Safetensors или GGUF и требует NInfer v3; карточка также не указывает совместимость с другими средами. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-NVFP4 — это производная NVFP4-квантованная версия модели DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU, размещённая пользователем или организацией esatapedico. Базовая модель, в свою очередь, создана на основе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и запуска через Transformers; заявленная лицензия — Apache 2.0. Модель содержит 64 слоя и использует гибридную архитектуру с GatedDeltaNet, 16 слоями полноценного attention и MTP head для speculative decoding. Контекст составляет 262144 токена. Указана поддержка английского и многоязычного ввода, однако конкретный перечень языков не приведён. Веса линейных слоёв сжаты в формате compressed-tensors NVFP4 по схеме W4A16 с группами размера 16 и масштабами FP8 E4M3; vision tower, linear attention path, lm_head, embeddings и MTP head сохранены в BF16. Калибровочные данные не использовались. Ключевое преимущество — существенное уменьшение размера весов при сохранении отдельных чувствительных компонентов в BF16; файл checkpoint занимает около 26 ГБ. Модель рассчитана на совместимое аппаратное и программное окружение, поддерживающее формат NVFP4 и compressed-tensors, а тег blackwell указывает на ориентированность сборки на соответствующие ускорители. README не содержит результатов бенчмарков, подробных сведений о качестве, системных требованиях или подтверждениях совместимости с конкретными версиями библиотек, поэтому фактические характеристики производительности требуют отдельной проверки.

Qwen-3.8-27B-Uncensored-mlx-mixed_3_6 — мультимодальная модель для работы с текстом и изображениями, созданная на основе junafinity/Qwen-3.8-27B-Uncensored и преобразованная пользователем tejones36 в формат MLX с помощью mlx-vlm. Модель предназначена для локального запуска на компьютерах Apple Silicon, генерации текста, анализа изображений, технических объяснений и интеграции через CLI, Python API или локальный OpenAI-совместимый сервер. Модель содержит 27 миллиардов параметров и использует смешанное 3/6-битное квантование с размером группы 64: критические слои внимания и проекций хранятся в 6-битном формате, а MLP-слои — в 3-битном. Средняя точность составляет около 3,6 бита на вес, что снижает требования к памяти и пропускной способности; заявлена возможность запуска на Apple Silicon с 18–24 ГБ и более unified memory. Формат хранения — MLX Safetensors. Поддерживаются текстовая и визуальная модальности, однако сведения о языках и размере контекстного окна в README не указаны. К сильным сторонам относятся локальная работа на совместимом оборудовании, заметное сокращение потребления памяти по сравнению с полноразмерными весами и сохранение повышенной точности в наиболее важных слоях. Ограничениями являются зависимость от экосистемы MLX и Apple Silicon, возможное снижение качества из-за агрессивного квантования, а также отсутствие подробных данных о результатах тестирования, языковой поддержке и контекстном окне. Модель обозначена как uncensored, поэтому встроенные ограничения безопасности могут быть ослаблены. Указана лицензия Apache-2.0.

DavidrPatton/Qwen3.8-27B-Uncensored-UD3-GGUF — это квантизированная GGUF-версия 27-миллиардной языковой модели Qwen3.8-27B-Uncensored, основанной на Qwen3.8-27B и адаптированной JonathanColetti. Сборка использует метод Unsloth Dynamic 3.0 (UD3) с динамическим распределением точности по слоям и предназначена для запуска через llama.cpp. Модель поддерживает текстовую генерацию и диалоговые сценарии, а заявленные языки — английский и китайский. Основное назначение модели — локальные задачи генерации текста, общения и рассуждений, включая работу с контекстом размером до 128K токенов. Сборка оптимизирована для потребительских GPU с 16 ГБ VRAM, Apple Silicon Mac и Linux-систем. Размер файла составляет около 12,1 ГБ; заявленное потребление памяти с 128K контекстом — примерно 14,2 ГБ. Для ускорения генерации предусмотрена Multi-Token Prediction (MTP) draft head в формате Q8_0, проверенная для слоя 64. Ключевая особенность — смешанная точность: критические эмбеддинги, выходные логиты и MTP-компоненты используют Q8_0 или F32, важные проекции внимания — Q4_K, отдельные матрицы внимания — Q3_K, а основные FFN/MLP-блоки — IQ2_M. Такой подход обеспечивает более высокое качество рассуждений по сравнению с обычной равномерной двухбитной квантизацией при меньшем размере, хотя качество и точность всё равно зависят от потерь квантизации. Модель позиционируется как uncensored, однако README не приводит подробного описания ограничений безопасности или результатов независимого тестирования. Лицензия — Apache-2.0.

xactobear/qwen38-xactobear-gguf — это набор GGUF-квантизаций мульт этапной дообученной модели на базе Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU, разработанной DavidAU. Репозиторий содержит обычные и MTP-варианты квантов Neo-CODER MAX DI-MATRIX, включая версии с точностью 4 и 8 бит. В README также указано использование Unsloth, методов COLD FUSION и Fable Fusion 711, направленных на повышение качества рассуждений, сокращение объёма thinking-токенов и ускорение генерации. Заявлены поддерживаемые языки English и Chinese; размер контекстного окна и точные параметры архитектуры не указаны. Модель предназначена для широкого круга сценариев: решения задач и рассуждений, программирования, творческого письма, создания художественных текстов и ролевого взаимодействия. По заявлению автора, она ориентирована на генерацию подробных ответов при меньшем количестве токенов рассуждений по сравнению с базовой моделью и рассчитана на запуск на потребительском оборудовании. README приводит высокие результаты на ARC-C и ARC-E, однако эти показатели представлены самим автором и не сопровождаются полной методикой независимой проверки. К ограничениям относятся отсутствие подробной информации о размере контекстного окна, поддерживаемых модальностях, системных требованиях, формате MTP-режима и результатах независимого тестирования. В описании также используется характеристика uncensored, поэтому поведение модели в отношении нежелательного или чувствительного контента может отличаться от стандартных моделей. Репозиторий распространяется по лицензии Apache-2.0.

Qwen-Qwen3.8-27B-MTPLX — модель генерации текста, созданная на основе Qwen/Qwen3.8-27B и адаптированная для Apple Silicon с использованием MLX. Модель разработана в формате MTPLX командой или проектом MTPLX Forge и предназначена для локального запуска на устройствах Apple Silicon. Модель использует подход multi-token prediction, позволяющий предсказывать несколько токенов за один шаг и ускорять генерацию по сравнению с авторегрессионным базовым режимом. Указан размер базовой модели 27B параметров. Модель поддерживает текстовый ввод и вывод; сведения о языках, размере контекста и дополнительных модальностях в README не приведены. По данным верификации, лучший режим имеет глубину D3, а ускорение относительно авторегрессионной базовой модели составляет 2,24 раза. Проверка проводилась на Apple M4 Pro с параметрами семплирования temperature 0,6, top_p 0,95 и top_k 20. Ограничения включают зависимость от экосистемы MLX и целевых устройств Apple Silicon, а также отсутствие подробных данных о качестве на бенчмарках и совместимости с другими платформами. Условия лицензирования в README не раскрыты: предлагается обратиться к файлу LICENSE.

Salamandra-2B — базовая авторегрессионная языковая модель семейства Salamandra, разработанная командой проекта Salamandra и обученная с нуля. Это плотная decoder-only модель на архитектуре Llama с примерно 2,25 млрд параметров по карточке модели и контекстом до 8192 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache 2.0, допускающая коммерческое использование. Модель предназначена для генерации текста на европейских языках и коде, а также для дальнейшего дообучения под конкретные задачи. Она предварительно обучена на 12,875 трлн токенов тщательно отобранных данных из 35 европейских языков и кода. Её можно применять для продолжения текста, черновой генерации и многоязычных сценариев; это базовая версия, а не вариант, настроенный как диалоговый помощник. В опубликованных оценках отмечены общественные и когнитивные смещения: модель может предпочитать ранние варианты ответа в списках и зависеть от формулировки подсказки. Данные обучения преимущественно отражают стандартные языковые варианты, поэтому качество для диалектов и малоресурсных языков может быть ниже. Перед применением в продуктивных системах необходимы проверка качества и адаптация к целевому сценарию.

SciPhi-Mistral-7B-32k-Mistral-7B-Instruct-v0.1 — объединённая модель Maziyar Panahi на архитектуре Mistral с 7,1 млрд параметров. Она создана методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и SciPhi/SciPhi-Mistral-7B-32k и предназначена для генерации текста и ответов в диалоге по инструкциям. Модель принимает текстовые запросы и поддерживает контекст длиной до 32 768 токенов, что позволяет вести длинные диалоги и работать с объёмными текстовыми фрагментами. Она распространяется в формате safetensors по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или специальных ограничений применения.

Swift-Qwen3.8-27B-NVFP4-GGUF — это GGUF-версия модели Swift-Qwen3.8-27B-NVFP4, подготовленная для запуска в llama.cpp. Модель разработана UkisAI на основе Qwen3.8-27B от команды Qwen; Swift-Qwen3.8-27B представляет собой дообученную модель с эффективным рассуждением. Данный файл переносит калиброванные веса NVFP4 в формат GGUF без повторного квантования весов NVFP4. Модель предназначена для генерации текста и работы с изображениями при использовании отдельного мультимодального проектора. Она поддерживает контекст до 262 144 токенов, включает голову MTP для speculative decoding и рассчитана прежде всего на NVIDIA Blackwell, где NVFP4 выполняется нативно. Архитектура сочетает NVFP4-квантованные MLP-слои и часть attention-слоёв с компонентами Q8_0 и F32; размер опубликованного файла составляет 19,72 ГБ. Доступны режимы reasoning_effort xhigh, medium и low. Сильная сторона модели — сохранение исходных NVFP4-весов и возможность эффективного запуска через llama.cpp с поддержкой MTP. Для других GPU требуется сборка llama.cpp с fallback-поддержкой NVFP4, а для vision-сценариев необходим отдельный mmproj-файл. Качество именно этого GGUF-файла ещё не измерялось; заявленные результаты относятся к исходному NVFP4-чекпойнту. Модель распространяется по лицензии Swift Open License v1.0: коммерческое использование разрешено физическим и юридическим лицам с годовой регулярной выручкой до 1 млн долларов США; при превышении лимита требуется Swift Enterprise License от UkisAI.

lunahr/SystemGemma2-27b-it — диалоговая языковая модель, дообученная на основе Google Gemma 2 27B IT. Это плотная авторегрессионная модель-декодер с 27,6 млрд параметров, предназначенная для генерации текста по инструкциям и общения в формате чата. Она принимает текст и может использоваться для ответов на вопросы, суммаризации, рассуждений, написания черновиков и создания чат-ботов. В карточке указана поддержка английского языка; контекст модели составляет до 32 768 токенов. Модель подходит для диалоговых интерфейсов, помощи в работе с текстами и исследовательских экспериментов. Как и другие языковые модели, она может выдавать фактически неверные ответы, испытывать трудности с неоднозначностью и сложными задачами, а также воспроизводить смещения из обучающих данных. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — Gemma; применение регулируется условиями лицензии и политикой допустимого использования Gemma.

tempesthenno-nuslerp-0124 — слитая с помощью mergekit по методу NuSLERP языковая модель, созданная sthenno. В README указаны два компонента с именами tempesthenno--converge-breadcrumbs и tempesthenno--converge-dtask; метаданные также связывают модель с несколькими базовыми моделями Qwen2. Модель имеет плотную архитектуру Qwen2ForCausalLM и 14 млрд параметров, распространяется в формате safetensors и лицензирована по Apache-2.0. Модель предназначена для генерации текста и диалогового взаимодействия. Она принимает текст и выдаёт текст; заявленный контекст составляет 131 072 токена. В метаданных указаны английский и китайский языки. README приводит результаты оценок IFEval и BBH, но без подробностей об условиях тестирования и без оснований делать выводы о превосходстве в конкретных сценариях.

toffee-3b-beta-i1-GGUF — это набор квантизированных GGUF-версий языковой модели toffee-3b-beta, разработанной zait-ai и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста, диалогов и выполнения инструкций, включая задачи программирования и математического рассуждения. Обучение проводилось с использованием наборов данных HuggingFaceH4/ultrachat_200k, nvidia/OpenMathInstruct-2 и m-a-p/CodeFeedback-Filtered-Instruction. Модель относится к семейству Mistral/Ministral и имеет размер около 3 миллиардов параметров. Заявлен английский язык; поддержка других языков, мультимодальность и размер контекстного окна в README не указаны. Репозиторий содержит варианты квантования от IQ1_S до Q6_K с размером файлов примерно от 1,2 до 3,3 ГБ. Более лёгкие варианты требуют меньше памяти, но могут заметно уступать по качеству; среди доступных вариантов Q4_K_M отмечен как быстрый и рекомендуемый, а Q4_K_S — как удачный компромисс размера, скорости и качества. Сильными сторонами модели являются компактный размер, возможность локального запуска в формате GGUF и специализация на чатах, инструкциях, математике и коде. Ограничения включают снижение качества при низких уровнях квантования и отсутствие в предоставленных данных подробных характеристик архитектуры, контекстного окна, производительности и результатов сравнительных тестов. Модель распространяется по лицензии MIT.

Upstage-Llama-2-70B-instruct-v2-GGUF — это квантизированная версия большой языковой модели Llama 2 70B Instruct v2, разработанной Upstage и преобразованной в формат GGUF компанией TheBloke. Модель предназначена для генерации текста и выполнения инструкций в диалоговом формате, включая локальный запуск через llama.cpp и совместимые графические интерфейсы и библиотеки. Модель основана на архитектуре Llama и содержит около 70 миллиардов параметров. Указан английский язык; поддержка других языков, размер контекстного окна и мультимодальные возможности в README не описаны. Доступны варианты GGUF с 2-, 3-, 4-, 5-, 6- и 8-битным квантованием для инференса на CPU и GPU. Формат GGUF поддерживает метаданные и специальные токены, а модель совместима с llama.cpp и рядом сторонних инструментов. Сильными сторонами являются выполнение инструкций, широкий выбор уровней квантования и возможность локального использования с GPU-ускорением. К ограничениям относятся высокие требования к ресурсам для 70-миллиардной модели, возможная потеря качества при агрессивном квантовании и отсутствие в README подробных данных о качестве, тестах и контекстном окне. Лицензия указана как llama2; условия её применения следует проверять по лицензии исходной модели.

Модель comodoro/wav2vec2-xls-r-300m-cs-250 — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания чешской речи. Она основана на архитектуре Wav2Vec2 с выходной CTC-головой и содержит 402,7 млн параметров. Для распознавания принимает аудио с частотой дискретизации 16 кГц и выдаёт текст на чешском языке. Модель дообучена на Common Voice 8.0 и чешских наборах OVM, встречах парламента Чехии и Vystadial 2016. В карточке приведены результаты на тестовой выборке Common Voice: WER 0,1475 и CER 0,0329; с языковой моделью указаны WER 0,0727 и CER 0,0212. Подходит для транскрибации чешских записей, включая диктовку, интервью и разговорную речь. Модель распространяется в форматах PyTorch и safetensors по лицензии Apache-2.0. Результаты зависят от качества записи и близости речи к обучающим данным; для работы требуется аудиовход, записанный или приведённый к 16 кГц.

WeMM-Embedding-2B-GGUF — неофициальная GGUF-квантизированная версия модели WeMM-Embedding-2B, разработанной Tencent и подготовленной ewinregirgojr. Это модель эмбеддингов и извлечения признаков, предназначенная для семантического представления кода и текста в виде плотных L2-нормализованных векторов размерностью 2048. Поддерживаются английский, китайский, другие многоязычные сценарии, а также языки программирования, включая Python, TypeScript, JavaScript, C++, Rust, Go, SQL и Shell. Модель использует гибридную архитектуру из 18 слоёв Mamba SSM с линейным вниманием и 6 слоёв полного softmax-внимания и содержит около 2 млрд параметров. Она ориентирована на поиск и извлечение кода, RAG-системы, индексацию векторных баз данных, поиск дубликатов и выявление близких реализаций. GGUF-файлы совместимы с llama.cpp, Ollama и LM Studio; заявлена также интеграция с Unsloth, vLLM и sentence-transformers. В репозитории представлены варианты квантизации от Q4 до Q8, позволяющие выбирать между размером, скоростью и точностью; для некоторых вариантов заявлено сохранение косинусного сходства на уровне примерно 99,59–99,82% относительно FP16-базовой версии. Сильными сторонами являются высокая пропускная способность, компактность квантизированных вариантов и специализация на поиске по коду и техническим данным. Модель не предназначена для авторегрессионной генерации текста, дополнений или чат-ответов. В описании упоминается мультимодальная поддержка базовой модели, включая текст, изображения и видео, однако подробные характеристики этих модальностей для данного GGUF-релиза не приведены; размер контекста также не указан. Лицензия — Apache-2.0.

yam-jom-7B — объединённая языковая модель, созданная с помощью LazyMergekit из eren23/ogno-monarch-jaskier-merge-7b-OH-PREF-DPO-v2 и yam-peleg/Experiment26-7B. В конфигурации указаны метод task_arithmetic, веса 0,35 и 0,65 и формат bfloat16; архитектура — плотная MistralForCausalLM с 7,1 млрд параметров. Модель предназначена для генерации текста. В карточке приведены результаты Open LLM Leaderboard, включая оценки по AI2 Reasoning Challenge и HellaSwag. Контекстное окно составляет 32 768 токенов. Репозиторий содержит веса safetensors, лицензия — Apache-2.0.

YamshadowInex12_NeuralsirkrishnaM7 — слитая текстовая модель семейства Mistral, созданная на основе automerger/YamshadowInex12-7B и automerger/NeuralsirkrishnaM7-7B. Она предназначена для генерации текста и поддерживает контекст до 32 768 токенов. Модель содержит 7,1 млрд параметров и распространяется в формате Safetensors по лицензии Apache-2.0.

YamshadowInex12_T3qExperiment26 — объединённая модель генерации текста, созданная из automerger/YamshadowInex12-7B и automerger/T3qExperiment26-7B. Она предназначена для сценариев, где требуется генерировать текст на основе текстового запроса. Модель использует плотную архитектуру Mistral и содержит 7,1 млрд параметров. Контекстное окно — до 32 768 токенов; веса опубликованы в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Yi-1.5-9B-Chat-abliterated — диалоговая языковая модель на 8,6 млрд параметров, созданная на основе 01-ai/Yi-1.5-9B-Chat. Автор сообщает, что модель получена методом «abliteration»; подробности приведены в ноутбуке, на который ссылается карточка. Модель использует плотную архитектуру семейства Llama и библиотеку Transformers. Модель предназначена для генерации текста в диалоге и ответов на запросы. Базовая Yi-1.5-9B-Chat рассчитана на следование инструкциям, рассуждения, математику и программирование; эти возможности унаследованы от основы, но карточка не приводит отдельной оценки их качества после преобразования. Контекст — до 4096 токенов. Указаны китайский и английский языки. Лицензия — Apache-2.0.

Agnes-SeaLLM-8B — дообученная авторами Agnes-AI плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров. Она предназначена для диалогов и следования инструкциям, а также для математических рассуждений и перевода с особым вниманием к языкам и культурному контексту Юго-Восточной Азии. Модель принимает текст и генерирует текст; заявлена поддержка английского, вьетнамского, индонезийского, тайского и китайского языков. Контекст — до 40 960 токенов. В README заявлены высокая эффективность при ограниченных ресурсах, сильные результаты на экзаменационных тестах и меры по снижению галлюцинаций, однако приведённые таблицы результатов опущены. Для запуска README рекомендует как минимум две GPU с 24 ГБ VRAM каждая и 64 ГБ оперативной памяти. Распространяется по лицензии Apache-2.0.

bartowski/allura-org_Qwen3.6-35B-A3B-Anko-GGUF — это GGUF-квантизированная версия текстовой генеративной модели Qwen3.6-35B-A3B-Anko, разработанной allura-org. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может использоваться локально в llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и других совместимых инструментах. В репозитории доступны варианты от BF16 до низкобитных форматов Q8_0, Q6, Q5, Q4, Q3 и IQ. Размер файлов варьируется примерно от 16,2 до 69,4 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Заявлены английский и китайский языки. В README не указаны размер контекста, точная архитектура, дополнительные модальности или результаты бенчмарков, поэтому эти характеристики нельзя достоверно оценить по предоставленным данным. Сильной стороной модели является широкий выбор квантизаций, включая варианты, ориентированные на высокое качество или экономию памяти, а также совместимость с популярными средствами локального запуска. Ограничения связаны с потерями качества, возможными при использовании низкобитных вариантов, значительными требованиями к диску и оперативной или видеопамяти, а также с необходимостью поддержки этой модели конкретным программным обеспечением. Модель распространяется по лицензии Apache-2.0.

Trinity-Large-Preview-GGUF — это квантизированная версия языковой модели Trinity-Large-Preview, разработанной arcee-ai. Квантизацию в формате GGUF выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель поддерживает английский, испанский, французский, немецкий, итальянский, португальский, русский, арабский, хинди, корейский и китайский языки. Она рассчитана на сценарии текстовой генерации, включая диалоговое взаимодействие и выполнение инструкций в соответствии с указанным шаблоном prompt format. Данные о точной архитектуре, количестве параметров, модальностях и размере контекста в README не приведены; по описанию это текстовая, а не мультимодальная модель. Доступно множество вариантов квантизации от Q8_0 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством и требованиями к оперативной памяти. Наиболее качественными и рекомендуемыми указаны варианты Q6_K, Q5_K и Q4_K, тогда как низкоразрядные варианты экономят память, но снижают качество. Размеры файлов составляют примерно от 162 до 424 ГБ, поэтому модель требует значительных аппаратных ресурсов. Лицензия — Apache-2.0.

Athena-codegemma-2-9b-v1-GGUF — это набор квантованных версий языковой модели Athena-codegemma-2-9b-v1, разработанной EpistemeAI. Квантование выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, включая сценарии локального запуска через совместимые приложения, например LM Studio. Модель относится к семейству codegemma2 и имеет размер около 9 миллиардов параметров. Она работает с текстом и, согласно карточке, ориентирована на английский язык. Доступны варианты от F16 до низкобитных Q2 и IQ2, различающиеся размером файлов, требованиями к памяти и качеством: версии Q5–Q6 отмечены как высококачественные, а Q3 и ниже экономят память ценой заметного снижения качества. Максимальная длина контекста и точный формат промпта в карточке не указаны. Преимущество набора — широкий выбор квантований для подбора баланса между качеством и ресурсами, а также возможность локального использования в формате GGUF. Ограничения связаны с потерями качества при низкой разрядности и отсутствием подробных сведений о результатах тестирования, поддерживаемых языках помимо английского и рекомендованном формате взаимодействия. Указана лицензия Apache-2.0.

Athene-V2-Chat-GGUF — набор квантизированных версий диалоговой языковой модели Athene-V2-Chat, разработанной Nexusflow и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста в чат-сценариях и локального инференса, в том числе через LM Studio и совместимые инструменты llama.cpp. В README указан английский язык и текстовая модальность; исходная архитектура, число параметров и размер контекстного окна не приведены. Модель доступна в вариантах квантизации Q2–Q8 и IQ2–IQ4 с размерами файлов примерно от 25,49 до 77,26 ГБ. Старшие варианты Q5–Q8 обеспечивают более высокое качество, тогда как младшие требуют меньше оперативной памяти, но заметно уступают по качеству. Некоторые варианты используют Q8_0 для весов embedding и output, а Q4_0_8_8 оптимизирован для ARM с поддержкой SVE и не рекомендуется для Mac или Windows. Указан специальный формат prompt с ролями system, user и assistant. Лицензия обозначена как other, без дополнительных условий в представленном README.