I.14Автоматизация процессов и AI-агенты

Granite-4.0-Tiny-Base-Preview — базовая языковая модель команды Granite компании IBM для генерации текста и адаптации под специализированные сценарии. По карточке это гибридная MoE-модель с компонентами Mamba-2 и softmax-вниманием; метаданные указывают архитектуру GraniteMoeHybridForCausalLM и 423,3 млн параметров. Контекст составляет 131 072 токена. README также описывает вариант архитектуры с GQA, NoPE, SwiGLU и RMSNorm, однако расходится с метаданными по числу параметров и некоторым деталям архитектуры. Модель предназначена для суммаризации, классификации и извлечения информации из текста, ответов на вопросы и других задач с длинным контекстом. Она обучалась на данных из веба, кода, академических источников, книг и математических материалов; второй этап обучения включал отобранные данные и инструкции. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Выпущена в формате safetensors для Transformers и распространяется по лицензии Apache 2.0. Модель не проходила safety alignment, поэтому может генерировать проблемный или недостоверный текст; README также отмечает риск дословного воспроизведения обучающих данных. Перед практическим применением результаты следует проверять. Несмотря на слово Tiny в названии, доступные сведения о размере противоречат друг другу, поэтому точный размер по этим источникам установить нельзя.

RedHatAI/Inkling-FP8-dynamic — мультимодальная модель, разработанная RedHatAI на основе thinkingmachines/Inkling. Она предназначена для генерации текста по текстовым, графическим и аудиовходам, включая диалоговые сценарии, анализ изображений и аудио, а также универсальные задачи рассуждения и обработки мультимодального контента. Модель использует архитектуру InklingForConditionalGeneration и Mixture-of-Experts с 975 млрд общих параметров, из которых 41 млрд активируются для отдельного запроса. Веса и активации языкового блока квантизированы в FP8: веса используют статическое поканальное масштабирование, а активации — динамическое масштабирование на уровне токенов. Энкодеры изображений и аудио, эмбеддинги, нормализация, смещения, маршрутизация MoE и отдельные слои сохранены в исходной точности. Квантизация примерно вдвое уменьшает размер модели на диске и требования к памяти по сравнению с 16-битным представлением. В конфигурации развертывания заявлена поддержка контекста до 131 072 токенов и до четырёх изображений и одного аудиофайла на запрос. К сильным сторонам относятся поддержка нескольких модальностей, высокая общая ёмкость MoE-модели, снижение требований к GPU-памяти благодаря FP8 и готовность к инференсу через vLLM. Ограничения включают значительный абсолютный размер модели, необходимость совместимой версии vLLM с поддержкой FP8 для Inkling и отсутствие в README сведений о языках, результатах бенчмарков и качестве после квантизации. Модель распространяется по лицензии Apache-2.0.

Lemer — это мультимодальная версия Gemma 4 E2B в формате GGUF, разработанная Lethean и основанная на форке LetheanNetwork/lemer. В модель встроен Lethean Ethical Kernel (LEK): его поведенческие настройки были добавлены через LoRA-файнтюнинг и объединены с весами, поэтому для работы не требуется отдельный PEFT-адаптер. Модель предназначена для диалоговых сценариев, генерации и анализа текста, а также обработки изображений и аудио, включая локальный запуск на устройствах с ограниченными ресурсами. Репозиторий содержит варианты квантования от Q3_K_M до BF16 размером примерно от 3,0 до 8,7 ГБ. Рекомендуемым указан Q4_K_M как компромисс между качеством и размером; Q3_K_M ориентирован на наиболее ограниченные устройства, а BF16 служит полноточной версией. Заявлена поддержка Ollama, llama.cpp, GPT4All, LM Studio и llama-cpp-python. Токенизатор содержит 262 тысячи токенов, однако размер контекстного окна и точный набор поддерживаемых языков в карточке не указаны. Сильными сторонами модели являются единый автономный GGUF-файл, мультимодальность, несколько уровней квантования и ориентация на локальный инференс. Ограничения включают отсутствие в README подробных результатов оценки, точных характеристик архитектуры и контекстного окна, а также потенциальные компромиссы качества при использовании квантованных вариантов. Модель распространяется по лицензии European Union Public Licence 1.2 (EUPL-1.2).

Llama-3.1-Nemotron-70B-Instruct-HF-GGUF — это квантизированные GGUF-версии инструкционной языковой модели Llama-3.1-Nemotron-70B-Instruct-HF, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; доступны варианты с разными уровнями сжатия и размером файлов примерно от 26 до 75 ГБ. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. В README указан английский язык, а также набор данных NVIDIA HelpSteer2, использованный для исходной модели. Архитектура описана как Llama 3.1 Nemotron с размером 70B параметров; поддерживаемые модальности ограничены текстом. Контекстное окно в представленном описании не указано. Сильная сторона семейства — возможность выбрать баланс между качеством и требованиями к памяти: варианты Q6_K и Q5 считаются близкими к исходному качеству, а более компактные Q3 и Q2 подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. Q4_K_M обозначен как вариант стандартного размера. Квантизации предназначены для локального запуска, однако даже компактные версии требуют значительных ресурсов. Модель распространяется по лицензии llama3.1.

Llama-3-Mistral-v0.2-Instruct-slerp — диалоговая языковая модель, созданная объединением моделей Meta Llama 3 8B Instruct и Mistral 7B Instruct v0.2 методом SLERP с помощью LazyMergekit. Это плотная авт autoreгрессионная архитектура семейства Llama для генерации текста и ответов на инструкции; в репозитории указано 7,5 млрд параметров. Модель рассчитана на диалоговое использование и выполнение запросов на естественном языке. Она принимает текст и генерирует текст. Длина контекста составляет 8192 токена. Данные о целевых языках в карточке не приведены. Модель распространяется под лицензией MIT. Карточка не сообщает о специальных ограничениях качества или безопасности.

Llama-4-Scout-17B-16E-Instruct-GGUF — квантизированная версия инструкционной модели Llama 4 Scout, разработанной Meta. Вариант опубликован в формате GGUF сообществом lmstudio-community и квантизирован bartowski. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые сценарии, ответы на вопросы, создание и преобразование текста, а также локальный запуск в совместимом программном обеспечении. Из доступных данных известно, что базовая модель называется Llama-4-Scout-17B-16E-Instruct; обозначение указывает на конфигурацию 17B-16E, однако точные сведения об архитектуре, размере активной части модели, контекстном окне, поддерживаемых языках и модальностях в README не приведены. Формат GGUF удобен для локального вывода и может снизить требования к ресурсам, но квантизация способна повлиять на качество по сравнению с исходными весами; конкретный уровень квантизации также не указан. Модель распространяется по Llama 4 Community License от Meta с требованиями к атрибуции, маркировке «Built with Llama», соблюдению Acceptable Use Policy и специальными коммерческими условиями для продуктов с более чем 700 миллионами активных пользователей в месяц.

Minerva-7B-instruct-v1.0 — диалоговая языковая модель Sapienza NLP, созданная в рамках проекта FAIR при сотрудничестве с CINECA и участии Babelscape и проекта CREATIVE PRIN. Это дообученная версия Minerva-7B-base-v1.0 на архитектуре Mistral с 7,2 млрд параметров и контекстом до 4096 токенов. Семейство Minerva предварительно обучалось с нуля на итальянских и английских текстах; в составе данных также был код. Версия instruct прошла настройку инструкциями и оптимизацию предпочтений DPO. Модель предназначена для диалога и генерации текста: она может отвечать на вопросы, объяснять темы, помогать с рассуждениями и решать задачи по коду. В первую очередь она рассчитана на итальянский и английский языки. Разработчики предупреждают, что ответы могут содержать фактические ошибки, стереотипы, оскорбительный или иной нежелательный контент, а также быть нерелевантными или повторяющимися. Лицензия — Apache-2.0.

MaziyarPanahi/mistral-ft-optimized-1218-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением Mistral-7B-Instruct-v0.2 и mistral-ft-optimized-1218 методом SLERP. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и принимает текстовые запросы для генерации ответов и диалога. Модель предназначена для следования инструкциям, общения и генерации текста. Она поддерживает контекст до 32 768 токенов и распространяется по лицензии Apache-2.0. В карточке не приведены сведения о специальных языковых возможностях или оценках качества.

bartowski/Mistral-Large-Instruct-2411-GGUF — квантизированная версия инструкционной языковой модели Mistral Large, подготовленная bartowski. Модель предназначена для генерации текста и выполнения задач по текстовым инструкциям; формат GGUF ориентирован на использование в совместимых локальных инструментах инференса. README не содержит сведений о точном размере модели, варианте квантизации, архитектуре, длине контекста, поддерживаемых языках или дополнительных модальностях. К сильным сторонам относятся инструкционная настройка и возможность локального запуска в формате GGUF, однако количественные характеристики, требования к ресурсам, результаты тестирования и ограничения качества в предоставленных данных не указаны. Модель распространяется по Mistral AI Research License: использование, модификация и распространение разрешены на установленных лицензией условиях, но применение моделей, производных моделей и результатов ограничено исследовательскими целями. При распространении требуется сохранять текст лицензии и указанное уведомление об атрибуции.

MaziyarPanahi/Mistral-T5-7B-v1-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.2 и ignos/Mistral-T5-7B-v1. Архитектура MistralForCausalLM, плотная модель на 7,1 млрд параметров; принимает текст и генерирует текст, поддерживает диалоговый режим и контекст до 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции в диалоговых сценариях. Базовая Mistral-7B-Instruct-v0.2 и конфигурация слияния указаны в карточке модели; метаданные указывают формат safetensors. Доступна по лицензии Apache-2.0. Языковые характеристики отдельно не описаны.

Kukedlc/Neural-4-QA-7b-v0.2 — объединённая языковая модель, созданная разработчиком с помощью mergekit методом SLERP из Kukedlc/Neural-4-QA-7b и allknowingroger/NeuralCeptrix-7B-slerp. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на вопросы. Она принимает текст и выдаёт текст; контекстное окно составляет до 32 768 токенов. Модель подходит для диалоговых сценариев, где нужно формировать текстовые ответы по запросу и работать с длинным контекстом. В репозитории представлены веса в формате safetensors. Лицензия в предоставленных данных не указана.

MaziyarPanahi/neural-chat-7b-v3-1-dare-0.85-Mistral-7B-Instruct-v0.1 — чат-модель для генерации текста и ответов на диалоговые запросы. Она создана объединением Mistral-7B-Instruct-v0.1 и uukuguy/neural-chat-7b-v3-1-dare-0.85 методом SLERP; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров. Модель принимает текстовые инструкции и сообщения и генерирует текстовые ответы. Заявленный нативный контекст составляет 32 768 токенов. Репозиторий распространяет веса в формате safetensors; лицензия — Apache-2.0. Карточка не приводит отдельных оценок качества или ограничений поведения.

Это GGUF-квантизированная версия языковой модели Llama-3_3-Nemotron-Super-49B-v1_5, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться через llama.cpp, LM Studio и другие проекты на его основе. Модель относится к классу крупных текстовых моделей примерно на 49 млрд параметров. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. В README рекомендуются, в частности, варианты Q4_K_M, Q5, Q6 и IQ4_XS; размеры файлов составляют примерно от 26,87 до 99,74 ГБ. Для работы используется специальный prompt format семейства Llama 3. Сильной стороной являются высокое качество старших вариантов квантизации и возможность локального запуска в совместимых инструментах. Ограничения связаны с большим размером модели и высокими требованиями к памяти, особенно для BF16 и качественных вариантов. В предоставленных данных не указаны поддерживаемые языки, размер контекстного окна, мультимодальные возможности и лицензия исходной модели.

PandafishHeatherReReloaded — объединённая модель для генерации текста, созданная MysticFoxMagic методом slerp с помощью LazyMergekit на основе MysticFoxMagic/HeatherSpell-7b и ichigoberry/pandafish-2-7b-32k. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и принимает текстовый контекст длиной до 32 768 токенов. Модель предназначена для генерации текста и ответов на запросы. Веса опубликованы в формате Safetensors; при объединении использована точность bfloat16. В метаданных указана лицензия, но её условия здесь не раскрыты.

Qwen3-4B-Instruct-2507-4bit — языковая instruct-модель для генерации текста, разработанная командой Qwen и конвертированная сообществом mlx-community в формат MLX из базовой модели Qwen/Qwen3-4B-Instruct-2507. Модель предназначена для диалогового взаимодействия и выполнения текстовых запросов с использованием chat template. Модель содержит 4 миллиарда параметров и представлена в 4-битном формате квантования. Она работает с текстовой модальностью; сведения о поддерживаемых языках и размере контекста в README не указаны. Формат MLX и использование библиотеки mlx-lm ориентированы на запуск модели в экосистеме MLX. Конкретные преимущества и ограничения качества по сравнению с исходной моделью в предоставленных данных не описаны; 4-битное представление может влиять на точность, но степень такого влияния не указана. Модель распространяется по лицензии Apache 2.0. Конвертация выполнена с использованием mlx-lm версии 0.26.2.

Qwen3.6-27B-Omnimerge-v4-MTP-GGUF — квантизированная GGUF-версия модели ManniX-ITA/Qwen3.6-27B-Omnimerge-v4, подготовленная автором ManniX-ITA. Модель имеет 27,78 млрд параметров и заявленную архитектуру Qwen3.5; репозиторий содержит объединённые веса в форматах от F16 до низкобитных IQ- и Q/K-квантизаций. В метаданных указаны поддержка английского языка, reasoning и vision, а также pipeline image-text-to-text, однако подробные сведения о контекстном окне и точном наборе мультимодальных возможностей не приведены. Главная особенность этой версии — сохранённая MTP (Multi-Token Prediction) head, предназначенная для self-speculative decoding в llama.cpp. При использовании llama.cpp с поддержкой MTP модель может предлагать несколько токенов за шаг и ускорять генерацию; для этого требуется версия с поддержкой соответствующего PR и режим draft-mtp. Без MTP-функциональности модель работает в стандартном режиме декодирования. Доступно 19 уровней квантизации и эталонная F16-версия, что позволяет выбирать компромисс между качеством, скоростью и потреблением памяти; рекомендуемым балансом в README названа Q6_K. Модель подходит для локального текстового и, при наличии соответствующего мультимодального проектора, визуально-текстового вывода, включая задачи рассуждения. Ограничения связаны с существенными требованиями к памяти, зависящими от выбранной квантизации, необходимостью совместимой версии llama.cpp для ускорения MTP и возможной потерей качества на низких битностях. Распространяется по лицензии Apache-2.0.

Это мультимодальная vision-language модель Qwen3.8-27B, разработанная командой Qwen и представленная в квантованном варианте пользователем lribeiro. Модель предназначена для обработки текста, изображений и видео, включая задачи понимания визуального содержания и генерации текста по визуальному контексту. Она реализована на базе архитектуры Qwen3_5ForConditionalGeneration и поддерживает многоязычные сценарии. Языковая часть содержит около 27 млрд параметров, а vision tower — ещё около 460,7 млн. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания, а также vision encoder на базе 27-слойного ViT. Контекст в указанной конфигурации составляет 8192 токена. Лингвистические слои используют FP8 E4M3 в режиме W8A8 с GPTQ-коррекцией весов, тогда как визуальный энкодер и MTP-head сохранены в BF16. Размер чекпойнта составляет 29,97 ГБ против 55,6 ГБ у BF16-базы. Сильными сторонами являются сохранённая обработка изображений и видео, уменьшенный размер, высокая скорость prefill и поддержка MTP speculative decoding; после исправления конфигурации заявлена скорость декодирования 106,9 токена в секунду против 69,4. Ограничения включают необходимость оборудования с поддержкой FP8, прежде всего NVIDIA Blackwell, Ampere или Hopper, а также зависимость от совместимой версии vLLM и FlashInfer. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-CIRU-STRIX-IU4 — специализированная сборка семейства Qwen3.8-Flash-Next, разработанная проектом CIRU при участии Peonist.ai и pwilkin. Модель распространяется в формате GGUF и предназначена для локального запуска на компьютерах с AMD Strix Halo, в частности с 128 ГБ памяти и графикой Radeon на базе Ryzen AI Max 395. Она ориентирована на генерацию текста с длинным контекстом, работу через OpenAI-совместимый API, веб-интерфейс и обработку изображений. Сборка использует архитектуру mixture-of-experts, поддержку vision и image-text-to-text, а также MTP для speculative decoding. В неё включены оптимизации предварительной обработки, кэширования, внимания и GPU-исполнения под AMD ROCm; заявлена возможность работы с контекстами до 256K и отдельные измерения для предварительной обработки до 512K токенов. README не указывает точное число параметров, перечень языков и полную спецификацию модальностей. Сильные стороны модели — высокая скорость локального инференса на совместимых системах, эффективная обработка длинного контекста, поддержка изображений и интеграция с локальными серверными сценариями. Ограничения включают жёсткую зависимость от специализированного CIRU runtime и подходящей AMD-платформы: стандартные llama.cpp и размещённый inference Hugging Face не поддерживаются. Для vision и MTP требуется версия runtime с исправлением v4.4.1; приведённые в README показатели производительности относятся к конкретной тестовой конфигурации и не гарантируют такие же результаты на другом оборудовании. Лицензия указана как other с названием qwen-community-1.0; ссылка ведёт на файл LICENSE. Условия использования следует уточнять по этому файлу.

Qwen3-235B-A22B-Instruct-2507-GGUF — это квантизированная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет архитектуру и размер исходной версии Qwen3-235B-A22B-Instruct-2507; в названии указаны 235 млрд параметров и конфигурация A22B. Представлены варианты GGUF с разными уровнями квантизации — от Q2 до Q8_0 — размером примерно от 93 до 250 ГБ для указанных файлов. Более высокие уровни обычно обеспечивают лучшее качество, но требуют больше оперативной или видеопамяти. README не содержит сведений о поддерживаемых языках, длине контекста и мультимодальности. Сильной стороной являются разнообразие вариантов квантизации и возможность локального запуска, включая рекомендации Q6_K, Q5_K_M, Q5_K_S и Q4_K_M для разных компромиссов между качеством и требованиями к памяти. Ограничениями выступают очень крупный размер модели и высокие аппаратные требования; при низких уровнях квантизации качество снижается. Лицензия в предоставленных данных не указана.

RecurrentGemma 9B IT — разработанная Google инструктивно настроенная большая языковая модель семейства RecurrentGemma с рекуррентной архитектурой. Она предназначена для генерации текста в диалогах и по инструкциям, включая ответы на вопросы, суммаризацию и рассуждения; также подходит для черновиков писем и другого текстового контента. Рекуррентная архитектура снижает потребление памяти по сравнению с Gemma и ускоряет генерацию при работе с длинными последовательностями. Модель доступна в формате safetensors и поддерживается библиотекой Transformers. Версия instruction-tuned рассчитана на английский язык. Лицензия Gemma; использование регулируется условиями Google для моделей Gemma. Как и другие языковые модели, она может выдавать фактические ошибки, отражать смещения обучающих данных и испытывать трудности с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами. Для применения, особенно в пользовательских продуктах, следует проверять ответы и учитывать требования к безопасности контента.

shark_tank_ai_7_b-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и NExtNewChattingAI/shark_tank_ai_7_b методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Модель принимает текст и выдаёт текст; в метаданных заявлен контекст длиной до 32 768 токенов. Карточка указывает английский язык. Веса опубликованы в формате Safetensors по лицензии Apache-2.0.

Triangulum-10B-GGUF — это квантизированная версия языковой модели Triangulum-10B, разработанной prithivMLmods и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста, задач рассуждения и сценариев, где требуется пошаговое объяснение решения. В метаданных также указаны поддержка оценки кода, точности, математических задач и символьных операций. Модель содержит около 10 млрд параметров и относится к семейству causal language models на базе Llama. Доступны варианты от F16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и Q2, включая форматы IQ. Размер файлов составляет примерно от 3,6 до 20,6 ГБ. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель работает с текстом; сведения о мультимодальности и размере контекстного окна не указаны. Сильной стороной являются разнообразие вариантов квантования и возможность локального запуска через llama.cpp и совместимые приложения, включая LM Studio. В README рекомендуются варианты Q6_K_L, Q6_K, Q5 и Q4 для сочетания качества и размера, тогда как низкобитные варианты экономят память, но снижают качество. Формат инструкций для запросов не указан, поэтому его необходимо уточнять по странице исходной модели. Лицензия обозначена как llama3.1.

airoboros-13b-gpt4-1.1 — дообученная модель семейства LLaMA с 12,9 млрд параметров, созданная Jon Durbin на синтетических данных, сгенерированных GPT-4. Она предназначена для диалоговой генерации текста и отвечает на вопросы, выполняет рассуждения и решает задачи по программированию, математике, викторинам, тестам с выбором ответа и заданиям на заполнение пропусков. Особенность версии 1.1 — улучшенные инструкции для работы с контекстом и около тысячи дополнительных примеров по программированию. В режиме ответов по заданному контексту модель обучена опираться на предоставленные сведения и ограничивать ответ ими, что может помогать снижать галлюцинации. Для этого используется формат с явными разделителями блоков контекста и инструкций. Модель использует шаблон диалога Vicuna 1.1 и имеет контекстное окно 2048 токенов. Модель принимает текст и генерирует текст; карточка не заявляет поддержку конкретных естественных языков. Автор отмечает, что математические рассуждения остаются слабой стороной. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Atem-Pharaoh-3B-i1-GGUF — GGUF-квантизированная версия модели Atem-Pharaoh-3B, разработанной EphAsad и квантизированной mradermacher. Модель предназначена для генерации текста, диалоговых сценариев и задач рассуждения, включая математику, программирование, анализ и ответы в областях, представленных обучающими наборами. В обучении или дообучении использовались наборы с математическими, кодовыми, медицинскими и рассуждательными примерами, а также синтетические данные, полученные дистилляцией других моделей. Модель имеет около 3 миллиардов параметров и распространяется в формате GGUF для использования с совместимыми инструментами, включая llama.cpp. Доступны варианты с разными уровнями квантизации — от IQ1 и IQ2 до Q6_K; они различаются размером файлов, скоростью и качеством. Для баланса размера, скорости и качества в README рекомендуется вариант i1-Q4_K_M, а i1-Q4_K_S также отмечен как оптимальный по этим параметрам. Указан английский язык; сведения о поддерживаемых модальностях и размере контекстного окна отсутствуют. Сильными сторонами являются компактный размер, возможность локального запуска и специализация на рассуждении, математике, коде и диалогах. Ограничения связаны с потерями качества при низких уровнях квантизации и отсутствием подробных результатов оценивания. Модель распространяется по лицензии Apache-2.0.

Breeze-7B-Instruct-v1_0 — диалоговая языковая модель MediaTek Research для ответов на вопросы, многоходового чата, суммаризации и сценариев RAG. Это дообученная версия Breeze-7B-Base-v1_0, которая, в свою очередь, основана на Mistral-7B; модель использует архитектуру Mistral с плотным декодером и содержит 7,2 млрд параметров. Модель рассчитана прежде всего на традиционный китайский язык, а также поддерживает английский. Словарь расширен с 32 тыс. до 62 тыс. токенов для лучшей поддержки традиционного китайского; в карточке заявлено ускорение инференса на этом языке. Контекст модели — 32 768 токенов по метаданным каталога; README описывает версию с контекстом 8 тыс. токенов. Эти значения различаются между источниками. Модель работает с текстом и предназначена для использования как готовый чат-ассистент. В README отмечено, что для диалогов нет специальной обработки вредоносных запросов. Модель опубликована под лицензией Apache-2.0; её качество и скорость могут зависеть от сценария и условий запуска.

CyberNeurova-Gemma-4-12B-it-abliterated — мультимодальная модель семейства Gemma 4, разработанная CyberNeurova Research на базе google/gemma-4-12B-it от Google. Это 12-миллиардная encoder-free модель с унифицированной архитектурой, которая напрямую проецирует изображения и аудиосигналы в пространство эмбеддингов языковой модели без отдельных vision- и audio-энкодеров. Заявлена поддержка текста, изображений и аудио, а также языков английского, испанского, французского, немецкого, китайского, хинди, японского, корейского, арабского, португальского, итальянского и русского. Модель предназначена для генерации текста, мультимодального анализа, программирования, рассуждений и исследовательских сценариев, включая задачи кибербезопасности. Главная особенность — постоянное удаление направления отказа из весов модели методом orthogonalization residual stream во всех 48 слоях трансформера и во входных эмбеддингах. По данным авторов, это резко снижает склонность к отказам, в том числе на многоязычных тестах, при сохранении показателей программирования, связности и рассуждений; результаты приведены авторами README и не являются независимой проверкой. Одновременно такая модификация существенно ослабляет встроенные защитные ограничения, поэтому модель может быть непригодна для применений, требующих безопасного поведения и фильтрации вредных запросов. Доступны варианты в формате bf16 Safetensors, а также GGUF F16, Q8_0 и Q4_K_M. Размеры составляют примерно 22,3 ГБ для bf16 и 7,5 ГБ для Q4_K_M; для последнего заявлена возможность запуска на GPU с 10–12 ГБ VRAM, тогда как нативной версии требуется около 28 ГБ или более. Указана лицензия Apache-2.0.

DeepSeek V4 Flash REAP K128 (Uniform) — производная версия DeepSeek V4 Flash от sleepyeldrazi. В модели удалена половина маршрутизируемых экспертов MoE с помощью метода REAP; механизм внимания, эмбеддинги, общие эксперты, маршрутизатор и компоненты MTP сохранены. Тонкая настройка не выполнялась: оставшиеся веса взяты без изменений из исходной модели. Репозиторий содержит GGUF с равномерной квантизацией экспертов IQ2_XXS/Q2_K; заявленный размер файла — 46,98 ГиБ. Модель предназначена для генерации текста и диалогового использования, в том числе для задач программирования, вызова инструментов и поиска знаний. Совместима со средой ds4-engine; для запуска требуется ds4-for-reaped с поддержкой компактного GGUF. Калибровка при отборе экспертов проводилась на контексте 4096 токенов, но это не подтверждает максимальную длину контекста модели. Лицензия — MIT. Удаление половины экспертов и низкая точность квантизации могут повлиять на качество ответов; README не приводит количественных результатов оценки. Вызов инструментов обозначен как сценарий калибровки и использования, но сам по себе не подтверждает наличие отдельного интерфейса tool calling.

FuseChat-Gemma-2-9B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели FuseChat-Gemma-2-9B-Instruct, разработанной FuseAI и опубликованной в формате GGUF пользователем bartowski. Квантизации созданы с помощью llama.cpp версии b4273 и метода imatrix, предназначены для локального запуска и совместимы, в частности, с LM Studio. Модель относится к текстовым генеративным моделям и предназначена для диалогов, следования инструкциям и других сценариев генерации текста. Указан размер базовой модели — 9 миллиардов параметров; поддерживаемые модальности, языки и размер контекста в README не описаны. Для работы используется специальный шаблон промпта с маркерами Gemma для ролей пользователя и модели. Доступны варианты от F32 и F16 до квантизаций Q8, Q6, Q5, Q4 и Q3, а также IQ-форматы, что позволяет выбирать между качеством, размером файла и требованиями к памяти. В README рекомендуются, среди прочих, Q6_K_L, Q6_K, Q5 и Q4 варианты; некоторые сборки оптимизированы для ARM или AVX, а отдельные требуют аппаратной поддержки i8mm или sve и не предназначены для Mac. Более компактные варианты экономят память, но могут снижать качество генерации. Лицензия в предоставленных данных не указана.

SanctumAI/gemma-2-9b-it-GGUF — квантизированная GGUF-версия Gemma 2 9B IT, разработанной Google и подготовленной SanctumAI. Это текстовая decoder-only языковая модель с instruction tuning, предназначенная для генерации текста, диалогов, ответов на вопросы, суммирования и задач, требующих рассуждений. Модель работает с текстом и, согласно README, доступна на английском языке. Модель содержит около 9 млрд параметров. Доступны варианты квантизации Q2_K–Q8_0, а также f16; размер файлов составляет примерно от 3,81 до 18,49 ГБ, а оценочная потребность в RAM или VRAM — от 15,14 до 28,82 ГБ в зависимости от варианта. Квантизация позволяет запускать модель на ноутбуке, настольном компьютере или собственной облачной инфраструктуре при выборе подходящего формата, но более компактные варианты могут уступать по качеству менее квантизированным. Модель распространяется по лицензии Gemma. Для корректного диалога следует использовать шаблон Gemma с маркерами начала и конца хода пользователя и модели. README не указывает размер контекстного окна, мультимодальные возможности или поддержку языков помимо английского; также конкретные ограничения качества не описаны. Как и другие языковые модели, она может генерировать неточный, вредный или неподходящий контент, поэтому результаты требуют проверки.

Gemma 3 12B PT — предобученная мультимодальная модель Google из семейства Gemma 3 с открытыми весами. Она принимает текст и изображения и генерирует текст; модель предназначена для понимания изображений и языковых задач, включая ответы на вопросы, суммаризацию и рассуждения. Размер модели — 12 млрд параметров, контекстное окно — до 128 тыс. токенов, поддерживаются более 140 языков. Версия PT является базовой предобученной моделью, а не вариантом, настроенным для следования инструкциям. Модель можно применять для описания и интерпретации изображений, извлечения из них сведений, диалоговых интерфейсов, создания и обобщения текстов. Относительно компактный размер позволяет развертывать её на локальных компьютерах и в собственной облачной инфраструктуре. К ограничениям относятся возможные фактические ошибки, предвзятость, трудности с языковыми нюансами и сложными открытыми задачами; для применения следует учитывать требования безопасности Google Gemma. Лицензия — Gemma.