I.14Автоматизация процессов и AI-агенты

google/gemma-3-12b-it-qat-q4_0-unquantized — мультимодальная модель Google из семейства Gemma 3, представленная в формате safetensors и основанная на Gemma 3 12B IT. Она принимает текст и изображения и генерирует текст; подходит для диалогов, ответов на вопросы по изображениям, суммаризации, генерации текстов и рассуждений. Контекстное окно семейства — до 128K токенов, поддерживается более 140 языков. Компактный для мультимодальной модели размер позволяет запускать её на локальных устройствах и в собственной облачной инфраструктуре. Модель можно применять в чат-ботах и помощниках, для извлечения и объяснения информации из изображений, подготовки кратких изложений и создания текстов. Как и другие генеративные модели, она может выдавать фактические ошибки, отражать смещения обучающих данных и хуже справляться с неоднозначными формулировками и сложными открытыми задачами. Лицензия — Gemma; использование регулируется условиями лицензии и политикой допустимого использования Google.

GoLongRL-30B-A3B — языковая модель Kwai-Klear для генерации ответов в сценариях с длинным контекстом. Это модель семейства Qwen3 MoE с архитектурой причинного языкового моделирования; в метаданных указано 2,6 млрд параметров и окно контекста 262 144 токена. Модель доступна в формате Safetensors и поддерживает диалоговый режим. Модель обучена по рецепту постобучения с обучением с подкреплением и проверяемыми вознаграждениями на наборе GoLongRL из 23 тысяч примеров для девяти типов задач. Она предназначена для поиска сведений в длинных документах, понимания контекста, извлечения и сопоставления структурированных данных, упорядочивания событий, ранжирования, суммаризации и рассуждений, включая численные задачи. В README заявлены улучшения на тестах длинного контекста и памяти диалога; результаты относятся к приведённым бенчмаркам. Лицензия — MIT. Карточка не указывает поддерживаемые естественные языки. Учитывая специализацию на длинном контексте и сравнительно компактный размер активной модели MoE, модель подходит для диалоговых систем, которым нужно работать с большими документами, однако качество на конкретных данных следует проверять отдельно.

Qwen2-1.5B-Instruct-GPTQ-Int4 — инструкционно дообученная языковая модель из семейства Qwen2, разработанная командой Qwen. Она предназначена для диалоговых сценариев и генерации текста: ответов на вопросы, кратких объяснений, работы с естественным языком и кодом. Модель относится к классу decoder-only Transformer и содержит 1,5 млрд параметров; версия GPTQ-Int4 использует 4-битное квантование для снижения требований к памяти при инференсе. Поддерживаются текстовые входы и выходы, а контекстное окно в README не указано. В архитектуре заявлены активация SwiGLU, bias в QKV-проекциях и group query attention. Токенизатор адаптирован для нескольких естественных языков и языков программирования, однако в метаданных README явно указан английский язык. Модель предварительно обучалась на большом объёме данных, а затем дообучалась с помощью supervised fine-tuning и direct preference optimization; заявлены возможности в понимании и генерации текста, многоязычности, программировании, математике и рассуждениях. README не приводит точных результатов тестов и не описывает специфические ограничения качества квантированной версии; для запуска рекомендуются актуальные версии transformers, autogptq или vLLM. Лицензия — Apache 2.0.

FastwebMIIA — языковая модель Fastweb с 7 млрд параметров на авторегрессионной архитектуре Transformer с декодером и RoPE. Она рассчитана прежде всего на итальянский язык и культурный контекст, также обучена на английском. Собственный токенизатор Fastweb оптимизирован для итальянского, английского и основных языков программирования; словарь содержит 50 000 токенов, контекстное окно — 16 тыс. токенов. Модель принимает текст и предназначена для диалоговой помощи, генерации контента, суммаризации и извлечения информации, в том числе из длинных документов и многоходовых бесед. По карточке, веса на Hugging Face доступны для некоммерческих исследований, образования и внутреннего применения; коммерческое использование требует отдельной коммерческой лицензии Fastweb. Ответы могут быть фактически неверными, неполными или предвзятыми, поэтому модель не следует считать авторитетным источником или заменой профессионального суждения. Для важных решений и применений с существенными рисками необходима проверка человеком.

Google Gemma 3 27B IT QAT Q4_0 Unquantized — мультимодальная инструктивно настроенная модель на основе Google Gemma 3 27B IT, предназначенная для диалога и понимания изображений. Она принимает текст и изображения, а генерирует текст; семейство Gemma 3 поддерживает контекст до 128 тыс. токенов и более 140 языков. В репозитории указаны веса safetensors и связь с базовой моделью google/gemma-3-27b-it. Модель подходит для ответов на вопросы по изображениям и текстам, диалоговых помощников, генерации и суммаризации текста, а также извлечения и интерпретации визуальной информации. Размер семейства позволяет запускать модели Gemma 3 на локальных компьютерах или собственной облачной инфраструктуре, но для варианта на 27 млрд параметров всё равно требуются заметные вычислительные ресурсы. К ограничениям относятся возможные фактические ошибки, смещения обучающих данных и трудности с неоднозначными формулировками и сложными задачами. Лицензия — Gemma; перед использованием следует учитывать условия лицензии Google Gemma и политику запрещённого использования.

Gemma 3 4B IT — мультимодальная модель Google, дообученная для следования инструкциям на базе google/gemma-3-4b-pt. Она принимает текст и изображения и генерирует текст; подходит для диалоговых помощников, ответов на вопросы по изображениям, суммаризации, рассуждений и создания текстов. Модель построена на архитектуре семейства Gemma 3, содержит около 4 млрд параметров и поддерживает контекст до 128 тыс. токенов. Поддерживает более 140 языков и может запускаться на ноутбуках, настольных компьютерах или собственной облачной инфраструктуре. Сильные стороны модели — сочетание визуального понимания и генерации текста, большой контекст и сравнительно компактный размер. Ответы могут содержать фактические ошибки, отражать смещения обучающих данных и хуже справляться с неоднозначными или сложными запросами. Лицензия — Gemma; применение должно соответствовать условиям лицензии и политике запрещённого использования Google.

Gemma 3 4B PT — предварительно обученная мультимодальная модель Google из семейства Gemma, созданного на основе исследований и технологий Gemini. Она принимает текст и изображения и генерирует текст; открытые веса позволяют запускать её на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Модель подходит для ответов на вопросы по тексту и изображениям, суммаризации, генерации текстов, диалоговых интерфейсов и извлечения сведений из изображений. Семейство Gemma 3 поддерживает контекст до 128 тысяч токенов и более 140 языков. Карточка описывает как предварительно обученные, так и настроенные на инструкции варианты семейства; этот репозиторий — вариант PT. Ответы могут содержать фактические ошибки и отражать смещения обучающих данных; модель может испытывать трудности с неоднозначностью, нюансами языка и сложными открытыми задачами. Лицензия — Gemma, с условиями использования Google Gemma.

Granite-3.0-3B-A800M-Base — базовая языковая модель IBM Granite Team для генерации текста и других задач преобразования текста. Это декодерный трансформер со sparse Mixture of Experts (MoE): в README указаны 32 слоя и размер эмбеддинга 1536. Модель обучена с нуля в два этапа на 8 трлн и затем 2 трлн токенов из открытых и проприетарных источников; репозиторий содержит веса в формате Safetensors, библиотека — Transformers. Метаданные указывают 352,3 млн параметров и контекст до 4096 токенов. Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы и других сценариев генерации текста; также её можно использовать как основу для специализированного дообучения. Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Лицензия — Apache 2.0. Модель не проходила выравнивание по безопасности, поэтому может генерировать проблемный контент. Возможны предвзятость, дезинформация, галлюцинации и буквальное воспроизведение фрагментов обучающих данных.

Archsloth/Qwen3-4B-GGUF — это квантизированная GGUF-версия языковой модели Qwen3-4B, разработанная Archsloth на базе Qwen/Qwen3-4B. Модель предназначена для генерации текста, диалоговых сценариев, программирования и локального запуска через llama.cpp, в том числе на CPU и устройствах с ограниченными ресурсами. Доступны варианты квантизации Q4_K_M, Q6_K и Q8_0 с размером файлов примерно от 2,50 до 4,28 ГБ. Архитектура и структура тензоров соответствуют базовой модели Qwen3-4B, однако README не указывает точное число параметров, максимальный контекст и полный набор архитектурных характеристик. Заявлена поддержка корейского, английского, испанского, японского, китайского, русского, арабского, хинди и тайского языков, а также исходного кода. Для варианта Q4_K_M приведены измерения KL-дивергенции, показывающие более близкое соответствие исходной модели bf16 по сравнению с рядом альтернативных квантизаций аналогичного размера. Основные преимущества — компактный размер, возможность локального CPU-запуска и улучшенные заявленные показатели сохранения качества после квантизации, особенно для корейского языка и программного кода. Ограничения связаны с потерями качества квантизации, потребностью в значительном объёме памяти при длинном контексте и отсутствием в README подробных данных о производительности, мультимодальности и максимальной длине контекста. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Pessoa-5090 (AR11) — квантованный вариант Qwen/Qwen3.8-27B, подготовленный автором lribeiro. Это vision-language model для обработки текста и изображений, включая сценарии image-text-to-text; языковая часть поддерживает multilingual-данные. Модель предназначена для запуска через vLLM на одной видеокарте NVIDIA RTX 5090 с архитектурой Blackwell SM120 и поддерживает speculative decoding с помощью MTP. Модель содержит 27,79 млрд параметров и использует архитектуру Qwen3_5ForConditionalGeneration: 27-слойный ViT-энкодер изображений и языковую модель из 64 слоёв, объединяющую 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания. Максимальный контекст составляет 262 144 токена, словарь — 248 320 токенов. Квантование выполнено методом AutoRound 0.14.2 в формате compressed-tensors: ранние MLP-слои используют INT4, поздние — INT5, а проекции внимания — INT6; активации, KV-cache, визуальный энкодер, эмбеддинги, lm_head и MTP-head сохраняются в BF16. Главное преимущество — уменьшение размера с 55,6 до 22,59 ГБ при сохранении качества: заявлены KLD 0,00397 наты и совпадение top-1 в 97,64% случаев на тесте из 278 392 позиций. Ограничения включают зависимость от совместимого стека vLLM, FlashInfer и оборудования Blackwell, а также потенциальные потери точности из-за квантования весов. Модель распространяется по лицензии Apache-2.0.

EXAONE-3.5-32B-Instruct — плотная языковая модель с инструкционной настройкой, разработанная LG AI Research. Она содержит 31,5 млрд параметров по метаданным; в карточке указаны 30,95 млрд параметров без эмбеддингов, 64 слоя и архитектура внимания GQA с 40 Q-головами и 8 KV-головами. Модель работает через Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста на английском и корейском языках, включая работу с длинными контекстами и общие задачи понимания и создания текста. Её можно использовать для ответов на вопросы, инструкций и суммаризации; в метаданных также отмечена поддержка классификации текста. Карточка сообщает о риске некорректных, устаревших, предвзятых или неподходящих ответов. Лицензия указана как «other», поэтому конкретные условия использования следует проверять в репозитории модели.

google/gemma-3n-E2B-it-litert-lm — компактная instruction-tuned мультимодальная модель семейства Gemma, разработанная Google DeepMind на основе технологий, использованных при создании Gemini. Модель предназначена для эффективного запуска на устройствах с ограниченными ресурсами, включая смартфоны, ноутбуки, браузеры и собственную облачную инфраструктуру, с использованием LiteRT-LM. Модель поддерживает текстовые запросы и документы, изображения, аудио и видео на входе, формируя текстовые ответы. Она подходит для вопросов и ответов, суммаризации, рассуждений, анализа изображений, транскрибации и других задач понимания контента. Заявлена поддержка данных более чем на 140 разговорных языках. Контекст составляет до 32K токенов, максимальная длина вывода — до 32K токенов за вычетом входного запроса; изображения кодируются в 256 токенов, аудио — со скоростью 6,25 токена в секунду. Gemma 3n использует архитектуру Matformer и технологию выборочной активации параметров, благодаря чему E2B имеет эффективный размер около 2B параметров при меньших требованиях к ресурсам, чем модели с сопоставимым полным размером. В репозитории доступна квантизованная версия с весами int4 и активациями float. Это обеспечивает высокую скорость инференса на совместимом CPU, GPU и NPU, однако фактическая производительность зависит от устройства, аппаратного ускорения и настроек выполнения. Модель ориентирована на генерацию текста и не предназначена для выдачи мультимодальных данных. Использование регулируется лицензией Gemma и условиями Google; доступ к модели на Hugging Face требует принятия соответствующих условий. Авторы — Google DeepMind.

Giraffe-13b-32k-v3 — авторегрессионная языковая модель на архитектуре Transformer/Llama, разработанная Abacus.AI. Она дообучена на базе Llama 2 13B для работы с контекстом до 32 768 токенов: длинный контекст получен с помощью интерполяции, затем модель дополнительно настроена на выполнение инструкций с использованием ShareGPT и Orca-Chat. В метаданных указано 12,9 млрд параметров. Модель предназначена для генерации текста и диалоговых задач по инструкциям. Длинное окно контекста подходит, например, для ответов на вопросы по объёмным документам и предоставленным результатам поиска; разработчик также сообщает об улучшении рассуждений и математических способностей на бенчмарках. Поддерживаемый язык в карточке явно не перечислен. Модель распространяется по лицензии Llama 2 Community License. Разработчик предупреждает, что безопасность модели не оценивалась, и позиционирует её для исследований и экспериментов; результаты могут содержать ошибки.

Mistral Small 3.2 24B Instruct 2506 GGUF — мультимодальная инструкционная модель, разработанная Mistral AI и распространяемая в формате GGUF сообществом LM Studio. Квантизация выполнена lmmy на основе llama.cpp. Модель принимает текстовые и графические данные и генерирует текст, поэтому предназначена для диалоговых систем, обработки инструкций, анализа изображений с текстовым ответом и других локальных сценариев работы с мультимодальными запросами. Модель поддерживает контекст длиной до 128 000 токенов и десятки языков, включая английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский, индонезийский, малайский, непальский, польский, румынский, сербский, шведский, турецкий, украинский, вьетнамский, хинди и бенгальский. Точный вариант архитектуры и параметры квантизации в README не указаны; из названия следует размер базовой модели 24B. Производительность вызова инструментов может быть снижена. Модель распространяется по лицензии Apache-2.0. Следует учитывать, что это community-сборка, а не оригинальная публикация разработчика: LM Studio не гарантирует её точность, безопасность, доступность или пригодность для конкретных задач, а сгенерированные ответы могут быть ошибочными или неприемлемыми.

Qwen2-1.5B-Instruct-AWQ — инструкционно дообученная языковая модель серии Qwen2, разработанная командой Qwen. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, выполнение инструкций, написание и обработку текстов, а также задачи, связанные с кодом, математикой и рассуждениями. Модель содержит 1,5 млрд параметров и основана на архитектуре Transformer с активацией SwiGLU, смещениями в QKV внимания и group query attention. Она является текстовой авторегрессионной моделью и использует улучшенный токенизатор, адаптированный для нескольких естественных языков и языков программирования. Версия AWQ содержит квантизацию, рассчитанную на снижение потребления памяти и повышение эффективности инференса; конкретные требования к памяти и показатели производительности зависят от среды запуска. К сильным сторонам относятся компактный размер, поддержка диалогового режима и широкий спектр языковых, кодовых, математических и логических задач. По сравнению с более крупными моделями качество и глубина рассуждений могут быть ограничены, а README не содержит данных о длине контекста, точном перечне поддерживаемых языков и количественных результатах бенчмарков. Модель распространяется по лицензии Apache 2.0.

FastLlama-3.2-1B-Instruct-GGUF — набор GGUF-квантизаций модели FastLlama-3.2-1B-Instruct, подготовленный bartowski на базе модели suayptalha. Квантизация выполнена с использованием llama.cpp и метода imatrix. Это текстовая instruction-модель для генерации ответов и работы с пользовательскими запросами. Модель предназначена для диалоговых сценариев, генерации и обработки текста, а также задач, связанных с математикой, наукой, химией, биологией и программным кодом. В метаданных заявлена поддержка английского, немецкого, испанского, французского, итальянского, португальского, хинди и тайского языков. Размер базовой модели — 1B параметров; модальность — текстовая. Точный размер контекста в README не указан. Основное преимущество — наличие большого набора вариантов с разным соотношением качества, размера и требований к памяти: от F32 и F16 до Q2–Q8 и IQ-квантизаций. В README рекомендуются, в частности, Q4_K_M как вариант общего назначения, а также Q5 и Q6 для более высокого качества; малые варианты подходят для систем с ограниченным объёмом RAM, но могут заметно уступать по качеству. Для корректной работы следует использовать указанный формат prompt и совместимый inference-инструмент, например llama.cpp или LM Studio. Модель распространяется по лицензии Apache-2.0.

Instella-3B-Long-Instruct — языковая модель AMD на 3 млрд параметров для диалогов и работы с длинным контекстом. Она основана на Instella-3B-Instruct и прошла дополнительное обучение: расширение контекста, дообучение на инструкциях и оптимизацию предпочтений. Архитектура — плотная авторегрессионная InstellaForCausalLM; модель принимает текст и поддерживает контекст до 131 072 токенов. Модель подходит для ответов на вопросы по длинным документам, анализа больших текстовых массивов, суммаризации и диалоговых сценариев, в том числе связанных с книгами и кодом. AMD сообщает о конкурентных результатах на бенчмарках длинного контекста по сравнению с рядом небольших моделей с открытыми весами. Многоязычные возможности не проверялись, поэтому надёжность работы на языках, отличных от основных данных обучения, не установлена. Модель опубликована в формате Safetensors под лицензией «other»; конкретные условия следует сверить с карточкой и файлами лицензии репозитория. Разработчик предупреждает о возможных фактических ошибках, токсичных, предвзятых или вредоносных ответах и не рекомендует применять модель в критически важных, медицинских или требующих высокой достоверности сценариях. Указанное в README ограничение на исследовательское использование само по себе не меняет категорию зрелости модели.

RedHatAI/Kimi-K2.6-FP8-BLOCK — мультимодальная модель, разработанная RedHatAI на основе moonshotai/Kimi-K2.6 с архитектурой KimiK25ForConditionalGeneration. Она принимает текст, изображения и видео, а генерирует текст. Модель предназначена для диалоговых и прикладных сценариев, включая следование инструкциям, рассуждения, вызов функций, агентные задачи и программирование. Модель использует FP8-квантизацию весов с блочным масштабированием и динамическую групповую FP8-квантизацию активаций. Она экспортирована в формате compressed-tensors и оптимизирована для высокопроизводительного развёртывания через vLLM с OpenAI-совместимым API. В README не указаны размер модели и поддерживаемые языки; заявленная максимальная длина контекста в конфигурации оценки составляет 40960 токенов, однако это не представлено как официальная характеристика модели. По приведённым оценкам, модель показывает сильные результаты в математическом и академическом рассуждении, следовании инструкциям и вызове функций. Ограничения включают заметно более низкие результаты на многошаговом function calling, web search и SWE-Bench Lite, а FP8-квантизация может влиять на точность по сравнению с исходной моделью, несмотря на высокое сохранение качества в большинстве указанных тестов. Для использования требуется окружение vLLM и параметр --trust-remote-code. Лицензия указана как modified-MIT; дополнительные условия в README не раскрыты.

Qwen-14b-chat-yarn-32k — разработанная yuyijiong версия Qwen-14b-chat, дообученная для работы с длинным контекстом. Это плотная модель семейства Qwen с 21,8 млрд параметров для генерации текста и диалогов. В README описаны обучение с Yarn-интерполяцией и QLoRA, а также адаптация для контекста до 32k токенов; в метаданных указан native context 8192 токена. Модель предназначена для китайского и английского языков: она отвечает на вопросы по длинным текстам, извлекает сведения из нескольких документов, суммирует материалы и поддерживает многоходовый диалог. Авторы сообщают о высокой точности поиска сведений в длинном контексте, включая тесты на 50k токенов, и о снижении эффекта «потери в середине». Для длинных входов рекомендуется размещать документы перед вопросом; для быстрого вывода требуется flash-attention2. Среди ограничений авторы отмечают склонность ответов к излишней многословности, ограниченное разнообразие инструкционных данных и снижение среднего результата на C-Eval с 69,1 до 60,8. Модель выпущена по лицензии CC-BY-NC-4.0, которая ограничивает коммерческое использование.

Granite-4.0-350M-Base — компактная базовая языковая модель IBM Granite Team, обученная с нуля для генерации текста при ограниченных вычислительных ресурсах. Она предназначена для локального и офлайн-применения, в том числе на смартфонах и IoT-устройствах, а также для дообучения под специализированные задачи. Модель имеет плотную decoder-only архитектуру трансформера GraniteMoeHybridForCausalLM с GQA, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Она содержит 352,3 млн параметров, поддерживает контекст до 32 768 токенов и дополнение кода по схеме Fill-in-the-Middle. В карточке указана поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Модель подходит для суммаризации, классификации и извлечения информации, ответов на вопросы и дополнения кода. Она выпущена под лицензией Apache 2.0. Модель не прошла выравнивание по безопасности и может выдавать предвзятые, ошибочные или проблематичные ответы; для небольших моделей также отмечен риск воспроизведения фрагментов обучающих данных.

Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

M4-ai разработала TinyMistral-6x248M-Instruct — компактную языковую модель с архитектурой Mixture of Experts, дообученную на базе M4-ai/TinyMistral-6x248M для выполнения инструкций. В метаданных указано 215,2 млн параметров и контекст до 32 768 токенов; веса опубликованы в формате safetensors. Модель принимает текстовые запросы и генерирует ответы, объяснения и аналитические тексты. Она рассчитана на широкий круг тем, включая программирование, историю и естественные науки; для диалога можно использовать формат ChatML. Дообучение выполнено на hercules-v1.0, наборе с примерами по коду, математике и другим дисциплинам. В карточке заявлена поддержка английского языка и многоязычной генерации. Модель распространяется по лицензии Apache-2.0. Возможны предвзятые, токсичные или чувствительные ответы; карточка также предупреждает об ухудшении качества при использовании Inference API и рекомендует параметры инференса базовой модели.

Gemma 1.1 7B IT — инструктивно дообученная текстовая языковая модель Google из семейства Gemma, созданного на основе исследований и технологий Gemini. Это декодерная модель с открытыми весами, рассчитанная на диалог и генерацию текста по инструкциям; её можно запускать на компьютере или в собственной облачной инфраструктуре. Модель подходит для ответов на вопросы, суммаризации, рассуждений, создания текстов и разговорных интерфейсов. В карточке семейства указана поддержка английского языка. Относительно компактный размер облегчает развёртывание при ограниченных вычислительных ресурсах, однако конкретный объём параметров и длина контекста в предоставленных данных не приведены. Ответы могут содержать фактические ошибки, отражать смещения обучающих данных и не учитывать тонкие языковые нюансы; качество также зависит от формулировки запроса и контекста. Для Gemma действует лицензия Gemma; при использовании следует соблюдать её условия и политику запрещённого использования Google.

Llama3.1-Dark-Enigma — объединённая языковая модель на архитектуре Llama 3.1, опубликованная пользователем agentlans. По карточке модели, веса нескольких моделей Llama 3.1 8B объединены методом model_stock из mergekit; метаданные указывают 7,5 млрд параметров и контекст до 131 072 токенов. Модель работает с текстом и предназначена для генерации ответов и диалога. Модель подходит для анализа текстов и исследовательских идей, написания и редактирования материалов, ролевых диалогов и помощи с кодом. Карточка характеризует её как uncensored, поэтому она может отвечать на чувствительные темы. Указана лицензия Llama 3.1; использование должно соответствовать её условиям. В карточке отмечено, что качество не оценивалось конкретными метриками. Модель может ошибаться в фактах, особенно при ответах без предоставленного контекста; результаты следует проверять. Она не подключается к интернету и, согласно карточке, не знает специфичных API, библиотек и фреймворков.

Devstral-Small-2-24B-Instruct-2512-GGUF — это GGUF-квантизированная версия инструкционной модели Devstral-Small-2-24B-Instruct-2512, разработанной Mistral AI и преобразованной в набор квантованных файлов пользователем bartowski с использованием llama.cpp и imatrix-калибровки. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет 24 млрд параметров; в README не указаны её точная архитектура, поддерживаемые языки, модальности и размер контекстного окна. Доступны варианты от BF16 размером 47,15 ГБ до компактных квантований Q3 и Q4, а также Q5, Q6 и Q8. Более высокие уровни квантования обычно обеспечивают лучшее сохранение качества, тогда как младшие варианты снижают требования к оперативной памяти. Для большинства сценариев в README рекомендован Q4_K_M, а для максимального качества — Q6_K_L или Q6_K. Сильная сторона этой версии — возможность локального использования большой инструкционной модели в различных компромиссах между качеством и потреблением памяти. Поддержка tool calling заявлена как частично работоспособная: одиночные вызовы в тестах выполнялись, но цепочки вызовов могли ломаться, поэтому совместимость с mistral-vibe не гарантируется. Модель распространяется по лицензии Apache-2.0.

Aitana-7B-S-Instruct-v0.1-i1-GGUF — это квантизированная версия инструкционной языковой модели Aitana-7B-S-Instruct, разработанной GPLSI. Репозиторий подготовлен и квантизирован пользователем mradermacher в формате GGUF для локального запуска. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, работу с многоязычными данными, извлечение информации, задачи рассуждения и обработку специализированных текстов. Модель имеет размер 7B параметров и работает с текстом. В README заявлена поддержка каталанского, испанского и английского языков; обучение и дообучение проводились на наборах данных для инструкционного обучения, многоязычного общения, поиска с дополнением контекста, перевода, юридических вопросов, научных фактов и математических задач. Доступно множество вариантов квантизации с разным размером от примерно 2,4 до 5,7 ГБ. В качестве рекомендуемого варианта указана i1-Q4_K_M, а i1-Q4_K_S описана как компромисс между размером, скоростью и качеством. Сильными сторонами модели являются ориентация на следование инструкциям, поддержка каталанского, испанского и английского языков, а также возможность запуска в ресурсно-ограниченной среде благодаря GGUF-квантизации. Ограничения включают зависимость качества и скорости от выбранного уровня квантизации; наиболее компактные варианты могут давать заметно более низкое качество. Архитектура и размер контекстного окна в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-20B-Minitron — экспериментальная производная модель exnivo на базе Qwen/Qwen3.8-27B. Это плотная мультимодальная модель с архитектурой Qwen3.5 и классом Qwen3_5ForConditionalGeneration, принимающая текст и изображения и предназначенная для диалогов и генерации ответов по визуальному содержимому. Модель уменьшена структурным удалением слоёв: число языковых слоёв сокращено с 64 до 44, а размер — с 27,357 до 19,746 млрд параметров; это не квантизация. После удаления слоёв модель восстанавливали дистилляцией по логитам исходной модели, обучением на текстовых, учебных, математических и кодовых данных, а также корректировкой с помощью LoRA с последующим слиянием адаптера в веса. Разработчик приводит результаты собственных проверок, но они не являются стандартизованными бенчмарками. Модель распространяется в формате safetensors под лицензией Apache-2.0. Качество и устойчивость могут уступать исходной модели; особенно отмечена слабость в рассуждениях о последовательностях и шаблонах, а также ошибки при необычных формулировках. Восстановление и оценка были сосредоточены главным образом на тексте, поэтому возможности сохранённой визуальной части проверены ограниченно.

xGen-small-9B-instruct-r — диалоговая языковая модель Salesforce из семейства xGen-small, предназначенная для генерации ответов и ведения чата. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM; в метаданных указано 10,2 млрд параметров и контекст до 262 144 токенов. Вариант instruct дообучен для диалогового использования. Модель подходит для длинных текстовых запросов и ответов, требующих работы с обширным контекстом, а также для общих задач рассуждения и знаний. В README приведены сравнительные результаты для тестов MMLU, MMLU-Pro и Arena-Hard; это результаты оценок, а не гарантия качества в прикладных сценариях. Salesforce описывает xGen-small как компактную модель с предметно-ориентированным отбором данных, масштабируемым предварительным обучением, расширением контекста и дообучением с RL. Выпуск предназначен для исследований; README рекомендует проверять точность, безопасность и справедливость перед применением, особенно в сценариях с высоким риском. Лицензия — CC BY-NC 4.0, допускающая использование с некоммерческими ограничениями.

unsloth/gemma-3-270m-it-qat-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3 с 270 млн параметров, разработанной Google DeepMind и подготовленной Unsloth. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и других диалоговых сценариев, а также может анализировать изображения и выдавать текстовый результат. Модель поддерживает текстовые и графические входные данные, более 140 языков и контекст до 32 тысяч токенов для моделей размером 270M. Вариант основан на google/gemma-3-270m-it-qat-q4_0-unquantized и использует квантизацию QAT в формате GGUF, что ориентировано на запуск с пониженными требованиями к ресурсам, в том числе на локальных устройствах. Конкретные сведения об архитектуре и языковых характеристиках отдельных языков в карточке не приведены. К сильным сторонам относятся малый размер, поддержка длинного контекста, мультимодальность и возможность локального развертывания. Ограничением является существенно меньшая ёмкость модели по сравнению с крупными вариантами Gemma 3, поэтому сложные задачи и требовательные сценарии могут выполняться менее качественно. Модель распространяется по лицензии Gemma; её использование регулируется условиями Google.

Gemma3.5-48B-A4B-Q4_K_M — созданная сообществом модель для диалогов и следования инструкциям, опубликованная XxACCOxX в формате GGUF. Она объединяет поведение Gemma 3 27B с базовой архитектурой Gemma 4 26B A4B: к исходным экспертам Gemma 4 добавлен банк экспертов, полученный дистилляцией активаций Gemma 3. В модели 48,1 млрд параметров, из которых на один токен задействуется около 3,8 млрд; используется 8 экспертов из 256. Контекст составляет 262 144 токена, квантование — Q4_K_M. Модель предназначена для локального общения в режиме прямых ответов, решения математических задач, технических запросов и вопросов на общие знания. Автор приводит результат 63,21% на подвыборке MMLU-Pro из 280 заданий без режима рассуждений; это результат описанного теста, а не гарантия качества для других задач. Для запуска предназначены стеки локального инференса, например llama.cpp и Ollama. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.