I.14Автоматизация процессов и AI-агенты

OpenChat 3.5 — диалоговая языковая модель, разработанная командой OpenChat и дообученная методом C-RLFT на смеси публичных инструкционных данных разного качества. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и принимает текстовые сообщения, выдавая текстовые ответы в формате диалога. Модель предназначена для общения с пользователем, ответов на вопросы и выполнения инструкций; её также можно применять для генерации и объяснения кода, математики и рассуждений. Заявленный контекст — 8192 токена. В README приведены результаты на нескольких бенчмарках, включая MT-Bench, HumanEval и GSM8K; эти результаты зависят от методики оценки и не гарантируют качество в конкретной задаче. Модель распространяется по лицензии Apache-2.0. Разработчики предупреждают о возможных ошибках и вымышленных сведениях, слабых местах в сложных рассуждениях, математике и программировании, а также о вероятности вредных или предвзятых ответов; важные результаты следует проверять, а для чувствительных сценариев применять дополнительные меры безопасности.

Open-Instruct GPT-4 Alpaca 13B — языковая модель семейства LLaMA с 12,9 млрд параметров, разработанная командой AllenAI. Она дообучена на наборе GPT-4 Alpaca для следования инструкциям и генерации текста. Модель предназначена для диалоговых запросов, ответов на вопросы, рассуждений и других задач, задаваемых в текстовом формате; для результатов, соответствующих обучению, следует использовать предусмотренный формат инструкций. Контекст модели — 2048 токенов. В README приведены результаты оценки на наборах задач общего назначения, включая MMLU, GSM, BBH и Codex-Eval. Репозиторий содержит разницу весов, поэтому для использования требуется доступ к исходной модели LLaMA в формате Hugging Face и её объединение с этой разницей. Условия использования определяются лицензией AI model license вместе с исходной лицензией LLaMA.

Phi-3.1 Mini 4K Instruct — компактная языковая модель Microsoft, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантизацию выполнил bartowski на основе релиза llama.cpp b3460. Модель предназначена для диалоговых сценариев, следования инструкциям, генерации текста и кода, математических задач, рассуждений, понимания языка и работы с общими знаниями. Модель построена как плотный decoder-only Transformer и содержит 3,8 млрд параметров. Она обучалась на 3,3 трлн токенов, включая отфильтрованные общедоступные документы, образовательные материалы, код, синтетические «учебниковые» данные и высококачественные диалоги. Для выравнивания использовались Supervised Fine-Tuning и Direct Preference Optimization. Доступна поддержка английского языка, контекст ограничен 4096 токенами, предусмотрена работа с тегом <|system|> и многошаговыми диалогами. К сильным сторонам относятся улучшенное следование инструкциям, структурирование ответов, математическое и логическое рассуждение, генерация кода и качество многоходового общения при небольшом размере модели. Ограничениями являются компактный контекст в 4K токенов, заявленная языковая поддержка только английского и возможные неточные, вредные или неподходящие ответы, характерные для генеративных моделей. Модель распространяется по лицензии MIT; конкретный файл GGUF предназначен для использования с совместимыми инструментами, включая LM Studio.

Это версия Phi-3 Medium-4k-Instruct от Microsoft, преобразованная в формат ONNX и оптимизированная для запуска через ONNX Runtime на CPU. Модель представляет собой плотную авторегрессионную языковую модель семейства Phi-3 примерно с 13,8 млрд параметров и контекстом до 4096 токенов. Вариант рассчитан на диалог и выполнение инструкций; исходная модель прошла supervised fine-tuning и direct preference optimization. Модель подходит для генерации ответов и текста, задач на понимание языка, рассуждения, математику и код. В README заявлена скорость около 20 токенов в секунду на Intel Core i9-10920X и минимальная конфигурация с 16 ГБ оперативной памяти. Репозиторий содержит CPU-вариант ONNX с квантизацией INT4 методом RTN. Лицензия — MIT.

QuantFactory/Qwen2.5-1.5B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Qwen2.5-1.5B-Instruct, созданная QuantFactory с использованием llama.cpp на основе модели Qwen от Alibaba Cloud. Это каузальная текстовая модель для диалогов, генерации текста, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON. Она также улучшена для задач программирования и математики. Модель содержит 1,54 млрд параметров, из которых 1,31 млрд не относятся к эмбеддингам, и включает 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV внимания, связанные эмбеддинги слов и GQA с 12 головами для Q и 2 для KV. Поддерживаются контексты до 32 768 токенов и генерация до 8192 токенов. Модель многоязычная и поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Квантизация в формате GGUF может снизить требования к ресурсам и упростить локальный запуск, однако README не содержит сведений о конкретном типе квантизации, размере файлов, точности или производительности. Модель предназначена для текстовых сценариев и не заявляет поддержку изображений или других модальностей. Распространяется по лицензии Apache-2.0.

unsloth/gemma-3-27b-it — мультимодальная инструктивная модель семейства Gemma 3, опубликованная Unsloth на основе Google/gemma-3-27b-it. Это плотная архитектура Gemma 3 с 27 млрд параметров, предназначенная для диалогов и генерации текста по текстовым и визуальным запросам; принимает изображения, отвечает на вопросы о них, а также поддерживает суммаризацию и рассуждения. Контекстное окно составляет 128 тыс. токенов, модель поддерживает более 140 языков; в метаданных карточки указан английский язык. Веса опубликованы в формате safetensors и доступны по лицензии Gemma. Модель подходит для чат-ботов и виртуальных помощников, составления и редактирования текстов, краткого пересказа документов, извлечения сведений из изображений и ответов на вопросы по визуальному содержимому. Карточка описывает базовые возможности Gemma 3 и инструменты Unsloth для дообучения и экспорта, но не приводит сведений об отдельном дообучении именно этой копии. Возможны фактические ошибки, трудности с языковыми нюансами и сложными открытыми задачами; результаты также зависят от обучающих данных и формулировки запроса.

gaunernst/gemma-3-4b-it-int4-awq — это 4-миллиардная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind. Модель мультимодальная: принимает текст и изображения, а генерирует текст. Данный репозиторий содержит QAT INT4-чекпойнт из Flax, преобразованный в формат Hugging Face и AWQ для удобства использования; при этом квантование методом AWQ для исходного чекпойнта не применялось. Модель предназначена для диалоговых и прикладных задач: ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Она поддерживает более 140 языков, обрабатывает изображения, нормализованные до разрешения 896 × 896 и представленные 256 токенами на изображение. Для размеров 4B, 12B и 27B заявлено контекстное окно до 128 000 токенов, а максимальный объём генерируемого вывода составляет 8192 токена. Ключевые преимущества — сравнительно компактный размер, instruction-tuned поведение, мультимодальность и INT4-представление, потенциально упрощающее запуск на ограниченных ресурсах, включая локальные компьютеры и собственную облачную инфраструктуру. Ограничения включают зависимость качества от языка, задачи и входных изображений, а также необходимость учитывать особенности конвертированного формата и совместимость с поддерживаемыми инструментами. Использование регулируется лицензией Gemma; доступ к исходной модели на Hugging Face требует принятия условий использования Google.

Llama-3-70B-Instruct-Gradient-1048k — разработанная Gradient версия Meta Llama 3 70B Instruct с расширенным контекстом. Она предназначена для диалоговых приложений и обработки длинных текстов, например для анализа больших документов и работы с контекстом свыше миллиона токенов. Модель использует плотную архитектуру LlamaForCausalLM, содержит 69,5 млрд параметров и принимает текстовые запросы, выдавая текст. В README указано расширение контекста с 8 тысяч до более чем 1 048 тысяч токенов; метаданные задают длину контекста 1 048 576 токенов. Gradient сообщает о настройке RoPE theta и обучении на 34 млн токенов для этого этапа, около 430 млн токенов суммарно. Модель рассчитана прежде всего на английский язык. Для запуска README рекомендует Transformers или TGI. Лицензия — Llama 3; перед использованием следует учитывать её условия. Как и другие большие языковые модели, она может выдавать ошибки и небезопасные ответы; результаты и меры безопасности следует проверять для конкретного применения.

unsloth/Qwen2.5-1.5B-Instruct-bnb-4bit — это 4-битная версия instruction-tuned языковой модели Qwen2.5-1.5B-Instruct, разработанной командой Qwen при Alibaba Cloud и опубликованной сообществом Unsloth. Модель предназначена для диалоговых ассистентов, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Модель относится к causal language models и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV attention и связанными эмбеддингами слов. Исходная модель содержит около 1,54 млрд параметров, 28 слоёв и Grouped Query Attention с 12 головами Q и 2 головами KV. Указанный контекст исходной модели составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество варианта bnb-4bit — сниженное потребление памяти и возможность запуска на более доступном оборудовании; при этом квантование может уменьшать точность по сравнению с полноформатной моделью. Размер 1,5 млрд параметров делает модель подходящей для локального инференса и ресурсоограниченных приложений, однако её возможности и качество уступают более крупным моделям. Для работы рекомендуется актуальная версия библиотеки Transformers. Модель распространяется по лицензии Apache-2.0.

Claude Opus 4.8 — модель семейства Opus, разработанная Anthropic и представленная как наиболее мощная общедоступная модель компании. Она предназначена для задач с текстом и изображениями, а также для работы с файлами: принимает эти данные и формирует текстовые ответы. Модель поддерживает рассуждения и контекст длиной до 1 млн токенов. Модель подходит для анализа документов и изображений, ответов на вопросы по предоставленным материалам и решения сложных текстовых задач. В доступных сведениях лицензия и конкретные языки не указаны.

Gemma 3 4B Instruction-tuned QAT compressed-tensors — это мультимодальная instruction-tuned модель семейства Gemma 3, разработанного Google DeepMind. Данная версия представляет собой конвертацию Gemma 3 4B IT из формата GGUF Q4_0 в формат compressed-tensors с типом данных BF16; преобразование не является полностью без потерь. Модель принимает текст и изображения, а генерирует текст. Модель предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Она поддерживает более 140 языков, контекст входных данных до 128K токенов, изображения с нормализацией до 896×896 пикселей, кодируемые в 256 токенов каждое, и генерирует до 8192 токенов. Размер 4B и QAT-квантизация снижают требования к памяти при сохранении качества, близкого к bfloat16, что облегчает запуск на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Модель можно запускать, в частности, через vLLM; исходная карточка также описывает использование llama.cpp. Ограничения включают возможные потери качества из-за преобразования и квантизации, а также стандартные ограничения генеративных и мультимодальных моделей. Модель распространяется по лицензии Gemma; конкретные условия определяются официальными Terms of Use Google.

Granite-4.0-Micro-Base — базовая языковая модель IBM Granite Team для генерации текста и кода. Это декодерный трансформер с плотной архитектурой GraniteMoeHybridForCausalLM; в метаданных указано 3,4 млрд параметров и контекст до 131 072 токенов. Модель обучена с нуля на смеси открытых и проприетарных данных примерно на 15 трлн токенов. Модель предназначена для генерации текста, суммаризации, классификации, извлечения информации, ответов на вопросы и дополнения кода, включая заполнение пропусков между префиксом и суффиксом (FIM). Поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Архитектура включает GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Модель не проходила safety alignment, поэтому может генерировать предвзятые, ошибочные или проблемные ответы; для небольшой модели также отмечен риск дословного воспроизведения обучающих данных. Лицензия — Apache 2.0.

NANI-Nithin/Instella-MoE-16B-A3B-Think-GGUF — набор GGUF-квантизаций модели Instella-MoE-16B-A3B-Think, разработанной AMD. Модель предназначена для рассуждений, генерации текста, программирования и выполнения общих инструкций, включая локальный запуск на рабочих станциях, CPU, GPU и периферийных устройствах через совместимые среды llama.cpp. Это MoE-модель архитектуры Instella-MoE, производная от семейства DeepSeek-V3, примерно с 16 млрд общих параметров и около 3 млрд активных параметров на токен. Она является текстовой, англоязычной моделью с контекстом до 32 768 токенов в указанном примере запуска. Репозиторий содержит варианты от Q2_K до Q8_0, IQ-квантизации и BF16; квантизация позволяет снижать требования к памяти с соответствующим компромиссом между качеством и размером. Ключевое ограничение — отсутствие поддержки Instella-MoE в основной ветке llama.cpp на момент подготовки файлов. Для запуска требуется форк llama.cpp с веткой instella-moe либо будущая версия с полной поддержкой архитектуры, включая Gated Attention и FarSkip. Лицензия модели указана как Apache-2.0.

Карточка модели crusoeai/Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

Карточка модели florentin-one/Llama-3-8B-Instruct-V41-1048k на Hugging Face совпадает с карточкой WeMake/Llama-3-8B-Instruct-V41-1048k, поэтому описание составлено по ней. WeMake/Llama-3-8B-Instruct-V41-1048k — разговорная языковая модель WeMake на архитектуре Llama 3 с 7,5 млрд параметров. Модель создана на основе gradientai/Llama-3-8B-Instruct-Gradient-1048k и meta-llama/Meta-Llama-3-8B; в карточке указано, что она объединяет их с настройками WeMake V41 и обучалась методом WeMake ICU. Репозиторий содержит веса в формате safetensors, лицензия — llama3. Модель предназначена для диалоговых агентов, создания текстов, анализа данных и извлечения выводов. Заявлены учёт эмоционального контекста, согласование ответов с человеческими ценностями и поддержка нескольких языков. Максимальная длина контекста — 1 048 576 токенов, однако карточка не приводит независимых оценок качества и не перечисляет поддерживаемые языки помимо английского в метаданных. Перед использованием следует проверять точность и уместность ответов; заявления об эмоциональном интеллекте и согласовании приводятся разработчиком.

Llama3-TenyxChat-70B — чат-модель на базе Llama 3, разработанная Tenyx Research. Модель объёмом 69,5 млрд параметров дообучена методом Direct Preference Optimization (DPO) на наборе предпочтений UltraFeedback с применением фирменного подхода Tenyx к тонкой настройке. Она использует архитектуру LlamaForCausalLM и шаблон чата Llama 3; заявленная длина контекста — 8192 токена. Модель предназначена для диалоговых ответов и работы в роли полезного ассистента: она может помогать с письмом, извлечением сведений, программированием, математическими и STEM-вопросами, а также общими вопросами и рассуждениями. В карточке сообщается о результатах на MT-Bench и других бенчмарках, однако авторы отмечают, что модель может испытывать трудности с рассуждениями и математикой и иногда отвечает слишком многословно. Её специально не настраивали на соответствие предпочтениям безопасности людей, поэтому при провокационных запросах возможны нежелательные ответы. Модель рассчитана на английский язык. Лицензия — Meta Llama 3 Community License.

coder3101/gemma-3-27b-it-heretic-v2 — мультимодальная чат-модель на архитектуре Gemma 3, созданная дообучением Google/gemma-3-27b-pt. Она принимает текст и изображения и генерирует текст; подходит для диалога, ответов на вопросы по изображениям, извлечения визуальной информации, суммаризации и других задач генерации текста. В README указаны контекст до 128 тыс. токенов и поддержка более 140 языков для семейства Gemma 3. Метаданные отмечают модель как uncensored/abliterated, поэтому для приложений с пользовательским контентом следует самостоятельно оценивать безопасность ответов. Лицензия — Gemma.

unsloth/gemma-3-27b-it-qat-GGUF — instruction-tuned мультимодальная модель семейства Gemma 3, разработанная Google DeepMind и подготовленная Unsloth в формате GGUF с QAT-квантизацией. Модель основана на google/gemma-3-27b-it-qat-q4_0-unquantized и имеет размер 27 млрд параметров. Она принимает текст и изображения, а генерирует текст; поддерживает более 140 языков, включая английский, указанный в карточке модели. Изображения нормализуются до разрешения 896×896 и представляются как 256 токенов каждое. Контекстное окно составляет 128K токенов, максимальный объём генерируемого ответа — 8192 токена. Модель предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Большое контекстное окно и мультимодальность подходят для работы с длинными документами и визуальными данными, а GGUF и квантизация ориентированы на локальное развертывание на ноутбуках, настольных компьютерах и собственной инфраструктуре с ограниченными ресурсами. К возможным ограничениям относятся компромисс между эффективностью и качеством, связанный с квантизацией, а также отсутствие в доступных данных подробностей об аппаратных требованиях, результатах тестирования и ограничениях безопасности. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use.

Granite-4.0-H-Tiny-Base — базовая языковая модель IBM Granite Team для генерации текста и кода. Это декодерный гибридный MoE-трансформер примерно на 500,2 млн параметров с компонентами GQA и Mamba2; модель обучена с нуля на смеси открытых и проприетарных данных. Контекст — до 131 072 токенов. Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы, генерации текста с длинным контекстом и автодополнения кода, включая Fill-in-the-Middle. В первую очередь поддерживает английский, а также немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Весы доступны в формате safetensors; лицензия Apache 2.0. Модель не прошла safety alignment, поэтому может генерировать проблемные ответы. Возможны предвзятость, дезинформация, галлюцинации и дословное воспроизведение фрагментов обучающих данных.

casperhansen/llama-3.2-3b-instruct-awq — это общественно созданная AWQ-квантизованная версия текстовой instruction-tuned модели Llama 3.2 3B Instruct, разработанной Meta. Репозиторий содержит модель примерно на 3 млрд параметров в формате Safetensors с 4-битным представлением AWQ, предназначенным для снижения требований к памяти и запуска на устройствах с ограниченными вычислительными ресурсами. Модель рассчитана на многоязычный диалог, следование инструкциям, ассистентские сценарии, извлечение знаний, суммаризацию, написание и перефразирование текста. Архитектура — авторегрессионный оптимизированный Transformer с Grouped-Query Attention; исходная модель обучена с применением supervised fine-tuning и reinforcement learning from human feedback. Это текстовая модель: принимает и генерирует текст, включая код. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Сильные стороны — небольшой размер, сниженное потребление памяти благодаря 4-битной AWQ-квантизации, 3.21 млрд параметров и пригодность для локального инференса. Ограничения включают меньшую мощность по сравнению с более крупными моделями, текстовый характер без обработки изображений и возможные потери качества из-за квантизации. Для исходной текстовой Llama 3.2 заявлен контекст до 128k токенов, а для квантизованных вариантов — до 8k токенов; дата отсечения знаний — декабрь 2023 года. Для базовой Llama 3.2 применяется специальная коммерческая Llama 3.2 Community License с требованиями к перераспределению, указанием атрибуции и соблюдением Acceptable Use Policy. В карточке репозитория casperhansen отдельная лицензия не указана, поэтому условия использования следует проверять с учётом лицензии исходной модели Meta.

Llamaverse-3.1-8B-Instruct — плотная языковая модель семейства Llama 3.1, созданная объединением MathCoder2-Llama-3-8B и десяти специализированных моделей методом Model Stock. Она предназначена для диалоговой генерации текста и сочетает заявленные в карточке навыки математических рассуждений, программирования, биомедицинских тем, извлечения информации, повествования и ролевого общения. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст; заявленная длина контекста — 8192 токена. Модель можно применять для решения математических задач, написания и объяснения кода, создания историй и ответов на общие вопросы. Карточка также заявляет возможности в биомедицинских темах, однако предупреждает, что в важных медицинских и иных высокорисковых сценариях необходим контроль специалиста. Среди ограничений — возможные смещения и ненадёжность ответов; независимые показатели качества в карточке не приведены. Модель выпущена по лицензии Llama 3.1 Community License.

Aratako/Mixtral-8x7B-Instruct-v0.1-upscaled — экспериментальная инструктивная языковая модель, созданная автором Aratako с помощью mergekit: слои исходной mistralai/Mixtral-8x7B-Instruct-v0.1 чередуются методом passthrough. Архитектура — Mixtral MoE для генерации текста и диалогов; в репозитории указано 12,3 млрд параметров и контекст до 32 768 токенов. Модель предназначена для ответов на запросы, ведения диалога, написания текстов, извлечения сведений, программирования и рассуждений. Карточка приводит результаты MT-Bench, где модель показывает неоднородные изменения относительно исходника по отдельным категориям; это не гарантирует качества на других задачах. Указаны языки английский, французский, итальянский, немецкий и испанский. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Это экспериментальное слияние слоёв одной модели; README описывает метод и сравнительный бенчмарк, но не подтверждает независимую проверку результатов.

QuantFactory/Nous-Hermes-2-SOLAR-10.7B-GGUF — квантизированная версия Nous-Hermes-2-SOLAR-10.7B, созданная с помощью llama.cpp. Базовую модель разработала Nous Research на основе SOLAR 10.7B; обучение проводилось на 1 000 000 примеров, преимущественно сгенерированных GPT-4, а также на качественных данных из открытых наборов, включая teknium/OpenHermes-2.5. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций, включая задачи программирования и рассуждений. Она работает в формате instruct/chat и использует шаблон ChatML. Указан английский язык, поддерживаются текстовые входы и выходы; размер модели — 10,7 млрд параметров. Квантизация снижает требования к ресурсам по сравнению с исходной моделью, но конкретный формат квантизации, размер контекста и аппаратные требования в README не указаны. По заявлению авторов, модель заметно превосходит базовую SOLAR 10.7B на бенчмарках GPT4All, AGIEval, BigBench и TruthfulQA; для GPT4All указан средний результат 74,69%, для AGIEval — 47,79%. Ограничения включают ориентацию на английский язык, возможные ошибки и галлюцинации, а также отсутствие подробной информации о варианте квантизации и эксплуатационных требованиях. Модель распространяется по лицензии Apache-2.0.

Phi-3.5-mini-instruct-4bit — инструкционная языковая модель для генерации текста, созданная Microsoft и преобразованная сообществом mlx-community в формат MLX. Модель предназначена для диалоговых сценариев, ответов на вопросы и решения задач обработки естественного языка; в метаданных также указана релевантность для работы с кодом. Поддерживается библиотекой mlx-lm и рассчитана на запуск в экосистеме MLX. Модель представлена в 4-битном варианте, что обычно позволяет снизить требования к памяти по сравнению с полноразмерным представлением, однако точный размер, архитектура, длина контекста и перечень поддерживаемых языков в README не указаны. В метаданных заявлена многоязычность. Сильными сторонами являются инструкционный формат, возможность генерации текста и адаптация к MLX; ограничения и результаты тестирования не приведены. Конвертация выполнена из microsoft/Phi-3.5-mini-instruct с использованием mlx-lm версии 0.17.0. Модель распространяется по лицензии MIT.

Qwen3.6-35B-A3B-Brainwaves-Nex-i1-GGUF — это GGUF-квантизированная версия модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex, подготовленная mradermacher. Модель предназначена для локального запуска задач генерации текста и диалогов, включая рассуждения, математику, STEM, программирование и многоязычные сценарии. В README также указано, что это vision-модель, поэтому для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Заявлены языки English, Chinese, Japanese и Spanish. Доступны варианты квантизации i1 от Q2_K до Q6_K, включая IQ-квантизации и imatrix-файл; размер файлов составляет примерно от 13,3 до 29,3 ГБ. Вариант Q4_K_M отмечен как быстрый и рекомендуемый, а Q4_K_S — как компромисс между размером, скоростью и качеством. Точный размер контекста, детальные сведения об архитектуре, результаты тестирования и системные требования в README не указаны. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся неизбежная потеря качества при низких уровнях квантизации, отсутствие подробных бенчмарков и неполная документация по использованию мультимодальных возможностей.

Qwen3.8-27B-abliterated-GGUF — GGUF-квантизированная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, опубликованная пользователем prithivMLmods. Это вариант Qwen3.8-27B, созданный с применением abliteration — редактирования активаций, направленного на удаление поведения, связанного с отказами. Модель представляет собой плотную causal language model на 27 млрд параметров с нативным vision encoder и поддержкой обработки текста и изображений. Модель предназначена для локального запуска через llama.cpp и совместимые среды, а также для генерации и анализа текста, понимания изображений и видео, визуальных вопросов и ответов, OCR, описания изображений и видео, документного анализа и визуального рассуждения. Заявлены поддержка английского и китайского языков, контекст до 262 144 токенов с возможностью расширения до 1 млн через YaRN, а также управление глубиной рассуждений параметром reasoning_effort. Архитектура включает 64 слоя с чередованием блоков линейного внимания Gated DeltaNet и периодических слоёв Gated Attention. Доступны варианты от BF16 и F16 до Q2_K–Q8_0, что позволяет выбирать между качеством и требованиями к памяти; размеры файлов составляют примерно от 10,7 до 53,8 ГБ, отдельно поставляются мультимодальные проекторы. К ограничениям относятся отсутствие MTP-голов в формате GGUF, поэтому преимущества Multi-Token Prediction и связанной спекулятивной декодировки исходной модели недоступны. Abliteration является экспериментальным подходом и может влиять на поведение и надёжность модели. В README указана лицензия Apache 2.0.

Это GGUF-квантизированная версия языковой модели Mistral-Small-24b-Sertraline-0304, разработанной allura-org и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций, включая общие, научные, медицинские, программные и другие текстовые задачи. В README указано, что она основана на наборах данных для instruction following, включая Tulu 3, s1K, медицинские данные, данные по программированию и научным вопросам. Модель имеет размер 24B параметров, относится к текстовым autoregressive language models и поддерживает английский и китайский языки. Доступны варианты квантизации GGUF с форматами от Q3 до Q8 и размерами примерно от 12,4 до 25,05 ГБ. Квантизации выполнены с использованием imatrix и llama.cpp, поэтому модель подходит для локального запуска через llama.cpp, LM Studio и совместимые проекты. Контекстный размер, точная архитектура базовой модели, результаты оценивания и требования к оперативной памяти в README не указаны. Сильными сторонами являются широкий набор обучающих данных, ориентация на следование инструкциям и наличие вариантов с разным балансом качества и потребления памяти. Ограничения связаны с отсутствием подробных независимых бенчмарков, сведений о мультимодальности и гарантированной точности ответов; модель следует использовать с проверкой результатов, особенно в медицинских и научных сценариях. Лицензия — Apache-2.0.

bagel-dpo-8x7b-v0.2-GGUF — это квантизированная версия текстовой генеративной модели bagel-dpo-8x7b-v0.2, разработанной jondurbin и подготовленной в формате GGUF пользователем bartowski. Квантизация выполнена с помощью llama.cpp версии b4222 и метода imatrix. Модель распространяется для локального запуска, в частности через LM Studio. Модель предназначена для генерации текста в формате инструкций и диалогов, а также может применяться к широкому кругу задач: ответам на вопросы, рассуждениям, программированию, работе с естественным языком, математике, извлечению и пониманию информации и ролевым сценариям. В обучении или дообучении использовался широкий набор датасетов, включая MMLU, ARC, BoolQ, DROP, Spider, SQuAD, MathInstruct, CodeParrot и наборы диалогов и preference-данных DPO. Доступны варианты квантизации от Q2_K и Q3 до Q8_0 с размером файлов примерно от 17,44 до 49,63 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M, Q5_K_M и Q6_K отмечены как рекомендуемые. Модель работает с текстом; сведения о поддерживаемых языках, размере контекста и точной архитектуре в README не указаны. Ограничения включают возможное снижение качества в компактных вариантах квантизации и высокие требования к памяти. Лицензия — Apache-2.0.

Gemma 3 12B IT — мультимодальная модель Google с открытыми весами, представленная в репозитории Unsloth. Это вариант с инструкционной настройкой на базе google/gemma-3-12b-pt; модель принимает текст и изображения и генерирует текст. Архитектура Gemma 3 — плотная, число параметров — 12 млрд. Семейство поддерживает контекст до 128 тыс. токенов и более 140 языков. Модель предназначена для диалогов, ответов на вопросы по тексту и изображениям, суммаризации, генерации текстов и визуального извлечения информации. Она подходит для локального запуска на компьютерах и для развёртывания в собственной инфраструктуре. Веса опубликованы в формате Safetensors. Ответы могут содержать фактические ошибки, а качество зависит от обучающих данных и формулировки запроса. Модель может хуже справляться с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами; возможны смещения и генерация вредного контента. Лицензия — Gemma; при использовании необходимо соблюдать её условия и политику запрещённого использования Google.

ErtasAI/Llama-3.2-1B-Instruct — это диалоговая языковая модель на базе Meta Llama 3.2, размещённая ErtasAI. Модель содержит около 1,2 млрд параметров и использует плотную авторегрессионную архитектуру Transformer; обучение включает настройку по инструкциям. Она принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и предназначена для многоязычного общения. Модель подходит для диалогового помощника, суммаризации, поиска сведений, переписывания запросов и помощи при написании текстов, в том числе в сценариях с ограниченными вычислительными ресурсами. В карточке базовой модели официально перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки; качество на других языках не гарантируется. Это дообученная версия meta-llama/Llama-3.2-1B-Instruct, поэтому её специфические изменения и преимущества в карточке не описаны. Модель предоставляется по лицензии Llama 3.2 Community License, предусматривающей собственные условия коммерческого использования.