I.14Автоматизация процессов и AI-агенты

Yi-1.5-6B — базовая языковая модель семейства Yi, разработанная 01.AI. Она создана на архитектуре Llama с плотной архитектурой и содержит 5,8 млрд параметров; модель распространяется в формате safetensors. Для версии в этом репозитории метаданные указывают контекст до 4096 токенов. Модель предназначена для генерации текста и может служить основой для задач понимания языка, чтения, следования инструкциям, рассуждений, математики и программирования. Семейство Yi-1.5 прошло дополнительное предварительное обучение на 500 млрд токенов и настройку на разнообразных примерах, однако README не уточняет отдельные результаты именно версии 6B. Лицензия репозитория — Apache-2.0. В предоставленных данных не заявлена мультимодальная поддержка.

bagel-7b-v0.1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием mistralai/Mistral-7B-Instruct-v0.1 и jondurbin/bagel-7b-v0.1 методом SLERP; веса представлены в формате safetensors. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Контекст составляет до 32 768 токенов. В карточке указана лицензия Apache-2.0. Языки модели в предоставленных данных не перечислены.

Bagel DPO 7B v0.4 — разговорная языковая модель, созданная jondurbin на основе Mistral 7B v0.1 и дополнительно обученная методом direct preference optimization (DPO). Она предназначена для генерации ответов в чате, следования инструкциям и задач общего назначения, включая вопросы по контексту, математику, программирование, суммаризацию и творческое письмо. Модель использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В обучении использованы наборы инструкций и предпочтений по разным темам, в том числе код, естественные науки, чтение, диалоги и художественное письмо. Карточка указывает четыре совместимых формата промпта: Vicuna, Llama 2, Alpaca и ChatML. Модель рассчитана на генерацию текста и диалоговое применение. Карточка отмечает, что версия без DPO может быть лучше для ролевых диалогов; в наборе данных присутствуют токсичные примеры, поэтому выходы могут содержать токсичный или иной нежелательный контент. Распространяется по лицензии Apache-2.0.

DeepSeek-V3.1-Base — базовая языковая модель, разработанная DeepSeek AI. Она предназначена как основа для последующего дообучения и создания прикладных версий, включая варианты с режимами рассуждения и без рассуждения, поддержкой вызова инструментов и агентскими сценариями. Модель ориентирована на обработку длинного контекста и сложных текстовых запросов. Модель построена на архитектуре Mixture-of-Experts: общий размер составляет 671 млрд параметров, из которых для одного токена активируется 37 млрд. Максимальная длина контекста — 128K токенов. В README не указаны точный набор поддерживаемых языков и мультимодальные возможности, поэтому подтверждённо описать её можно только как текстовую языковую модель. Для обучения использовалось расширение длинного контекста в два этапа, а веса и активации представлены в формате UE8M0 FP8. К сильным сторонам относятся большой контекст, высокая вычислительная ёмкость при меньшем числе активируемых параметров и пригодность в качестве базы для специализированного дообучения. Ограничения включают очень высокие требования к ресурсам для развёртывания и отсутствие в предоставленных данных подробных результатов оценки, перечня языков и описания мультимодальности. Модель распространяется по лицензии MIT.

AtomicChat/gemma-4-31B-it-GGUF — это квантизированная GGUF-версия мультимодальной модели Google Gemma 4 31B Instruct, подготовленная командой Atomic Chat на основе оригинальных весов google/gemma-4-31B-it. Модель предназначена для локального и полностью автономного применения в чат-ботах, генерации и анализе текста, задачах рассуждения, а также обработки изображений совместно с текстом. Для работы с изображениями в репозитории поставляется vision-проектор mmproj. Модель содержит 30,7 млрд параметров и 60 слоёв. Она использует плотную decoder-архитектуру Gemma4ForConditionalGeneration с гибридным вниманием: sliding-window с окном 1024 токена и глобальным вниманием; предусмотрены 32 attention heads и 16 KV heads. Заявленная длина контекста — 256 тысяч токенов, размер словаря — 262 тысячи. Поддерживаются текстовая и визуальная модальности. Доступны варианты квантования от Q2_K до Q8_0; кванты откалиброваны с importance matrix, что должно помогать сохранять качество при уменьшении размера. Рекомендуемым компромиссом между размером, скоростью и качеством указан Q4_K_M. Сильные стороны модели — большой контекст, мультимодальность, возможности рассуждения, автономная работа и широкий выбор вариантов квантования для разных объёмов памяти. Ограничения связаны с высокими требованиями к памяти: размер файлов варьируется примерно от 11,9 до 32,6 ГБ, а низкобитные варианты могут заметно терять качество. Для корректной работы в llama.cpp требуется применять chat template Gemma 4 через параметр --jinja; для изображений необходим vision-проектор и поддержка соответствующих инструментов. Репозиторий распространяется по лицензии Apache-2.0.

Это мультимодальная модель Gemma 4 E4B, разработанная Google DeepMind и представленная в формате GGUF. Данная версия основана на checkpoint coder3101/gemma-4-E4B-it-qat-q4_0-unquantized-heretic, прошла Quantization-Aware Training и предназначена для запуска через llama.cpp, в том числе на устройствах с ограниченными ресурсами. Модель работает с текстом, изображениями и аудио, поддерживает системные сообщения, нативный вызов функций и настраиваемый режим рассуждений. Архитектура использует гибридное внимание со скользящим окном и глобальным вниманием; модель содержит 42 слоя, размер скользящего окна составляет 512 токенов, а контекстное окно — 131 072 токена. Эффективный объём параметров заявлен на уровне 4,5 млрд при 8 млрд параметров с учётом embeddings. Основные текстовые тензоры представлены в формате Q4_0_PURE, согласованном с QAT-калибровкой; vision/audio projector доступен в вариантах Q8_0 и BF16. Для мультимодального ввода требуется отдельный projector-файл. Особенностью версии heretic является постобработка с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation, направленная на подавление отказов при сохранении рассуждений и мультимодальных возможностей. Заявленные показатели отказов являются самоотчётными и не подтверждены независимым тестированием. Использование формата ограничено Q4_0_PURE: стандартные варианты вроде Q4_K_M или Q5_K_M для этой QAT-модели не рекомендуются, поскольку могут ухудшить качество. Модель распространяется по лицензии Gemma; условия определяются официальными условиями Google Gemma.

Granite-3.1-8B-Base — базовая языковая модель IBM Granite Team для генерации текста и последующей адаптации под прикладные сценарии. Это плотный decoder-only Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; модель содержит 8,2 млрд параметров и поддерживает контекст до 131 072 токенов. Контекст расширен с 4K у Granite-3.0-8B-Base посредством поэтапного обучения на длинных последовательностях примерно на 500 млрд токенов. Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы и других задач генерации текста, в том числе по длинному контексту. Она обучалась на данных из веба, кода, академических источников, книг и математики, а также на многоязычных, инструкционных и синтетических длинноконтекстных данных. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель не проходила safety alignment и может выдавать предвзятые или недостоверные ответы, а также воспроизводить фрагменты обучающих данных. Лицензия Apache 2.0.

WeMake/Llama-3-8B-Instruct-V41-1048k — разговорная языковая модель WeMake на архитектуре Llama 3 с 7,5 млрд параметров. Модель создана на основе gradientai/Llama-3-8B-Instruct-Gradient-1048k и meta-llama/Meta-Llama-3-8B; в карточке указано, что она объединяет их с настройками WeMake V41 и обучалась методом WeMake ICU. Репозиторий содержит веса в формате safetensors, лицензия — llama3. Модель предназначена для диалоговых агентов, создания текстов, анализа данных и извлечения выводов. Заявлены учёт эмоционального контекста, согласование ответов с человеческими ценностями и поддержка нескольких языков. Максимальная длина контекста — 1 048 576 токенов, однако карточка не приводит независимых оценок качества и не перечисляет поддерживаемые языки помимо английского в метаданных. Перед использованием следует проверять точность и уместность ответов; заявления об эмоциональном интеллекте и согласовании приводятся разработчиком.

FriendliAI/Meta-Llama-3.1-8B-Instruct-int8 — это инструкция-ориентированная текстовая языковая модель на базе Meta-Llama-3.1-8B, разработанной Meta. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций на естественном языке. Вариант int8 использует 8-битное представление параметров, что рассчитано на более эффективное по памяти и вычислениям развертывание по сравнению с полноразмерной версией. Модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Она относится к классу текстовых моделей и не предназначена для обработки изображений, аудио или других немультимодальных данных. Размер базовой модели составляет 8 миллиардов параметров; сведения о размере контекстного окна в представленных данных отсутствуют. К сильным сторонам относятся instruction-tuning, многоязычность и сниженные требования к памяти благодаря int8-квантизации. Ограничениями являются возможная потеря качества по сравнению с исходной версией из-за квантизации, а также отсутствие указаний на поддержку мультимодальных задач. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении необходимо соблюдать условия лицензии, включая указание «Built with Llama», сохранение уведомления об авторских правах и требования Acceptable Use Policy; для продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

lmstudio-community/Meta-Llama-3-70B-Instruct-BPE-fix-GGUF — версия модели Meta-Llama-3-70B-Instruct, разработанной Meta и опубликованной сообществом lmstudio-community в формате GGUF с исправлением BPE. Это текстовая генеративная языковая модель для диалогов, следования инструкциям и других задач генерации текста. В карточке указаны английский язык и конвейер text-generation. Модель относится к семейству Llama 3 и содержит 70 млрд параметров; она предназначена для сценариев, где требуется создание и обработка текста в формате инструкций или диалога. Поддерживаются только текстовые входы и выходы. Сведения об архитектурных деталях, размере контекста, точном наборе поддерживаемых языков и характеристиках производительности в карточке не приведены. Модель требует значительных вычислительных ресурсов из-за большого числа параметров, а формат GGUF ориентирован на локальное или совместимое с ним инференс-развёртывание. Условия использования определяются Meta Llama 3 Community License: лицензия предоставляет ограниченные права на использование, копирование, модификацию и распространение при соблюдении условий Meta, включая принятие Acceptable Use Policy, указание атрибуции и отображение фразы «Built with Meta Llama 3» при распространении. Для продуктов с более чем 700 млн ежемесячных активных пользователей требуется отдельное разрешение Meta.

TheBloke/Mixtral-8x7B-v0.1-GPTQ — это GPTQ-квантизированная версия языковой модели Mixtral 8x7B v0.1, разработанной Mistral AI и подготовленной к публикации в формате GPTQ командой TheBloke. Модель предназначена для генерации и обработки текста, включая диалоговые и другие сценарии применения больших языковых моделей. В метаданных указаны английский, французский, итальянский, немецкий и испанский языки. Архитектура обозначена как Mixtral; исходная модель имеет конфигурацию 8×7B, однако точные сведения о контекстном окне в представленном README отсутствуют. Репозиторий содержит несколько вариантов 4-битной GPTQ-квантизации с разными параметрами group size и Act Order, что позволяет выбирать компромисс между требованиями к видеопамяти и точностью. Размер основного варианта составляет около 23,81 ГБ, а другого варианта — около 24,70 ГБ. Для работы требуются Transformers версии 4.36.0 или новее и совместимая реализация AutoGPTQ либо специальная версия Transformers; поддерживаются Linux с GPU NVIDIA или AMD и Windows с GPU NVIDIA. macOS в README не поддерживается для GPTQ-вариантов. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-Theseus-GGUF — это GGUF-квантизация модели Qwen3.5-9B-Theseus, выполненная mradermacher; исходная модель разработана nightmedia. Модель основана на архитектуре Qwen3.5 с примерно 9 млрд параметров и распространяется в форматах GGUF с различными уровнями квантизации, включая Q2_K–Q8_0, IQ4_XS и f16. Для некоторых конфигураций доступны мультимодальные дополнения mmproj, поэтому модель может использоваться в мультимодальных сценариях при наличии соответствующего файла. Модель предназначена для генерации текста, диалогов, программирования, математических и STEM-задач, рассуждений, творческого и художественного письма, сторителлинга и ролевых сценариев. В README заявлена поддержка английского, китайского, японского и испанского языков, а также контекст до 256k или 1M токенов, однако точные возможности зависят от исходной модели и используемой конфигурации. К сильным сторонам относятся широкий выбор квантизаций, возможность запуска в ресурсоограниченных средах и наличие вариантов, ориентированных на скорость или качество; при этом более сильная квантизация может снижать качество, а мультимодальность требует отдельного mmproj-файла. Модель имеет экспериментальные характеристики, поэтому её качество и совместимость следует проверять для конкретных задач. Лицензия — Apache-2.0.

Qwen3.6-27B-Jörmungandr — экспериментальный вариант Qwen, созданный nightmedia слиянием NuSLERP нескольких моделей семейства Qwen3.6 и Qwen3.5, а также Tess-4-27B. Это плотная модель класса Qwen3_5ForConditionalGeneration с 27 млрд параметров; репозиторий содержит веса safetensors и использует библиотеку Transformers. Метаданные указывают на поддержку визуальных входов и диалогового режима. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования и творческого письма, включая создание историй и ролевые сценарии. В README приведены результаты бенчмарков и оценки для нескольких вариантов квантования, но они не заменяют независимую оценку качества. Карточка не сообщает длину контекста; поддерживаемые языки по метаданным — английский, китайский, японский и испанский. Модель распространяется по лицензии Apache-2.0.

OBLITERATUS/Qwen3.6-27B-OBLITERATED — открытая текстовая языковая модель, разработанная OBLITERATUS на основе Qwen/Qwen3.6-27B. Модель предназначена для локальной генерации текста, диалогов, программирования, следования форматам и исследовательских задач, связанных с анализом и снижением отказов. Это не промпт-обёртка и не дообучение в обычном смысле: применён метод source-tethered ASPA, изменяющий веса модели для уменьшения отказов при сохранении исходных возможностей. Модель содержит 26,9 млрд параметров и доступна в формате bfloat16 safetensors, а также в вариантах GGUF Q4_K_M, Q5_K_M, Q6_K и Q8_0. Поддерживаются Transformers, vLLM, TGI, llama.cpp, Ollama, LM Studio, Jan и другие совместимые локальные среды. Это текстовая модель без vision encoder и мультимодальных компонентов; сведения о языках и размере контекстного окна в карточке не указаны. Для работы рекомендуется использовать современные версии runtime и корректный chat template. Ключевая особенность модели — существенно сниженный уровень отказов: по данным карточки, на внутреннем наборе из 842 парных запросов показатель отсутствия отказа составил 95,84% при прохождении проверки качества в 93,94%, а на 1 920 строках прокси-теста HarmBench — 93,65%. При этом на указанных срезах MMLU-Pro результаты совпали с базовой моделью: 51/70 на валидационном и 36/70 на отложенном срезе. Эти результаты отражают заявленные авторами проверки и не гарантируют одинаковое поведение во всех сценариях; остаточные отказы сохраняются в отдельных областях, а снижение защитных ограничений может быть нежелательно для задач, требующих встроенных механизмов безопасности. Модель распространяется по лицензии Apache-2.0. Для полной версии safetensors требуется примерно 50 ГБ локального пространства, крупнейший публичный GGUF Q8_0 занимает около 28,6 ГБ.

MaziyarPanahi/bagel-dpo-7b-v0.1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на основе Mistral-7B-Instruct-v0.1 и jondurbin/bagel-dpo-7b-v0.1. Веса объединены методом SLERP; архитектура — плотная авторегрессионная MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и ведения диалогов. Обучающие данные включают наборы для вопросов и ответов, рассуждений, математики, кода и диалогов, поэтому модель подходит для широкого спектра текстовых запросов. Указана лицензия Apache-2.0.

Calcium-Opus-14B-Elite-1M — плотная языковая модель семейства Qwen2, выпущенная prithivMLmods и дообученная на базе Qwen/Qwen2.5-14B-Instruct-1M. По метаданным, модель содержит 14 млрд параметров, использует Transformers и формат safetensors, а её нативный контекст составляет до 1,01 млн токенов. Карточка заявляет улучшения в рассуждениях, работе с длинным контекстом, математике и поддержке более 50 языков; также заявлены мультимодальные возможности для текста, изображений и табличных данных, однако метаданные подтверждают только задачу генерации текста. Модель предназначена для диалогов и генерации текста, включая анализ длинных материалов, ответы с подробными рассуждениями и работу с техническими, юридическими, медицинскими и финансовыми темами. В качестве сценариев карточка также называет клиентскую поддержку, перевод и анализ документов. Подтверждённый основной язык — английский; более широкая языковая и мультимодальная поддержка заявлена в README, но не отражена в метаданных. Для запуска на длинном контексте требуются значительные вычислительные ресурсы; карточка также предупреждает о возможной избыточности ответов в очень длинных творческих задачах и о смещениях на малоресурсных языках. Лицензия — Apache-2.0.

Falcon-H1-1.5B-Deep-Instruct — компактная инструктивно дообученная языковая модель семейства Falcon-H1 от TII, основанная на Falcon-H1-1.5B-Deep-Base. Это плотная причинная модель-декодер с гибридной архитектурой Transformers и Mamba, примерно на 1,2 млрд параметров. Она предназначена для диалоговой генерации текста, рассуждений и решения общих задач; среди сценариев применения — ответы на вопросы и помощь с написанием кода. Модель поддерживает английский и многоязычный ввод, а контекст составляет до 131 072 токенов. Для запуска подходят Transformers, vLLM и llama.cpp; в репозитории указаны веса Safetensors. В README приведено сравнение Falcon-H1 с несколькими компактными языковыми моделями на тестах рассуждений и общих задач. Лицензия — Falcon-LLM License; перед использованием следует проверить её условия.

unsloth/gemma-3-4b-it-unsloth-bnb-4bit — 4B-параметричная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind и представленная в 4-битном формате BNB благодаря Unsloth. Модель основана на google/gemma-3-4b-it и предназначена для запуска и дообучения с использованием библиотеки Transformers, в том числе на устройствах с ограниченными ресурсами. Модель поддерживает мультимодальный ввод: текст и изображения, при этом генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Заявлены контекст до 128K токенов для версии 4B и максимальный объём генерируемого ответа до 8192 токенов. Поддерживается более 140 языков, однако в метаданных этой конкретной карточки явно указан английский язык. Ключевое преимущество — уменьшенный размер и 4-битное квантование, упрощающие локальное развертывание и снижающие требования к памяти; Unsloth также заявляет о selectively quantized Dynamic Quants с улучшенной точностью по сравнению со стандартным 4-битным квантованием. Ограничения включают возможные потери качества из-за квантования, а также отсутствие в представленном README подробных данных о точной архитектуре, показателях качества и поддерживаемом наборе языков именно для этой сборки. Использование регулируется лицензией Gemma и соответствующими условиями Google.

Это 4-битная MXFP4-квантизация инструкционной модели Google Gemma 4 12B-it, подготовленная FreedomAISVR в формате GGUF. В основе лежит плотный декодерный трансформер Gemma4ForCausalLM с 12,08 млрд параметров; README указывает размер файла 6,3 ГБ и целевую платформу — видеокарты NVIDIA Blackwell, включая RTX 50-й серии. Модель предназначена для диалогов и генерации текста по инструкциям: она подходит для ответов на вопросы, рассуждений и задач по коду. Базовая Gemma 4 поддерживает мультимодальное понимание, однако в этой карточке репозитория заявлена задача text-generation и возможность чата; другие входные модальности для данной сборки не подтверждены. README сообщает о контексте до 256 тыс. токенов и приводит результаты скорости на RTX 5060 Ti 16 ГБ. Квантизация уменьшает требования к памяти и ориентирована на запуск локально с llama.cpp на совместимом оборудовании; качество и скорость могут зависеть от реализации и аппаратуры. Модель распространяется по лицензии Apache-2.0. Sведения о поддерживаемых естественных языках в карточке ограничены английским языковым тегом.

LilaRest/gemma-4-31B-it-NVFP4-turbo — репакованная и оптимизированная версия Gemma 4 31B IT, основанная на моделях Google gemma-4-31B-it и NVIDIA Gemma-4-31B-IT-NVFP4. Модель предназначена для генерации текста, диалоговых приложений, ответов на вопросы и других задач, поддерживаемых text-generation. Это текстовая версия: веса и энкодеры для обработки видео и аудио удалены. Модель использует квантизацию NVFP4 и рассчитана на GPU NVIDIA с архитектурой Blackwell, включая RTX 5090, RTX PRO 6000 и B200, с объёмом видеопамяти не менее 20 ГБ. По заявленным данным, она занимает около 18,5 GiB памяти, примерно в 2,5 раза быстрее базовой модели и обеспечивает более высокую производительность при параллельной обработке запросов. Заявлен контекст до 16K токенов. В бенчмарках модель получила 72,73% на GPQA Diamond и 83,93% на MMLU Pro, сохранив близкое к исходной модели качество, но с потерей примерно 1–3%. Основные ограничения — зависимость от совместимого оборудования NVIDIA Blackwell, необходимость соответствующих версий Transformers, vLLM и CUDA, а также отсутствие мультимодальной поддержки аудио и видео. По README, модель распространяется по лицензии Apache 2.0.

Llama-3_1-Nemotron-51B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели Llama-3.1 Nemotron 51B-Instruct от NVIDIA, подготовленная пользователем ymcki. Модель предназначена для генерации текста и диалоговых сценариев; в метаданных указан английский язык. Для общения используется шаблон с ролями System, User и Assistant. Модель содержит около 51 млрд параметров и поддерживает запуск через llama.cpp. Доступны варианты квантизации Q6_K, Q5_K_M, Q4_K_M, IQ4_NL, IQ4_XS, Q4_0, IQ3_M, IQ3_S, IQ3_XXS и Q3_K_S с размером файлов примерно от 20,19 до 42,26 ГБ. Более точные варианты обеспечивают качество, близкое к исходной модели, но требуют больше памяти; менее точные подходят для оборудования с ограниченным объёмом памяти, однако сильнее уступают по показателям perplexity и могут работать медленнее на CPU и Apple Silicon. Для полноценной работы требуется версия llama.cpp начиная с b4380 с поддержкой переменного Grouped Query Attention для DeciLMForCausalLM. При самостоятельной конвертации следует учитывать проблему старого конвертера с параметром rope_theta: без исправления модель может некорректно работать с запросами длиннее 4 тысяч токенов. Модель распространяется по лицензии NVIDIA Open Model License Agreement; точные условия определяются текстом этой лицензии.

Llama-3-70B-Instruct-Gradient-262k — это дообученная Gradient версия Meta Llama 3 70B Instruct, разработанная Gradient при поддержке вычислительных ресурсов Crusoe Energy. Модель предназначена для диалоговой генерации текста и обработки очень длинных входных последовательностей: README сообщает о расширении контекста исходной модели с 8 тысяч до более чем 262 тысяч токенов за счёт настройки RoPE theta и обучения на дополнительных данных. В метаданных указаны архитектура LlamaForCausalLM, 69,5 млрд параметров и контекст 262 144 токена. Модель подходит для диалоговых помощников, анализа длинных документов и сценариев, где нужно учитывать большой объём контекста за один запрос. Карточка описывает англоязычный вариант; поддержка других языков не подтверждена. Для запуска предлагаются Transformers или TGI, а веса опубликованы в формате safetensors. Использование регулируется лицензией Llama 3; перед развёртыванием следует учитывать её условия и проверять ответы модели, поскольку возможны ошибки и остаточные риски безопасности.

Devs Do Code выпустила инструкционную версию Llama 3 8B с контекстом до 1 048 576 токенов. Это плотная авторегрессионная языковая модель семейства Llama, предназначенная для диалога и генерации текста с использованием длинного контекста. По описанию разработчика, контекст расширен настройкой параметра RoPE theta; для этого этапа обучения использовано 830 млн токенов, а суммарно для всех этапов — 1,4 млрд токенов. Модель подходит для ответов на вопросы и работы с длинными документами в сценариях, где требуется учитывать большой объём входного текста. В карточке указана поддержка английского языка и форматы весов Safetensors. Для запуска можно использовать Transformers или TGI. Модель основана на Meta-Llama-3-8B-Instruct и распространяется по лицензии Llama 3. Как и другие большие языковые модели, она может выдавать неточные ответы и сохраняет остаточные риски безопасности; разработчик рекомендует оценивать риски применительно к сценарию использования и при необходимости добавлять защитные меры.

ibnzterrell/Meta-Llama-3.3-70B-Instruct-AWQ-INT4 — это 4-битная AWQ-квантизированная версия Meta-Llama-3.3-70B-Instruct, первоначально выпущенной Meta AI и опубликованной в данном варианте пользователем ibnzterrell. Модель представляет собой крупную instruction-tuned языковую модель с текстовым вводом и выводом, предназначенную для генерации текста и многоязычного диалога. Модель подходит для чат-ассистентов, ответов на вопросы и других сценариев текстовой генерации на английском, французском, итальянском, португальском, хинди, испанском, тайском и немецком языках. Исходная модель имеет размер 70B параметров; доступный вариант использует INT4-квантизацию AWQ с GEMM-ядрами, zero-point quantization и размером группы 128. Для загрузки контрольной точки требуется около 35 ГиБ VRAM без учёта KV-кэша и CUDA Graphs, поэтому необходим некоторый дополнительный запас видеопамяти. Поддерживаются Transformers, AutoAWQ, Text Generation Inference и vLLM. К основным преимуществам относятся значительно сниженные требования к памяти по сравнению с полноточной версией и возможность запуска большой многоязычной instruction-tuned модели на совместимом оборудовании. Ограничения связаны с потерями качества, возможными при 4-битной квантизации, высокой потребностью в ресурсах и тем, что README не содержит сведений о длине контекста. Модель распространяется по лицензии Llama 3.3.

Это GGUF-квантизированная версия Mistral-Small-3.1-24B-Instruct-2503, разработанного Mistral AI и подготовленного пользователем bartowski. Модель предназначена для диалоговых задач и сценариев, где требуется обработка текста и изображений, и может запускаться через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит 24 млрд параметров и поддерживает мультимодальный режим с входными данными в виде текста и изображений; для работы с изображениями требуется отдельный файл mmproj. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Доступны варианты от BF16 до различных форматов квантования GGUF размером примерно от 12,76 до 47,15 ГБ. В README размер контекста не указан. Основное преимущество — сочетание высокой точности исходной модели с выбором квантизаций, позволяющих адаптировать требования к памяти и качеству; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M рекомендован как типичный компромисс. Ограничения включают значительный объём файлов, зависимость мультимодальной работы от mmproj и возможное снижение качества у более компактных вариантов. Лицензия — Apache-2.0.

Occiglot-7B-FR-EN-Instruct — генеративная языковая модель с 7 млрд параметров, разработанная исследовательским коллективом Occiglot при поддержке подразделений DFKI SAINT и SLT. Это instruct-версия модели occiglot-7b-fr-en, предназначенная для диалогового взаимодействия и выполнения инструкций на английском и французском языках, а также для работы с кодом. Модель доступна в формате GGUF и распространяется по лицензии Apache 2.0. Модель построена на архитектуре авторегрессионного decoder-only Transformer, а её токенизатор унаследован от Mistral-7B-v0.1. Для дообучения использовались 160 млн дополнительных токенов мультиязычных и кодовых инструкций, включая англоязычные и франкоязычные наборы Open-Hermes-2B, Bactrian-X, AI-Society Translated, GT-Dorimiti, OASST-2 и Aya-Dataset. Обучение выполнялось с контекстом 8192 токена и шаблоном диалогов ChatML. Сильная сторона модели — специализация на английском и французском языках при сохранении возможностей генерации кода и следования инструкциям. Она может применяться для чат-ботов, ответов на вопросы, генерации и преобразования текста, а также вспомогательных задач программирования. При этом проект позиционируется как открытое исследование, а README предупреждает, что модель не проходила safety alignment и может генерировать проблемный или небезопасный контент. Результаты оценки следует интерпретировать с осторожностью, поскольку часть неанглоязычных тестов основана на машинном переводе и англоязычных запросах.

bartowski/Phi-3.5-mini-instruct-GGUF — набор GGUF-квантизаций модели Phi-3.5-mini-instruct, разработанной Microsoft и преобразованной в GGUF с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев и задач обработки естественного языка, включая работу с кодом. В README заявлена мультиязычная поддержка и формат взаимодействия с системными и пользовательскими сообщениями. Доступны варианты от полных весов F32 размером 15,29 ГБ до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ различных размеров — примерно от 1,68 до 4,06 ГБ. Квантизации позволяют выбирать компромисс между качеством и требованиями к памяти; отдельные варианты оптимизированы для ARM-инференса. Для запуска рекомендуется использовать llama.cpp или LM Studio и соблюдать указанный формат prompt. Контекст модели, точное число параметров и перечень поддерживаемых языков в предоставленном README не указаны. Сильной стороной набора является широкий выбор уровней квантизации, включая варианты, ориентированные на высокое качество, экономию памяти и ARM-устройства. Ограничения зависят от выбранного варианта: более компактные квантизации могут заметно снижать качество, а некоторые требуют специфической аппаратной поддержки. В метаданных указана лицензия MIT; исходная модель размещена Microsoft.

Phi-3-mini-128k-instruct-GGUF — квантизированная версия инструкционной языковой модели Phi-3-mini-128k-instruct, разработанной Microsoft. Модель предназначена для генерации текста и диалоговых сценариев, включая обработку запросов и работу с кодом. Она поддерживает английский язык, использует формат GGUF и рассчитана на контекст до 128 000 токенов. Для работы в GaiaNet предусмотрен шаблон prompt phi-3-chat. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, с размером файлов примерно от 1,42 до 7,64 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S обеспечивают меньшее снижение качества при большем размере. Более агрессивная квантизация уменьшает требования к ресурсам, но может заметно ухудшать качество ответов. Модель ориентирована преимущественно на английские задачи; сведения о мультимодальности отсутствуют. Квантизацию выполнила Second State Inc. Лицензия — MIT.

Qwen2.5-14B-Instruct-MLX-4bit — это 4-битная MLX-квантизация инструкционно дообученной языковой модели Qwen2.5-14B-Instruct. Исходную модель разработала команда Qwen, а квантизацию предоставил bartowski на основе mlx-examples. Модель предназначена для запуска на компьютерах Mac с Apple Silicon и использования в сценариях генерации текста и диалогового взаимодействия. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов, ориентирована на работу со структурированными данными и их генерацию. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Квантизация снижает требования к памяти, но README не содержит количественных оценок производительности и качества, поэтому её сильные стороны и ограничения относительно полной версии нельзя точно сравнить. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может генерировать неточную, вредную или неподходящую информацию, поэтому результаты требуют проверки.

6block/Qwen3-14B-GGUF — набор GGUF-квантизированных версий языковой модели Qwen3-14B, разработанной Qwen. Квантизацию выполнил 6block с использованием llama.cpp и метода imatrix; исходная модель доступна как Qwen/Qwen3-14B. Модель предназначена для генерации текста и программного кода, включая двуязычные сценарии на английском и китайском языках, и может применяться локально через llama.cpp, LM Studio, Ollama и совместимые проекты. Доступны варианты квантизации от Q8_0 до Q2_K размером примерно от 15,70 до 5,75 ГБ. Для калибровки использовался датасет с английскими, китайскими и программными текстами, что должно помогать сохранять способности к работе с китайским языком и кодом в моделях с низкой разрядностью. Более высокие варианты обычно обеспечивают лучшее качество, а низкоразрядные требуют меньше памяти, но сильнее ограничены потерями качества; I-кванты могут быть эффективнее по качеству на размер, но медленнее K-квантов на CPU. Архитектура, длина контекста и точный набор поддерживаемых языков в карточке не указаны. Модель распространяется по лицензии Apache 2.0. Для запуска требуется подходящее локальное программное обеспечение и объём RAM или VRAM, соответствующий выбранному файлу; конкретные требования зависят от варианта квантизации.