II.7DevOps, облако и эксплуатация IT-систем

Cohere и Cohere Labs разработали Command R 08-2024 — авторегрессионную языковую модель с открытыми весами на 32 млрд параметров. Она использует оптимизированную архитектуру Transformer с grouped-query attention и после предварительного обучения прошла supervised fine-tuning и обучение на предпочтениях. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и обучена на 23 языках. Модель предназначена для диалогов, рассуждений, суммаризации и ответов на вопросы. Она умеет формировать ответы на основе предоставленных фрагментов документов с указанием цитируемых источников, что подходит для grounded generation и этапа генерации ответа в RAG-системах. Также предусмотрен вызов внешних инструментов в один шаг: модель выбирает инструмент и формирует параметры вызова, а выполнение выполняет приложение. В карточке указаны обучение на английском, французском, испанском, итальянском, немецком, португальском, японском, корейском, арабском, китайском, русском, польском, турецком, вьетнамском, нидерландском, чешском, индонезийском, украинском, румынском, греческом, хинди, иврите и персидском; оценивание проводилось на десяти языках. Для корректной работы с цитированием и вызовом инструментов нужны рекомендованные шаблоны запросов. Лицензия CC-BY-NC-4.0 требует соблюдения Acceptable Use Policy Cohere Labs и ограничивает коммерческое использование.

Daredevil-8B — диалоговая языковая модель, созданная mlabonne как объединение нескольких моделей Llama 3 8B с помощью LazyMergekit. Репозиторий содержит плотную архитектуру LlamaForCausalLM с 7,5 млрд параметров; модель принимает текст и генерирует текст, поддерживает контекст до 8192 токенов и предназначена для чата и генерации ответов. Автор позиционирует её как улучшенную версию Meta-Llama-3-8B-Instruct и сообщает о высоких результатах на MMLU и наборах Open LLM Leaderboard и Nous по состоянию на май 2024 года. Модель общего назначения можно применять для диалогов, ответов на вопросы, генерации текста и кода. В README она описана как цензурированная; для снятия ограничений автор указывает отдельную модель Daredevil-8B-abliterated. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверять в карточке модели и лицензиях компонентов объединения.

nsd12/deepseek-v4-gguf — это квантованная версия языковой модели DeepSeek-V4-Flash в формате GGUF, подготовленная antirez на базе модели DeepSeek. Модель предназначена для генерации текста и запуска локального вывода через inference engine ds4, с оптимизацией для систем Apple Silicon и Metal. В метаданных указан английский язык. Модель использует архитектуру Mixture of Experts (MoE). Доступны варианты с квантованием экспертных блоков до 2-битного уровня (IQ2_XXS и Q2_K) размером около 80,8 GiB и до 4-битного уровня Q4_K размером около 153,3 GiB. Остальные компоненты, включая внимание, общих экспертов и выходной слой, в основном сохраняются в Q8_0, F16 или F32 для снижения потерь качества. Отдельный файл MTP размером 3,6 GiB предназначен для опционального speculative decoding и не является самостоятельной моделью. Вариант q2 рассчитан на компьютеры с 128 ГБ оперативной памяти, а q4 — на системы с не менее чем 256 ГБ RAM. Ключевое ограничение — квантизации специфичны для inference engine ds4 и могут быть несовместимы с другими загрузчиками; MTP требует специальной поддержки. В примере запуска ds4 используется контекст до 100000 токенов, однако собственный максимальный контекст модели в README не указан. GGUF-файлы распространяются по лицензии MIT, при этом базовая модель принадлежит DeepSeek и распространяется с условиями её релиза.

Dolphin 2.9.2 Phi 3 Medium — языковая модель, дообученная Eric Hartford, Lucas Atkins, Fernando Fernandes и сообществом Cognitive Computations на базе Phi-3-Medium-Instruct-4k. Это плотная модель для генерации текста и диалогов; README указывает обучение с qLoRA на последовательностях длиной 4k, а метаданные — архитектуру MistralForCausalLM и 13,8 млрд параметров. Модель использует шаблон запросов ChatML и рассчитана на английский язык. Модель предназначена для выполнения инструкций, общения, задач программирования и начальных агентных сценариев, включая вызов функций. В README упомянуты обучение на наборах инструкций, диалогов, кода и математических задач. Контекст ограничен 4096 токенами. По словам авторов, модель не полностью очищена от отказов; они советуют настроить собственный слой выравнивания перед предоставлением модели как сервиса. Лицензия — MIT. README предупреждает, что модель более склонна выполнять запросы и возлагает ответственность за создаваемый контент на пользователя.

Falcon3-Mamba-7B-Base — базовая предварительно обученная языковая модель семейства Falcon3, разработанная Technology Innovation Institute. Это плотный авторегрессионный декодер на основе Mamba1: 64 блока, ширина 4096, размер состояния 16 и словарь на 65 тысяч токенов. Модель продолжает предварительное обучение Falcon-Mamba-7B на дополнительных данных из веба, кода, STEM и других высококачественных источников. Модель предназначена для генерации текста и служит основой для сценариев рассуждения, понимания языка, следования инструкциям, работы с кодом и математикой. Контекстное окно достигает 32 тысяч токенов; обучение велось преимущественно на английских данных. В репозитории представлены веса Safetensors для Transformers. Разработчик сообщает о сильных результатах на задачах рассуждения, понимания языка, кода и математики по сравнению с моделями SSM схожего размера на момент выпуска. Это базовая модель, поэтому качество следования инструкциям в прикладном чате может уступать специализированным instruct-версиям. Лицензия — TII Falcon-LLM License 2.0.

FlexOlmo-7x7B-1T-RT — языковая модель семейства FlexOlmo, разработанная Allen Institute for AI (Ai2). Это чат-модель для генерации текста на основе архитектуры Mixture-of-Experts (MoE); версия RT представлена в README как модель без обучения маршрутизатора экспертов. README описывает набор экспертов, обученных на публичных данных, новостях, математике, коде, академических текстах, творческих текстах и Reddit. Для этой версии в метаданных указано 6,9 млрд параметров, контекст — 4096 токенов. Модель предназначена для диалога и генерации текста в сценариях, связанных с общими вопросами, математикой, кодом, новостями, академическими и творческими текстами. README описывает подход FlexOlmo к совместной разработке моделей: владельцы данных могут контролировать активность своих данных и получать атрибуцию без передачи исходных данных. В README приведена оценка отдельных плотных моделей, а не этой MoE-версии, поэтому эти результаты нельзя считать прямой оценкой FlexOlmo-7x7B-1T-RT. Модель распространяется по лицензии Apache-2.0.

Sci-fi-vy/gemma-3-270m-it-GGUF — модель Gemma 3 270M от Google DeepMind, представленная в формате GGUF. Это instruction-tuned вариант базовой модели google/gemma-3-270m-it, предназначенный для генерации текста по инструкциям и запросам. Модель подходит для ответов на вопросы, суммаризации документов, рассуждений, работы с кодом и других задач генерации текста. Семейство Gemma 3 поддерживает текстовые и графические входы с генерацией текста, однако для вариантов 270M в карточке явно указан контекст до 32K токенов, а параметры обработки изображений для этой размерности не описаны. Заявлена поддержка более 140 языков; обучающие данные включали веб-тексты, код, математические материалы и изображения. Дата отсечения знаний — август 2024 года, размер модели — 270 млн параметров. Небольшой размер облегчает локальное развёртывание на компьютерах с ограниченными ресурсами и в собственной облачной инфраструктуре, но по возможностям и качеству модель может уступать более крупным вариантам Gemma. Для работы рекомендуется использовать temperature 1.0, top_k 64, top_p 0.95 и min_p 0.0. Модель распространяется на условиях лицензии Gemma; точные условия следует уточнять в официальных Terms of Use.

Gemma4-12B-Reasoning-Distill — это производная от Google Gemma 4 12B Instruct, подготовленная пользователем yuxinlu1 и распространяемая в формате GGUF. Модель предназначена для локального и офлайн-использования через llama.cpp и совместимые приложения, включая LM Studio, Jan и Ollama. Она ориентирована на диалоги, генерацию текста, программирование и задачи, требующие рассуждений; дообучение выполнено на синтетических данных рассуждений, связанных с Claude Opus 4.6, 4.7 и 4.8. Модель использует архитектуру Gemma 4 и имеет размер 12B параметров. Доступны варианты квантования Q2_K, Q4_K_M, Q6_K, Q8_0 и F16 размером примерно от 4,5 до 22,2 ГБ. Максимальная длина контекста заявлена до 131K токенов и зависит от квантования, объёма памяти и типа KV-кэша. Поддерживается режим рассуждений через нативный thought channel Gemma; рекомендованные параметры генерации — temperature 1.0, top_p 0.95 и top_k 64. Дополнительно доступен MTP draft-модель для speculative decoding, способная ускорять генерацию без изменения результата при использовании свежей версии llama.cpp. Сильные стороны модели — небольшой объём по сравнению с полноразмерными моделями, возможность запуска на локальном оборудовании, приватность и отсутствие зависимости от облачного API. Ограничения включают англоязычную направленность, стилистический характер синтетических рассуждений, необходимость перепроверять факты и числа, а также сниженную безопасность: модель менее склонна к отказам и не считается safety-aligned, поэтому для production-сценариев нужны собственные защитные механизмы. Производительность и доступный контекст зависят от выбранного квантования и оборудования. В README указана лицензия Apache 2.0 для производной модели и базовой модели Google Gemma 4.

Gemma 4 26B A4B IT Heretic (FP8 Static) — офлайн-статически квантованная версия модели coder3101/gemma-4-26B-A4B-it-heretic, опубликованная в репозитории cloud19. Модель предназначена для диалоговых и мультимодальных сценариев, включая обработку текста и изображений, а также для высокопроизводительного инференса на оборудовании NVIDIA с FP8 tensor cores, например архитектур Hopper и Blackwell. Модель основана на архитектуре Gemma 4 с MoE-компонентами; заявленный размер — 26B параметров при конфигурации A4B. Квантование выполнено с помощью AutoFP8 в формате FP8 W8A8 со статическим масштабированием активаций. Для калибровки использовано 512 примеров из набора mgoin/ultrachat_2k. Визуальные слои и маршрутизаторы MoE сохранены в исходной точности bfloat16, чтобы сохранить мультимодальность и совместимость с vLLM. Указан контекст до 131072 токенов и поддержка развёртывания через vLLM версии 0.19.0 или новее. Сильные стороны модели — повышенная скорость инференса и эффективность использования NVIDIA-оборудования при сохранении разговорных возможностей, а также поддержка мультимодальности и автоматического выбора инструментов. Ограничения связаны с зависимостью от совместимого FP8-оборудования и актуальной версии vLLM; README не содержит подробных результатов оценки качества, перечня поддерживаемых языков и точных требований к видеопамяти. Модель распространяется по лицензии Apache-2.0.

GRaPE 2 Flash — мультимодальная модель семейства GRaPE, разработанная под брендом SLAI (Skinnertopia Lab for Artificial Intelligence). Это дообученная версия Qwen3-VL-8B-Thinking с архитектурой Qwen3-VL; в карточке указано около 9 млрд параметров. Модель принимает изображения и текст и формирует текстовые ответы. Она рассчитана на развертывание на потребительском оборудовании и предлагает режимы управления глубиной рассуждений. Основные сценарии — программирование, задачи по науке, технике, инженерии, искусству и математике, логические рассуждения и структурированное решение задач, в том числе с визуальными данными. Доступные языковые метки охватывают английский, китайский, французский, немецкий, испанский, японский, корейский, португальский, русский и арабский. Обучающие данные закрыты; в карточке нет результатов бенчмарков, поэтому качество на конкретных задачах следует проверять отдельно. Модель выпущена по лицензии Apache 2.0.

ICT-TIME-and-Querit-embedding-v1 — модель текстовых эмбеддингов, разработанная ICT-TIME-and-Querit на основе Qwen3-4B. Она предназначена для поиска по смыслу, сопоставления предложений, ранжирования и других задач, где текст нужно представить в виде векторов. Модель использует архитектуру Qwen3 с 3,7 млрд параметров, pooling по последнему токену и контекст до 40 960 токенов по метаданным (в README указано 32k). Модель обучена на общих текстовых данных и данных для поиска кода, а итоговая версия объединяет модели двух этапов обучения методом Multi-SLERP. В README приведены результаты на MTEB English v2, HUME и MTEB Code; заявленная область применения охватывает как обычные тексты, так и код. Основной язык обучения — английский, также в обучающих данных есть китайские и другие языки. Метаданные указывают библиотеку Transformers и формат safetensors. Лицензия в предоставленных данных не указана. Показатели бенчмарков из README не гарантируют такого же качества на конкретных данных; особенно важно оценивать модель на целевом языке и домене.

Primitive AI представляет квантизированную версию IFM/K2-Horizon-MoVA-36B-A4B — разреженной MoE-модели для генерации текста, рассуждений и вызова инструментов. Модель предназначена для серверного инференса и сценариев, где важны качество рассуждений, tool calling и размещение на одной видеокарте. Поддержка интегрирована в ветку main проекта vLLM; опубликованный вариант рассчитан на использование с Transformers, compressed-tensors и vLLM. Модель имеет 45 разреженных слоёв и общий размер 36B параметров при активных примерно 4B параметров на токен. В данной сборке 15 экспертных слоёв используют NVFP4, а остальные 30 — FP8 с блочными масштабами [128,128]. Размер файлов составляет 44,48 ГБ, что примерно на 8% меньше официальной FP8-версии и в 1,7 раза меньше BF16-варианта. Заявлена работа с контекстом до 32 768 токенов; на одной 96-ГБ видеокарте модель запускается без tensor parallelism. Сведения о поддерживаемых языках в README не указаны. Сильными сторонами являются сохранение уровня знаний, сопоставимого с BF16 и официальной FP8-версией, а также более высокая точность вызова инструментов по сравнению с альтернативной сборкой на чистом NVFP4. Модель требует GPU с архитектурой NVIDIA Blackwell и не тестировалась для Ampere, поскольку использует FP8-тензорные ядра. Для запуска нужен nightly или сборка vLLM из main с поддержкой K2-Horizon; стабильная версия 0.28.0 эту поддержку не содержит. Настройка уровня рассуждений выполняется на уровне сервера. Модель распространяется по лицензии Apache-2.0.

KeawGPT — языковая модель KordAI с архитектурой Qwen3 и примерно 3,7 млрд параметров, дообученная на базе KordAI/KeawGPT-Base. Она предназначена для генерации ответов и рассуждений на английском языке по STEM-дисциплинам — математике, физике, инженерии и информатике — и философии, включая логику, этику и анализ аргументов. Модель поддерживает диалог и структурированные вызовы инструментов, например для поиска в интернете и выполнения кода, если приложение умеет обрабатывать вызовы и передавать результаты обратно модели. Контекст — до 32 768 токенов; веса доступны в формате Safetensors. Модель подходит для объяснения технических понятий, разбора задач и концептуальных вопросов, а также для использования в агентных сценариях с инструментами. Она может допускать фактические и логические ошибки, особенно в многошаговых доказательствах и узкоспециальных темах, и выдумывать цитаты или источники. Вызов инструментов требует соответствующей реализации в приложении. Модель не предназначена для критически важных решений или профессиональных медицинских, юридических и финансовых консультаций. Лицензия — Apache-2.0.

LLaDA2.0-flash-CAP — языковая модель компании InclusionAI на основе диффузионной архитектуры Mixture-of-Experts. Она предназначена для генерации текста и диалоговых ответов, включая задачи знаний, рассуждений, программирования и математики. Обучение Confidence-Aware Parallel (CAP) повышает уверенность модели в корректных предсказаниях, чтобы ускорить параллельное декодирование. В README указана архитектура базовой LLaDA2.0-flash с 100 млрд параметров, 32 слоями, 32 головами внимания и контекстом 32 768 токенов; метаданные репозитория указывают 5,5 млрд параметров. В сравнении с базовой версией README сообщает ускорение генерации в 1,46 раза при небольшом снижении среднего результата на бенчмарках. Модель работает с текстом; для снижения риска смешения языков авторы рекомендуют температуру 0.0. Репозиторий распространяется по лицензии Apache-2.0.

Fu01978 разработал Llama-3.2-1B-4B-Quad-MoE — языковую модель с разреженной архитектурой Mixture of Experts для генерации текста и диалогов. В состав объединённой модели входят четыре эксперта на базе моделей Llama 3.2: инструктивная модель общего назначения, базовая модель для творческого текста, специалист по коду и специалист по математике. Метаданные указывают архитектуру MixtralForCausalLM и библиотеку Transformers. В README заявлены 3,65 млрд параметров всего и 1,24 млрд активных параметров на токен; метаданные каталога указывают 1,2 млрд параметров. Заявленная длина контекста — 131 072 токена, основной язык карточки — английский. Модель подходит для диалогов, написания текста, помощи с кодом и математических рассуждений. Доступна в формате Safetensors и распространяется по лицензии Llama 3.2.

bunnycore/Llama-3.2-3B-Apex — диалоговая языковая модель, созданная разработчиком bunnycore слиянием нескольких предварительно обученных моделей через mergekit и методом Model Stock. В качестве базовой использована huihui-ai/Llama-3.2-3B-Instruct-abliterated; в слияние также вошли модели для разных навыков, рассуждений, научных задач, программирования и ролевого общения. Модель построена на архитектуре Llama с причинно-следственным языковым моделированием и содержит 3,2 млрд параметров. Она предназначена для генерации текста и диалоговых ответов; заявленная длина контекста — 131 072 токена. Метаданные также указывают интерфейс вызова инструментов. Данные о лицензии и поддерживаемых естественных языках в предоставленной карточке отсутствуют.

Locutusque/llama-3-neural-chat-v1-8b — диалоговая языковая модель Locutusque, дообученная на базе Meta Llama 3 8B. Для обучения использовались SFT и DPO, а данные были подобраны с усилением навыков программирования, математики и письма. Модель предназначена для разговорного взаимодействия и генерации текста, включая помощь с кодом, решение математических задач и написание текстов. Это плотная архитектура Llama с 7,5 млрд параметров и контекстом до 8192 токенов; репозиторий содержит веса Safetensors и рассчитан на использование с Transformers. Карточка указывает на широкую языковую поддержку, но не перечисляет конкретные языки. В README приведены результаты нескольких оценок, включая TruthfulQA и GSM8K. Модель унаследовала условия лицензии Llama 3; в метаданных лицензия обозначена как other.

RedHatAI/Meta-Llama-3-70B-Instruct-FP8 — квантизированная версия Meta-Llama-3-70B-Instruct, разработанная Neural Magic. Это текстовая авторегрессионная модель с архитектурой Meta-Llama-3 и примерно 70 млрд параметров, предназначенная для диалоговых сценариев и работы в формате ассистента. Модель ориентирована на коммерческое и исследовательское использование на английском языке. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в FP8. Это сокращает число битов на параметр с 16 до 8, а размер на диске и требования к памяти GPU примерно на 50%. Используется симметричная поэлементно-тензорная квантизация; модель подготовлена для инференса с vLLM версии 0.5.0 и новее. В описанной конфигурации максимальная длина контекста составляла 4096 токенов. К сильным сторонам относятся снижение требований к памяти и близкие к исходной модели результаты: средний балл OpenLLM составляет 79,16 против 79,51 у неквантизированной версии. Ограничения включают специализацию на английском языке и возможное небольшое снижение точности из-за квантизации. Модель не предназначена для использования на языках, кроме английского, а также для сценариев, нарушающих применимое законодательство. Распространяется по лицензии Llama3.

ThomasBaruzier/Meta-Llama-3-8B-Instruct-GGUF — это версия модели Meta Llama 3 8B Instruct в формате GGUF, подготовленная пользователем ThomasBaruzier. Базовая модель разработана Meta и предназначена для генерации текста на основе инструкций и диалогового взаимодействия. Модель относится к текстовым генеративным моделям и ориентирована на англоязычные сценарии: ответы на запросы, ведение диалога и выполнение текстовых инструкций. В карточке указаны размер 8B, формат GGUF и английский язык; сведения о длине контекста, конкретной архитектуре, вариантах квантования и поддержке других модальностей отсутствуют. К сильным сторонам относятся специализированная настройка для следования инструкциям и возможность использования в экосистеме GGUF. Ограничения включают отсутствие мультимодальности и неполные сведения о конфигурации конкретной сборки; качество ответов и требования к ресурсам зависят от выбранного варианта GGUF. Модель распространяется по Meta Llama 3 Community License. При распространении материалов или производных продуктов требуется соблюдать условия лицензии, Acceptable Use Policy и требования Meta к атрибуции, включая указание «Built with Meta Llama 3» в применимых случаях.

Muse-Glimmer-30B-EXP-EVE-v1 — экспериментальная объединённая модель автора win10 на базе Muse-Glimmer-30B. В README описано слияние моделей разных архитектур методом Tensor Gene Evolution с добавлением возможностей и поведенческих особенностей DeepSeek-V4-Flash-0731 и dots3-note-prev. По метаданным это плотная мультимодальная модель семейства Muse Glimmer на 30 млрд параметров, работающая через Transformers и принимающая изображения и текст для генерации текстовых ответов. Модель предназначена для диалогов, анализа изображений, программирования, агентных сценариев и вызова инструментов. Автор отмечает более широкое и глубокое рассуждение и разнообразие способов решения задач по сравнению с базовой моделью; это заявление из карточки, а не приведённый результат независимой оценки. Распространяется по лицензии Apache-2.0.

Nemotron-3.5-Lightning-30B-A3B-Uncensored-xCloud-GGUF — языковая модель, разработанная xCloudinfo на основе NVIDIA Nemotron-3.5-Lightning-30B-A3B-BF16. Она предназначена для генерации текста и локального запуска через llama.cpp в сценариях разработки, исследований и технической валидации. Модель ориентирована на английский и китайский языки. Это гибридная архитектура Mamba-2, Mixture of Experts и Attention: общий объём составляет 30 млрд параметров, около 3 млрд активируются при обработке запроса. Поддерживаются Multi-Token Prediction и контекст до 1 млн токенов. Модель не переобучалась: из отдельных матриц Attention и MoE была удалена направленность, связанная с чрезмерными отказами, методом directional ablation с интенсивностью 0,8. Компоненты Mamba и MTP draft head сохранены. Доступны GGUF-квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и IQ2_M; рекомендуемый вариант для развёртывания — Q4_K_M, размером около 24 ГБ. Сильной стороной модели являются гибридная архитектура, высокая вычислительная эффективность за счёт MoE и варианты квантизации для локального использования. Ограничение — отсутствие исходного безопасного поведения отказа: модель может напрямую отвечать на чувствительные и двояко применимые запросы, поэтому ответственность за законность и этичность использования лежит на пользователе. Для корректного reasoning требуется достаточный лимит токенов, а при работе рекомендуется явно указывать текущую дату в системном запросе. Модель распространяется по лицензии OpenMDW-1.1, унаследованной от базовой модели. Коммерческое использование разрешено; при распространении необходимо сохранять текст лицензии и уведомления об авторских правах. xCloudinfo не несёт ответственности за выводы модели и их дальнейшее использование.

NeuralHermes 2.5 - Mistral 7B — это диалоговая модель для генерации текста и следования инструкциям, разработанная Mlabonne на основе teknium/OpenHermes-2.5-Mistral-7B. Модель дополнительно обучена методом Direct Preference Optimization (DPO) на наборе диалогов mlabonne/chatml_dpo_pairs с шаблоном ChatML; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель подходит для диалоговых приложений, ответов на инструкции, генерации текста и помощи с кодом. В README сообщается об улучшении результатов на нескольких бенчмарках относительно исходной модели, однако приведённые данные не гарантируют качество для конкретных задач. Доступна лицензия Apache-2.0; запуск возможен через LM Studio и другие интерфейсы.

Nous-Hermes-2-Mixtral-8x7B-DPO-GGUF — это квантизированная версия языковой модели Nous-Hermes-2-Mixtral-8x7B-DPO, разработанной NousResearch и преобразованной в формат GGUF компанией Second State Inc. Модель основана на архитектуре Mixtral и дообучена с применением DPO и RLHF; в метаданных также указаны синтетические данные и дистилляция. Заявленный язык — английский. Модель предназначена для диалоговых и инструкционных сценариев: генерации ответов, общения в формате чат-бота и выполнения текстовых запросов. Она использует шаблон ChatML и поддерживает контекст размером 4096 токенов. Доступно несколько вариантов квантизации от Q2_K до Q8_0 размером от 17,3 до 49,6 ГБ. Q4_K_M рекомендуется как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. К сильным сторонам относятся архитектура Mixtral, диалоговая настройка и широкий выбор уровней квантизации для локального запуска. Более агрессивная квантизация уменьшает требования к памяти, но приводит к заметной потере качества; наиболее компактные варианты не рекомендуются для большинства задач. В README не указаны мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Лицензия — Apache-2.0. Для запуска с LlamaEdge требуется версия 0.2.8 или новее.

Это сборка модели NVIDIA Nemotron 3 Nano 30B A3B в формате GGUF BF16, подготовленная DhruvalLabs для запуска через llama.cpp и совместимые приложения, включая Ollama, LM Studio, Open WebUI и Jan. В основе лежит NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; README перечисляет варианты квантования K-quant, в том числе Q3_K_M, Q4_K_M и Q8_0, для локального запуска при разных объёмах памяти. Модель предназначена для генерации текста и диалогового использования. Базовая модель ориентирована на рассуждения, программирование и агентные сценарии; доступные сведения также указывают на поддержку английского, испанского, французского, японского, итальянского и немецкого языков. README заявляет сохранение 97–99% исходного качества для квантованных вариантов, но не приводит результаты измерений, поэтому это утверждение не подтверждено представленными бенчмарками. В метаданных указана лицензия «other»; конкретные условия использования в предоставленной карточке не раскрыты. GGUF-репозиторий указывает BF16 и одновременно описывает варианты квантования, поэтому фактическая точность зависит от выбранного файла.

Это конвертированная в формат MLX версия языковой модели NVIDIA Nemotron 3 Nano 30B A3B, опубликованная mlx-community. Исходная модель — nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; README указывает, что преобразование выполнено с помощью mlx-lm 0.29.1. Метаданные описывают модель как диалоговую и указывают поддержку английского, испанского, французского, немецкого, японского и итальянского языков. Модель предназначена для генерации текста в диалоге и может использоваться для ответов на вопросы, написания текстов и программного кода. Репозиторий рассчитан на запуск с библиотекой MLX. В README не приведены дополнительные сведения о размере активной части MoE, длине контекста или оценках качества; базовая модель описана в каталоге как гибридная языковая модель для рассуждений, программирования и агентных приложений. Лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией исходной модели.

Occiglot-7B-FR-EN-Instruct — инструктивная языковая модель, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер MistralForCausalLM с 7,1 млрд параметров, дообученный на 160 млн токенов многоязычных и программных инструкций. Модель настроена для диалогового взаимодействия по шаблону ChatML и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и выполнения инструкций на французском и английском языках, включая задачи с кодом. Обучающие данные были поровну распределены между французским и английским; в README приведены предварительные результаты оценивания, причём результаты для французского следует трактовать осторожно из-за частично машинного перевода тестов и англоязычных запросов. Это ранний выпуск исследовательского проекта. Модель не проходила выравнивание по безопасности и может выдавать проблематичные ответы. Лицензия — Apache 2.0.

OLMo-2-1124-13B-Instruct-GGUF — квантизированная версия инструкционной языковой модели OLMo-2-1124-13B-Instruct, разработанной Allen Institute for AI и подготовленной в формате GGUF автором bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях. Она поддерживает английский язык и использует текстовую модальность. Модель содержит 13 миллиардов параметров. В репозитории доступны исходный вариант F16 и различные уровни квантизации от Q8_0 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Квантизация выполнена с помощью llama.cpp и imatrix; для запуска следует использовать шаблон промпта с ролями system, user и assistant, указанный в README. Варианты Q6 и Q5 позиционируются как высококачественные, Q4_K_M — как сбалансированный вариант для большинства сценариев, а варианты с меньшим числом бит требуют меньше памяти, но могут заметнее терять качество. Сильной стороной модели является широкий выбор GGUF-квантизаций, включая варианты, оптимизированные для отдельных ARM-конфигураций и inference на CPU. Ограничения включают поддержку только английского языка, текстовый формат работы и неизбежное снижение качества у более агрессивно квантизированных вариантов. Размер контекста и другие архитектурные характеристики в предоставленных данных не указаны. Модель распространяется под лицензией Apache 2.0.

Olmo 3 7B Think SFT — англоязычная авторегрессионная Transformer-модель для генерации текста, разработанная Allen Institute for AI (Ai2). Она предназначена для диалогов и задач рассуждения, особенно математических задач и программирования; обучение с учителем на Dolci-Think-SFT-7B включало также запросы по общим знаниям и чату. Модель имеет плотную архитектуру Olmo3 и 6,9 млрд параметров, принимает текст и поддерживает контекст до 65 536 токенов. Доступна в формате Safetensors для Transformers. Модель дообучена на основе allenai/Olmo-3-1025-7B. Лицензия Apache 2.0; Ai2 указывает исследовательское и образовательное применение в соответствии со своими правилами ответственного использования. Модель может выдавать неточные сведения и без дополнительной фильтрации генерировать вредный или чувствительный контент; результаты следует проверять.

Omni-Reasoner3-Merged — объединение предварительно обученных языковых моделей, созданное с помощью mergekit. В основе объединения лежит prithivMLmods/Llama-Deepsync-3B; также включены модели Codepy-Deepthink-3B, Llama-Doctor-3.2-3B-Instruct, Llama-Magpie-3.2-3B-Instruct и Llama-Sentient-3.2-3B-Instruct. Использован метод Model Stock, веса сохранены в формате bfloat16. Модель предназначена для генерации текста и диалоговых сценариев; среди объединённых моделей есть варианты для медицинских диалогов, программирования и инструктивных ответов. Архитектура — плотная LlamaForCausalLM, размер — 3,2 млрд параметров, нативное контекстное окно — 131 072 токена. Поддерживает текстовый ввод и выдаёт текст. Лицензия и конкретные ограничения в предоставленных данных не описаны. Результаты объединения могут различаться по качеству в зависимости от задачи; профиль одной из базовых моделей указывает на медицинские диалоги, но это не гарантирует точность медицинских ответов.

OpenChat 3.6 8B — это набор квантованных сборок модели openchat-3.6-8b-20240522 в формате GGUF с использованием imatrix. Модель разработана проектом OpenChat, а представленные квантования опубликованы пользователем или организацией duyntnet. Она предназначена для генерации текста, диалогов, программирования и решения общих задач. В README указана поддержка английского языка и текстовая модальность. Модель имеет размер около 8 миллиардов параметров. Для общения используется шаблон GPT4 Correct с маркером окончания генерации <|end_of_turn|>; также доступен встроенный chat_template. Формат GGUF и квантование ориентированы на запуск в совместимых локальных средствах инференса с потенциально сниженным потреблением памяти, однако конкретные варианты квантования и их характеристики в README не перечислены. Ограничения качества, размер контекста и дополнительные модальности не указаны. Лицензия обозначена как other, без уточнения условий использования.