II.7DevOps, облако и эксплуатация IT-систем

Llama-3.1-Nemotron-70B-Instruct-HF-GGUF — это квантизированные GGUF-версии инструкционной языковой модели Llama-3.1-Nemotron-70B-Instruct-HF, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; доступны варианты с разными уровнями сжатия и размером файлов примерно от 26 до 75 ГБ. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. В README указан английский язык, а также набор данных NVIDIA HelpSteer2, использованный для исходной модели. Архитектура описана как Llama 3.1 Nemotron с размером 70B параметров; поддерживаемые модальности ограничены текстом. Контекстное окно в представленном описании не указано. Сильная сторона семейства — возможность выбрать баланс между качеством и требованиями к памяти: варианты Q6_K и Q5 считаются близкими к исходному качеству, а более компактные Q3 и Q2 подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. Q4_K_M обозначен как вариант стандартного размера. Квантизации предназначены для локального запуска, однако даже компактные версии требуют значительных ресурсов. Модель распространяется по лицензии llama3.1.

QuantFactory/Llama-3.1-Tulu-3-8B-SFT-GGUF — квантизированная версия модели Llama-3.1-Tulu-3-8B-SFT, созданная QuantFactory с использованием llama.cpp. Исходную модель разработал Allen Institute for AI (AI2) на базе meta-llama/Llama-3.1-8B и дообучил на смеси общедоступных, синтетических и созданных людьми наборов данных, включая allenai/tulu-3-sft-mixture. Модель предназначена прежде всего для следования инструкциям, диалоговых сценариев и генерации текста на английском языке. Она ориентирована на широкий круг задач, включая общение, MATH, GSM8K и IFEval. Это текстовая авторегрессионная модель; заявленная конфигурация содержит 8 миллиардов параметров. Для запуска предусмотрен формат GGUF, подходящий для экосистемы llama.cpp и совместимых средств инференса. В README рекомендуется ограничивать максимальную длину контекста до 8192 токенов при использовании vLLM, однако точное значение контекстного окна для этой карточки не указано. К сильным сторонам относятся улучшенное instruction following и возможность локального запуска благодаря квантизации и формату GGUF. Ограничения включают преимущественную ориентацию на английский язык, отсутствие мультимодальных возможностей в описании и ограниченную безопасность: модель может генерировать проблемные ответы, поскольку не оснащена полноценной фильтрацией ответов в процессе использования. Модель распространяется по Llama 3.1 Community License Agreement; условия исходной лицензии необходимо учитывать при применении квантизированной версии.

Lumi-v2-llm-jp-4-8b — японско-английская чат-модель, разработанная SousiOmine на основе llm-jp/llm-jp-4-8b-base. Модель с архитектурой Llama и 7,8 млрд параметров прошла SFT на примерно 1,7 млрд токенов данных с шаблоном ChatML; веса доступны в формате safetensors для Transformers. Контекст модели составляет 65 536 токенов. Модель предназначена для диалоговой генерации текста, следования инструкциям и задач рассуждения на японском и английском языках. В обучающие данные вошли открытые наборы для рассуждений, мультиязычных инструкций, научных вопросов и агентного поведения, а также собственные данные разработчика для вопросов и ответов по коду на японском. Лицензия модели — Apache-2.0. Качество ответов зависит от запроса и тематики; карточка не приводит сравнительных оценок или подробных гарантий качества. Лицензии и условия использования отдельных обучающих наборов различаются и требуют проверки по их карточкам.

Mungert/Meta-Llama-3-8B-GGUF — модель для генерации текста на базе Meta Llama 3, разработанной Meta. Судя по идентификатору, это 8-миллиардная версия модели, представленная в формате GGUF, предназначенном для локального или совместимого с GGUF инференса. В карточке указана англоязычная поддержка и задача text-generation. Модель может использоваться для генерации и продолжения текста, ответов на запросы и других сценариев обработки естественного языка. Точная архитектура, размер контекста, варианты квантования, системные требования и дополнительные модальности в README не указаны; подтверждена только текстовая генерация, поэтому модель следует рассматривать как текстовую, без заявленной поддержки изображений, аудио или других модальностей. К сильным сторонам относятся компактный по современным меркам размер 8B и формат GGUF, потенциально удобный для локального запуска, однако конкретные преимущества производительности зависят от варианта квантования и используемого программного обеспечения. Ограничения модели, показатели качества и детальные сведения о тренировочных данных не приведены. Использование регулируется Meta Llama 3 Community License: при распространении материалов или продуктов необходимо соблюдать условия лицензии, включая требования к атрибуции, обозначению «Built with Meta Llama 3», Acceptable Use Policy и специальные коммерческие условия для организаций с более чем 700 миллионами ежемесячных пользователей.

DevQuasar-9/microsoft.Phi-4-mini-instruct-GGUF — это квантизированная версия модели Phi-4-mini-instruct, разработанной Microsoft. Модель предназначена для генерации текста и использования в сценариях, где требуется работа с инструкциями и текстовыми запросами. В карточке указано, что модель относится к классу text-generation и распространяется в формате GGUF, подходящем для совместимого локального запуска. Сведения о точном размере, варианте квантизации, архитектуре, длине контекста, поддерживаемых языках и дополнительных модальностях не приведены. К сильным сторонам относятся уменьшенные требования к хранению и вычислительным ресурсам по сравнению с полной версией, однако квантизация может влиять на качество ответов. Лицензия и условия использования в README не указаны.

Minitron-8B-Base — базовая большая языковая модель NVIDIA, созданная из Nemotron-4 15B. Модель с архитектурой Transformer Decoder и классом NemotronForCausalLM содержит 8,7 млрд параметров; в ней применяются Grouped-Query Attention и Rotary Position Embeddings. Контекст составляет 4096 токенов, вход и выход — текст. Модель предназначена для генерации текста и исследований и разработок на её основе: она обучалась на английских и многоязычных текстах, включая код, диалоги, статьи и веб-страницы. Корпус охватывает математику, науку, финансы и право; в продолженное обучение также включили небольшую долю данных вопросно-ответного формата и для выравнивания. NVIDIA сообщает о дистилляции после структурного прореживания Nemotron-4 15B с использованием 94 млрд токенов; в README приведены результаты оценок на MMLU, HellaSwag, Winogrande, GSM8K, ARC-C, XLSum и HumanEval. Модель может генерировать неточные, неполные, нерелевантные или повторяющиеся ответы, а также воспроизводить токсичный язык и социальные предубеждения из обучающих данных. Данные предварительного обучения имеют срез по июнь 2023 года. Лицензия указана как other; точные условия следует сверить с файлами репозитория и условиями NVIDIA. Карточка обозначает модель как предназначенную для исследований и разработки.

Mistral-7B-Instruct-demi-merge-v0.3-7B — объединённая языковая модель на архитектуре Mistral, созданная автором репозитория с помощью mergekit методом SLERP из mistralai/Mistral-7B-v0.3 и mistralai/Mistral-7B-Instruct-v0.3. Модель сочетает базовую и инструктивную версии и предназначена для дальнейшего дообучения или объединения, а также для генерации текста и диалогов. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; указана лицензия Apache-2.0. В метаданных и README не приведены отдельные сведения о языковом охвате и ограничениях качества.

Это объединённая диалоговая модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и OpenPipe/mistral-ft-optimized-1227 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции в диалоговом формате; контекст составляет до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и других текстовых задач общего назначения. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Mistral-Nemo-12B-ArliAI-RPMax-v1.1-GGUF — это набор GGUF-квантизированных файлов модели Mistral-Nemo-12B-ArliAI-RPMax-v1.1, разработанной ArliAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться, в частности, в LM Studio с шаблоном запроса <s>[INST]{prompt}[/INST]. Доступны варианты от исходных весов F16 размером 24,50 ГБ до более компактных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ4_XS/IQ3_M; размеры файлов варьируются примерно от 5,72 до 24,50 ГБ. Старшие варианты квантизации обеспечивают качество, близкое к исходному, а младшие подходят для систем с ограниченным объёмом оперативной памяти, но могут заметно уступать в качестве. Отдельные варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. В README не указаны модальности, языки и размер контекста. Распространение заявлено по лицензии Apache-2.0.

Mistral_solar-slerp — диалоговая языковая модель, созданная автором Pierre-obi слиянием NousResearch/Nous-Hermes-2-SOLAR-10.7B и mistralai/Mistral-7B-Instruct-v0.2 методом slerp с помощью LazyMergekit. Модель использует плотную архитектуру Mistral и содержит 7,1 млрд параметров. Она предназначена для генерации текста и ответов на инструкции в диалоговом формате. Модель принимает текст и выдаёт текст; заявленная длина контекста — до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Модель подходит для чат-ботов, ответов на вопросы и других задач генерации текста. Публичные сведения не дают отдельных результатов оценки качества или подробных ограничений, поэтому производительность в конкретных сценариях следует проверять самостоятельно.

Карточка модели PS4Research/NfEJUrTPxT77xQ8f на Hugging Face совпадает с карточкой PS4Research/0VOz3fgU0qp4lVar, поэтому описание составлено по ней. PS4Research/0VOz3fgU0qp4lVar — дообученная модель генерации текста на архитектуре Olmo 3, созданная PS4Research на основе allenai/Olmo-3.1-32B-Think. В карточке указано, что для обучения использовались Unsloth и библиотека TRL от Hugging Face; модель содержит 31,7 млрд параметров и поддерживает контекст до 65 536 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; интерфейс поддерживает вызов инструментов. Базовая модель ориентирована на английский язык и задачи рассуждений, в том числе математику и программирование. Сведений о специальных улучшениях, полученных при дообучении, в карточке нет. Лицензия — Apache-2.0.

Open-Instruct Open Assistant 13B — языковая модель на архитектуре LLaMA, дообученная AllenAI на данных OpenAssistant/oasst1 для выполнения инструкций и генерации текста. Это модельный diff, поэтому для её использования нужна исходная модель LLaMA в формате Hugging Face; карточка приводит лицензию AI model license вместе с исходной лицензией LLaMA. Модель содержит 12,9 млрд параметров, принимает текст и рассчитана на контекст до 2048 токенов. Она предназначена для диалоговых ответов и выполнения пользовательских инструкций на английском языке; в карточке также приведены результаты тестов на рассуждения, математические задачи, вопросы и ответы и генерацию кода. Качество генерации зависит от соблюдения обученного формата ввода, включая завершающий перевод строки. Показатели на бенчмарках отражают результаты эксперимента из указанной исследовательской работы и не гарантируют качество в прикладных сценариях.

AtomicChat/Ornith-1.5-9B-GGUF — набор GGUF-сборок модели Ornith-1.5-9B, разработанной ornith-ai и конвертированной и протестированной командой AtomicChat. Модель предназначена для локального запуска через llama.cpp, диалоговых сценариев, работы с изображениями и задач, связанных с агентным программированием. Поддержка изображений обеспечивается отдельным vision projector; для текстового режима проектор можно не использовать. Это модель примерно на 9 млрд параметров, доступная в вариантах от BF16 до низкобитных квантований. Размер файлов составляет примерно от 2,81 до 17,9 ГБ, а вариант vision projector занимает около 0,92 ГБ. Для запуска с изображениями рекомендуется учитывать также дополнительное потребление памяти; в README приведены ориентиры для контекста 8K. Языки и точное устройство базовой архитектуры в карточке не указаны. Сильная сторона сборок — наличие вариантов под видеопамять от 4 до 24 ГБ и специализированных importance-aware квантований AD, которые на некоторых уровнях дают лучшее соотношение размера и точности, чем стандартные пресеты llama.cpp. В частности, AD-Q5_K-Q4_K показывает 93,10% совпадения следующего токена с BF16-эталоном, тогда как самые агрессивные варианты существенно снижают качество: у AD-IQ2_XXS-IQ1_M совпадение составляет 53,74%. Поэтому малые файлы опубликованы главным образом для совместимости, а не как рекомендуемые варианты. Распространение указано под лицензией MIT. Для работы с изображениями требуется совместимый vision projector, а запуск зависит от llama.cpp и доступного объёма памяти.

OpenVINO/Phi-3-mini-4k-instruct-int4-ov — это квантизированная версия Phi-3-mini-4k-instruct, разработанной Microsoft. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT4 с помощью NNCF. Это инструкционно настроенная языковая модель для генерации текста и диалоговых сценариев; поддерживается инференс через Optimum Intel и OpenVINO GenAI. Ключевые характеристики включают асимметричное INT4-сжатие весов с размером группы 64 и коэффициентом сжатия 1. В названии указано окно контекста 4k. Модель предназначена для запуска в экосистеме OpenVINO, в том числе на CPU, и совместима с OpenVINO версии 2024.4.0 и выше, а также Optimum Intel 1.23.1 и выше. Формат OpenVINO IR и INT4-квантизация могут снизить требования к памяти и упростить развёртывание, однако квантизация способна влиять на качество генерации по сравнению с исходной моделью. Языки, точный размер модели, результаты бенчмарков и подробные ограничения в карточке не указаны; для ограничений рекомендуется обращаться к карточке исходной Phi-3-mini-4k-instruct. Модель распространяется по лицензии MIT.

Phi-4-reasoning-plus-w4a16-llmcompressor — это квантизованная версия языковой модели Phi-4-reasoning-plus, разработанной Microsoft. Модель предназначена для генерации текста и работы с текстовыми запросами, включая задачи рассуждения; исходная архитектура представлена как Phi3ForCausalLM. Модель поддерживает английский язык. Чекпойнт подготовлен компанией AMD для инференса на процессорах AMD EPYC под Linux. Используется 4-битная квантизация весов без квантизации активаций (W4A16): веса представлены в формате INT4, симметрично и группами по 128 параметров, а активации сохраняются в BF16. Для запуска рекомендован стек vLLM 0.26.0, LLM Compressor 0.12.0, ZenDNN 6.1.0, ZenTorch 2.11.0.3 и PyTorch 2.11.0. Ключевое преимущество модели — существенное сокращение размера весов при сохранении качества: на тесте GSM8K она показала 0,8688 против 0,8704 у исходной BF16-модели, то есть восстановила 99,82% результата базовой версии. Ограничения включают ориентацию на CPU AMD EPYC, зависимость от совместимых версий программного стека и возможную потерю точности из-за агрессивной 4-битной квантизации. В README указана лицензия MIT; также отмечено, что модель распространяется на условиях лицензии исходной модели.

PhoneLM-1.5B-Instruct — англоязычная авторегрессионная языковая модель на 1,6 млрд параметров, разработанная командой mllmTeam. Это дообученная для следования инструкциям версия PhoneLM-1.5B, предназначенная для генерации текста и диалоговых ответов. Модель использует декодерный трансформер с 19 слоями, скрытым размером 2560, 16 головами внимания и контекстом до 2048 токенов. Архитектура включает Rotary Position Embeddings для первой четверти размерности голов внимания, LayerNorm с обучаемыми смещениями и ReLU в полносвязных слоях; токенизатор основан на токенизаторе SmolLM с размером словаря 49 152. В обучении использовались наборы инструкций, диалогов, математических заданий и кода. Модель распространяется в формате safetensors по лицензии Apache-2.0. Она рассчитана прежде всего на английский язык; сведений о поддержке других языков нет.

Карточка модели tayaee/Qwen2.5-1.5B-Instruct-ko-Reasoning-alpha-smoke на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Qwen2.5-7B-Instruct-YS-V2 — дообученная yusikyang инструктивная языковая модель на архитектуре Qwen2, основанная на unsloth/Qwen2.5-7B-Instruct. В репозитории указано, что обучение проводилось с Unsloth и библиотекой Hugging Face TRL; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, составления текстов и кода, а также выдачи структурированных ответов. Метаданные указывают на интерфейс диалога и tool calling, но карточка не описывает специализированные сценарии или качество этих возможностей. Указанный язык карточки — английский. Модель распространяется по лицензии Apache-2.0. README не приводит результатов оценки качества или подробностей о данных и целях дообучения, поэтому её преимущества относительно базовой модели не установлены.

Atomic-Germ/Qwen3.8-9B-Distill-GGUF — это набор квантованных версий языковой модели Qwen3.8-9B, разработанной компанией Empero. Модель представляет собой полнопараметрическую дистилляцию Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B и предназначена для генерации текста и решения задач рассуждения. Доступны форматы GGUF для llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и других совместимых сред. Заявлен английский язык. Модель использует гибридную архитектуру Qwen3.5-класса: на каждые слои полной attention приходятся три слоя Gated DeltaNet. Указан размер 9B параметров; контекстное окно в README не сообщается. Доступны варианты квантования Q4_K_M, Q5_K_M, Q6_K, Q8_0 и BF16 размером примерно от 5,780 до 18,407 GB. В качестве сильных сторон заявлены улучшенные результаты на MMLU по сравнению с базовой Qwen3.5-9B и поддержка локального запуска на видеокартах с 8–16 GB памяти в зависимости от квантования. Ограничением является необходимость свежей сборки llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet; при длинном контексте дополнительные ресурсы потребляет KV-кэш. Модель генерирует рассуждения в блоках <think>, которые при необходимости следует скрывать от конечных пользователей. Веса распространяются по лицензии Apache-2.0, унаследованной от базовой модели Qwen.

Noobito45/Qwen3.8-9B-heretic-uncensored-NVFP4-GGUF — квантизированная GGUF-версия языковой модели, разработанная на основе empero-ai/Qwen3.8-9B. Модель создана с использованием Heretic v1.4.0 и предназначена для генерации текста, рассуждений и других задач, поддерживаемых исходной моделью Qwen3.8-9B. Это «decensored» или «uncensored» вариант, в котором снижена склонность к отказам: в указанной проверке модель отказалась отвечать на 22 из 100 запросов против 100 из 100 у исходной версии. Модель основана на архитектуре Qwen3.5-9B и представляет собой дистилляцию исходной Qwen3.8 2.4T A95B; точные характеристики архитектуры, размер контекста и полный набор языков в этой карточке не указаны. Доступная версия использует квантизацию NVFP4 + Q8_0 и предназначена для запуска в совместимых с GGUF средах, включая llama.cpp. По данным бенчмарков, квантизация вызывает небольшие изменения качества и поведения по сравнению с эталонной версией BF16; результаты зависят от оборудования и настроек оценки. Модель сохраняет близость к исходной по KL-дивергенции, однако снижение отказов может сопровождаться изменением поведения и не означает отсутствия ограничений или рисков при использовании. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Qwen3-Swallow-8B-RL-v0.2 — созданная проектом Swallow LLM двуязычная языковая модель на архитектуре Qwen3 с плотной архитектурой и 7,6 млрд параметров. Это версия семейства Qwen3-Swallow, дообученная на основе tokyoTech-llm/Qwen3-Swallow-8B-SFT-v0.2 с обучением с подкреплением по проверяемым вознаграждениям (RLVR). Модель предназначена для диалогов и генерации текста на японском и английском языках, включая перевод между ними, математические и программные задачи, а также рассуждения. Обучение включало данные по математике и коду с цепочками рассуждений и диалоговые данные. Модель поддерживает контекст до 40 960 токенов по метаданным; разработчики рекомендуют ограничивать длину контекста 32 768 токенами или меньше и запускать модель через vLLM для более воспроизводимого поведения. Модель обычно выполняет рассуждения по умолчанию и не поддерживает переключатель режима рассуждений. Разработчики сообщают, что модель не обучалась специально для вызова инструментов, а её применение в этом сценарии требует дополнительной посттренировки. Также отмечено, что модель находится на ранней стадии разработки и не настроена для полного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

bartowski/Qwen_Qwen3-8B-GGUF — набор GGUF-квантизированных версий модели Qwen3-8B, разработанной Qwen. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp; в README также указан формат промпта с разделителями сообщений ChatML. Доступны варианты от BF16 размером 16,39 ГБ до компактных IQ2_M и Q2_K размером около 3 ГБ, а также промежуточные уровни Q8, Q6, Q5, Q4 и Q3. Более высокие уровни квантизации обычно сохраняют лучшее качество, тогда как младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству; для большинства сценариев автор рекомендует Q4_K_M, а также некоторые варианты Q5 и Q6. Архитектура, поддерживаемые языки, модальности и размер контекста в README не указаны, поэтому эти характеристики нельзя подтвердить. Модель распространяется по лицензии Apache-2.0.

RaceBench-MiniCPM5-heretic — языковая модель, разработанная RACER IS OP на основе saidutta69/RaceBench-MiniCPM5 и MiniCPM5-1B. Это decensored-вариант, созданный с помощью Heretic 1.4.0 методом directional ablation (abliteration): целевые изменения весов подавляют поведение, связанное с отказами, без дополнительного дообучения. Модель предназначена для генерации текста и диалогов на английском и китайском языках. Модель ориентирована на многошаговое рассуждение, код, агентское использование инструментов, ролевые сценарии и локальные приложения. Заявлены режимы Think и No-Think, контекст до 128K токенов, поддержка llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang, а также GGUF-квантизации для запуска на потребительских GPU, CPU и устройствах edge-класса. Размер исходной модели составляет около 1,1 млрд параметров; доступны варианты от Q2_K до Q8_0 и F16. К сильным сторонам относятся компактность, длинный контекст, низкие требования к памяти, поддержка локального запуска и снижение частоты отказов с 39 до 2 на 100 проверочных adversarial-запросов по данным карточки. При этом отсутствие защитных ограничений является существенным риском для безопасного применения, а изменения весов могут влиять на поведение и качество модели. Также заявлен компромисс между улучшением результатов на BBH и ухудшением показателей на математических задачах; подробные результаты в этой карточке не приведены. Модель распространяется по лицензии Apache 2.0.

RWKV7-G1i-2.9B-20260805 — базовая языковая модель семейства RWKV-7, разработанная Бо Пэном, Ю Чжаном, Сонглином Яном, Жуйчонгом Чжаном и Чжиюанем Ли при поддержке RWKV Project под эгидой LF AI & Data Foundation. Это плотная авторегрессионная модель с архитектурой RWKV7ForCausalLM и рекуррентным состоянием постоянного размера: генерация не использует attention и требует постоянной вычислительной работы на каждый новый токен, при этом обучение можно распараллеливать. Модель с 3,1 млрд параметров предварительно обучена на веб-текстах, коде, синтетических данных, инструкциях, чатах и материалах для рассуждений. Она предназначена для оценки, последующего обучения и дообучения, а шаблон чата служит интерфейсом для подачи запросов и сам по себе не означает, что модель безопасно настроена как ассистент. Поддерживает несколько языков; среди языков карточки указаны английский, китайский, японский, корейский, французский, арабский, испанский и португальский. Контекст модели по метаданным — 2048 токенов. Для запуска README рекомендует flash-linear-attention и Transformers версии 4.48.0 или новее. Лицензия — Apache-2.0.

SmolLM3-3B — открытая языковая модель с 3 млрд параметров, разработанная HuggingFaceTB и преобразованная в формат LiteRT-LM для локального запуска на устройствах и компьютерах. Это decoder-only модель для генерации текста, диалогов, рассуждений и других задач, поддерживаемых базовой SmolLM3. Модель ориентирована на сценарии on-device и edge-инференса, включая Android-смартфоны, iPhone, Raspberry Pi, настольные системы и локальный OpenAI-совместимый API-сервер. Представленная версия использует блочную симметричную int4-квантизацию с размером блока 32 и оптимальным клиппингом OCTAV; эмбеддинги имеют формат INT8, вычисления выполняются в целочисленном формате. Файл основной версии занимает около 1,9 ГБ, контекст KV-кэша ограничен 4096 токенами. В архитектуре базовой модели заявлены GQA, расписание внимания NoPE, мультиязычная поддержка и обучение на длинном контексте. В комплект входят токенизатор и шаблон ChatML, поэтому отдельные файлы токенизатора не требуются. Сильные стороны модели — небольшой размер для класса 3B, открытая лицензия Apache-2.0, поддержка полностью локального инференса и наличие GPU-ускорения на совместимых устройствах. Производительность зависит от оборудования: в приведённых измерениях она достигала 93,2 токена/с при декодировании на Apple M4 Max и 22,5 токена/с на iPhone 17 Pro. Ограничения включают потери качества и возможные особенности поведения, связанные с int4-квантизацией, фиксированный контекст 4096 токенов и зависимость скорости от конкретного LiteRT-LM backend, устройства и объёма доступной памяти.

Soulfate24/Spark-X2.5-4B-ASHQ1-Remix-GGUF — квантизированная версия Spark-X2.5-4B в формате GGUF, подготовленная в рамках набора ASHQ1-Remix. В README описана активационно-ориентированная квантизация с параметрами, основанными на измерениях; указана поддержка линии AutoRound с ограничениями насыщения. Модель предназначена для генерации текста и диалогового использования. Базовая Spark-X2.5-4B — компактная многоязычная языковая модель для диалога, кода, рассуждений, перевода и агентных задач. Метаданные указывают базовую модель XHToken/Spark-X2.5-4B и лицензию Apache-2.0. Данных о размере контекста и конкретных языках этой версии в предоставленных материалах нет.

Speechless Mistral Dolphin Orca Platypus Samantha 7B — это языковая модель для генерации текста на основе архитектуры Mistral с примерно 7 млрд параметров. Исходную модель разработал Jiangwen Su, а данный репозиторий подготовлен TheBloke и содержит её квантизированные версии в формате GGUF. Модель обучалась на наборах данных Airoboros 2.2.1, OpenOrca, Open-Platypus и Samantha. Модель предназначена для текстового диалога, ответов на вопросы, следования инструкциям и других сценариев генерации текста. Также заявлена ориентация на задачи, связанные с кодом; в метаданных приведён результат pass@1 34,146% на HumanEval, однако он не подтверждён. Указан английский язык. Для взаимодействия используется шаблон ChatML с системным сообщением, запросом пользователя и ответом ассистента. GGUF-версии поддерживаются llama.cpp и рядом совместимых интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие, что делает модель пригодной для локального запуска на CPU и GPU. Доступны варианты квантизации от 2 до 8 бит: меньшая разрядность обычно снижает требования к памяти, но может ухудшать качество по сравнению с исходной моделью. Сведения о размере контекста и мультимодальных возможностях не указаны; модель предназначена для работы с текстом. Лицензия указана как Llama 2.

Teuken-7B-instruct-research-v0.4-GGUF — это квантизированная версия инструкционной языковой модели Teuken-7B-instruct-research-v0.4, разработанной openGPT-X и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций, а также для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от F16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер наиболее компактных представленных вариантов составляет около 4,1–4,7 ГБ, а F16-версия занимает около 14,9 ГБ. В README заявлена поддержка немецкого, болгарского, чешского, датского, греческого, английского, испанского, эстонского, финского, французского, ирландского, хорватского, венгерского, итальянского, литовского, латышского, мальтийского, нидерландского, польского, португальского, румынского, словенского, шведского и словацкого языков. Некоторые квантизации оптимизированы для ARM или AVX, однако отдельные варианты не рекомендуются для Mac или GPU. Более качественные варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены как рекомендуемые; Q4_K_M описан как вариант стандартного размера для большинства сценариев. README не содержит сведений об архитектуре, размере контекстного окна, параметрах обучения, точных мультимодальных возможностях или формате промпта, поэтому модель следует рассматривать как текстовую, без подтверждённой поддержки других модальностей. Лицензия указана как other, без дополнительных условий; перед использованием в коммерческих или распространительных сценариях необходимо проверить лицензию исходной модели и конкретные ограничения.

Thespis-CurtainCall-7b-v0.3 — языковая модель на 7,1 млрд параметров, опубликованная cgato. Это плотная авторегрессионная модель семейства Mistral для генерации текста; в карточке указан контекст до 32 768 токенов и формат PyTorch. Модель обучена на наборах Dolphin, UltraChat, Capybara, Augmental, ToxicQA, MagicCoder-Evol-Instruct-110k, Yahoo Answers, OpenOrca, Airoboros 3.1 и данных по физическому рассуждению и теории разума. Она предназначена для диалогов и генерации ответов в шаблоне, совместимом с Ooba и Silly Tavern, а также может применяться для инструкционного следования, рассуждений и задач по коду благодаря составу обучающих данных. Модель выпущена как версия 7B; автор сообщает о планах выпустить вариант Mixtral. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не сообщает результаты оценивания качества, поэтому пригодность для конкретных задач следует проверять самостоятельно.

TriMistral-7B-MODELSTOCK — объединённая чат-модель на архитектуре Mistral, созданная с помощью LazyMergekit из HuggingFaceH4/zephyr-7b-beta, NousResearch/Hermes-2-Pro-Mistral-7B и instructlab/merlinite-7b-lab. В README указан метод объединения model_stock, а базовой моделью конфигурации названа Zephyr-7B-β. Модель содержит 7,1 млрд параметров, использует формат Safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоге, ответов на вопросы и выполнения пользовательских инструкций. README приводит результаты оценки на наборах AI2 Reasoning Challenge и HellaSwag. Метаданные и карточка не подтверждают поддержку конкретных языков, поэтому языки не перечислены. Модель распространяется по лицензии Apache-2.0.