II.8Инженерия данных и аналитика

Карточка модели ServiceNow-AI/Apriel-5B-Base на Hugging Face совпадает с карточкой ServiceNow-AI/Apriel-5B-Instruct, поэтому описание составлено по ней. Apriel-5B-Instruct — языковая модель общего назначения от ServiceNow AI, дообученная на Apriel-5B-Base с помощью продолженного предобучения, supervised fine-tuning и этапов выравнивания DPO и RLVR. Это плотный авторегрессионный Transformer-декодер с grouped-query attention и позиционными эмбеддингами YARN; в репозитории указаны 4,6 млрд параметров и контекст до 16 384 токенов. Веса опубликованы в формате safetensors и доступны по лицензии MIT. Модель предназначена для диалога и следования инструкциям, ответов на вопросы, генерации и краткого изложения текста, помощи с кодом, логических рассуждений и творческого письма. Она поддерживает структурированные диалоги и сценарии вызова инструментов. Основной язык — английский; качество на менее представленных языках может быть ниже. Модель может выдавать фактически неверные, вводящие в заблуждение или устаревшие ответы и отражать смещения обучающих данных. Её не следует применять в критически важных сценариях без проверки человеком и дополнительных мер защиты; для медицинских, юридических и финансовых решений она не подходит без специальных safeguards.

kwondw/bert-base-all-nli-stsb-quora-nq — модель Sentence Transformers, созданная дообучением google-bert/bert-base-uncased на наборах All-NLI, STS-B, Quora и Natural Questions. Она кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения близости текстов и извлечения релевантных фрагментов; сходство оценивается косинусной мерой. Архитектура сочетает BERT с усредняющим pooling, принимает текстовые последовательности длиной до 512 токенов и рассчитана на английский язык. В README приведены оценки на All-NLI и STS-B, но они не гарантируют качество на других тематиках и распределениях данных. Лицензия в предоставленных данных не указана.

ChatGLM3-6B-128K 是由 Z.ai（智谱 AI）推出的 ChatGLM3 系列长文本对话模型，基于 ChatGLM3-6B 并针对长上下文更新了位置编码和训练方法。Модель поддерживает контекст до 131072 токенов и предназначена для многоходового диалога, анализа длинных документов и сценариев с вызовом инструментов, выполнением кода и агентскими задачами. Архитектура — плотная ChatGLM, размер — 7,5 млрд параметров; модель работает с текстом и поддерживает китайский и английский языки. Для контекстов до 8K авторы рекомендуют ChatGLM3-6B, а эту версию — для более длинных входов. Веса доступны для академических исследований; бесплатное коммерческое использование разрешено после регистрации через анкету.

casperhansen/deepseek-r1-distill-qwen-7b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Qwen-7B, опубликованная пользователем casperhansen. Исходную модель разработала DeepSeek; она создана на базе Qwen2.5-7B и дообучена на синтетических данных, сгенерированных DeepSeek-R1, для усиления способностей к рассуждению. Модель предназначена для текстовой генерации, диалогов и задач, требующих пошагового рассуждения, включая математику, программирование и ответы на вопросы. Это decoder-only модель архитектуры Qwen2ForCausalLM примерно с 7 млрд параметров, 28 слоями, 28 attention heads и контекстом до 131072 токенов. Она работает только с текстом; сведения о гарантированном наборе поддерживаемых языков в карточке этой версии не указаны. Ключевое преимущество версии casperhansen — снижение требований к памяти благодаря 4-битной AWQ-квантизации с group size 128 и размеру файлов около 5,58 ГБ, что упрощает локальный запуск. Ограничения включают возможную потерю качества из-за квантизации, зависимость результатов от используемого inference-движка и промпта, а также отсутствие в карточке подробных бенчмарков, описания безопасности и заявленных гарантий качества для разных языков. Репозиторий распространяется по лицензии MIT; для производных моделей также следует учитывать условия лицензии исходной модели Qwen.

Это экспериментальная селективно-квантованная GGUF-сборка DeepSeek-V4-Flash-0731 REAP-150B от Tinker-Stack. Модель основана на обрезанном варианте REAP-150B с архитектурой DeepSeek4 и MoE: 150 млрд параметров, 132 эксперта, из которых активны 6 на токен, и один общий эксперт. Веса упакованы в контейнер TurboQuant TQ3_4S с рецептом квантования примерно 3,49 бит на параметр; для запуска нужна специальная версия llama.cpp с поддержкой этого формата. Сборка предназначена для генерации текста, диалогов, агентного использования инструментов, программирования, анализа длинных документов и задач на рассуждение. Заявлена работа с контекстом до 256 тысяч токенов при использовании подходящего KV-кэша. В README приведены внутренние сравнительные тесты и показатели perplexity, однако они не являются стандартизированными оценками; качество зависит от режима рассуждения и настроек инференса. Модель компактнее полноразмерных вариантов благодаря обрезке и квантованию, но квантование может снижать точность, а REAP-вариант может уступать исходной модели в некоторых возможностях. Сборка экспериментальная, требует нестандартного форка llama.cpp; контекст 1 млн токенов на описанном оборудовании не подтверждён. Лицензия репозитория — MIT.

Dolphin-2.9-Llama3-70B-GGUF — это квантизированная версия языковой модели Dolphin 2.9 на базе Llama 3 с 70 млрд параметров. Исходную модель разработала cognitivecomputations, а квантизации в формате GGUF подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, программирование, математические задачи, агентские сценарии и function calling. В README указан английский язык; модальность — текстовая. Размер контекстного окна не указан. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 16,75 до 74,97 ГБ. Более качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; варианты с меньшей разрядностью экономят память, но могут заметно снижать качество. Модель использует формат диалогового шаблона ChatML с ролями system, user и assistant. К сильным сторонам относятся большой размер модели, широкий набор обучающих данных для инструкций, кода, математики, диалогов и вызова функций, а также возможность локального запуска через llama.cpp при выборе подходящей квантизации. Ограничения — значительные требования к оперативной или видеопамяти, зависимость качества от выбранного варианта квантизации и отсутствие в README сведений о точной длине контекста и результатах стандартизированных оценок. Указанная лицензия — llama3.

Gemma4-E4B-MLX — подготовленная MAVIS AI сборка инструкционной мультимодальной модели Google Gemma 4 E4B для локального запуска на компьютерах Mac с Apple Silicon через MLX. По карточке это та же модель, что google/gemma-4-E4B-it: обучение и архитектура не менялись; веса упакованы в формат MLX, с точностью BF16 там, где это предусмотрено исходным способом конверсии. Модель поддерживает диалог и анализ изображений. Сборка предназначена для локальных сценариев с мультимодальным чатом, анализа изображений, помощи в RAG, извлечения и проверки информации из документов, а также задач, требующих структурированных ответов и многошаговых рассуждений. README особо выделяет использование в экосистеме R.E.V.I.S. и локальных MLX-проектах на Apple Silicon. Лицензия репозитория — Apache License 2.0; также применяются условия Google Gemma.

GigaChat3-10B-A1.8B — диалоговая модель семейства GigaChat, представленная авторами семейства. Это дообученная методом SFT версия GigaChat3-10B-A1.8B-base. В карточке описана разреженная MoE-архитектура с 10 млрд общих и 1,8 млрд активных параметров; модель использует Multi-head Latent Attention и Multi-Token Prediction. В репозитории ai-sage/GigaChat3-10B-A1.8B-bf16 хранятся веса в формате safetensors с точностью bf16. Модель предназначена для диалогов и генерации текста, в том числе ответов на вопросы, задач по математике и программированию. Заявлены контекст до 256 тысяч токенов и обучение на 20 трлн токенов; авторы сообщают о включении данных на десяти языках, а метаданные карточки отмечают русский и английский. MLA снижает требования к памяти KV-кэша, а MTP рассчитан на ускорение генерации при поддерживаемом инференсе. Лицензия репозитория — MIT. Опубликованные результаты бенчмарков и скорости получены в конкретных условиях измерения, поэтому они не гарантируют аналогичного качества и производительности для любого оборудования и сценария.

GLM-4.6-REAP-268B-A32B-GGUF — сжатая GGUF-версия модели GLM-4.6, подготовленная Unsloth на основе варианта cerebras/GLM-4.6-REAP-268B-A32B. Модель использует метод REAP (Router-weighted Expert Activation Pruning), при котором равномерно удалено 25% экспертов исходной Mixture-of-Experts-модели. Она предназначена для генерации текста, программного кода, агентных рабочих процессов, понимания репозиториев и function calling, особенно в условиях ограниченных ресурсов, локального развертывания и академических исследований. Это разреженная causal language model с 268B параметров, из которых 32B активируются для каждого токена. Архитектура включает 92 слоя, 120 экспертов вместо исходных 160, 8 активируемых экспертов на токен и GQA с 96 головами Q и 8 головами KV. Контекстное окно составляет 202 752 токена. Заявляется сохранение почти идентичной производительности относительно полной 355B-версии при снижении требований к памяти примерно на 25%; при этом отдельные оценки для BF16-версии в README не приведены. Модель поддерживает развертывание через актуальный vLLM, а GGUF-файл содержит исправления chat template Unsloth и рассчитан на использование с параметром --jinja в llama.cpp. К преимуществам относятся однократное сжатие без дополнительного дообучения, сохранение независимого управления экспертов маршрутизатором и совместимость с vLLM без модификации исходного кода. Для запуска требуется значительный объём вычислительной памяти из-за общего размера модели, поэтому в README рекомендуется снижать максимальное число одновременно обрабатываемых последовательностей при нехватке памяти. Указана лицензия MIT.

Это конверсия модели IBM Granite 3.3 8B Instruct в формат MLX, подготовленная сообществом mlx-community. Модель с плотной архитектурой GraniteForCausalLM содержит 8,2 млрд параметров и принимает текстовые запросы, выдавая текстовые ответы; поддерживает диалог и интерфейс вызова инструментов. Размер контекста — до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; её можно применять для ответов на вопросы, анализа длинных текстов, программирования и многоязычных задач. Репозиторий распространяется по лицензии Apache-2.0. Это конверсия исходной модели ibm-granite/granite-3.3-8b-instruct для MLX, поэтому для использования в этой экосистеме потребуется совместимая среда MLX.

Карточка модели eth-dl-rewards/internlm2-7b-mod на Hugging Face совпадает с карточкой internlm/internlm2-7b, поэтому описание составлено по ней. InternLM2-7B — плотная авторегрессионная языковая модель второго поколения InternLM, разработанная командой InternLM. Это базовая модель для продолжения текста и адаптации под прикладные задачи; README отдельно рекомендует версию internlm2 для большинства применений, а чат-версии описывает как отдельные варианты. Модель содержит 7,4 млрд параметров и поддерживает контекст до 32 768 токенов согласно метаданным. Разработчик заявляет о сильных результатах на задачах длинного контекста, рассуждений, математики и программирования, включая поиск сведений в длинных текстах. Модель принимает текст и генерирует текст; сведения о конкретных поддерживаемых естественных языках в источниках отсутствуют. Как и другие вероятностные языковые модели, InternLM2-7B может выдавать фактические ошибки, предвзятые или вредоносные ответы. Код распространяется по Apache-2.0; для весов README указывает академический доступ и возможность запросить бесплатное коммерческое разрешение, поэтому условия использования весов следует сверять с лицензией и соответствующим разрешением.

unsloth/Kimi-K2-Instruct-GGUF — это GGUF-квантизированная версия Kimi-K2-Instruct, разработанного Moonshot AI и подготовленная Unsloth. Модель предназначена для общего диалога, решения задач на знания и рассуждения, программирования, использования инструментов и агентских сценариев. Версия Instruct ориентирована на готовое применение без длительного режима пошагового размышления. Модель использует архитектуру Mixture-of-Experts (MoE): 1 триллион общих параметров, из которых 32 миллиарда активируются для каждого токена. Архитектура включает 61 слой, 384 эксперта с выбором 8 экспертов на токен, один общий эксперт, 64 головы внимания, механизм MLA, активацию SwiGLU и словарь размером 160 тысяч токенов. Длина контекста составляет 128 тысяч токенов. В README языки и дополнительные модальности не указаны. GGUF-версии предназначены для локального запуска, в частности через актуальную версию llama.cpp. Для небольших квантов рекомендуется не менее 128 ГБ объединённой оперативной памяти; при наличии 16 ГБ VRAM и 256 ГБ RAM ожидается скорость свыше 5 токенов в секунду. Для наилучшего качества рекомендуются 2-битные XL-кванты или более высокие варианты, а температура 0,6 помогает снизить повторения и несвязность. Ограничениями являются очень высокие требования к памяти и возможные потери качества, зависящие от выбранного уровня квантования. Лицензия указана как modified MIT; также приведена ссылка на файл LICENSE.md.

Meta-Llama-3-8B-Instruct-iMat-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для диалоговых сценариев и задач генерации текста и кода, включая использование в качестве ассистента. Вариант подготовлен с помощью llama.cpp и доступен в наборах K- и IQ-квантов от Q6_K до IQ1_S. Модель представляет собой авторегрессионный языковой трансформер с оптимизированной архитектурой и Grouped-Query Attention (GQA), содержит около 8 млрд параметров и поддерживает контекст до 8 тысяч токенов. Она принимает только текст и генерирует текст или код. Обучение включает предварительное обучение, supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Основной язык — английский; применение для других языков обозначено как выходящее за рамки исходного назначения, хотя дополнительное дообучение возможно при соблюдении условий лицензии. Ключевые преимущества этого варианта — поддержка локального запуска через llama.cpp, наличие множества уровней квантования и использование importance matrix для снижения потерь качества при квантовании. Исправлены настройки токенизатора и EOS-токена для корректной работы инструкционного режима, однако для новых квантов требуется совместимая версия llama.cpp с соответствующими исправлениями и шаблоном чата Llama 3. Модель является статичной и обучена на офлайн-данных; дата отсечения знаний — март 2023 года. Использование регулируется пользовательской лицензией Meta Llama 3 и Acceptable Use Policy.

Карточка модели calmresearch-ai/Model4 на Hugging Face совпадает с карточкой shaikat2007/MiMo-V2.6-Pro, поэтому описание составлено по ней. MiMo-V2.6-Pro-RL — флагманская модель серии MiMo-V2.6, разработанная Xiaomi и обученная с масштабированием обучения с подкреплением для агентных сценариев и самоулучшения. Она предназначена для генерации текста, программирования, работы с инструментами и задач, где агент взаимодействует со средой и оценивает результаты своих действий. Модель построена на разреженной архитектуре Mixture of Experts. В README указаны 1,02 трлн общих и 42 млрд активируемых параметров; метаданные репозитория указывают 27,7 млрд параметров и класс MiMoV2ForCausalLM. Контекст составляет до 1 млн токенов. Модель поддерживает текст, изображения, видео и аудио, а также интерфейс вызова инструментов. В карточке заявлены английский и китайский языки. Модель подходит для длительных агентных запусков, анализа визуальных и аудиовизуальных материалов, программирования и работы с длинными документами или репозиториями. README приводит результаты бенчмарков, но они не гарантируют качество на конкретных задачах; развёртывание рассчитано на специализированные средства инференса и мощное оборудование. Лицензия репозитория — MIT.

ModernCE-large-sts — англоязычный cross-encoder, разработанный dleemiller на основе answerdotai/ModernBERT-large и дообученный для оценки семантического сходства пар текстов. Модель принимает два текста вместе и выдаёт оценку от 0 до 1: чем выше балл, тем ближе их смысл. Она предназначена для сравнения предложений и длинных текстов, в том числе для оценки ответов LLM и ранжирования кандидатов по смысловой близости. Модель построена на архитектуре ModernBERT-large, содержит около 395 млн параметров и обрабатывает до 8192 токенов. Обучение включало пары из dleemiller/wiki-sim и дообучение на sentence-transformers/stsb. В README указаны результаты на тестовой части STS-Benchmark: корреляция Пирсона 0,9256 и Спирмена 0,9215. Для использования модели требуется библиотека sentence-transformers; лицензия — MIT. Как cross-encoder, она оценивает пары текстов совместно, поэтому для массового поиска по большому корпусу может потребоваться предварительный отбор кандидатов; заявленные метрики относятся к STS-Benchmark и не гарантируют такое же качество на других данных.

cafepm/Muse-Glimmer-30B-Q3Q4-GGUF — квантованная GGUF-сборка мультимодальной модели Muse Glimmer, подготовленная исследовательской командой TNT.Chat в рамках проекта LOCAL AI. В основе — meta-models/Muse-Glimmer-30B; исходная архитектура представляет собой плотный каузальный трансформер с энкодером восприятия и примерно 29,6 млрд параметров. В этой сборке около 20% весов хранятся в 4-битном формате Q4_K, остальные — в 3-битном Q3_K, чтобы уменьшить размер модели и требования к памяти. Репозиторий также содержит mmproj в формате BF16. Модель предназначена для локальных агентных сценариев: многошагового планирования, вызова инструментов, программирования и анализа изображений, включая скриншоты, графики и документы. Она принимает текст и изображения и генерирует текст; аудио не поддерживается. В README указано, что тестирование проводилось на внутреннем наборе из 51 вопроса, поэтому приведённые оценки не заменяют проверку на задачах конкретного применения. Возможны неточные, предвзятые или нежелательные ответы; для внедрения рекомендованы дополнительные защитные механизмы. Лицензия — Apache 2.0.

OpenHermes-4.6-Dolphin-Mistral — объединённая языковая модель, созданная методом SLERP с помощью mergekit на основе cognitivecomputations/dolphin-2.1-mistral-7b и teknium/OpenHermes-2.5-Mistral-7B. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров; она предназначена для диалогового взаимодействия и генерации текста. Поддерживает контекст до 32 768 токенов и распространяется в формате Safetensors для использования с Transformers. Лицензия в предоставленных данных не указана.

phi-4-GGUF — это квантизированная в формате GGUF версия языковой модели Phi-4, разработанной Microsoft. Квантизация выполнена bartowski на основе llama.cpp, релиз b4456. Модель предназначена для генерации текста, диалогового взаимодействия, решения математических задач, программирования и других задач обработки естественного языка. Модель поддерживает контекст до 16 000 токенов и обучалась на 9,8 триллиона токенов, включая синтетические данные, отфильтрованные общедоступные веб-страницы, академические книги и наборы вопросов и ответов. В метаданных указан английский язык. Формат GGUF и совместимость с llama.cpp делают модель пригодной для локального запуска в приложениях, поддерживающих этот формат, включая LM Studio. К сильным сторонам относятся широкий набор обучающих данных, поддержка длинного контекста и специализация на задачах диалога, математики и кода. Модель может генерировать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. В README не указаны конкретная архитектура, число параметров и характеристики отдельных вариантов квантизации. Модель распространяется по лицензии MIT.

Qwen2-1.5B-Instruct — инструктивно дообученная языковая модель из серии Qwen2, разработанной командой Qwen. Она предназначена для диалогов и генерации текста по пользовательским инструкциям, включая задачи понимания языка, программирования, математики и рассуждений. Модель содержит 1,5 млрд параметров, использует плотную архитектуру Transformer с декодером Qwen2 и поддерживает контекст до 32 768 токенов. В карточке отмечены улучшенный токенизатор для нескольких естественных языков и кода, а также конкурентные результаты на тестах понимания, генерации, программирования и математики. Репозиторий содержит веса safetensors; для работы с библиотекой Transformers рекомендуется версия 4.37.0 или новее. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-KTopt-GGUF — квантизированная GGUF-сборка базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем wiklif. Она предназначена для генерации текста, решения сложных вопросов, следования инструкциям, программирования и задач, требующих рассуждений, включая работу с длинным контекстом. Модель содержит около 27 млрд параметров, использует trellis-квантизацию типов KT и занимает примерно 10,31 ГБ, или около 3,06 бит на вес. Это текстовая модель без vision tower. На видеокарте с 16 ГБ памяти заявлена поддержка контекста от 160 тысяч до полного нативного объёма 262 тысячи токенов, а на 12 ГБ — примерно 64–96 тысяч токенов. В комплект входят опциональный EoRA-адаптер размером 32,4 МБ и drafter для speculative decoding. Сильная сторона модели — близкое к Q8_0 качество при значительно меньшем размере и пригодность для запуска на одной 16-ГБ видеокарте. На указанных тестах средний результат составил 86,7 против 87,5 у Q8_0; при ограничении вывода 64 тысяч токенов модель превзошла сопоставимую UD-IQ3_XXS на 2,8 процентного пункта. Для работы требуется специальная сборка lrozewicz/kt-llama-cpp с поддержкой KT-квантизации, VBR KV-кэша и DFlash2; модель не загружается в основной llama.cpp, LM Studio или Ollama. Лицензия — Apache-2.0.

Bonsai 2 27B — производная от Qwen/Qwen3.8-27B модель семейства Prism ML для генерации текста, рассуждений и диалогов. Это плотный трансформер с гибридным вниманием, SwiGLU, RoPE и RMSNorm; языковые веса представлены в троичном формате {-1, 0, +1} с блочной Hadamard-ротацией. Репозиторий содержит веса в формате safetensors для MLX; заявлены 27,36 млрд параметров и контекст до 262 тыс. токенов. Модель также включает башню зрения, однако карточка этого варианта указывает основной задачей генерацию текста. Модель рассчитана на локальный запуск на устройствах Apple Silicon и совместимых GPU, в том числе для продолжительного анализа документов и кода, диалогов, рассуждений и сценариев с вызовом инструментов. Автор заявляет сохранение 98,2% среднего результата FP16-версии на 14 тестах, включая математику, программирование и использование инструментов. Троичное представление сокращает размер весов, но требует специализированных низкоразрядных ядер; скорость зависит от аппаратуры и реализации. Модель основана на Qwen/Qwen3.8-27B и распространяется по лицензии Apache-2.0. Для использования нужны совместимый runtime MLX и соответствующие низкоразрядные ядра; заявленные характеристики скорости и качества являются результатами автора и могут отличаться на конкретном оборудовании.

Tess-4-35B-A3B — мультимодальная модель семейства Tess-4, разработанная Migel Tissera и представленная в этом репозитории как неизменённая копия весов оригинальной модели. Это постобученная смесь экспертов на базе Qwen/Qwen3.6-35B-A3B: модель имеет около 35 млрд параметров общей ёмкости и активирует примерно 3 млрд параметров на токен. Используется гибридное внимание с gated-delta-net и полным GQA в каждом четвёртом слое. Модель предназначена для диалогов, многошагового использования инструментов, агентного программирования, анализа изображений и работы с длинными техническими документами. Карточка описывает обучение на 64K-токенных агентных трассах; базовая архитектура поддерживает контекст до 262K позиций. Веса сохраняют визуальный тракт Qwen и обработку изображений и видео. Указан английский язык. Для запуска BF16-весов требуется современная версия Transformers с поддержкой мультимодальной архитектуры Qwen3.6 MoE; полный набор весов занимает около 72 ГБ. Указанная лицензия — Apache-2.0. Заявления о качестве и скорости в README частично основаны на данных автора и сообщества; GGUF-оптимизации и ускорение с MTP относятся к отдельному репозиторию и специализированной сборке llama.cpp.

Trinity-Large-Thinking — ориентированная на рассуждения и агентные сценарии модель семейства Trinity-Large от Arcee AI. Это дообученная на базе arcee-ai/Trinity-Large-Base разреженная MoE-модель для генерации текста; по README, в семействе около 398 млрд параметров и примерно 13 млрд активных параметров на токен, используется 256 экспертов, включая одного общего. Метаданные указывают 8,7 млрд параметров, поэтому точный размер данного чекпойнта в источниках расходится. Модель предназначена для многошагового планирования, вызова инструментов, диалогов и задач, требующих развёрнутых рассуждений. Она формирует трассы рассуждений в специальных блоках, которые следует сохранять в контексте при многоходовом взаимодействии и циклах агента. Поддерживает 262 144 токена контекста и языки en, es, fr, de, it, pt, ru, ar, hi, ko и zh. Метаданные указывают лицензию other; конкретные условия использования следует сверять с карточкой модели.

Whittle-Qwen-3.8-35B-A3B-GGUF — это квантизированная версия модели logic65/Whittle-Qwen-3.8-35B-A3B, разработанная David Aylward (logic65) при участии Claude от Anthropic. Модель распространяется в формате GGUF и предназначена для запуска через llama.cpp без патчей. Она ориентирована на генерацию текста, диалоги, рассуждения, программирование и математические задачи, а также на исследовательские сценарии локального запуска. Модель построена в формате qwen4_exp как смесь экспертов (Mixture of Experts): содержит около 35,1 млрд параметров, из которых активно используется примерно 3 млрд. Важная особенность — 10-миллиардная n-граммная память, являющаяся несущей частью модели; её отключение существенно ухудшает результаты на незнакомом коде. Модель дистиллирована из Qwen3.8-27B и использует память из Qwen3.8-Flash-Next. Заявлена поддержка английского, китайского и многоязычного текста. Доступны варианты квантизации от Q3_K_M до Q8_0 размером примерно от 16,7 до 37,8 ГБ. Сильные стороны модели — низкое число активных параметров при большом общем размере, поддержка режима рассуждений и эффективный локальный запуск со скоростью, близкой к моделям с 3 млрд активных параметров. Для работы требуется сохранять компонент памяти целиком; рекомендуется размещать его в оперативной памяти, поэтому требования к системе существенно зависят от выбранной квантизации. README не указывает максимальный контекст. Для лучших результатов рекомендуется включать thinking и использовать сэмплирование; жадная генерация может зацикливаться. Модель распространяется по лицензии Apache-2.0.

airoboros-c34b-2.2.1 — экспериментальная языковая модель jondurbin, дообученная на синтетических инструкционных данных набора airoboros-2.2.1. Это плотная авторегрессионная модель семейства Llama на 33,5 млрд параметров с контекстом до 16 384 токенов; опубликована в формате PyTorch под лицензией Llama 2. Модель предназначена для выполнения инструкций, ответов на вопросы с опорой на предоставленный контекст, суммаризации, написания текстов и кода. В README также описаны генерация структурированных аргументов для вызова функций и составление планов выполнения задач, однако для вызова инструментов требуется отдельная система, которая обработает такой план. Для диалога используется шаблон с метками USER и ASSISTANT. В сравнении с airoboros-c34b-2.2 в этой версии обновлены примеры письма, добавлены более длинные блоки контекста, удалены данные ролевых игр и снижена интенсивность снятия цензуры; обучение проводилось в пять эпох. README характеризует модель как универсальную, но ориентированную прежде всего на следование инструкциям, а не на непринуждённый чат. Автор предупреждает, что без настроенных критериев остановки модель может продолжить ответ от имени пользователя; для вопросов по контексту советует явно просить не придумывать ответ при нехватке сведений.

airoboros-l2-13b-2.2 — экспериментальная текстовая модель jondurbin, основанная на архитектуре Llama и дообученная на версии 2.2 набора airoboros, состоящей преимущественно из синтетических данных. Модель содержит около 12,9 млрд параметров, принимает текст и рассчитана на контекст до 4096 токенов. Для диалога используется формат с отдельными строками system, USER и ASSISTANT; в большинстве примеров применялся системный промпт «A chat.». Модель ориентирована прежде всего на выполнение инструкций, а не на непринуждённый чат или ролевую игру. Она подходит для ответов на вопросы по предоставленному контексту, генерации текста и кода, задач с вариантами ответа, структурированного вывода в JSON или YAML и составления планов выполнения задач с инструментами. Вариант «clean» не включает данные для снятия выравнивания; при этом автор отмечает, что поведение можно переопределять системным промптом. Для остановки генерации рекомендуется настроить критерии завершения на маркер USER:. Модель распространяется по лицензии Llama 2.

Карточка модели delwinn/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой yosuaw/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers на базе MiniLM, разработанная в рамках проекта Hugging Face Community Week. Она кодирует предложения и короткие абзацы в плотные векторы размерности 384, отражающие семантическое содержание. Модель обучена контрастивным дообучением предварительно обученной nreimers/MiniLM-L6-H384-uncased на наборе более чем из миллиарда пар предложений. Модель предназначена для семантического поиска, извлечения информации, сравнения сходства предложений и кластеризации текстов. Архитектура — BERT-подобный MiniLM с 25,9 млн параметров; максимальная длина контекста — 512 токенов, а по умолчанию входы длиннее 256 WordPiece-токенов обрезаются. Карточка указывает поддержку английского языка. Веса доступны в форматах PyTorch, Safetensors и TensorFlow; лицензия — Apache-2.0.

Thunder421/criterion-finetuned-bert — модель Sentence Transformers, дообученная на базе sentence-transformers/all-mpnet-base-v2. Архитектура MPNet использует mean pooling и нормализацию; модель кодирует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их с помощью косинусного сходства. В метаданных указано 136,7 млн параметров и контекст до 514 токенов; карточка модели указывает максимальную длину последовательности 384 токена. Модель предназначена для семантического поиска и оценки сходства текстов, в том числе для поиска релевантных фрагментов и ранжирования кандидатов при retrieval. В README приведены результаты на наборе ats-val: Spearman по косинусному сходству 0,9258. Модель принимает и выдаёт текстовые представления; обучение проводилось на 6 790 парах предложений с оценками сходства. Языки обучающих примеров в карточке англоязычные, однако заявленная поддержка языков не указана. Лицензия в предоставленных данных не приведена.

zumalabs/DeepSeek-R1-Distill-Llama-70B-FP8 — это вариант модели DeepSeek-R1-Distill-Llama-70B, опубликованный Zuma Labs на Hugging Face. Исходную модель разработала DeepSeek; она создана методом дообучения открытой Llama 3.3 70B Instruct на данных, сгенерированных DeepSeek-R1, для усиления способностей к рассуждению. Модель предназначена для генерации текста, решения математических и логических задач, программирования, анализа и диалоговых сценариев. Архитектура — LlamaForCausalLM с примерно 71 млрд параметров, 80 слоями, 64 attention heads и 8 key-value heads. Базовая версия поддерживает контекст до 131 072 токенов. Модель текстовая; конкретный набор языков и отдельные характеристики качества для репозитория Zuma Labs не документированы. Данный вариант распространяется в формате Safetensors с представлением FP8 E4M3 при заявленном размере около 71B параметров, что может снизить требования к памяти по сравнению с полноразмерными форматами, но требует совместимого программного и аппаратного стека. Сильные стороны — развитое пошаговое рассуждение и возможности базовой Llama 3.3 70B Instruct. Ограничения включают высокие требования к вычислительным ресурсам, возможные ошибки и нестабильность ответов, а также отсутствие отдельной подробной карточки, тестов и описания ограничений именно для FP8-конверсии Zuma Labs. Для серии DeepSeek-R1 разработчик рекомендует температуру 0,5–0,7 и предупреждает о возможных повторениях или несвязном выводе при неподходящих настройках. Код и веса серии DeepSeek-R1 заявлены под лицензией MIT, однако модель основана на Llama 3.3 70B Instruct, для которой действует исходная лицензия Llama 3.3; коммерческое использование и производные работы следует проверять с учётом условий обеих лицензий.

PiehSoft подготовил квантованную версию DeepSeek-R1-Distill-Llama-70B в формате GGUF для запуска на видеокартах NVIDIA Blackwell. Это текстовая диалоговая модель на основе дистиллированной модели DeepSeek с архитектурой Llama; веса квантованы в NVFP4, что снижает требования к памяти и рассчитано на ускорение генерации на совместимом оборудовании. В README указана длина контекста 131072 токена. Модель подходит для диалогов, математических рассуждений, программирования и ответов на сложные вопросы. Она принимает текст и генерирует текст. По данным карточки, квантование выполнено с использованием 128 калибровочных примеров, после чего веса преобразованы в GGUF; лицензия — MIT. Это неофициальная конверсия сообщества. В README отмечены незрелость поддержки NVFP4 в экосистеме GGUF и возможные изменения производительности по мере развития реализации; результаты также зависят от совместимого оборудования и программного обеспечения.