II.10Разработка и эксплуатация AI/ML-систем
В разделе собраны самостоятельные задачи, где AI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
49 000 моделейcolbertv1-camembert-base-mmarcoFR — модель ColBERTv1 для семантического поиска на французском языке, созданная Antoine Louis на основе camembert-base. Она кодирует запросы и фрагменты документов в матрицы векторных представлений токенов и ранжирует фрагменты по контекстному сходству с помощью MaxSim; модель предназначена для поиска по крупным коллекциям и извлечения документов для систем RAG. Модель дообучена на французской части mMARCO — машинно переведённой версии MS MARCO. В README указаны размерность представлений 128, максимальная длина запроса 32 токена и фрагмента 256 токенов; метаданные указывают 137,8 млн параметров и нативный контекст 514 токенов. На тестовом наборе mMARCO-fr с 8,8 млн фрагментов она показала MRR@10 29,5 и R@100 80,0. Модель рассчитана на франкоязычный поиск по текстовым запросам и коллекциям документов. Индекс коллекции из 8,8 млн фрагментов в описанной конфигурации занимает около 28 ГБ. Лицензия — MIT.
colbertv2-camembert-L4-mmarcoFR — компактная модель ColBERTv2 для семантического поиска на французском языке. Она разработана на основе CamemBERT-L4 и дообучена на французской части mMARCO с использованием оценок кросс-энкодера. Модель кодирует запросы и документы в матрицы токенных эмбеддингов и оценивает их соответствие с помощью операции MaxSim; для оценки релевантности применяется косинусное сходство. Модель предназначена для поиска релевантных фрагментов в больших коллекциях текстов и может использоваться в системах семантического поиска и RAG. В README указана размерность эмбеддингов 32 и максимальная длина последовательности 514 токенов в метаданных; при обучении использовались длины до 32 токенов для запросов и до 160 для документов. В оценке на dev-наборе mMARCO-fr с корпусом из 8,8 млн фрагментов модель показала MRR@10 32,3 и R@1000 91,9. Репозиторий содержит веса safetensors и распространяется по лицензии MIT.
Это англоязычная модель разреженных текстовых эмбеддингов, созданная дообучением mixedbread-ai/mxbai-embed-large-v1 командой tomaarsen на наборе gooaq с помощью библиотеки sentence-transformers. Она преобразует предложения и абзацы в разреженные векторы размерностью 4096; близость векторов можно оценивать скалярным произведением. Модель предназначена для семантического поиска и разреженного извлечения документов, в том числе поиска ответов по вопросам. Максимальная длина входной последовательности — 512 токенов. В README приведены оценки на наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR при ограничении числа активных измерений до 128 или 256. Модель поддерживает английский язык и распространяется по лицензии Apache-2.0. Это энкодер для получения векторов, а не генеративная модель: он не формулирует ответы на запросы. Результаты оценки в README относятся к указанным наборам и настройкам и не гарантируют такое же качество на других данных.
Это англоязычный CSR Sparse Encoder, дообученный авторами карточки на базе mixedbread-ai/mxbai-embed-large-v1 на датасете Natural Questions с использованием Sentence Transformers. Модель кодирует предложения и абзацы в разреженные векторы размерности 4096; предусмотрено до 256 активных измерений, а сходство оценивается косинусной мерой. Максимальная длина последовательности — 512 токенов, число параметров — 433,9 млн. Модель предназначена для семантического поиска и разреженного извлечения релевантных документов, в том числе в сценариях поиска по вопросам на английском языке. В README приведены оценки на NanoBEIR, Natural Questions и других наборах Nano BEIR при разных ограничениях на активные измерения. Модель распространяется под лицензией Apache-2.0. Результаты зависят от числа активных измерений и используемого корпуса; карточка содержит оценки на небольших наборах, поэтому они не гарантируют качество на других данных.
Это англоязычный разреженный CSR-кодировщик текста, созданный авторами Sentence Transformers и дообученный на Natural Questions от базовой модели mixedbread-ai/mxbai-embed-large-v1. Он преобразует запросы и документы в разреженные векторы размерностью 4096 с максимум 256 активными измерениями; близость оценивается скалярным произведением. Модель предназначена для семантического поиска и разреженного информационного поиска, в том числе по коллекциям вопросов и ответов. Модель основана на архитектуре BERT, содержит около 433,9 млн параметров, принимает текст длиной до 512 токенов и работает через библиотеку Sentence Transformers. В карточке приведены оценки поиска на наборах Natural Questions, MS MARCO, NFCorpus и NanoBEIR. Лицензия — Apache-2.0.
Это англоязычный разреженный CSR-кодировщик текста tomaarsen/csr-mxbai-embed-large-v1-nq-no-reconstruction, разработанный на базе mixedbread-ai/mxbai-embed-large-v1 с помощью Sentence Transformers и дообученный на наборе Natural Questions. Модель предназначена для семантического поиска и разреженного извлечения документов: она преобразует предложения и абзацы в векторы, которые можно сравнивать скалярным произведением. Архитектура основана на BERT и содержит 433,9 млн параметров. Размер выходного пространства — 4096 измерений, при этом в векторе активно не более 256 измерений. Максимальная длина последовательности — 512 токенов. В README приведены результаты оценки извлечения на наборах NanoMSMARCO, NanoNFCorpus, NanoNQ и NanoBEIR. Модель подходит для поиска по текстовым коллекциям и ранжирования кандидатов по релевантности. Она рассчитана на английский язык; результаты для других языков не заявлены. Распространяется по лицензии Apache-2.0.
deepseek-ai/deepseek-coder-6.7b-base — базовая языковая модель для программирования, разработанная DeepSeek. Это плотная авторегрессионная модель семейства Llama с архитектурой Multi-Head Attention и 6,6 млрд параметров, обученная с нуля на 2 трлн токенов: 87% обучающих данных составлял код, 13% — естественный язык на английском и китайском. Модель работает с контекстом до 16 384 токенов. Она предназначена для генерации и дополнения кода, заполнения пропусков внутри кода и завершения фрагментов с учётом проекта или репозитория. Обучение на коде нескольких языков программирования и задача fill-in-the-blank поддерживают редактирование кода в заданном контексте. Модель является базовой, а не настроенной для диалога, поэтому для интерактивного помощника может потребоваться дополнительная настройка. Модель опубликована в форматах PyTorch и Safetensors. В README заявлены результаты уровня ведущих открытых моделей на бенчмарках HumanEval, MultiPL-E, MBPP, DS-1000 и APPS. Лицензия указана как «other»; перед использованием следует проверить условия в карточке модели Hugging Face.
DeepSeek-Coder-V2-Base — базовая языковая модель для кода, разработанная DeepSeek. Это продолженное предобучение промежуточного чекпойнта DeepSeek-V2 на дополнительных 6 триллионах токенов; модель использует архитектуру Mixture-of-Experts семейства DeepSeek-V2. Для данного репозитория в метаданных указаны 18,1 млрд параметров, а контекст составляет до 163 840 токенов. Модель предназначена для генерации и продолжения кода, вставки кода в заданный фрагмент, а также для задач программирования и математических рассуждений. README заявляет поддержку 338 языков программирования и сохранение возможностей для общих языковых задач; её можно запускать через Transformers и vLLM. Это базовая, а не instruct-версия, поэтому README не описывает её как специально настроенную для следования пользовательским инструкциям. В README указана лицензия, но её тип в доступных данных не раскрыт; перед использованием следует проверить условия лицензирования в репозитории. Для запуска полной BF16-версии README приводит требование 8 GPU с 80 ГБ памяти каждая.
DeepSeek-Coder-V2-Lite-Instruct-FP8 — это квантизированная версия модели DeepSeek-Coder-V2-Lite-Instruct, разработанная Neural Magic. Модель принимает текст и генерирует текст; она предназначена для коммерческого и исследовательского использования, прежде всего для англоязычного ассистентского диалога и задач генерации кода. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в формат FP8, что примерно вдвое снижает требования к дисковому пространству и памяти GPU по сравнению с 16-битным представлением. Используется симметричная поэлементно-тензорная квантизация, при этом экспертные шлюзы сохраняют исходную точность. Модель оптимизирована для инференса через vLLM версии 0.5.2 и новее; в документации указан максимальный контекст 4096 токенов. Входная и выходная модальности — текст, основной заявленный язык — английский. Модель сохраняет близкую к исходной точность при меньших требованиях к ресурсам: на HumanEval+ указано 79,60 балла против 79,33 у неквантизированной версии, а базовый pass@1 составляет 79,3 против 80,8. Ограничения включают специализацию на английском языке и недопустимость использования на других языках согласно описанию модели; качество также может зависеть от особенностей FP8-квантизации и используемого движка. Модель распространяется по лицензии deepseek-license, условия которой определены в лицензии DeepSeek.
DeepSeek-R1-0528 — обновлённая версия reasoning-модели DeepSeek R1, разработанная командой DeepSeek AI. Модель ориентирована на задачи, требующие глубокого рассуждения: математику, программирование, общую логику и решение сложных аналитических задач. Также заявлены улучшения в function calling, снижении частоты галлюцинаций и сценариях vibe coding. По сравнению с предыдущей версией модель использует более глубокий процесс рассуждения и увеличенные вычислительные ресурсы на этапе постобучения. Максимальная длина генерации составляет 64K токенов. В README не указаны архитектура, общее число параметров, поддерживаемые языки и мультимодальные возможности; приведённые оценки относятся преимущественно к текстовым запросам. Сильными сторонами являются заметный рост результатов на математических, кодовых и логических бенчмарках, включая AIME, LiveCodeBench, SWE Verified и Codeforces. При этом результаты зависят от конкретной задачи: например, показатель SimpleQA у новой версии ниже, чем у предыдущей. Модель распространяется по лицензии MIT.
DeepSeek-R1-0528-Qwen3-8B-bnb-4bit — это 4-битно квантованная версия модели DeepSeek-R1-0528-Qwen3-8B, опубликованная Unsloth. Исходная модель разработана DeepSeek и представляет собой языковую модель с акцентом на углублённое рассуждение. Квантованный вариант распространяется для использования с Transformers и предназначен для более экономичного запуска модели. Модель ориентирована на сложные задачи рассуждения, математику, программирование, общую логику, вызов функций и сценарии «vibe coding». В README отмечены улучшения по сравнению с предыдущей версией DeepSeek R1: снижение галлюцинаций, более развитые способности к рассуждению и увеличение максимальной длины генерации до 64K токенов. Для DeepSeek-R1-0528 также приведены высокие результаты в тестах по общим знаниям, программированию и математике, включая AIME 2024, LiveCodeBench и SWE Verified. Точный набор поддерживаемых языков, модальностей и архитектурные детали в карточке не указаны; из идентификатора следует размер исходной модели 8B. Квантование уменьшает требования к памяти, но может влиять на точность по сравнению с полной версией. Модель распространяется по лицензии MIT.
casperhansen/deepseek-r1-distill-llama-70b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Llama-70B, опубликованная пользователем casperhansen на Hugging Face. Исходную модель разработала DeepSeek-AI: она создана на базе Llama-3.3-70B-Instruct и дообучена на примерах рассуждений, сгенерированных DeepSeek-R1. Модель предназначена для текстовой генерации, диалогов и решения задач, особенно связанных с математикой, программированием и многошаговым рассуждением. Архитектура — LlamaForCausalLM с примерно 71 млрд параметров, 80 слоями, 64 attention heads и 8 key-value heads. Репозиторий содержит веса в формате Safetensors с 4-битной AWQ-квантизацией; конфигурация указывает контекст до 131072 токенов и вычисления в bfloat16. Это текстовая, а не мультимодальная модель. Квантизация уменьшает требования к памяти и делает локальное развертывание практичнее, но может приводить к некоторой потере качества по сравнению с исходными весами; для полноценного запуска всё равно требуются значительные вычислительные ресурсы. Исходная DeepSeek-R1-Distill-Llama-70B показывает сильные результаты в математике, кодировании и задачах рассуждения, однако официальные показатели относятся к исходной, а не обязательно к данной AWQ-версии. Репозиторий производной модели указывает лицензию MIT. При этом исходная модель базируется на Llama-3.3-70B-Instruct, для которой также действуют условия лицензии Llama 3.3.
DeepSeek-V2.5-1210-FP8 — квантованная версия языковой модели DeepSeek-V2.5-1210, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена для задач генерации и обработки естественного языка, включая развертывание чат-сервисов и других приложений на базе causal language model. В README указано, что модель доступна для инференса через библиотеку Transformers и оптимизирована для vLLM версии 0.5.2 и выше. Модель использует архитектуру DeepSeek-V2.5-1210 и формат квантования FP8 для весов и активаций. Квантованию подвергаются линейные операторы в блоках трансформера, за исключением маршрутизаторов MLP. Переход с 16 на 8 бит примерно на 50% уменьшает размер модели на диске и требования к памяти GPU. Указанный максимальный размер контекста для примера развертывания составляет 4096 токенов; язык в карточке заявлен как английский. На OpenLLM Leaderboard V1 модель получила средний результат 77,8, практически совпавший с результатом неквантованной версии 77,82. Сильными сторонами модели являются снижение требований к дисковой и GPU-памяти при сохранении близкой к исходной результативности, а также поддержка эффективного инференса и OpenAI-совместимой подачи через vLLM. Ограничения включают зависимость от совместимого стека vLLM, необходимость использования tensor parallelism для конфигурации из примера и отсутствие в README подробных сведений о числе параметров, полном списке языков и характеристиках исходной архитектуры. Модель распространяется по лицензии DeepSeek; точные условия указаны в файле лицензии по ссылке, приведенной в карточке.
DeepSeek-V3.2 — языковая модель, разработанная DeepSeek AI и представленная как дообученная версия DeepSeek-V3.2-Exp-Base. Модель ориентирована на эффективное рассуждение, работу с агентными сценариями и взаимодействие с инструментами, включая режим «thinking with tools». Она распространяется через Transformers и использует обновлённый формат чата с поддержкой вызова инструментов и рассуждений. Ключевой особенностью модели является механизм DeepSeek Sparse Attention (DSA), предназначенный для снижения вычислительной сложности при сохранении качества, особенно в задачах с длинным контекстом. Для обучения применялись масштабируемое reinforcement learning и pipeline синтеза данных для агентных задач. README заявляет высокие результаты в математических и программных соревнованиях, однако точные размер модели, длина контекста, поддерживаемые языки и набор модальностей не указаны. Для интеграции требуется учитывать, что релиз не содержит Jinja-шаблон chat template: разработчикам предлагается использовать скрипты из каталога encoding для кодирования сообщений в OpenAI-совместимом формате и разбора ответов. Указанная функция разбора рассчитана на корректно сформированные строки и не исправляет ошибки формата. Модель распространяется по лицензии MIT.
DMetaSoul разработала Dmeta-embedding-zh-small — компактную китайскоязычную модель для получения текстовых эмбеддингов. Это дистиллированная версия Dmeta-embedding-zh на архитектуре BERT из 8 слоёв; в метаданных указаны 91,7 млн параметров и контекст до 1024 токенов. Модель предназначена для поиска, семантического сопоставления текстов, вопросно-ответных систем, интеллектуальной поддержки клиентов и приложений с RAG. Её можно загружать через Transformers, Sentence-Transformers и LangChain. По сравнению с исходной моделью размер уменьшен примерно на треть, а скорость вывода в приведённом тесте выросла примерно на 30%; средний результат MTEB снизился примерно на 1,4 пункта, с наибольшими потерями в задачах поиска и семантического сходства. Модель принимает текст и выдаёт векторные представления. Распространяется по лицензии Apache-2.0.
e5-R-mistral-7b — языковая модель для поиска и извлечения релевантных текстов, созданная дообучением Mistral-7B-v0.1 на наборе BeastyZ/E5-R. Это плотная причинная модель семейства Mistral с 7,1 млрд параметров, работающая через Transformers и представленная в формате safetensors. Модель рассчитана на английский язык; её контекстное окно составляет 32 768 токенов. Модель можно применять для извлечения документов по запросу и построения поисковых компонентов, например, в системах RAG. В метаданных Hugging Face указана задача text-generation, хотя в README модель описана как ретривер. Лицензия — Apache-2.0. Подробности о качестве поиска и инструкции по использованию в карточке не приведены.
Pieces представила сжатую версию модели эмбеддингов Google EmbeddingGemma-300M для поиска и сравнения текстов. Модель предназначена для получения векторных представлений, семантического поиска и retrieval-сценариев; в каталоге также указана поддержка оценки сходства предложений. Модель основана на Gemma 3 Text и сокращена с 24 до 2 слоёв трансформера; ширина эмбеддинга уменьшена с 768 до 76 и восстановлена до выходного размера 768. В README заявлено около 33 млн параметров и ускорение вывода за счёт сокращения числа слоёв, тогда как метаданные указывают 209,8 млн параметров. Контекст составляет 2048 токенов. Данные не уточняют поддерживаемые естественные языки. Модель подходит для индексации текстов и поиска близких по смыслу фрагментов при ограниченных ресурсах. README характеризует качество как приемлемое, но не приводит результатов сравнительных тестов; сильное сжатие может снижать качество относительно исходной модели. Лицензия — Apache 2.0.
embeddinggemma-300m-qat-q8_0-GGUF — модель для создания векторных представлений текста, опубликованная ggml-org на основе Google embeddinggemma-300m-qat-q8_0-unquantized. Она предназначена для задач семантического сравнения предложений, поиска по смыслу, извлечения признаков и других сценариев, где текст преобразуется в embeddings. Модель может запускаться через llama-server с API-эндпоинтом /embedding или с помощью утилиты llama-embedding. Из README известно, что модель поставляется в формате GGUF и использует QAT-квантизацию с вариантом q8_0; её базовый размер — 300M параметров. Точные сведения об архитектуре, поддерживаемых языках, модальностях, размерности векторов и длине контекста не указаны. При использовании pooling нормализацию embeddings можно настраивать: по умолчанию применяется евклидова L2-нормализация, также доступны варианты без нормализации, max absolute, taxicab и P-norm. Сильная сторона модели — специализированная ориентация на получение embeddings и совместимость с инструментами llama.cpp, что упрощает локальное развертывание. Ограничения и подробные показатели качества в README не приведены. Лицензия указана как gemma; дополнительные условия её применения следует уточнять в лицензии Gemma.
G9v3-39A5B — причинная языковая модель AI9Stars для диалогового помощника, генерации кода, использования инструментов и задач на рассуждение. Модель построена по архитектуре Mixture-of-Experts: в карточке указаны 39 млрд параметров суммарно и около 5 млрд активируемых на токен. Метаданные каталога при этом описывают архитектуру как плотную, поэтому сведения о разреженной MoE-структуре расходятся. Модель поддерживает режимы Think и No Think и контекст до 131 072 токенов. Предназначена для локального и самостоятельного развёртывания; для работы указана библиотека Transformers. Заявленная поддержка языков — английский и китайский. Модель распространяется по лицензии Apache-2.0. Как предварительный выпуск, модель может менять поведение между версиями. Ответы могут быть неточными, предвзятыми или небезопасными; их следует проверять, особенно перед применением в значимых решениях.
Gemini 3.5 Flash — мультимодальная модель Google для работы с текстом и изображениями. В карточке она описана как высокопроизводительная модель уровня Flash, ориентированная на скорость и низкую стоимость при решении задач рассуждения и программирования. Модель подходит для анализа изображений и текста, помощи с кодом и сценариев с параллельным выполнением агентных задач. Подробности об архитектуре, размере, поддерживаемых языках, длине контекста и лицензии в предоставленных данных отсутствуют.
GLiNER Guard — компактная мультиязычная модель-энкодер, разработанная HiveTrace на архитектуре GLiNER2 и основанная на jhu-clsp/mmBERT-small. Модель содержит 145 млн параметров и предназначена для классификации и извлечения сущностей в задачах защиты LLM-приложений; для работы не требуется генеративная LLM. За один проход модель классифицирует безопасные и вредоносные сообщения, извлекает персональные данные и обнаруживает попытки jailbreak, prompt injection и другие атаки. Также она определяет категории вредоносного контента, намерение и тон сообщения. Zero-shot-обобщение позволяет задавать собственные метки, однако для меток за пределами перечисленных в карточке таксономий результаты не оценивались. Карточка указывает поддержку английского и русского языков. Модель распространяется в формате safetensors по лицензии Apache 2.0. README отмечает, что инструкция по установке пока не завершена.
GLM-4.5-Air-AWQ-FP16Mix — квантизированная версия модели GLM-4.5-Air, разработанной командой Z.ai и опубликованной QuantTrio. Модель предназначена для генерации текста, сложного рассуждения, кодирования, использования инструментов и агентских сценариев. Она поддерживает гибридные режимы: thinking mode для многошагового рассуждения и работы с инструментами и non-thinking mode для быстрых ответов. Модель построена на архитектуре MoE и содержит 106 млрд параметров, из которых 12 млрд активируются при обработке запроса. Данная версия использует смешанную квантизацию AWQ и FP16Mix, занимает около 69 ГБ и рассчитана на запуск через vLLM. В README приведена конфигурация с контекстом до 32 768 токенов и использованием экспертного параллелизма на нескольких GPU. Языки и мультимодальные возможности явно не указаны; по описанию это текстовая модель. Сильными сторонами являются сочетание рассуждения, генерации кода и агентских возможностей при меньшем числе активных параметров, чем у полной GLM-4.5, а также экономия памяти благодаря квантизации. Ограничения связаны с требованиями к инфраструктуре: для корректной загрузки необходимо включить expert parallelism, использовать vLLM версии 0.10.0 и применить временный патч для поддержки смешанной квантизации MoE. В README указана лицензия MIT для моделей GLM-4.5 и GLM-4.5-Air, допускающая коммерческое использование и вторичную разработку.
GLM-4.5-Air-FP8 — языковая foundation-модель для интеллектуальных агентов, разработанная организацией zai-org, связанной с Zhipu AI. Она предназначена для агентных приложений, требующих рассуждений, генерации и анализа кода, использования инструментов и выполнения сложных многошаговых задач. Модель поддерживает английский и китайский языки и относится к классу text-generation-моделей на базе Transformers. Модель имеет гибридный режим рассуждений: thinking mode предназначен для сложного анализа и работы с инструментами, а non-thinking mode — для быстрых ответов. Архитектура использует разреженную активацию параметров: всего 106 млрд параметров, из которых активно 12 млрд. Данная версия использует формат FP8, ориентированный на более эффективное хранение и инференс по сравнению с полноразмерными представлениями. Размер контекстного окна в README не указан. Сильными сторонами модели являются сочетание рассуждений, программирования и агентных возможностей, а также более компактная конфигурация по сравнению с GLM-4.5 при сохранении конкурентных результатов на заявленных бенчмарках. Ограничения связаны с высокими требованиями к инфраструктуре: для полнофункционального запуска указана серверная память свыше 1 ТБ и GPU-конфигурации с несколькими H100 или H200; точные требования зависят от режима и фреймворка инференса. Модель распространяется по лицензии MIT, допускающей коммерческое использование и вторичную разработку.
Akicou/GLM-4.7-Flash-REAP-19 — сжатая версия GLM-4.7-Flash, созданная с помощью метода REAP (Router-weighted Expert Activation Pruning) компании Cerebras. В модели удалено 50% экспертов; README указывает, что сжатие выполнено без дополнительного дообучения. Архитектура GLM-4 MoE Lite, размер — 4,1 млрд параметров, контекст — до 202 752 токенов. Модель предназначена для генерации текста, кода, вызова функций и агентных сценариев; поддерживает запуск через vLLM, Transformers и SGLang. Карточка описывает калибровку для задач кода и инструментов, сохранившую возможности базовой модели в этих сценариях. Репозиторий предоставляет веса Safetensors и заявляет лицензию MIT. В README отмечена проблема совместимости GGUF с llama.cpp: файлы GGUF пересоздаются после исправления ошибки, вызывавшей зацикливание и низкое качество ответов; в метаданных GGUF не указан.
GLM-4.7-REAP-268B-A32B — сжатая версия языковой модели GLM-4.7, представленная в карточке Cerebras. Это разрежённая причинная языковая модель с архитектурой Mixture-of-Experts: из 268 млрд параметров активируются 32 млрд на токен. Метод REAP удаляет 25% экспертов без последующего дообучения; в модели осталось 120 экспертов из 160, одновременно активны 8. В метаданных указан класс Glm4MoeForCausalLM и формат safetensors. Модель предназначена для генерации кода и текста, агентных сценариев, работы с репозиториями и вызова функций. Карточка заявляет близкую к исходной GLM-4.7 производительность при меньших требованиях к памяти и совместимость с актуальным vLLM. Контекст составляет 202 752 токена; модель поддерживает английский язык, а базовая GLM-4.7 также описана как англо-китайская. Указанная лицензия — MIT. Результаты оценки для варианта BF16 пока не приведены, поэтому заявления о близком качестве основаны на описании карточки и не подтверждены в ней численными результатами для этого варианта.
Карточка модели manaladan6/GLM-5 на Hugging Face совпадает с карточкой zai-org/GLM-5, поэтому описание составлено по ней. GLM-5 — большая языковая модель семейства GLM, разработанная zai-org для сложных задач разработки систем и длительных агентных сценариев. Модель предназначена для генерации текста, рассуждений, программирования и взаимодействия с инструментами в диалогах. В README заявлена версия на 744 млрд параметров, из которых 40 млрд активны; репозиторий Hugging Face содержит 30,4 млрд параметров. Эти данные расходятся, поэтому размер конкретной опубликованной сборки нельзя однозначно определить. Архитектура в метаданных обозначена как glm_moe_dsa, формат весов — safetensors, а нативная длина контекста составляет 202 752 токена. Поддерживаются английский и китайский языки. README сообщает об интеграции DeepSeek Sparse Attention для снижения стоимости развёртывания при сохранении длинного контекста, а также о сильных результатах в рассуждениях, программировании и агентных задачах. Модель можно запускать через Transformers и ряд других фреймворков; для использования инструментов описана настройка сервера vLLM. Лицензия — MIT. Указанные в карточке результаты бенчмарков являются заявлениями разработчика; фактическая производительность зависит от сценария и конфигурации.
GLM-5-GGUF — это квантованное представление языковой модели GLM-5, подготовленное Unsloth на основе модели zai-org/GLM-5. Модель предназначена для генерации текста, решения сложных задач рассуждения, программирования, системной инженерии и выполнения долгих агентских сценариев, включая работу с инструментами и веб-навигацию. GLM-5 имеет MoE-архитектуру с 744 млрд параметров, из которых 40 млрд активны при обработке запроса, и использует DeepSeek Sparse Attention (DSA) для снижения стоимости развертывания при сохранении возможностей работы с длинным контекстом. Для обучения применялись 28,5 трлн токенов и асинхронная инфраструктура reinforcement learning slime. В карточке указаны английский и китайский языки, библиотека Transformers и задача text-generation. GGUF-версия ориентирована на локальный запуск; Unsloth заявляет улучшенную точность своих квантований, однако конкретный размер контекста, варианты квантования и требования к оборудованию в README не указаны. Сильные стороны модели — рассуждение, кодирование, агентские задачи и работа с инструментами; приведённые бенчмарки показывают высокие результаты, в частности на SWE-bench Verified, BrowseComp и τ²-Bench. Ограничения включают очень большой общий размер модели и потенциально высокие требования к ресурсам даже при квантовании, а также отсутствие в README подробностей о производительности конкретного GGUF-варианта. Модель распространяется по лицензии MIT.
Gorilla-7b-hf-delta-v1 — авторегрессионная языковая модель на архитектуре LLaMA, разработанная Gorilla LLM при UC Berkeley и дообученная для вызова API Hugging Face. По запросу на естественном языке она генерирует синтаксически и семантически корректные фрагменты кода для API; карточка также описывает подход Gorilla к снижению галлюцинаций при выборе вызовов. Модель содержит 6,6 млрд параметров, работает с текстом и имеет контекстное окно 2048 токенов; заявленный язык — английский. Модель предназначена для генерации кода вызовов API и интеграции API Hugging Face в рабочие процессы. В качестве примеров приведены запросы на перевод текста и обнаружение объектов на изображении, для которых Gorilla формирует код API. Это генератор кода для вызова инструментов, а не самостоятельная модель перевода или распознавания изображений. Модель распространяется по лицензии Apache 2.0.
h2oai/h2ogpt-32k-codellama-34b-instruct — версия модели h2ogpt от H2O.ai для генерации текста, созданная на архитектуре Llama и ориентированная на работу с кодом. В README указано, что конфигурацию изменили относительно h2oai/h2ogpt-16k-codellama-34b-instruct: значение контекста выставлено на 32K для работы с эмбеддингами и использования через vLLM; автор отмечает, что модель также работает как 16K-модель. Метаданные указывают 33,5 млрд параметров и контекст 32 768 токенов. Модель подходит для генерации и продолжения кода, а также для работы с длинными текстовыми запросами в сценариях разработки. Это плотная авторегрессионная LlamaForCausalLM с весами PyTorch/Safetensors. Лицензия — Llama 2; условия её использования определяются лицензией Llama 2.
Hy3 preview — диалоговая модель Tencent Hy Team на архитектуре Mixture-of-Experts с поддержкой вызова инструментов. Она предназначена для сложных рассуждений, следования инструкциям, анализа длинного контекста, программирования и агентных сценариев, включая поиск и работу в среде разработки. В README указано 295 млрд параметров, из которых активны 21 млрд, а также дополнительные 3,8 млрд параметров MTP-слоя. Модель работает с текстом; заявленная длина контекста в метаданных — 262 144 токена. Для развёртывания README рекомендует vLLM или SGLang и серверное оборудование с большим объёмом памяти. Репозиторий содержит веса Safetensors, библиотека — Transformers. Tencent сообщает о результатах на тестах STEM и математики, следования инструкциям, кодирования и агентного поиска. Это предварительная версия, поэтому результаты бенчмарков не гарантируют качество в конкретных задачах. Лицензия обозначена как other; условия использования следует сверить с лицензией в репозитории модели.