II.10Разработка и эксплуатация AI/ML-систем

unsloth/Qwen3.6-27B-NVFP4 — это квантованный checkpoint модели Qwen3.6-27B, разработанный Unsloth на основе модели Qwen от команды Qwen. Модель представляет собой каузальную языковую модель с vision-энкодером и предназначена для генерации текста, мультимодального понимания изображений, агентного программирования, работы с frontend-задачами и рассуждений на уровне репозиториев. Модель содержит 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN; в checkpoint включён модуль Multi-Token Prediction (MTP), который может использоваться для ускорения декодирования. Точные языки в README не указаны. Формат NVFP4 рассчитан на эффективный запуск, в том числе на GPU с 24 ГБ VRAM. По заявлению Unsloth, checkpoint обеспечивает до 2,5 раза большую пропускную способность по сравнению с другими NVFP4-квантованиями, а результаты на MMLU-Pro, GPQA и AIME 2025 близки к FP8 и BF16. Основные ограничения — потери, присущие квантованию, зависимость производительности от аппаратного обеспечения и backend, а также необходимость корректной настройки vLLM или совместимого движка; README не рекомендует Marlin из-за более низкой скорости. Модель распространяется по лицензии Apache-2.0 и совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers.

RobinsonLabs/Qwen3.8-27B-abliterated-GGUF — это набор imatrix-квантованных сборок GGUF на основе Qwen/Qwen3.8-27B. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая технические диалоги, отладку, работу с инфраструктурой, построение моделей, использование инструментов и следование инструкциям. Доступны варианты от IQ2_M до Q8_0 размером примерно от 10,30 до 29,05 ГБ. Модель содержит около 27,32 млрд параметров, 64 основных trunk-слоя и MTP-блок; контекст в примере запуска настроен на 32768 токенов. Модель поддерживает текстовый ввод, а визуальные возможности сохраняются через отдельный файл mmproj-Qwen3.8-27B-abliterated-f16.gguf, который необходимо подключать вместе с основной квантованной моделью. Без mmproj доступен только текстовый режим. Квантизация оптимизирована на корпусе технических операторских диалогов, поэтому сборки ориентированы на длинные технические обсуждения и instruction-following, но для общего чата или неанглоязычных сценариев универсальная калибровка может оказаться предпочтительнее. Сильными сторонами являются сохранённая vision tower, специализированная калибровка и широкий выбор вариантов под разные объёмы VRAM. Качество заметно снижается на самых компактных сборках: IQ2_M показывает ухудшение perplexity на 13,4% относительно Q8_0, хотя остаётся связной и способной следовать форматным инструкциям. Abliteration уменьшает жёсткие отказы для взрослого и творческого контента, при этом защитные ограничения против самоповреждения заявлены как сохранённые; модель не предназначена для содействия реальным правонарушениям. Распространяется по лицензии Apache-2.0.

Карточка модели Svenuks/Qwen3.8-27B-OBLITERATED-Mythos-Class-Agentic на Hugging Face совпадает с карточкой medismera/Qwen3.8-27B-OBLITERATED-Mythos-Class-Agentic, поэтому описание составлено по ней. medismera представил производную модель Qwen3.8-27B-OBLITERATED-Mythos-Class-Agentic на основе слияния Qwen3.8-27B-OBLITERATED и Qwen/Qwen3.8-27B. Это плотная модель семейства Qwen3.5 с 27 млрд параметров для диалоговой генерации текста и работы в агентных сценариях. В карточке заявлены шаблон чата с поддержкой вызова инструментов, разбиение задач на иерархические этапы, протокол самопроверки рассуждений и контекст до 131 072 токенов; максимальная длина генерации указана как 16 384 токена. Модель предназначена для программирования, анализа системных журналов и телеметрии, многошаговых технических задач и взаимодействия с инструментами через совместимые агентные среды. Указаны английский, китайский и арабский языки. Репозиторий описывает веса в формате Safetensors и приводит варианты BF16, FP8 и AWQ в ветках; для запуска рекомендуются SGLang и vLLM. Лицензия — Apache-2.0. Заявления README о качестве вызова инструментов, результатах бенчмарков и отсутствии отказов приведены автором и не являются независимой оценкой. Это текстовая модель: метаданные не указывают вход или выход изображений, несмотря на мультимодальные возможности базовой модели.

Карточка модели zabred/Qwen3.8-27B-OBLITERATED-Mythos-Class-Agentic на Hugging Face совпадает с карточкой medismera/Qwen3.8-27B-OBLITERATED-Mythos-Class-Agentic, поэтому описание составлено по ней. medismera представил производную модель Qwen3.8-27B-OBLITERATED-Mythos-Class-Agentic на основе слияния Qwen3.8-27B-OBLITERATED и Qwen/Qwen3.8-27B. Это плотная модель семейства Qwen3.5 с 27 млрд параметров для диалоговой генерации текста и работы в агентных сценариях. В карточке заявлены шаблон чата с поддержкой вызова инструментов, разбиение задач на иерархические этапы, протокол самопроверки рассуждений и контекст до 131 072 токенов; максимальная длина генерации указана как 16 384 токена. Модель предназначена для программирования, анализа системных журналов и телеметрии, многошаговых технических задач и взаимодействия с инструментами через совместимые агентные среды. Указаны английский, китайский и арабский языки. Репозиторий описывает веса в формате Safetensors и приводит варианты BF16, FP8 и AWQ в ветках; для запуска рекомендуются SGLang и vLLM. Лицензия — Apache-2.0. Заявления README о качестве вызова инструментов, результатах бенчмарков и отсутствии отказов приведены автором и не являются независимой оценкой. Это текстовая модель: метаданные не указывают вход или выход изображений, несмотря на мультимодальные возможности базовой модели.

CISCai/Qwen3-Coder-30B-A3B-Instruct-SOTA-GGUF — это квантизированная версия модели Qwen3-Coder-30B-A3B-Instruct, разработанной Qwen и опубликованной в формате GGUF командой CISC. Модель предназначена для генерации текста и программного кода, включая чат-сценарии, написание и дополнение кода. Она поддерживает Fill-in-Middle, то есть заполнение пропущенных фрагментов исходного кода, при использовании совместимых версий llama.cpp. Модель относится к архитектуре Qwen3 MoE и имеет размер 30B в обозначении модели. Доступны варианты квантизации от IQ1_S до IQ4_NL с эффективной разрядностью примерно от 1,56 до 4,5 бит на вес. Размер файлов составляет примерно от 6,4 ГБ, а требуемый объём оперативной памяти — от 6,7 ГБ в зависимости от варианта. В метаданных указан английский язык. Базовая длина контекста исходной модели составляет 262 144 токена; для некоторых файлов доступны варианты с расширением контекста до 1 048 576 токенов с использованием YaRN. Ключевое преимущество модели — возможность локального запуска при существенно сниженном потреблении памяти, а также специализированная настройка квантования с importance matrix на данных CodeFeedback-Filtered-Instruction. Чем агрессивнее квантизация, тем меньше требования к ресурсам, но тем сильнее потери качества: варианты IQ1 и IQ2 характеризуются значительными потерями, тогда как более высокие разрядности лучше сохраняют качество. Файлы совместимы с llama.cpp начиная с версии, соответствующей 9 апреля 2025 года, и с другими интерфейсами и библиотеками на его основе. Модель распространяется по лицензии Apache-2.0. README не содержит сведений о мультимодальности; по указанным данным это текстовая модель для работы с кодом.

Qwen3-Coder-Next-Base — базовая языковая модель для кодирующих агентов и локальной разработки, опубликованная Unsloth. Это причинная модель семейства Qwen3-Next с гибридным вниманием и разреженной архитектурой MoE; карточка Unsloth указывает 80 млрд параметров всего и 3 млрд активируемых, тогда как метаданные Hugging Face указывают 2,3 млрд параметров. Нативная длина контекста — 262 144 токена. Модель предназначена для генерации кода, адаптации шаблонов и каркасов проектов, вызова инструментов, а также обнаружения и исправления ошибок; её можно использовать как основу для дальнейшего дообучения агентных систем. README заявляет поддержку более 370 языков, но не уточняет, какие именно из них являются естественными, а какие — языками программирования. Модель текстовая и рассчитана на режим без рассуждений в формате thinking. Модель поставляется в формате safetensors и распространяется по лицензии Apache-2.0. README описывает её как базовую модель этапа предобучения; сведения о конкретных ограничениях качества или оценки на бенчмарках в предоставленных данных отсутствуют.

GadflyII/Qwen3-Coder-Next-NVFP4 — квантованная версия модели Qwen3-Coder-Next, разработанной командой Qwen. Модель предназначена прежде всего для генерации текста и задач программирования, а также для сценариев инференса, где важны уменьшенное потребление памяти и поддержка длинного контекста. Она распространяется в формате compressed-tensors и рассчитана на использование с vLLM. Модель построена на архитектуре Qwen3NextForCausalLM, объединяющей Hybrid DeltaNet, attention и Mixture-of-Experts (MoE). Она содержит 80 млрд параметров, из которых около 3 млрд активируются на каждом токене, использует 512 экспертов, 10 активных экспертов и одного общего эксперта, а также 48 слоёв. Заявленная длина контекста составляет 262 144 токена. Квантование NVFP4 применяется к весам и активациям; размер модели уменьшен примерно со 149 ГБ в BF16 до 45 ГБ. В тестах достигнута работа с контекстом до 128K токенов при FP8 KV cache. К сильным сторонам относятся значительное снижение требований к памяти, MoE-архитектура с малым числом активных параметров и поддержка длинного контекста. На MMLU-Pro квантованная версия показала точность 51,27% против 52,90% у BF16, то есть снижение составило 1,63 процентного пункта. Для работы требуется vLLM с поддержкой NVFP4, версия 0.16.0 или новее, и Transformers 5.0.0 или новее; для многографических систем на Blackwell могут потребоваться специальные исправления vLLM. Модель распространяется по лицензии Apache 2.0, как и базовая модель.

gdubicki/Qwen3-Coder-Next-NVFP4-GB10 — публичное зеркало модели saricles/Qwen3-Coder-Next-NVFP4-GB10 с побайтно идентичными весами. В основе лежит Qwen3-Coder-Next, разработанная Alibaba и командой Qwen; NVFP4-квантизацию выполнил saricles с использованием LLM Compressor и калибровки на части набора ultrachat_200k. Модель предназначена прежде всего для генерации кода и развёртывания через Transformers или vLLM, в частности на системах DGX Spark с GPU GB10. Модель использует гибридную архитектуру qwen3_next: 48 слоёв, включая 36 слоёв с линейным вниманием DeltaNet и 12 слоёв с полным вниманием, а также latent MoE с 512 экспертами, из которых для каждого токена активны 10 экспертов и один общий. Всего модель содержит 79,7 млрд параметров, при этом около 3 млрд активны на токен. Квантизация NVFP4 уменьшает размер на диске до 45,9 ГБ; отдельные компоненты сохранены в BF16, а KV-кэш для слоёв полного внимания поддерживает FP8. Максимальная длина контекста составляет 262 144 токена, заявлен язык English. Сильными сторонами являются большой контекст, низкое число активных параметров на токен, сниженные требования к памяти и отсутствие KV-кэша у слоёв DeltaNet. На DGX Spark заявлены скорость около 61 токена в секунду для одного запроса и до примерно пяти одновременных сессий при максимальном контексте. Ограничения включают зависимость от совместимого NVFP4/Marlin-стека и специализированного оборудования; приведённые показатели относятся к конфигурации DGX Spark с vLLM и не гарантируют аналогичную производительность в других средах. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

IoannisKat1/Qwen3-Embedding-4b-matryoshka — текстовая модель эмбеддингов, дообученная разработчиком IoannisKat1 на базе Qwen/Qwen3-Embedding-4B. Она преобразует предложения и абзацы в нормализованные плотные векторы размерности 2560 для семантического поиска и извлечения релевантных документов; близость векторов оценивается косинусным сходством. Архитектура Sentence Transformer использует Qwen3Model, pooling по последнему токену и нормализацию. Поддерживает английский язык и контекст до 40 960 токенов. Обучение проводилось на 4 268 парах текстов с MatryoshkaLoss и MultipleNegativesRankingLoss. Векторы можно усекать до меньших размерностей, от 2048 до 64, с измеренным качеством поиска для нескольких размерностей; показатели зависят от размерности и набора данных. Модель распространяется под лицензией Apache-2.0. Она предназначена для получения эмбеддингов и не генерирует ответы; карточка не приводит результатов на широком наборе языков или доменов.

Signal-3.8-27B-NVFP4-Blackwell-DFlash2-Ultra-V1.0 — квантованная NVFP4-версия модели Signal-3.8-27B от agentionai, созданной на базе Qwen3.8-27B от Qwen. Это GGUF-сборка для запуска через llama.cpp CUDA на одной видеокарте RTX 5090 с 32 ГБ памяти и поддержкой спекулятивного декодирования DFlash2. Модель предназначена для рассуждений, программирования, агентских задач, структурированной генерации и диалогов; заявлена также поддержка изображений через отдельный vision-проектор. Основная модель занимает около 16,9 ГБ, включает NVFP4-квантованный корпус, высокоточные Q8_0-головы и MTP-голову. Доступен контекст до 262 144 токенов, а языковая поддержка обозначена как multilingual, без уточнения конкретного набора языков. Минимально изменённая тонкая настройка отличается от базовой модели только lm_head.weight, что позволяет использовать согласованный DFlash2-драфтер без изменения результатов декодирования. На заявленном оборудовании сборка показывает высокую точность в тестах GSM8K, хорошие результаты в кодовых агентских задачах и ускорение декодирования благодаря speculative decoding. Сильные стороны модели — эффективность на задачах рассуждения и программирования, большой контекст, совместимость с одной RTX 5090 и ускоренное декодирование. Ограничение — повышенная многословность в открытом диалоге по сравнению с альтернативной сборкой GAIN; для длинных генераций не рекомендуется жадное декодирование, а для сложных задач требуется не менее 4096 токенов вывода. Для обработки изображений необходим отдельный проектор mmproj-BF16, при этом повторное использование кэша промпта отключается. Распространяется по лицензии Apache-2.0.

AgentionAI Signal 3.8 Flash Next — это дообученная версия Qwen3.8-Flash-Next в формате GGUF, настроенная на более короткие ответы и эффективное рассуждение. В основе — мультимодальная разреженная MoE-модель на 177 млрд параметров с поддержкой изображений и диалога; сохранены vision encoder и голова multi-token prediction базовой модели. Репозиторий содержит варианты F16, IQ4, Q4_K и Q8. Модель предназначена для диалога, анализа изображений, решения математических задач и агентного программирования. По данным разработчика, на MATH-500 она использовала меньше токенов рассуждения и показала более высокий результат, а на Terminal-Bench 2.0 быстрее выполняла задачи программного агента. Самостоятельное тестирование разработчика ограничено небольшими выборками и единичными запусками на Terminal-Bench; на задачах, требующих длительного перебора вариантов, модель может исчерпать бюджет рассуждений раньше базовой. Модель обучена методом самодистилляции на ответах самой Qwen3.8-Flash-Next, настроенных на прямой стиль. Для запуска автор рекомендует llama.cpp и приводит контекст 65 536 токенов. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели.

SingGuard-NSFA-0.8B — модель-охранник для защиты агентных систем, разработанная командой SingGuard из AI Security Lab компании Ant Group. Это вариант с 0,8 млрд параметров, дообученный на базе Qwen3.5. Модель предназначена для проверки отдельных запросов пользователя и ответов агента: она выявляет prompt injection и jailbreak, запросы на вредоносный код, кражу чувствительных данных, опасное использование инструментов и ресурсов, а также утечку чувствительной информации в ответах. Модель поддерживает два режима: генеративный анализ с объяснением для аудита и классификацию для оперативного перехвата угроз. В README для классификационного режима указана задержка около 45–57 мс на одном NVIDIA A100; для семейства моделей заявлена оценка выше 94% F1 на созданных авторами многоязычных тестах. Карточка описывает модель как текстовую и одноходовую, хотя в метаданных Hugging Face указаны архитектура с поддержкой изображений и pipeline image-text-to-text; мультимодальные угрозы README относит к сценариям вне области применения. Модель заявлена для 133 языков; метаданные перечисляют языковые коды, включая английский, китайский, французский, немецкий, хинди и арабский. Распространяется по лицензии Apache 2.0. Ограничения: модель не анализирует угрозы в изображениях, аудио и видео, многоходовые траектории взаимодействия и межагентную коммуникацию; её таксономия не предназначена для общей модерации контента.

SPLADE-v3 Spanish — разреженный энкодер на базе BERT, разработанный как испаноязычная адаптация naver/splade-v3. Он преобразует запросы и документы в разреженные векторы размерности 30 522 по словарю BERT WordPiece; сходство оценивается скалярным произведением. Модель содержит 136,7 млн параметров, работает через Sentence Transformers и принимает последовательности длиной до 512 токенов. Модель предназначена для поиска, ранжирования документов и конвейеров RAG, особенно для испанского и двуязычного испанско-английского поиска с лексическим сопоставлением и семантическим расширением терминов. Она обучалась контрастивно на данных для поиска на испанском языке; в карточке приведены результаты оценки на MS MARCO, BEIR и MIRACL. Это не генеративная модель: она выдаёт разреженные векторы, а не текст. Качество зависит от предметной области, токенизации и настроек индексации и поиска, поэтому модель следует оценить на целевой системе. Лицензия CC BY-NC-SA 4.0 ограничивает коммерческое использование и требует соблюдения условий ShareAlike.

Step-3.5-Flash-REAP-121B-A11B — сжатая версия Step-3.5-Flash от Cerebras, созданная методом REAP (Router-weighted Expert Activation Pruning). Это разреженная причинно-языковая MoE-модель: из исходных 288 экспертов оставлено 173, а на каждом токене активируются 8; в README указано 121 млрд параметров и 11 млрд активных на токен. Каталог Hugging Face указывает 9,8 млрд параметров, поэтому размер модели по источникам расходится. Модель предназначена для диалогов, генерации кода, математических задач, рассуждений и агентных сценариев с вызовом инструментов. Заявлена длина контекста 262 144 токена. В README говорится о близкой к полной модели производительности и снижении потребления памяти примерно на 40%; для запуска автор рекомендует vLLM с поддержкой Step-3.5-Flash. Модель принимает текст и генерирует текст; в карточке указана поддержка английского языка. README сообщает лицензию Apache 2.0, тогда как метаданные Hugging Face обозначают её как other, поэтому условия лицензии следует сверить с файлами репозитория перед использованием.

Step-3.5-Flash-REAP-149B-A11B — сжатая методом REAP версия языковой модели Step-3.5-Flash, созданная авторами проекта REAP. Это причинная разреженная MoE-модель для диалогов и генерации текста. Она предназначена для программирования, математических рассуждений, вызова инструментов и агентных сценариев. По README, в модели 149 млрд параметров, из которых на каждом токене активируются около 11 млрд; она содержит 45 слоёв и 216 экспертов, из которых выбираются 8 на токен. Контекст составляет 262 144 токена. Карточка заявляет сокращение объёма памяти на 25% и близкую к исходной модели производительность; для запуска указана совместимость с vLLM. Модель принимает текст и выдаёт текст. В метаданных указан английский язык. Лицензия в README обозначена как Apache 2.0, тогда как метаданные Hugging Face содержат значение «other», поэтому условия распространения следует сверить с файлами лицензии репозитория. README описывает однократное прореживание экспертов без последующего дообучения, поэтому производная классифицирована как сжатие, а не fine-tuning.

Swift 1.5 Qwen3.8-27B — дообученная UkisAI мультимодальная модель рассуждений на базе Qwen/Qwen3.8-27B. Она предназначена для диалогов, программирования и многошаговых задач, включая работу с агентами и терминалом; заявленная цель дообучения — сократить лишние рассуждения и ускорить решение задач при сохранении качества. Модель имеет плотную архитектуру Qwen3.5, содержит 27 млрд параметров и принимает текст и изображения; в метаданных также указаны интерфейс вызова инструментов и поддержка vision. В README описаны оценки на задачах кодирования и агентного взаимодействия, а также тестирование с контекстом до 262 144 токенов. По данным разработчика, Swift 1.5 использует меньше токенов рассуждений и быстрее базовой модели на ряде задач; приведённые результаты зависят от задачи и режима оценки. Для использования доступны контрольная точка BF16 и отдельные квантованные экспорты. Лицензия указана как other; README ссылается на отдельные условия enterprise-лицензирования, поэтому перед применением следует проверить условия в карточке модели.

utahnlp/tevatron-elastic-modernbert-retriever-2d — плотный текстовый ретривер, дообученный на базе answerdotai/ModernBERT-base с помощью Tevatron-Elastic. Модель предназначена для поиска релевантных документов по запросу и рассчитана на использование с префиксами query: и passage:. Чекпойнт поддерживает эластичное сокращение глубины и ширины сети по схеме 2D Matryoshka: можно выбирать рабочую точку через prune_to и encode_at, балансируя размер представлений и качество поиска. Модель содержит 149 млн параметров, работает с контекстом до 8192 токенов и поставляется в формате safetensors; README указывает максимум 512 токенов при обучении. В тесте BEIR-15 результат полной конфигурации составил nDCG@10 0,450. Модель разработана Utah NLP и представлена как ресурс для воспроизводимости в рамках статьи Tevatron-Elastic; авторы не заявляют превосходство над современными моделями. Она дообучена на rlhn/rlhn-680K. Базовая модель англоязычная, поэтому основной язык применения — английский. Лицензия — Apache-2.0.

dangvansam/vietnamese-prompt-injection — классификатор prompt injection, разработанный путём дообучения модели Protect AI для проверки текстовых запросов к приложениям на базе LLM. Он относит входной текст к одному из двух классов: SAFE или INJECTION; версия предназначена для обнаружения атак на вьетнамском языке в запросах к ассистентам общего назначения, сохраняя поддержку английского из базовой модели. Модель основана на DeBERTa-v2, содержит 211,6 млн параметров и принимает текст длиной до 512 токенов. Модель можно использовать как этап фильтрации пользовательских запросов и другого текста перед передачей LLM. В README приведены сведения об обучающей выборке из 15 111 примеров и отложенной оценке на 1 370 примерах; на нескольких вьетнамских наборах безвредных запросов при пороге 0,5 указана частота ложных срабатываний 0%. Эти результаты относятся к описанным наборам и не гарантируют такую же точность на новых данных. Модель распространяется по лицензии MIT.

WeMM-Embedding-2B-GGUF — неофициальная GGUF-квантизированная версия модели WeMM-Embedding-2B, разработанной Tencent и подготовленной ewinregirgojr. Это модель эмбеддингов и извлечения признаков, предназначенная для семантического представления кода и текста в виде плотных L2-нормализованных векторов размерностью 2048. Поддерживаются английский, китайский, другие многоязычные сценарии, а также языки программирования, включая Python, TypeScript, JavaScript, C++, Rust, Go, SQL и Shell. Модель использует гибридную архитектуру из 18 слоёв Mamba SSM с линейным вниманием и 6 слоёв полного softmax-внимания и содержит около 2 млрд параметров. Она ориентирована на поиск и извлечение кода, RAG-системы, индексацию векторных баз данных, поиск дубликатов и выявление близких реализаций. GGUF-файлы совместимы с llama.cpp, Ollama и LM Studio; заявлена также интеграция с Unsloth, vLLM и sentence-transformers. В репозитории представлены варианты квантизации от Q4 до Q8, позволяющие выбирать между размером, скоростью и точностью; для некоторых вариантов заявлено сохранение косинусного сходства на уровне примерно 99,59–99,82% относительно FP16-базовой версии. Сильными сторонами являются высокая пропускная способность, компактность квантизированных вариантов и специализация на поиске по коду и техническим данным. Модель не предназначена для авторегрессионной генерации текста, дополнений или чат-ответов. В описании упоминается мультимодальная поддержка базовой модели, включая текст, изображения и видео, однако подробные характеристики этих модальностей для данного GGUF-релиза не приведены; размер контекста также не указан. Лицензия — Apache-2.0.

Arcanum Cross Platform Retriever — текстовая модель Sentence Transformers, дообученная автором репозитория на базе BAAI/bge-m3 для поиска по предложениям и абзацам. Она использует архитектуру XLM-RoBERTa с пулингом CLS и нормализацией, преобразует текст в плотные векторы размерности 1024 и сравнивает их косинусным сходством. Максимальная длина входа — 8192 токена. Модель предназначена для получения эмбеддингов запросов и документов в системах семантического поиска и retrieval. В README приведена оценка на arcanum-test: cosine_accuracy@1 — 0,5802, @3 — 0,7554 и @5 — 0,8187. Репозиторий также содержит сведения о дообучении на 4612 примерах; лицензия в предоставленных данных не обозначена.

bert-chunker-3 — модель для разбиения документов на смысловые фрагменты, опубликованная пользователем tim1900. Она основана на BERT с архитектурой BertForTokenClassification и предсказывает начальные токены фрагментов; скользящее окно позволяет обрабатывать документы произвольной длины. Модель предназначена для подготовки текста к поиску и генерации с дополненным поиском (RAG), в том числе для неструктурированных и неаккуратно оформленных текстов. В README указано, что обучающие данные размечались языковой моделью, а обучающий процесс был изменён для повышения стабильности при сдвиге распределения данных. Модель содержит 25,9 млн параметров, принимает последовательности длиной до 512 токенов и распространяется по лицензии MIT. Карточка описывает её как альтернативу семантическому разбиению Kamradt; заявленные сравнения приведены в README, но доступный фрагмент таблицы неполон. README также сообщает о более новой версии bc-3.5, поэтому эта карточка относится к предыдущей версии семейства.

ArnavKewalram/bge-base-code-v1 — текстовая модель Sentence Transformers, дообученная на базе BAAI/bge-base-en-v1.5. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска и сравнения по смыслу; сходство оценивается косинусной мерой. Архитектура включает BERT, пулинг CLS и нормализацию эмбеддингов. Модель предназначена для извлечения эмбеддингов из текста, семантического поиска по фрагментам кода и построения retrieval-компонента для RAG. В README максимальная длина последовательности указана как 384 токена, а метаданные каталога — как 512; фактический предел может зависеть от конфигурации и способа использования. Основание для названия «code» есть в идентификаторе репозитория, но README не уточняет обучение или специализацию на коде. Лицензия в предоставленных данных не указана.

HIT-TMG/bge-m3_RAG-conversational-IR — модель эмбеддингов для разговорного поиска, предназначенная для многошаговых RAG-систем. Она кодирует вопрос вместе с историей диалога в заданном формате, а текст документа кодирует без специального промпта, чтобы использовать полученные представления для поиска релевантных документов. Модель основана на архитектуре XLM-RoBERTa и содержит 658,7 млн параметров; длина контекста — 8194 токена. Репозиторий содержит веса PyTorch и Safetensors. В карточке заявлена поддержка китайского и английского языков. Модель подходит для формирования поисковых запросов с учётом предыдущих вопросов и ответов в диалоге; лицензия — Apache-2.0.

bge-micro — компактная модель эмбеддингов предложений на базе архитектуры BERT, опубликованная TaylorAI. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации. Модель содержит 18,8 млн параметров, использует контекст длиной до 512 токенов и доступна в форматах PyTorch, safetensors и ONNX. Модель дистиллирована из TaylorAI/bge-small-en-v1.5 и предназначена для сценариев, где важны небольшие вычислительные затраты при сохранении качества эмбеддингов, близкого к all-MiniLM-L6-v2. Она ориентирована на английский язык. Лицензия в предоставленных данных не указана.

Stffens/bge-small-rrf-v3 — англоязычная модель для создания текстовых эмбеддингов и семантического поиска, разработанная автором проекта vstash. Она дообучена на базе BAAI/bge-small-en-v1.5 с помощью сигнала расхождения результатов гибридного поиска и обучена на данных BEIR SciFact, NFCorpus и FiQA. Модель использует архитектуру BERT, содержит около 40 млн параметров по метаданным (в README указано 33 млн), формирует векторы размерности 384 и поддерживает контекст до 512 токенов. Модель предназначена для семантического поиска и использования в качестве эмбеддинговой основы RAG-систем. Автор приводит улучшения относительно базовой модели и предыдущей версии на нескольких наборах BEIR; результаты зависят от корпуса и поискового конвейера. Для NFCorpus v2 может быть предпочтительнее, а специализированные клинические, юридические и насыщенные терминологией корпуса могут требовать дообучения. Модель рассчитана на английский язык, для кросс-языкового поиска может уступать многоязычным моделям. Распространяется по лицензии MIT.

Code Llama 13B — базовая генеративная модель Meta для синтеза и понимания кода. Это авторегрессионный трансформер семейства Llama с плотной архитектурой, содержащий 12,9 млрд параметров. Данная версия представлена в формате Transformers и принимает текст, выдавая текст; она поддерживает контекст до 16 384 токенов. Модель предназначена для продолжения и дополнения кода, включая infilling, а также для адаптации к разным задачам генерации и анализа кода. Она рассчитана на английский язык и языки программирования; это базовая версия, а не вариант для следования инструкциям или специализированная Python-модель. Модель может генерировать неточный или нежелательный код, поэтому результаты требуют проверки и тестирования в целевом приложении. Использование регулируется лицензией Meta Llama 2; карточка указывает на наличие коммерческой лицензии Meta.

Code Llama 13B Instruct — авторегрессионная плотная Transformer-модель Meta для генерации и понимания кода. Репозиторий содержит версию с настройкой на выполнение инструкций в формате Transformers; модель насчитывает 12,9 млрд параметров и поддерживает контекст до 16 384 токенов. Модель предназначена для дополнения и заполнения кода, ответов на инструкции и диалогового взаимодействия при разработке кодовых помощников. Она принимает текст и генерирует текст, работает с английским языком и языками программирования. Это instruct-вариант семейства Code Llama, основанный на CodeLlama-13b-hf. Модель может выдавать неточные или нежелательные ответы; перед внедрением следует проверить её поведение для конкретного применения. Использование регулируется лицензией Meta Llama 2.

Code Llama 7B Instruct — авторегрессионная языковая модель семейства Code Llama, разработанная Meta и настроенная на выполнение инструкций. Эта версия содержит 7 млрд параметров и распространяется в формате Transformers с весами PyTorch и Safetensors. Модель предназначена для генерации и понимания кода: она поддерживает продолжение кода, заполнение пропусков и диалоговое выполнение инструкций, в том числе сценарии кодового помощника. На вход принимает текст и выдаёт текст; предназначена для работы с английским языком и языками программирования. Архитектура — оптимизированный авторегрессионный трансформер. Модель может выдавать неточный или нежелательный код и ответы; перед внедрением в приложения рекомендуется проверять её поведение и настраивать защитные меры под конкретный сценарий. Использование регулируется лицензией Meta Llama 2; условия лицензии следует соблюдать.

Codestral-22B-v0.1 — языковая модель для работы с кодом, разработанная Mistral AI. Это плотная авторегрессионная модель семейства Mistral с 22 млрд параметров и контекстом до 32 768 токенов. Репозиторий содержит веса в формате safetensors; в метаданных указана библиотека vLLM, а в README приведён пример генерации через инструменты Mistral. Модель предназначена для генерации и продолжения кода, а также для диалоговых запросов, связанных с программированием. Её можно использовать в помощниках разработчика и для ответов на вопросы о машинном обучении; карточка не уточняет поддерживаемые языки программирования или естественные языки. В README отмечено, что у модели нет встроенных механизмов модерации, поэтому её ответы могут требовать внешних защитных мер. Лицензия в метаданных обозначена как other; конкретные условия следует сверить с лицензией репозитория.

unsloth/cogito-v2-preview-llama-405B-GGUF — GGUF-версия большой языковой модели Cogito v2 preview 405B, разработанной DeepCogito и подготовленной Unsloth. Это инструкционно дообученная генеративная модель для коммерческого использования, ориентированная на программирование, задачи STEM, выполнение инструкций, общую полезность и вызов инструментов. Модель является гибридной reasoning-моделью: она может отвечать напрямую в стандартном режиме или выполнять дополнительное саморефлексивное рассуждение перед ответом. Для обучения использовалась стратегия Iterated Distillation and Amplification (IDA). Модель обучена более чем на 30 языках и поддерживает контекст длиной до 128 тысяч токенов. В README заявлены повышенные возможности в многоязычных задачах, программировании и tool calling по сравнению с сопоставимыми по размеру моделями, а также превосходство на ряде отраслевых бенчмарков, однако конкретные числовые результаты для GGUF-версии не приведены. Вариант GGUF предназначен для использования с совместимыми инструментами локального запуска, включая llama.cpp; для корректного применения шаблона чата в llama.cpp рекомендуется параметр --jinja. Для включения расширенного рассуждения требуется поддержка параметра enable_thinking=True в chat template либо специальная системная инструкция и предварительная вставка тега <think>. К ограничениям относятся очень большой размер модели и, как следствие, высокие требования к памяти и вычислительным ресурсам; точные требования зависят от используемой квантизации, но её параметры в README не указаны. Модель распространяется по лицензии llama3.1, обозначенной как открытая лицензия с разрешением коммерческого использования.