I.2Синтез, понимание и проверка знаний

sergeyzh/rubert-tiny-sts-v2 — компактная модель на архитектуре BERT, разработанная Sergey Zh. Это дообученный энкодер для создания эмбеддингов русских и английских предложений, оценки семантического сходства, поиска перефразировок, дедупликации текстов и задач логического вывода NLI. Модель также подходит как основа для дообучения под пользовательские задачи классификации и кластеризации. Модель получена дистилляцией эмбеддингов Qwen/Qwen3-Embedding-4B в rubert-tiny-turbo. Она содержит около 29 млн параметров, формирует векторы размерности 312 и поддерживает контекст до 2048 токенов по метаданным; в README указана длина 512. Префиксы для входных текстов не требуются. Репозиторий содержит веса в формате safetensors. Модель ориентирована на быстрый и компактный поиск семантически близких текстов на русском и английском языках. Указанные в карточке метрики сравнивают другие модели, поэтому по ним нельзя определить качество rubert-tiny-sts-v2. Лицензия — MIT.

Sarvam-30B — языковая модель семейства Sarvam, разработанная Sarvam AI. Это модель Mixture-of-Experts для генерации текста и диалогов; в README указано 2,4 млрд активных параметров без эмбеддингов, а метаданные репозитория — 3,7 млрд параметров. Модель ориентирована на практическое развёртывание, рассуждения, программирование и диалоги на индийских языках. Поддерживает вызов инструментов; архитектура включает 128 экспертов и маршрутизацию top-6. Контекст по метаданным — до 131 072 токенов. Основной упор сделан на индийский контекст и 22 индийских языка. В метаданных явно перечислены английский, хинди, бенгальский, тамильский, телугу, маратхи, гуджарати, каннада, малаялам, пенджаби, ория, ассамский, урду, санскрит, непальский, синдхи, конкани, майтхили, догри, манипури, сантали, кашмирский и тибетский. Модель может применяться для многоязычных голосовых звонков в составе речевой системы, но сама карточка описывает её как текстовую генеративную модель. Распространяется по лицензии Apache-2.0.

Это дообученная модель Sentence Transformers на базе Snowflake/snowflake-arctic-embed-s, разработанная автором репозитория tjohn327. Модель на архитектуре BERT преобразует предложения и абзацы в плотные текстовые векторы размерностью 384 и нормализует их; сходство можно оценивать косинусной мерой. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска, сравнения текстов и извлечения эмбеддингов. Также её можно применять для поиска перефразировок, кластеризации и классификации текста. В README приведены результаты оценки поиска по набору val-ir-eval, но они не гарантируют аналогичного качества на других данных. Для модели указано 4 321 обучающий пример пар предложений; язык этих данных в предоставленной карточке не обозначен. В метаданных указана лицензия? Нет сведений о лицензии, поэтому условия использования по этой карточке установить нельзя.

ITESM/sentece-embeddings-BETO — модель эмбеддингов предложений на основе BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, кластеризации и оценки сходства. В метаданных указаны 137,1 млн параметров, контекст до 512 токенов и формат PyTorch. Модель обучалась с функцией потерь Multiple Negatives Ranking Loss и косинусным сходством; среди датасетов карточки указаны Stack Exchange XML и CodeSearchNet. Её можно применять для семантического поиска и группировки текстов, в том числе в контекстах вопросов и ответов и поиска кода. Лицензия в предоставленных данных не указана.

efederici/sentence-bert-base — модель Sentence-Transformers на архитектуре BERT, разработчик которой описывает её как средство для преобразования предложений и абзацев в плотные векторы размерности 768. Модель предназначена для сравнения смысловой близости текстов, семантического поиска и кластеризации. Она обучалась на STS-B; в каталоге также указан мультиязычный набор STS-B для оценки семантического сходства. Модель содержит 137,1 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт эмбеддинги. Доступный формат весов — PyTorch. В метаданных указан итальянский язык; другие языки по имеющимся сведениям подтвердить нельзя. Для использования через Transformers после получения контекстных представлений требуется применить подходящую операцию pooling. Лицензия в предоставленных данных не указана.

jegormeister/setfit-model — модель на базе BERT, созданная с помощью Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель содержит 136,3 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Модель обучалась с функцией потерь CosineSimilarityLoss. Её можно использовать для построения семантического поиска, группировки похожих текстов и оценки сходства предложений. Карточка не сообщает, на каких языках она обучалась, и не приводит условий лицензии; пригодность для конкретного языка и условия использования следует сверить с данными репозитория.

Mozilla/smart-tab-embedding-fine-tuned — дообученный Mozilla на базе sentence-transformers/all-MiniLM-L6-v2 энкодер предложений Sentence Transformers с архитектурой BERT. Он преобразует предложения и абзацы в плотные семантические векторы размерности 384 и предназначен для сравнения сходства текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. В README указана максимальная длина последовательности 256 токенов; метаданные каталога сообщают нативный контекст 512 токенов. Для сравнения используется косинусное сходство. Модель принимает текст и выдаёт векторы; данных о поддерживаемых языках в карточке нет. Репозиторий содержит форматы ONNX и safetensors и насчитывает около 25,9 млн параметров. Лицензия в предоставленных данных не указана.

Tarka-AIR разработала Tarka-Embedding-350M-V1 — плотную текстовую embedding-модель семейства LFM2 Bidirectional с размером около 350 млн параметров. Она преобразует текст в векторы размерности 1024 для семантического поиска, сравнения текстов и извлечения документов в RAG-системах. Модель предназначена для общего понимания текста и поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Контекст достигает 128 тысяч токенов, однако README отмечает оптимальную работу на входах короче 4 тысяч токенов. Модель обучена методом дистилляции знаний без меток на текстовом корпусе объёмом около 2 млрд токенов; в ходе обучения динамическая выборка охватила менее 1 млрд токенов. Для запуска доступны веса в формате safetensors. README рекомендует Flash Attention и bfloat16 для лучшей производительности. Лицензия указана как other, поэтому условия использования следует сверить с лицензией и файлами репозитория перед внедрением.

mlx-community/tasksource-ModernBERT-base-embed-8bit — 8-битная версия модели эмбеддингов, преобразованная сообществом mlx-community из tasksource/ModernBERT-base-embed в формат MLX с помощью mlx-lm 0.0.3. Она построена на ModernBERT-base и предназначена для получения векторных представлений предложений и оценки их семантического сходства. Модель подходит для поиска по смыслу, сопоставления запросов с документами и ранжирования текстовых кандидатов; обучающие данные включают наборы для поиска ответов, семантического сходства и распознавания текстовых отношений. Модель содержит 149 млн параметров, использует архитектуру ModernBERT и поддерживает контекст до 8192 токенов. Метаданные указывают английский язык. Квантованное представление рассчитано на запуск в экосистеме MLX; README рекомендует библиотеку mlx-embeddings. Лицензия в предоставленных данных не указана.

shibing624/text2vec-base-multilingual — многоязычная модель эмбеддингов предложений, разработанная командой text2vec. Она дообучена методом CoSENT на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 и преобразует предложения или короткие абзацы в плотные векторы размерности 384 для сравнения семантической близости. Модель содержит 124,3 млн параметров, использует архитектуру BERT и библиотеку sentence-transformers; длина контекста — до 512 токенов по метаданным, а README указывает ограничение 256 word pieces, после которого вход усекается. Модель предназначена для семантического поиска, сопоставления текстов, оценки сходства предложений, кластеризации и получения векторных представлений. В README заявлена поддержка немецкого, английского, испанского, французского, итальянского, нидерландского, польского, португальского, русского и китайского языков; метаданные подтверждают все перечисленные языки, кроме испанского. Для модели доступны веса PyTorch, safetensors и ONNX. Лицензия — Apache-2.0. Карточка сообщает об улучшении относительно базовой модели на тестах для китайского и английского языков, но не приводит здесь численных результатов именно для этой модели.

ZYR3.1MoE (ZV1.1MeO) — текстовая генеративная модель с многоагентной архитектурой и маршрутизацией Mixture-of-Experts. В README разработчик явно не указан; модель опубликована под идентификатором zyr-AGENT/ZYR3.1MoE. Это объединённая самостоятельная версия с весами, токенизатором и chat template, без необходимости загружать отдельные адаптеры или компоненты. Размер весов составляет около 18 ГБ в пяти safetensors-фрагментах. Модель предназначена для сложных рабочих запросов: планирования, декомпозиции задач, программирования, математических рассуждений, исследования, проверки фактов, критики, обзора, оптимизации и координации компьютерных операций. Её поведение имитирует работу оркестрационной команды из 11 специализированных агентов, которыми управляют уровни ATP, ACN и MeO. Простые вопросы обрабатываются напрямую, а практические запросы могут запускать цикл планирования, распределения ролей и проверки результата. Ключевая особенность — обученное многоагентное поведение поверх одной объединённой модели; ATP и ACN являются внешними runtime-компонентами, а не отдельными нейронными весами. README не указывает точный размер базовой модели, максимальную длину контекста, поддерживаемые языки или мультимодальные возможности, поэтому подтверждённой является только работа с текстовой генерацией. Сгенерированные моделью отчёты о тестах могут быть симулированными и не заменяют реальные внешние результаты выполнения. Для надёжной работы рекомендуется GPU с объёмом памяти от 24 ГБ; поддержка 4-битной квантизации для гибридной архитектуры не гарантируется. Лицензия обозначена как other, но её конкретные условия в README не приведены.

jamiehudson/600-STmodel-brand-rem — модель Sentence-Transformers на базе MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства текстов и кластеризации. Модель содержит 136,7 млн параметров и принимает текстовые входные данные; для работы доступны Sentence-Transformers и Hugging Face Transformers. Модель обучалась с функцией потерь CosineSimilarityLoss. В карточке не указаны специализированная предметная область или поддерживаемые естественные языки. Репозиторий содержит веса PyTorch; лицензия не приведена в доступных сведениях.

LordNeel/Agents-A1-GGUF — набор высококачественных квантованных GGUF-версий модели InternScience/Agents-A1, агентской модели на архитектуре Qwen3.5-MoE с примерно 35 млрд параметров. Модель предназначена для генерации текста, выполнения инструкций, программирования и чат-сценариев в среде llama.cpp. Для обработки изображений доступны совместимые квантизации с отдельным BF16-модулем mmproj на базе Qwen3VL, поэтому модель поддерживает мультимодальные сценарии с визуальным вводом. В набор входят варианты Q3_K_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K, Q8_0 и NVFP4 размером примерно от 16,76 до 36,90 ГБ, а также варианты с интегрированным блоком MTP для speculative decoding. IQ4_XS ориентирован на компактность и совместимость, Q6_K обеспечивает наиболее близкое к BF16 качество среди протестированных вариантов, а NVFP4 предназначен для ускоренной работы на видеокартах NVIDIA Blackwell при наличии поддержки соответствующего типа данных. В опубликованных тестах на RTX PRO 6000 Blackwell скорость генерации составляла примерно 222,7–269 токенов в секунду в зависимости от квантизации; результаты приведены для конкретной конфигурации и не гарантируют аналогичную производительность на другом оборудовании. Для запуска требуется llama.cpp с поддержкой архитектуры qwen35moe; некоторые варианты требуют поддержки GGML_TYPE_NVFP4, а мультимодальные версии — соответствующего mmproj. MTP-варианты могут ускорять генерацию, но их эффективность зависит от настроек speculative decoding и оборудования. README не содержит сведений о языках обучения и максимальном размере контекста, поэтому эти характеристики нельзя достоверно указать. Модель распространяется по лицензии Apache 2.0.

abbasgolestani/ag-nli-bert-mpnet-base-uncased-sentence-similarity-v1 — модель Sentence Transformers на архитектуре MPNet, разработанная автором репозитория abbasgolestani. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 514 токенов и распространяется в формате PyTorch. В README указано обучение с CosineSimilarityLoss и точность 82% на локальном наборе из 1000 пар предложений. Модель подходит для получения текстовых эмбеддингов и оценки смыслового сходства; сведения о лицензии и языковой специализации в предоставленных данных отсутствуют.

Модель all_datasets_v4_MiniLM-L6 разработана в рамках Community Week Hugging Face проектом по обучению моделей эмбеддингов предложений на больших наборах данных. Это дообученная контрастивным обучением версия MiniLM-L6-H384-uncased с архитектурой BERT и примерно 25,9 млн параметров. Для кодирования текста она выдаёт векторное представление, отражающее семантику предложения; длина контекста по метаданным — до 512 токенов. Модель предназначена для поиска информации по смыслу, кластеризации текстов и оценки сходства предложений. При обучении использовалось более миллиарда пар предложений из нескольких наборов данных. В README длина последовательности во время обучения ограничена 128 токенами. Репозиторий содержит веса PyTorch; модель можно применять через SentenceTransformers. Сведения о лицензии в предоставленных данных отсутствуют.

KhaledReda выпустил англоязычную модель Sentence Transformers, дообученную на sentence-transformers/all-MiniLM-L6-v2 на наборе пар текстов с оценками сходства. Энкодер на архитектуре BERT преобразует предложения и абзацы в плотные векторы размерности 384; для оценки сходства используется косинусная близость. Метаданные указывают 25,9 млн параметров и максимальный контекст 512 токенов, а в карточке модели заявлена максимальная длина последовательности 256 токенов. Модель предназначена для сравнения смысловой близости текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Её можно применять для ранжирования найденных по смыслу предложений и группировки похожих формулировок. Модель принимает текст и выдаёт векторы; основным языком является английский. Лицензия — Apache-2.0.

Карточка модели Kapiche/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой valurank/MiniLM-L6-Keyword-Extraction, поэтому описание составлено по ней. valurank/MiniLM-L6-Keyword-Extraction — англоязычная модель для получения векторных представлений предложений и коротких абзацев. Это Sentence-Transformers-модель на архитектуре BERT с 25,9 млн параметров, создающая плотные эмбеддинги размерности 384. В README описано дообучение контрастивным методом на более чем миллиарде пар предложений на основе nreimers/MiniLM-L6-H384-uncased; метаданные указывают формат PyTorch и контекст до 512 токенов. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Эмбеддинги можно использовать для ранжирования кандидатов по близости векторных представлений, в том числе при извлечении ключевых слов из текста. По умолчанию тексты длиннее 256 WordPiece-токенов обрезаются. README не приводит отдельную лицензию, а метаданные обозначают её как other, поэтому условия использования следует сверить с карточкой репозитория. Модель обучалась преимущественно на англоязычных данных; качество для других языков не подтверждено.

IoannisKat1 выпустил англоязычную модель Sentence Transformers для получения векторных представлений предложений и абзацев, дообученную на базе sentence-transformers/all-MiniLM-L6-v2 на 1 580 парах текстов. Это энкодер на архитектуре BERT с 25,9 млн параметров: он усредняет токенные представления, нормализует результат и формирует векторы размерностью 384, сравниваемые по косинусному сходству. Контекст в метаданных указан как 512 токенов, а README заявляет максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и извлечения признаков для классификации. Matryoshka-обучение позволяет использовать усечённые векторы размерностью 256, 128 или 64; в README приведены результаты оценки поиска для этих размерностей. Модель принимает текст и выдаёт векторные представления. Лицензия — Apache-2.0.

b1ade-embed-kd — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная пользователем w601sxs. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 и предназначена для семантического поиска, кластеризации и оценки сходства текстов. Модель обучена дистилляцией с использованием MSELoss; в README отмечено согласие результатов с моделью-учителем на задаче семантического сходства. Модель доступна в формате safetensors и интегрируется с библиотекой Sentence-Transformers. Контекст ограничен 512 токенами. Лицензия в предоставленных данных не указана.

Англоязычная модель Sentence Transformer, дообученная автором aritrasen на BAAI/bge-base-en-v1.5. Она кодирует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу и сравнения текстов. В архитектуре используются BERT, пулинг по CLS-токену и нормализация; сходство можно оценивать косинусной мерой. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска, подбора похожих предложений, поиска перефразировок, кластеризации и извлечения признаков для классификации текста. В README указано обучение на 9 598 примерах с MultipleNegativesRankingLoss. Модель распространяется под лицензией базовой модели; сведения о лицензии в предоставленных данных отсутствуют.

seongil-dn/bge-m3-3800_steps_v2_24-144_mixed — модель Sentence Transformer на архитектуре XLM-RoBERTa, разработанная автором репозитория seongil-dn. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 и предназначена для поиска семантически близких текстов и сравнения их сходства. В README также заявлены поиск перефразировок, классификация текста и кластеризация как сценарии применения. Модель принимает текстовые последовательности длиной до 8192 токенов, использует CLS-пулинг и нормализацию векторов; для оценки сходства рекомендована косинусная мера. Веса опубликованы в формате safetensors, использовать их можно через библиотеку Sentence Transformers. Языки и условия лицензии в предоставленных данных не указаны.

BorisTM/bge-m3_en_ru — компактная версия модели эмбеддингов BAAI/bge-m3, подготовленная для английского и русского языков. В модели оставлены токены этих двух языков: размер словаря сокращён до 21% от исходного, а общее число параметров составляет 449,9 млн, или 63,3% от исходного размера. Архитектура — XLM-RoBERTa; модель доступна в формате safetensors и рассчитана на контекст до 8194 токенов. Модель предназначена для получения текстовых эмбеддингов и сравнения сходства предложений, например для семантического поиска и подбора похожих текстов. Её можно использовать с Sentence-Transformers или Transformers, применяя подходящую операцию pooling к контекстным представлениям токенов. Автор README сообщает, что сокращение словаря не ухудшило качество эмбеддингов на английском и русском языках. Это производная версия BAAI/bge-m3, созданная сокращением словаря токенизатора. Лицензия в предоставленных данных не указана.

quangtqv/bi_encoder_tool_learning_backbone_14_6 — модель Sentence Transformer на архитектуре BERT, преобразующая предложения и абзацы в нормализованные плотные векторы размерности 768. Она предназначена для сравнения семантического сходства, семантического поиска, поиска перефразировок, классификации текста и кластеризации; сходство векторов можно оценивать косинусной мерой. Модель принимает текстовые последовательности длиной до 512 токенов. В архитектуре используются BERT, pooling по CLS-токену и нормализация выходного вектора. В метаданных указано 136,7 млн параметров; веса опубликованы в формате safetensors. README описывает обучение модели, но не сообщает базовую модель, набор данных или языки, поэтому её языковую специализацию установить нельзя. Лицензия в предоставленных данных не указана.

Camel-Doc-OCR-080125 — дообученная PrithivMLmods мультимодальная модель на базе Qwen2.5-VL-7B-Instruct с 7,1 млрд параметров. Она принимает текст и изображения, а её контекст составляет до 128 000 токенов. Модель предназначена для анализа документов: распознаёт и извлекает текст и структурированные данные, находит нужные сведения, связывает элементы документа и отвечает на вопросы по его содержимому. Модель также рассчитана на разбор таблиц, графиков и математических выражений, включая преобразование формул в LaTeX. В карточке заявлены анализ видео и визуально управляемое взаимодействие с устройствами; основной тег задачи в метаданных — image-text-to-text. Языковые теги карточки — английский и китайский. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся снижение точности на изображениях низкого качества или с помехами, вариативность результатов для редких языков и скриптов, возможные галлюцинации и высокие требования к вычислительным ресурсам. Обработка длинных видео может требовать много памяти; для потоковой работы модель не оптимизирована.

perceptiveshawty/compositional-bert-large-uncased — англоязычная модель на архитектуре BERT Large без учёта регистра, разработанная пользователем или организацией perceptiveshawty для оценки семантического сходства предложений. Модель предназначена для сравнения текстов, поиска похожих предложений и построения систем семантического сопоставления. Модель содержит около 433,9 млн параметров, работает через библиотеку Transformers и поддерживает контекст до 512 токенов. В качестве источников обучения указаны datasets-for-compcse и datasets-for-simcse. Модель ориентирована на английский язык и распространяется по лицензии Apache-2.0.

ivvvvvi/cv_embedder — модель Sentence Transformers на архитектуре Qwen3, дообученная разработчиком на базе Qwen/Qwen3-0.6B. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для поиска и сравнения текстов; близость оценивается косинусным сходством. В карточке указаны текстовые входы и длина последовательности до 1024 токенов; метаданные сообщают нативный контекст базовой модели в 40960 токенов, но README модели задаёт более короткий предел для её использования. Модель подходит для построения семантического поиска и извлечения релевантных текстов. Обучение описано на 2890 парах предложений с оценками сходства; архитектура использует pooling по последнему токену. Метаданные указывают 507,9 млн параметров и формат safetensors. Лицензия в предоставленных данных не указана.

DeepSeek-V4-Flash-0731-REAP37-native-MLX — это MLX-конверсия модели DeepSeek-V4-Flash-0731, разработанной командой DeepSeek. Модель предназначена для генерации текста, диалоговых приложений, агентских сценариев и вызова инструментов через формат DSML. Она работает только с текстом и не содержит компонентов для обработки изображений. Модель использует архитектуру deepseek_v4 с механизмом внимания HISA, hyper-connections и маршрутизацией экспертов: в 40 слоях применяется обучаемая маршрутизация, а в первых трёх — hash-routing. Из исходных 256 экспертов в каждом слое сохранено 163, что соответствует сокращению примерно на 36,7%. Размер модели на диске составляет около 96 ГБ против примерно 155 ГБ у исходного варианта с 304 млрд параметров. Сохранённая точность является штатной для исходных весов — дополнительное квантование не применялось; выжившие эксперты побитово совпадают с исходным checkpoint. Главное преимущество модели — уменьшенный размер при сохранении исходной 4-битной точности оставшихся весов, а также поддержка нативного вызова инструментов DSML. Модель рассчитана на запуск в экосистеме MLX и тестировалась с oMLX; также доступна через mlx_vlm. Ограничения включают отсутствие независимого сравнения с полной моделью на стандартных бенчмарках, поэтому качество следует проверять на собственных задачах. Лицензия — MIT, унаследованная от базовой модели.

KennethEnevoldsen/dfm-sentence-encoder-medium-v1 — модель Sentence Transformers на архитектуре XLM-RoBERTa, содержащая 151,7 млн параметров. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения смыслового сходства, семантического поиска и кластеризации. Контекст модели составляет до 514 токенов. Модель предназначена для получения текстовых эмбеддингов, которые можно использовать в поисковых системах, группировке текстов и других задачах сравнения предложений. При обучении применялась функция MultipleNegativesRankingLoss с косинусным сходством. В карточке не указана лицензия, поэтому условия использования следует проверить в репозитории модели.

Dirk-Qwen3.8-27B-GGUF — это GGUF-квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная разработчиком peculiar-ragdoll. Модель представляет собой плотную vision-language модель с 27 млрд параметров, поддерживающую работу с текстом и изображениями. В карточке заявлены английский и китайский языки, а также совместимость с llama.cpp. Модель предназначена для диалогов, анализа изображений, генерации кода и агентских сценариев. Она использует модифицированный Sharp chat template с настройкой краткости ответов и поддерживает Multi-Token Prediction (MTP) для ускорения генерации средствами speculative decoding. По умолчанию используется умеренный уровень рассуждений; его можно изменить через chat_template_kwargs, выбрав low, medium или xhigh. Поддерживается отключение рассуждений. Основное отличие от исходной модели заключается в шаблоне чата: веса и MTP-компоненты сохранены без изменений. Доступны варианты квантования от примерно 2 до 4 бит, включая GSQ-RCO и Unsloth Dynamic 3.0, с размерами файлов примерно от 8,8 до 17,6 ГБ. Это позволяет запускать модель на видеокартах с 12, 16 и 24 ГБ памяти, хотя более сильное квантование может снижать качество, а доступный объём памяти также зависит от длины контекста. Точный максимальный размер контекста в карточке не указан. Лицензия — Apache 2.0.

QuantFactory/dolphin-2.9.1-yi-1.5-9b-GGUF — это квантизированная с помощью llama.cpp версия модели cognitivecomputations/dolphin-2.9.1-yi-1.5-9b, разработанной и обученной Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе Yi-1.5-9B. Модель предназначена для генерации текста, диалогов, выполнения инструкций, программирования, математических задач, начальных агентских сценариев и function calling. Модель относится к классу авторегрессионных текстовых моделей с архитектурой LlamaForCausalLM и использует формат промптов ChatML. Указан размер базовой модели — 9 миллиардов параметров; исходная модель имеет контекст 4K, а дообучение выполнялось на последовательностях длиной 12K с использованием RoPE theta 1000000.0. README не указывает поддерживаемые языки и точный вариант квантизации GGUF. Сильными сторонами заявлены широкий набор инструкционных, разговорных и кодовых навыков, поддержка function calling и результат 70,9 на MMLU для версии 9B. Модель описывается как uncensored: из обучающих данных удалялись alignment и bias, поэтому она может быть чрезмерно послушной и генерировать небезопасный или неэтичный контент. Перед использованием в сервисах рекомендуется добавить собственный слой выравнивания и фильтрации. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование.