II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейOpen-Instruct Stanford Alpaca 13B — языковая модель семейства LLaMA с плотной архитектурой, дообученная Allen Institute for AI на наборе инструкций Stanford Alpaca в рамках исследования по instruction tuning на открытых ресурсах. Модель предназначена для генерации ответов на инструкции и запросы на английском языке; для работы с ней следует использовать описанный в карточке формат входного запроса. Модель содержит 12,9 млрд параметров, принимает текст и выдаёт текст. Её контекст составляет 2048 токенов. В карточке приведены результаты на наборах тестов по общим знаниям, математике, рассуждениям, вопросам и ответам, программированию и следованию инструкциям. Это diff весов, для использования которого требуется модель LLaMA в формате Hugging Face. Условия использования определяются лицензией AI model license и исходной лицензией LLaMA.
Ornith-1.0-35B-FP8 — это квантизированная версия модели DeepReinforce Ornith-1.0-35B, подготовленная и проверенная командой protoLabs. Модель представляет собой гибридную MoE-архитектуру Qwen3.5-35B-A3B с механизмами рассуждения и самоскэффолдинга, ориентированную прежде всего на агентное программирование. Она поддерживает генерацию текста, рассуждения, работу с инструментами и мультимодальные сценарии с изображениями и видео. Модель использует блочную FP8-квантизацию E4M3 с блоками 128×128 и динамическим квантованием активаций по токенам. Квантизированы экспертные FFN-слои и проекции внимания, тогда как критичные компоненты, включая SSM-линейное внимание, маршрутизатор MoE, эмбеддинги, нормализации и vision tower, сохранены в bf16. Полный контекст составляет 256K токенов. Размер обслуживаемой модели — около 35 ГБ; она рассчитана на одну видеокарту с 80–96 ГБ памяти и проверена с vLLM. Сильные стороны модели — пригодность для агентного кодирования, рассуждений, длинного контекста, многоязычной генерации и вызова инструментов при производительности, близкой к исходной bf16-версии. Ограничения включают требования к мощной GPU, зависимость от совместимого стека vLLM и remote code, а также возможную небольшую потерю качества при квантизации: в приведённых однократных тестах показатель генерации кода составил 0,975 против 1,00, а успешность function call — 89% против 93%. Модель распространяется по лицензии MIT; авторство базовой модели принадлежит команде DeepReinforce, а protoLabs добавила FP8-квантизацию.
gmunkhtur выпустил дообученную модель Sentence Transformers на основе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Она использует архитектуру BERT и преобразует предложения и абзацы в плотные векторы размерностью 384 для сравнения семантического сходства по косинусной мере, поиска перефразировок, семантического поиска, кластеризации и классификации текста. Для получения векторов применяется усреднение токенных представлений; библиотека модели — sentence-transformers. В README указан предел последовательности 128 токенов, тогда как метаданные каталога указывают нативный контекст 512 токенов. Модель обучена на 11 113 парах предложений с оценками сходства. Примеры в карточке написаны на монгольском и русском языках, а базовая модель предназначена для многоязычных текстов. В приведённой оценке на sts-dev корреляция Спирмена составляет 0,4878, поэтому качество сходства может быть ограниченным. Лицензия в предоставленных данных не указана.
Это сборка Phi-3 Mini-128K-Instruct в формате GGUF F16, опубликованная ProfessorF (Nick V. Flor); исходную модель разработала Microsoft. Это компактная языковая модель с 3,8 млрд параметров, рассчитанная на генерацию текста и диалог по инструкциям. Файлы GGUF предназначены для локального запуска через llama.cpp и совместимые интерфейсы, в том числе в условиях ограниченных вычислительных ресурсов и требований к низкой задержке. Модель рассчитана прежде всего на английский язык. Она подходит для ответов на вопросы, генерации текста, программирования, математики и логических рассуждений; окно контекста исходной модели составляет до 128 тыс. токенов. README описывает обучение и настройку исходной модели с помощью supervised fine-tuning и direct preference optimization. Репозиторий предоставляет 16-битные GGUF-файлы; лицензия — MIT. Модель может ошибаться, а её пригодность для конкретного применения требует проверки, особенно в сценариях с высокими рисками. Заявления о сильных результатах на бенчмарках относятся к описанию исходной модели Microsoft и не являются независимой оценкой этой сборки.
duyntnet/Phi-3-mini-4k-instruct-imatrix-GGUF — набор GGUF-квантизаций модели Phi-3-mini-4k-instruct, разработанной Microsoft и опубликованной пользователем duytnet. Модель предназначена для генерации текста в диалоговом формате, следования инструкциям, многошагового общения, структурированного вывода, рассуждений и помощи в программировании. Заявлено улучшенное понимание Python, C++, Rust и TypeScript, а также поддержка системных инструкций через тег <|system|>. Это компактная текстовая авторегрессионная модель семейства Phi-3 Mini; конкретный размер файлов и параметры квантизаций в README не указаны. Модель работает с текстом, поддерживает английский язык и контекст до 4K токенов. Размер словаря токенизатора — до 32064 токенов. Для запуска доступны llama.cpp, JanAI, KoboldCPP, text-generation-webui и Ollama; исходная модель также интегрирована в Transformers. GGUF-квантизации удобны для локального запуска, однако README не содержит данных о точных требованиях к памяти, производительности или сравнительных результатах. Лицензия указана как other, без уточнения конкретных условий, поэтому права на использование следует проверять отдельно. К ограничениям относятся отсутствие заявленной мультимодальности, отсутствие подробных бенчмарков и неопределённость характеристик конкретной квантизации.
pplx-embed-context-v1.3.1-4B — контекстная модель эмбеддингов предложений от seslami, представленная как предварительная закрытая версия. Она предназначена для текстового поиска и улучшает разрешение перефразировок, снижает влияние лексически похожих отвлекающих фрагментов и помогает находить связанные с запросом термины из глоссария. Модель использует плотную архитектуру bidirectional_pplx_qwen3, содержит 3,7 млрд параметров, принимает текст и поддерживает контекст длиной до 32 768 токенов. Модель загружается через Transformers и распространяется в формате safetensors. По карточке она является заменой версии v1.3-4B с той же архитектурой и кодом загрузки. Лицензия — Apache-2.0. Карточка называет выпуск закрытым предварительным просмотром; результаты и пригодность для конкретных коллекций документов следует проверять на собственных данных.
Карточка модели JaehyeokLee/preliminary_efficient_batching_random_gist_checkpoint_epoch_1_step_70 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.
Qwen3.5-9B-GLM5.1-Distill-v1-i1-GGUF — квантизированная GGUF-версия модели Jackrong/Qwen3.5-9B-GLM5.1-Distill-v1, подготовленная mradermacher для локального запуска через llama.cpp и совместимые инструменты. Модель основана на Qwen3.5 с заявленным размером 9 млрд параметров и обучалась с использованием дистилляции, SFT и LoRA на наборах данных, связанных с reasoning и длинными цепочками рассуждений, включая Qwen3.5-reasoning-700x и GLM-5.1 Reasoning. Модель предназначена для диалоговой генерации текста, рассуждений, математических и STEM-задач, программирования, исследовательских сценариев и многоязычного применения. В карточке заявлена поддержка английского, китайского, японского и испанского языков. README также описывает модель как vision model; для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Точный размер контекстного окна и детальная архитектура не указаны. Основное преимущество — наличие нескольких вариантов квантизации, позволяющих выбирать компромисс между размером, скоростью и качеством; среди рекомендуемых указаны i1-Q4_K_M и i1-Q4_K_S. Низкобитные варианты экономят память, но могут заметно снижать качество, а модель и её характеристики обозначены как экспериментальные. Распространение заявлено по лицензии Apache-2.0.
FastFlowLM/Qwen3.6-35B-A3B-NPU2 — открытая модель семейства Qwen3.6, разработанная командой Qwen и основанная на Qwen/Qwen3.6-35B-A3B. Это авторегрессионная языковая модель с vision encoder, предназначенная прежде всего для программирования, агентских сценариев, работы с интерфейсами и репозиториями, а также для задач, требующих анализа длинного контекста. Модель поддерживает формат Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Модель имеет 35 млрд параметров, из которых при генерации активируются 3 млрд. Архитектура сочетает Gated DeltaNet, Gated Attention и Mixture of Experts: используется 40 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общий активный эксперт. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Указана поддержка визуального ввода через vision encoder, однако точный перечень языков и параметры визуальной части в README не приведены. Сильными сторонами модели заявлены улучшенная работа с frontend-задачами, рассуждением на уровне репозитория и сохранением контекста рассуждений между сообщениями. Ограничения, включая качество на конкретных языках, требования к аппаратному обеспечению и особенности версии NPU2, в README не описаны. Модель распространяется по лицензии Apache-2.0.
sokada4/Qwen3.8-27B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия модели Qwen/Qwen3.8-27B, опубликованная пользователем sokada4. Квантизация выполнена с помощью GPTQModel 7.3.4 по схеме W4A16, с размером группы 128 и симметричным представлением. Модель предназначена для текстового вывода и рассчитана на локальное развертывание через vLLM, в том числе как OpenAI- или Anthropic-совместимый backend для Claude Code и Codex CLI. Это плотная языковая модель примерно на 27 млрд параметров с заявленным нативным контекстом до 262144 токенов. Квантизации подверглись только веса language_model; веса vision tower сохранены без изменений, однако данный checkpoint предназначен для text-only serving. Тензоры MTP, используемые для speculative decoding, также сохранены в формате bf16. Калибровка проводилась на англоязычных, китайских и японских текстах, а также на коде, поэтому модель ориентирована на многоязычные и программные сценарии, хотя точный языковой охват в README не указан. Ключевые преимущества — существенное снижение требований к памяти по сравнению с полноразмерной моделью, поддержка speculative decoding через MTP и совместимость с инструментальными вызовами в vLLM. Для комфортной работы с длинным контекстом и MTP рекомендуется конфигурация из двух GPU по 24 ГБ; на одной видеокарте 24 ГБ длину контекста придётся заметно уменьшить, а MTP использовать нецелесообразно. В README также отмечен повышенный риск некорректно сформированных tool calls по сравнению с облачными моделями, поэтому для автономных агентных сценариев рекомендуется проверка вызовов человеком. Модель распространяется по лицензии Apache-2.0.
Это текстовая сборка Qwen3.8-27B от Prism ML, созданная на основе Qwen/Qwen3.8-27B и упакованная для локального coding-агента chad на компьютерах Apple Silicon. Плотная гибридная архитектура включает 64 слоя: 48 GatedDeltaNet и 16 слоёв полного внимания. Веса проекций представлены в базисе Hadamard и квантованы до 2 бит; общий объём весов составляет 7,15 ГБ, а вместе с черновой моделью для ускорения декодирования — около 8 ГБ. Заявленная длина контекста — 262 тысячи токенов. Модель предназначена для диалогов и программирования в локальном агенте. В комплект входит квантованный DFlash2-драфтер на 1,9 млрд параметров, который предлагает блоки токенов для спекулятивного декодирования; по README, на M4 Pro это повышает скорость генерации с 21 до 64 токенов в секунду. Визуальная башня удалена, поэтому эта сборка принимает только текст. Для корректной загрузки требуется реализация, учитывающая Hadamard-преобразования; обычный загрузчик MLX может выдать некорректный результат. Модель распространяется по лицензии Apache-2.0; для вложенного драфтера README отдельно просит соблюдать лицензию и условия цитирования исходного релиза.
ReasonEmbed — текстовая модель эмбеддингов, разработанная авторами проекта ReasonEmbed и дообученная на базе Qwen/Qwen3-8B с функцией потерь RI-InfoNCE на синтетических данных. Она предназначена для извлечения документов по запросам, требующим многошагового рассуждения, и для семантического поиска; особенно ориентирована на сценарии retrieval в RAG-системах. На бенчмарке BRIGHT модель показала nDCG@10 38,1 для исходных запросов. Модель имеет плотную архитектуру Qwen3, содержит 7,6 млрд параметров и поддерживает контекст до 40 960 токенов. Она принимает текст и формирует векторные представления для поиска и сравнения сходства. Доступны веса в формате safetensors; лицензия — Apache-2.0. Основание README указывает Qwen/Qwen3-8B, а метаданные связывают модель с hanhainebula/qwen3-8b-ft-msmarco как с базовой дообученной моделью.
Это модель sentence-transformers, разработанная Netherlands Forensic Institute на основе RobBERT от KU Leuven и дообученная на переведённом на нидерландский языке наборе Paraphrase, включающем пары похожих текстов. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантического сходства. Модель предназначена для семантического поиска, кластеризации текстов и поиска похожих предложений или вопросов. Архитектура — RobertaModel, основанная на RobBERT; модель содержит 146,1 млн параметров и поддерживает контекст до 514 токенов. Для обучения использованы датасеты с парами похожих текстов, включая дубликаты вопросов и текстовые пары из разных областей. Модель рассчитана на нидерландский язык. Перевод обучающих данных выполнялся машинным способом, что может влиять на качество представлений. Распространяется по лицензии Apache-2.0.
FacebookAI roberta-large-mnli — англоязычная модель на базе трансформерной архитектуры RoBERTa Large, дообученная на корпусе Multi-Genre Natural Language Inference (MNLI). Она предназначена для классификации текстов и пар предложений, в том числе для классификации с нулевым количеством примеров: пользователь задаёт категории в виде текстовых гипотез, а модель оценивает их соответствие входному тексту. Модель содержит 454,1 млн параметров и принимает последовательности длиной до 514 токенов. В задаче MNLI она различает логическое следование, противоречие и нейтральное отношение между посылкой и гипотезой. Подходит для тематической категоризации, отбора и сравнения текстов по заданным меткам, но не обучена генерировать текст или гарантировать фактическую достоверность. Результаты могут отражать стереотипы и смещения из обучающих данных, поэтому их следует проверять, особенно при оценке людей и чувствительных групп. Модель разработана на основе RoBERTa Large и обучена на MNLI; в карточке также описаны исходные англоязычные данные предобучения RoBERTa, включая Wikipedia и BookCorpus. Лицензия — MIT.
TensorVizion/roBERTa-nanobeir — англоязычная модель на архитектуре RoBERTa-base, дообученная автором на наборе NanoBEIR с помощью контрастивного обучения. Это компактный энкодер для поиска релевантных фрагментов: он кодирует запросы и тексты в векторы для семантического поиска, извлечения кандидатов и использования в RAG. Модель содержит 151,8 млн параметров и принимает последовательности длиной до 514 токенов; она ориентирована на быстрый запуск на ноутбуках, CPU и небольших GPU. Модель также подходит для кластеризации текстов, поиска дубликатов и оценки сходства. Она не генерирует текст и предназначена для английского языка. Ограничения включают короткий контекст RoBERTa, слабую работу с узкими предметными областями и возможную зависимость оценок сходства от совпадения ключевых слов; автор также отмечает возможные смещения в данных. Лицензия в предоставленных данных не указана.
RTriever-4B — плотная модель для извлечения текстовых эмбеддингов, разработанная на базе Qwen/Qwen3-Embedding-4B и дообученная для поиска, требующего многошаговых рассуждений и объединения взаимодополняющих свидетельств. Модель содержит около 3,7 млрд параметров, построена на архитектуре Qwen3 и работает с текстом; её можно загружать через sentence-transformers или Transformers с ручным объединением токенов. Контекст составляет до 40 960 токенов по метаданным, а README указывает поддержку длинных входов до 32 тысяч токенов. Модель предназначена для семантического поиска по запросам и документам, в том числе для RAG, поиска научных материалов и агентных поисковых систем. Для запросов требуется инструкция: в sentence-transformers можно использовать prompt_name="query", тогда как документы кодируются без неё. Векторы нормализованы по L2, поэтому косинусное сходство можно считать скалярным произведением. Для специализированных областей полезно задавать собственный шаблон запроса; длинные документы рекомендуется ограничивать 4–8 тысячами токенов ради стоимости вычислений. Лицензия — MIT.
Карточка модели ceggian/sbert_pt_reddit_mnr_128 на Hugging Face совпадает с карточкой ceggian/sbert_pt_reddit_mnr_32, поэтому описание составлено по ней. ceggian/sbert_pt_reddit_mnr_32 — модель Sentence-Transformers на базе BERT, разработанная пользователем ceggian. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Модель обучена с функцией потерь MultipleNegativesRankingLoss на данных Reddit; размер составляет 136,7 млн параметров, максимальная длина контекста — 512 токенов. Модель принимает текст и выдаёт векторные представления, поэтому подходит для поиска похожих сообщений, группировки текстов и ранжирования кандидатов по семантической близости. В репозитории находятся веса PyTorch. Лицензия и сведения о поддерживаемых языках в предоставленных данных отсутствуют.
snowflake-arctic-embed-m-v1.5 — модель для создания векторных представлений текста, разработанная Snowflake. Она предназначена для задач семантического сходства, поиска и ранжирования текстов, а также других сценариев, где требуется сравнивать смысловое соответствие предложений или документов. Модель доступна для использования через экосистему sentence-transformers и Transformers.js. В README не указаны архитектура, число параметров, поддерживаемые языки, максимальная длина контекста и перечень модальностей, поэтому эти характеристики нельзя надёжно описать. Модель относится к классу текстовых embedding-моделей и не предназначена для генерации текста. В качестве ориентира приведён результат на тесте MTEB ArguAna: основной показатель составляет 59,53. Модель распространяется по лицензии Apache-2.0.
princeton-nlp/sup-simcse-roberta-base — модель эмбеддингов предложений, разработанная командой Princeton NLP в рамках SimCSE. Это вариант SimCSE с учителем: RoBERTa-base дообучена на наборах данных для вывода на естественном языке, чтобы получать векторы предложений, отражающие их смысловое сходство. Модель предназначена для построения эмбеддингов, сравнения семантической близости текстов и поиска похожих предложений. В опубликованном авторами сравнении она достигла среднего результата 82,52 на задачах семантического сходства предложений. Модель основана на RoBERTa, содержит около 151,8 млн параметров и принимает текст длиной до 514 токенов. Модель возвращает векторные представления, а не готовые ответы на вопросы или сгенерированный текст. Основная карточка и материалы проекта не подтверждают поддержку русского языка, поэтому не следует считать её русскоязычной без отдельной проверки. Файлы доступны в форматах PyTorch и Flax; лицензию по доступным источникам надёжно установить не удалось.
Khoj AI Timely Arctic Medium — модель SentenceTransformer, дообученная на основе Snowflake/snowflake-arctic-embed-m для представления предложений и абзацев в виде плотных векторов. Архитектура основана на BERT и содержит 136,7 млн параметров; выходные эмбеддинги имеют размерность 768, а сходство можно оценивать косинусной мерой. Модель предназначена для семантического поиска и сравнения текстов. Её можно применять для поиска релевантных фрагментов по запросу, выявления перефразировок, кластеризации и извлечения признаков для классификации. В README описано дообучение на парах запросов и положительных примеров с MultipleNegativesRankingLoss; длина входа ограничена 512 токенами. Карточка не указывает лицензию. Базовая модель описана как англоязычная; отдельные языки для этой доработки не заявлены, поэтому её языковые возможности за пределами английского не подтверждены.
cstr/vibevoice-asr-GGUF — это конверсия модели Microsoft VibeVoice-ASR в формат GGUF/ggml, подготовленная для запуска через CLI CrispASR. Модель предназначена для автоматического распознавания речи, транскрибации длинных аудиозаписей, определения говорящих и формирования временных меток. Она может обрабатывать до 60 минут аудио за один проход, а для более длинных записей используется потоковая сегментация. Результат выдаётся в структурированном JSON с текстом, идентификатором говорящего, временем начала и окончания сегмента. Поддерживаются контекст и пользовательские hotwords, а также автоматическое определение языка. Это speech-LLM примерно на 7 млрд параметров с акустическим и семантическим ConvNeXt-подобными энкодерами, двумя SpeechConnectors и декодером Qwen2-7B. Декодер имеет 28 слоёв, Grouped Query Attention с 28 query-heads и 4 KV-heads, размер скрытого состояния 3584 и контекст до 32768 токенов. Модель мультиязычная и заявлена для более чем 50 языков, включая английский, китайский, испанский, русский, японский, корейский, немецкий и другие. Доступны варианты квантования Q4_K_M размером около 5 ГБ, Q8_0 размером 9,45 ГБ и F16 размером 16 ГБ; Q8_0 позиционируется как вариант с качеством, близким к F16. К сильным сторонам относятся объединение транскрибации и диаризации в одной модели, сегментация с временными метками, поддержка длинных записей, hotwords и детерминированный режим работы C++-рантайма. Ограничения включают необходимость запуска через совместимый CrispASR и обязательную предварительную подготовку аудио: моно, 24 кГц, с нормализацией уровня. Модель распространяется по лицензии MIT.
AfriqueQwen3.5-4B-ExtendedCM — плотная причинная языковая модель из набора AfriqueLLM, разработанная для улучшения работы с африканскими языками. Это вариант Qwen/Qwen3.5-4B-Base, адаптированный продолженным предобучением примерно на 34 млрд токенов; в расширенном варианте увеличена доля данных по программированию и математике. Модель содержит 4 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев, в том числе на африканских языках, а также для задач рассуждения, кода и математики. README указывает адаптацию для 20 африканских языков и сохранение возможностей на английском, французском, португальском и арабском; метаданные дополнительно перечисляют африкаанс, амхарский, хауса, игбо, суахили, йоруба и другие языки. Модель распространяется под лицензией CC BY 4.0. Базовая архитектура Qwen3.5 мультимодальная, однако в карточке этой версии подтверждены генерация текста и диалоговые возможности, а не обработка изображений.
airoboros-m-7b-3.0 — экспериментальная универсальная языковая модель, созданная jondurbin на основе датасета airoboros-3.0, преимущественно синтетических данных. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; она принимает текст и выдаёт текст. Модель рассчитана прежде всего на следование инструкциям, ответы по заданному контексту и многошаговый диалог, а не на непринуждённую беседу. Среди заявленных сценариев — суммаризация, помощь с программированием, генерация структурированных аргументов функций и составление планов выполнения задач с инструментами. Для математических вопросов описан экспериментальный подход MathJSON: модель формулирует выражение, которое можно вычислить внешним средством. В карточке также отмечены данные для многоходового ролевого диалога. Для формата диалога используется шаблон Llama 2 chat. Модель выпущена под лицензией Apache-2.0. Автор характеризует её как экспериментальную; для MathJSON требуется внешний вычислитель, а сам подход описан как неполный. Карточка рекомендует низкую температуру генерации; ответы по контексту могут быть ненадёжны, поэтому следует явно просить модель не выдумывать сведения.
Это англоязычная модель Sentence Transformer от tomaarsen, дообученная на парах вопросов и ответов из набора Natural Questions на базе google-bert/bert-base-uncased. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения текстов по смыслу, семантического поиска и поиска перефразировок. Модель также можно применять для кластеризации и классификации текстов с использованием полученных представлений. Архитектура состоит из BERT и слоя усредняющего pooling; сходство векторов можно оценивать косинусной мерой. Максимальная длина входа — 512 токенов. Модель принимает текст и выдаёт векторы; она не генерирует ответы. Лицензия — Apache-2.0. Качество зависит от задачи и корпуса: приведённые в карточке результаты на наборах поиска различаются, поэтому для целевого применения нужна отдельная оценка.
Модель seongil-dn/bge-m3-kor-retrieval-bs1024-checkpoint-295 — дообученная версия BAAI/bge-m3 на базе Sentence Transformers, созданная для получения плотных векторных представлений предложений и абзацев. Архитектура XLM-RoBERTa с пулингом CLS-токена и нормализацией; размерность эмбеддингов — 1024. В метаданных указан размер модели 658,7 млн параметров, библиотека Sentence Transformers и нативный контекст до 8194 токенов; карточка модели заявляет максимальную длину последовательности 1024 токена. Эмбеддинги можно использовать для семантического поиска и сравнения текстов по косинусному сходству, поиска перефразировок, кластеризации и классификации текстов. Модель дообучена с CachedMultipleNegativesRankingLoss; название и описание репозитория указывают на корейский retrieval-сценарий, однако конкретные данные обучения и оценки качества не приведены. Лицензия в предоставленных данных не указана.
DPOpenHermes-7B-v2 — диалоговая языковая модель, разработанная OpenAccess AI Collective на базе OpenHermes-2.5-Mistral-7B. Это плотная модель MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов, дообученная методом Direct Preference Optimization (DPO) с использованием 16-битного LoRA и наборов предпочтений Intel/orca_dpo_pairs и UltraFeedback. Модель предназначена для многоходового общения, следования инструкциям и генерации текста; её формат диалога ChatML поддерживает системные сообщения и совместим с типовым сценарием общения через ChatGPT-подобный API. Карточка приводит результаты AGIEval и BigBench Hard, но не описывает их методику; результаты TruthfulQA не приведены. Модель ориентирована на английский язык. Распространяется по лицензии Apache-2.0; как и другие языковые модели, может выдавать ошибки и неподходящие ответы.
m-rudko-pn создал модель Sentence Transformers, дообучив multilingual-e5-small на 79 912 парах текстов из украинской Википедии. Модель на базе BERT преобразует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. Максимальная длина входа — 512 токенов. Модель подходит для семантического поиска и оценки сходства текстов, поиска перефразировок, кластеризации и классификации текстов. Примеры обучающих данных и название модели указывают на специализацию на украинских текстах. В карточке нет сведений о лицензии, поэтому условия использования определить нельзя.
E5-small-v2-4096 — версия модели текстовых эмбеддингов intfloat/e5-small-v2 с архитектурой Local-Sparse-Global, опубликованная efederici. Модель кодирует запросы и фрагменты текста в векторы для сравнения семантической близости и ранжирования; в README приведён пример для набора MS MARCO Passage Ranking. Модель основана на BERT и содержит около 40 млн параметров. Заявлена поддержка контекста до 4096 токенов и английского языка. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
addy88/eli5-all-mpnet-base-v2 — модель Sentence-Transformers на базе RoBERTa, дообученная на данных ELI5. Она преобразует предложения и абзацы в плотные векторы размерности 768, предназначенные для сравнения семантической близости, поиска и кластеризации текстов. В обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством; число параметров — 95,2 млн, контекст — до 514 токенов. Модель подходит для семантического поиска и группировки похожих текстов. Для использования с Transformers требуется корректно применить pooling к контекстным представлениям токенов; README также описывает применение через Sentence-Transformers. В репозитории указан формат PyTorch. Лицензия в доступных данных не приведена.
Это англоязычная модель Sentence Transformer, разработанная на базе sentence-transformers/all-MiniLM-L6-v2 и дообученная на наборе вопросов и ответов GooAQ. BERT-энкодер с 25,9 млн параметров преобразует предложения и абзацы в плотные векторы размерностью 384; для сходства используется косинусная мера. Метаданные указывают контекст до 512 токенов, а карточка модели — максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов, особенно вопросов и ответов на английском языке. В README приведён результат cosine accuracy 0,5926 на TripletEvaluator для gooqa-dev. Она выдаёт векторы, а не готовые ответы на вопросы; качество зависит от данных и способа применения. Распространяется по лицензии базовой модели; сведения о лицензии в предоставленных данных отсутствуют.