I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельКарточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_4280 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.
Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_4800 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.
Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_4920 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.
Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_560 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.
Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_680 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.
Agents-A1-4B — плотная языковая модель на 4 млрд параметров от InternScience, созданная для автономного выполнения многошаговых задач. Она основана на архитектуре Qwen3.5 и дообучена для агентных сценариев: поиска, инженерной работы, научных исследований, следования инструкциям и вызова инструментов. Модель поддерживает диалог и интерфейс вызова функций; веса доступны в формате safetensors и совместимы с Transformers, vLLM и SGLang. В README заявлена длина контекста до 262 144 токенов при указанной конфигурации SGLang. Модель предназначена для разложения сложных запросов на шаги, планирования, использования внешних инструментов и ответов на научные и профессиональные вопросы. В README приведены высокие результаты на тестах поиска, агентных задач и следования инструкциям, однако это заявления разработчика, и они не гарантируют качество в конкретном приложении. Лицензия Apache-2.0.
Aya-23-8B — мультиязычная авторегрессионная языковая модель на архитектуре Transformer, разработанная Cohere Labs и Cohere. Это версия с 8 млрд параметров из семейства Aya 23, созданная на основе предварительно обученной модели семейства Command и дообученная следовать инструкциям. Модель принимает текст и генерирует текст. Она предназначена для диалогов и выполнения текстовых инструкций на 23 языках, включая русский, английский, арабский, китайский, японский, хинди и другие. Контекстное окно — 8192 токена. Модель доступна через Transformers и распространяется по лицензии CC-BY-NC-4.0 с дополнительными условиями допустимого использования Cohere Labs. Aya-23-8B подходит для многоязычных помощников, ответов на вопросы и генерации текста. Это более ранняя версия Aya; разработчики указывают на Aya Expanse 8B как на более новую модель. Некоммерческая лицензия ограничивает использование.
Aya 23 8B — многоязычная инструкционно дообученная языковая модель, разработанная Cohere For AI. Представлена в формате GGUF для локального запуска; квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста и работы в диалоговом режиме, включая общие задачи, рассуждения и обработку запросов на разных языках. Модель содержит около 8 млрд параметров и относится к текстовым моделям. Она поддерживает арабский, китайский, чешский, нидерландский, английский, французский, немецкий, греческий, иврит, хинди, индонезийский, итальянский, японский, корейский, персидский, польский, португальский, румынский, русский, испанский, турецкий, украинский и вьетнамский языки. В README указано, что для своего размера модель показывает хорошие результаты в многоязычных задачах и логике, однако конкретные показатели, архитектура и размер контекстного окна не приведены. Для корректной работы в LM Studio рекомендуется использовать шаблон подсказок Cohere Command R. Сильными сторонами модели являются многоязычность, инструкционное обучение и относительно небольшой размер, удобный для локального применения. Ограничения включают возможные неточности, вредные или неуместные ответы, а также отсутствие в предоставленных данных детальной информации о производительности, архитектуре и требованиях к ресурсам. Лицензия модели — CC BY-NC 4.0, допускающая использование с ограничениями, включая некоммерческий характер применения.
BAAI_AREX-Turbo-GGUF — это квантизированная версия модели AREX-Turbo, разработанной BAAI и опубликованной в формате GGUF пользователем bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от BF16 и Q8_0 до более компактных Q2/Q3/IQ-квантизаций. Размер файлов составляет примерно от 2,2 до 8,4 ГБ в зависимости от варианта. Модель предназначена для сценариев агентного использования, глубокого исследования, рассуждений и работы с инструментами. В карточке она также отмечена как long-context и dense; pipeline обозначен как image-text-to-text, однако подробные сведения о поддерживаемых визуальных входах, архитектуре, числе параметров и максимальной длине контекста не приведены. Указан английский язык. Для работы предлагается шаблон промпта в стиле Qwen с отдельным блоком рассуждений. Сильной стороной модели является широкий выбор квантизаций: варианты Q6_K и Q6_K_L позиционируются как близкие к исходному качеству, Q4_K_M — как сбалансированный вариант для большинства сценариев, а компактные версии подходят для систем с ограниченной оперативной памятью. При этом снижение разрядности может ухудшать качество ответов, особенно у низкобитных вариантов. Модель распространяется по лицензии Apache-2.0 и может запускаться через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты.
rjnClarke/BAAI-bge-m3-fine-tuned — дообученная модель Sentence Transformers на базе BAAI/bge-m3 для получения плотных текстовых эмбеддингов и сравнения смысловой близости. Она построена на XLM-RoBERTa с пулингом CLS-токена и нормализацией векторов; размерность выхода — 1024, максимальная длина входа — 8194 токена. Модель обучена на парах anchor-positive с использованием MultipleNegativesRankingLoss и рассчитана на английский язык. Модель подходит для семантического поиска по документам, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов. Косинусное сходство можно использовать для ранжирования фрагментов по близости к запросу, в том числе в RAG-сценариях. В README приведены результаты оценки на m3-dev, однако данных недостаточно, чтобы судить о качестве на других наборах и языках. Лицензия — Apache-2.0.
bekko-embedding-v1-a25m — компактная мультиязычная модель плотных текстовых эмбеддингов от разработчиков Bekko. Это Sentence Transformer на базе энкодера mmBERT в стиле ModernBERT: 13 слоёв, скрытый размер 384; в README указано 24,9 млн активных параметров, а в метаданных — 123,2 млн параметров всего. Модель принимает текст, поддерживает более 100 языков и контекст до 8192 токенов, формирует векторы размерности 384, которые можно усекать до 256, 128 или 64 измерений благодаря Matryoshka-представлению. Модель предназначена прежде всего для мультиязычного поиска по смыслу и получения эмбеддингов для семантического сравнения и retrieval-систем. Она рассчитана на работу с ограниченными ресурсами: README сообщает о запуске на CPU, включая Raspberry Pi 5, и наличии артефактов ONNX и OpenVINO; также описана поддержка GPU через SDPA или Flash Attention 2. В приведённых разработчиками тестах MMTEB Multilingual v2 и HAKARI-Bench модель показывает высокое качество поиска относительно ряда более крупных моделей, однако отдельные результаты зависят от задачи и бенчмарка. Модель является дообучением hotchpotch/bekko-embedding-v1-a25m-pt и распространяется под лицензией MIT. В метаданных заявлена библиотека Sentence Transformers; также доступны форматы safetensors, ONNX и OpenVINO.
swardiantara/bert-tiny-snli-k3-fixed-cosine — компактная модель Sentence Transformers, дообученная разработчиком swardiantara на базе google/bert_uncased_L-2_H-128_A-2. Она кодирует предложения и абзацы в плотные векторы размерностью 128 и предназначена для поиска и сравнения текстов по косинусному сходству. Архитектура включает BERT с усреднением токенных представлений; модель содержит 4,4 млн параметров. Метаданные указывают контекст до 512 токенов, а карточка модели — максимальную длину последовательности 128 токенов. Модель принимает текст и выдаёт эмбеддинги. Она обучалась на 549 412 примерах пар текстов с контрастивной функцией потерь. Базовая модель ориентирована на английский язык, а примеры в карточке также на английском. Условия лицензии в предоставленных данных не указаны.
Компактная модель Sentence Transformers на базе BERT, дообученная автором swardiantara для сравнения смысловой близости предложений и поиска по тексту. Она преобразует предложения и абзацы в плотные векторы размерностью 128; близость векторов можно оценивать косинусным сходством. Архитектура включает двухслойный BERT с усредняющим пуллингом. Модель содержит 4,4 млн параметров, принимает текст с контекстом до 512 токенов по метаданным; в README указан максимум 128 токенов. Модель подходит для поиска релевантных фрагментов, сравнения предложений и извлечения эмбеддингов для текстовых систем поиска и ранжирования. Обучающие данные описаны как набор из примерно 6 млн пар текстов с оценками сходства; базовая модель ориентирована на английский язык. В README и метаданных указана лицензия Apache 2.0. Компактный размер снижает требования к вычислениям, но README не приводит метрик качества, а максимальная длина последовательности указана по-разному в источниках.
Карточка модели OrcaDB/bge-base на Hugging Face совпадает с карточкой BAAI/bge-base-en-v1.5, поэтому описание составлено по ней. BAAI/bge-base-en-v1.5 — англоязычная плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует текст в векторы для поиска по смыслу и сравнения сходства предложений, в том числе в системах retrieval-augmented generation (RAG). Модель относится к архитектуре BERT и содержит 136,7 млн параметров; максимальный контекст — 512 токенов. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Оценки сходства не следует интерпретировать по универсальному порогу: из-за способа обучения даже несходные предложения могут получать значения выше 0,5. Модель поддерживает английский язык; доступны веса PyTorch и Safetensors, а также формат ONNX. Лицензия — MIT.
inrealm/bge-base-all-nli-triplet — англоязычная модель Sentence Transformer, созданная дообучением BAAI/bge-small-en на наборе sentence-transformers/all-nli. Она использует архитектуру BERT с пулингом CLS-токена и нормализацией, преобразует предложения и абзацы в плотные эмбеддинги размерности 384; сходство векторов можно оценивать косинусной мерой. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Максимальная длина последовательности — 512 токенов. Для работы с ней используются Sentence Transformers и форматы текстовых эмбеддингов. Модель оптимизирована для английского языка и обучена на примерах отношений entailment из all-nli. Качество на других языках и задачах, отличающихся от семантического сопоставления, может быть ниже. Лицензия в предоставленных данных не указана.
bge-base-en-v1.5-gguf — англоязычная модель для создания векторных представлений текста (embeddings), основанная на модели BAAI/bge-base-en-v1.5 и представленная в формате GGUF компанией Compendium Labs. Она предназначена для семантического поиска, сопоставления текстов, кластеризации, построения retrieval-систем и других задач, где требуется сравнивать тексты по смыслу. Модель не предназначена для генерации текста. Работает через llama.cpp, llama-cpp-python и интеграцию LangChain. В репозитории доступны варианты F32 размером 417 МБ, F16 размером 209 МБ, Q8_0 размером 113 МБ и Q4_K_M размером 66 МБ. Точные сведения об архитектуре, размере контекста, размерности embedding-векторов и поддерживаемых языках в README не указаны; из названия и описания следует, что модель ориентирована на английский язык. Квантованные версии занимают меньше места и, по данным авторов, могут ускорять работу на CPU до 30% при минимальной потере точности, тогда как выигрыш на GPU обычно скромнее и зависит от приложения. Модель удобна для локального запуска и ресурсоёмких сценариев на CPU, однако качество и скорость зависят от выбранного формата квантования и оборудования. Для текстов на языках, кроме английского, применимость README не подтверждает. Репозиторий распространяется по лицензии MIT.
himanshu23099/bge_embedding_finetune1 — англоязычная модель Sentence Transformer, дообученная на базе BAAI/bge-small-en-v1.5. Она кодирует предложения и абзацы в плотные векторы размерностью 384 для семантического поиска, сравнения текстов, поиска перефразировок, классификации и кластеризации. Модель использует архитектуру BERT с пуллингом CLS-токена и нормализацией векторов; сходство оценивается косинусной мерой. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для поиска похожих текстов и ранжирования кандидатов по семантической близости. В README приведены результаты оценки поиска по косинусному сходству: точность составляет 0,358 при k=1, 0,7092 при k=5 и 0,7993 при k=10. Модель ориентирована на английский язык и предназначена для работы с текстовыми данными; лицензия в предоставленных данных не указана.
qilowoq/bge-m3-en-ru — компактная версия BAAI/bge-m3, подготовленная автором репозитория обрезанием словаря до токенов английского и русского языков. Модель основана на архитектуре XLM-RoBERTa, содержит 465,8 млн параметров и предназначена для получения векторных представлений предложений и сравнения их семантического сходства. Карточка сообщает, что обрезанный словарь уменьшает модель примерно в 1,5 раза относительно исходной и сохраняет те же эмбеддинги. Модель подходит для семантического поиска, сопоставления запросов с документами и поиска похожих предложений на английском и русском языках. Она принимает текст и выдаёт эмбеддинги; заявленная длина контекста — 8194 токена. Распространяется по лицензии MIT.
BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.
teven/bi_all_bs320_vanilla_finetuned_WebNLG2020_relevance — модель эмбеддингов на архитектуре MPNet, созданная на базе Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для оценки семантической близости, поиска и кластеризации текстов. Модель содержит 136,7 млн параметров, принимает текст и имеет контекст до 514 токенов. Модель дообучена с использованием CosineSimilarityLoss; название указывает на обучение для оценки релевантности на данных WebNLG2020. Подходит для семантического поиска и ранжирования текстовых фрагментов по сходству. Опубликована в формате PyTorch. Лицензия в предоставленных данных не указана.
Citaman/command-r-18-layer — объединённая языковая модель, созданная с помощью mergekit из двух срезов Citaman/command-r-19-layer методом SLERP. В метаданных указаны архитектура CohereForCausalLM, плотная архитектура и 16,9 млрд параметров; веса представлены в safetensors. Модель предназначена для генерации текста и диалогов, а также поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Указанное в метаданных родительское семейство — Cohere; контекст составляет 8192 токена. Карточка не описывает отдельные специализированные области применения и не приводит сведения о лицензии, поэтому условия использования по этим данным определить нельзя.
Citaman/command-r-6-layer — слитая с помощью mergekit методом SLERP языковая модель на архитектуре CohereForCausalLM. Она собрана из двух срезов слоёв Citaman/command-r-7-layer и предназначена для диалоговой генерации текста и взаимодействия с инструментами. Модель содержит 7 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Репозиторий распространяет веса в формате safetensors; лицензия в предоставленных данных не указана.
Это GGUF-квантизированная версия модели DeepSeek-V3.1-Terminus, подготовленная пользователем bartowski на основе оригинальной модели deepseek-ai. Квантизация выполнена с помощью llama.cpp версии b6550 с использованием метода imatrix и калибровочных наборов данных. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. Доступны варианты квантизации от Q8_0 до Q2_K, различающиеся размером файла и качеством: старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти. Рекомендуемыми автор считает, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. В README не указаны архитектура, точный размер исходной модели, поддерживаемые языки, контекстное окно, мультимодальные возможности и формат промптов; для последнего рекомендуется обратиться к странице оригинальной модели. Лицензия также не указана, поэтому условия использования следует уточнять в репозитории исходной модели DeepSeek-V3.1-Terminus.
DeepSeek-V4-Flash-2bit-DQ — это версия модели DeepSeek-V4-Flash, подготовленная сообществом mlx-community при поддержке Lambda.ai для запуска с использованием библиотеки MLX. Модель предназначена для генерации текста и локального инференса через mlx-lm; в README приведён пример диалогового применения с использованием chat template. Ключевая особенность модели — динамическая смешанная квантизация. Большинство весов экспертов маршрутизируемой MoE-архитектуры упаковано в 2 бита, а чувствительные слои и проекции сохранены в форматах 4, 6 или 8 бит. Такой подход снижает потребление памяти по сравнению с базовым checkpoint с 4-битной квантизацией, сохраняя более высокое качество в критичных компонентах. Точный размер модели, объём контекста, список поддерживаемых языков и модальности в README не указаны. Для использования требуется установить пакет mlx-lm; модель рассчитана на экосистему MLX. Лицензия в предоставленных данных не указана, поэтому условия распространения и коммерческого использования требуют дополнительной проверки.
Dolphin3.0-Llama3.1-8B-GGUF — это GGUF-квантизированная версия языковой модели Dolphin3.0-Llama3.1-8B, разработанной cognitivecomputations и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста на английском языке и запуска через совместимые средства, включая LM Studio и llama.cpp. Модель основана на архитектуре Llama 3.1 с размером 8 млрд параметров и относится к классу текстовых генеративных моделей. В обучении использовались наборы данных для программирования, математических задач, instruction following, function calling, агентных сценариев и диалогов. Доступны варианты от F32 и F16 до низкобитных форматов Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством генерации, размером файла и требованиями к памяти. Контекст, мультимодальность и поддержка других языков в README не указаны. Сильная сторона модели — широкий выбор квантизаций и возможность локального запуска на различном оборудовании; варианты Q6 и Q5 характеризуются как близкие к исходному качеству, а Q4 рекомендуются как сбалансированные по размеру и качеству. Более агрессивные квантизации экономят память, но снижают качество. Ограничениями являются преимущественно англоязычная заявленная поддержка и отсутствие в README подробных данных о производительности, максимальном контексте и системных требованиях. Указана лицензия llama3.1.
d0rj/e5-small-en-ru — компактная версия модели intfloat/multilingual-e5-small, созданная удалением токенов словаря, не нужных для русского и английского языков. Она использует архитектуру XLM-RoBERTa и предназначена для получения векторных представлений предложений и поиска текстов по смыслу. Для поиска автор рекомендует сравнивать эмбеддинги скалярным произведением; модель также можно подключить через Transformers или sentence-transformers. В карточке приведено 44,8 млн параметров и размер файлов около 171 МБ; контекст модели составляет 512 токенов. Указана лицензия MIT. В README есть таблица результатов на SberQuAD, но значения метрик отсутствуют, поэтому качество на этом тесте по карточке оценить нельзя. Модель ограничена русским и английским словарём и не предназначена для генерации текста.
Embedić Base — модель для создания текстовых эмбеддингов, разработанная djovak и дообученная на базе intfloat/multilingual-e5-base с упором на сербский язык. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для информационного поиска, семантического сопоставления и приложений RAG. Модель работает с сербским текстом в кириллице и латинице, а также с английским; может использоваться для поиска по коллекциям, где смешаны сербские и английские документы. Embedić обучалась в несколько этапов: с дистилляцией, на парах «запрос — текст» и на триплетах. README отмечает, что упрощённая сербская латиница без диакритики снижает качество поиска, а сохранение заглавных букв в именах собственных может его улучшить. Модель распространяется по лицензии MIT.
Карточка модели AlisherAmirbek/fine-tuned-bge-m3 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.
GIST-Embedding-v0 — текстовая модель эмбеддингов, разработанная avsolatorio и дообученная на основе BAAI/bge-base-en-v1.5. Она кодирует предложения и тексты в плотные векторы для поиска, сравнения смысловой близости и других задач сопоставления текста. Для получения эмбеддингов инструкции в запросе не требуются, поэтому модель подходит для прямого кодирования поисковых запросов и документов. Модель основана на архитектуре BERT, содержит 136,7 млн параметров, работает с контекстом до 512 токенов и распространяется в форматах PyTorch и safetensors. Обучение проведено на данных MEDI и размеченных триплетах, полученных из обучающей части MTEB Classification; оценка выполнялась набором MTEB. Дообучение заметно изменило профиль качества: на некоторых задачах результаты улучшились, на других ухудшились, в частности отмечено снижение качества поиска для TRECCOVID. Лицензия модели — MIT; сторонние наборы данных могут иметь дополнительные условия использования.
Карточка модели OrcaDB/gist-large на Hugging Face совпадает с карточкой avsolatorio/GIST-large-Embedding-v0, поэтому описание составлено по ней. GIST-large-Embedding-v0 — текстовая модель эмбеддингов от avsolatorio, дообученная на базе BAAI/bge-large-en-v1.5 с использованием MEDI и обучающих данных классификации MTEB. Она кодирует текст в векторы для поиска и сравнения предложений; при построении эмбеддингов запросов инструкции не требуются. Модель основана на BERT, содержит 433,9 млн параметров, принимает текст длиной до 512 токенов и распространяется в формате safetensors через библиотеку Sentence Transformers. Модель подходит для семантического поиска, извлечения документов по запросу и оценки сходства текстов. По результатам MTEB дообучение улучшило отдельные задачи и ухудшило другие; в частности, отмечено снижение качества на TRECCOVID, поэтому результаты могут зависеть от тематического покрытия данных и целевого набора. Лицензия модели — MIT; лицензии сторонних обучающих данных могут иметь собственные условия.