I.11Классификация, ранжирование и сопоставление

NeoHorse-Jev-4B — модель структурированных решений с 4 млрд параметров от TokenRhythm, дообученная на базе NeoHorse-1-4B. Она принимает текстовое состояние и заданные приложением вопросы или варианты ответа и оценивает решения для маршрутизации запросов, выбора инструментов, проверки условий и оценки результатов. Вместо авторегрессивной генерации текста используется инференс только на этапе prefill; модель поддерживает типы решений Choice, Noul и Score и выдаёт вероятности по вариантам, ответы на вопросы да/нет или ожидаемые оценки. Для запросов с изображением можно передать одно изображение вместе с текстом. В README сообщается о среднем результате точности 83,26% на Nimble, VitaminC и MASSIVE, на 11,50 процентного пункта выше базовой модели, а также о результатах в игровых сценариях. Эти показатели относятся к описанным конфигурациям и не гарантируют точность в конкретном приложении. Вероятности могут быть плохо откалиброваны; на результат влияют недостаток свидетельств, формулировки и порядок вариантов, а также сдвиг домена. Не приведены комплексные оценки для многоязычных и длинных входов, задержки, затрат и требований к памяти. Модель распространяется под лицензией Apache-2.0.

MikhailRepkin/news_classifier — дообученная модель на базе Sentence RuBERT, созданная для бинарной классификации русскоязычных публикаций в Telegram: новость или не новость. Она предназначена, например, для отбора новостных сообщений в сервисе-агрегаторе. Модель использует архитектуру BERT для классификации последовательностей, содержит около 205,1 млн параметров и принимает текст длиной до 512 токенов. По данным карточки, обучение проводилось на русскоязычных постах из Telegram; метрики на оценке составили 0,95 accuracy и 0,89 Matthews correlation. Результат выдаётся в виде метки класса: LABEL_1 означает новость, LABEL_0 — не новость. Модель распространяется по лицензии MIT. Оценка качества относится к указанным данным и метрикам; перенос на другие источники публикаций может потребовать отдельной проверки.

Lurunchik/nf-cats — модель классификации типов вопросов, обученная разработчиком на наборе данных NFQA. Она основана на RoBERTa и использует метки NOT-A-QUESTION, FACTOID, DEBATE, EVIDENCE-BASED, INSTRUCTION, REASON, EXPERIENCE и COMPARISON, чтобы определять тип входного текста. Модель предназначена для разметки вопросов и связанных с ними высказываний по типу, например для последующей маршрутизации или анализа обращений. Это архитектура RoBERTa с 151,8 млн параметров, принимающая текст; для токенизации в примере README используется deepset/roberta-base-squad2. Контекст составляет 514 токенов, основной язык — английский. Модель выпущена под лицензией MIT.

sentence-transformers/nli-bert-large-cls-pooling — модель семейства BERT, обученная командой Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для поиска по смыслу и кластеризации; также подходит для вычисления сходства предложений. Модель использует CLS-пулинг, имеет около 433,9 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Репозиторий содержит веса в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель устарела: авторы предупреждают о низком качестве эмбеддингов и рекомендуют выбрать более новые модели Sentence Transformers. Язык обучения и поддерживаемые естественные языки в предоставленных данных не указаны. Лицензия — Apache-2.0.

NorBERTo-large — предобученный текстовый encoder ModernBERT для бразильского португальского языка, разработанный Itaú Unibanco и ICTi. Модель содержит около 394,7 млн параметров, использует 28 слоёв и поддерживает контекст до 8 192 токенов. Веса доступны в форматах PyTorch и Safetensors; модель запускается через Transformers. Модель предназначена для заполнения пропусков в тексте и может служить основой для получения текстовых эмбеддингов и последующей настройки задач понимания языка. В карточке приведены результаты на португалоязычных бенчмарках PLUE и ASSIN 2, включая классификацию и текстовое следование. Для некоторых прикладных задач, таких как классификация последовательностей и ранжирование пар текстов, могут потребоваться соответствующая настройка или отдельная голова модели. Модель рассчитана прежде всего на бразильский португальский и обучена на корпусе Aurora-PT объёмом 331 млрд токенов. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространяет производные материалы на тех же условиях и запрещает коммерческое использование.

OpenAI-Clip — модель Qualcomm, основанная на реализации OpenAI CLIP и оптимизированная для устройств Qualcomm. Она предназначена для задач классификации изображений и других сценариев zero-shot learning, где сопоставляются визуальные и текстовые представления без обязательного дообучения под каждый класс. Модель может использоваться на мобильных, встраиваемых и периферийных устройствах с Qualcomm NPU. Архитектура включает визуальный ViT-трансформер и causal language model для извлечения признаков изображений и текста. Используется конфигурация ViT-B/16 с входным разрешением изображения 224×224, контекстом текста до 77 токенов, примерно 150 млн параметров и размером float-модели около 571 МБ. Поддерживаются визуально-текстовые входы; конкретный набор языков в README не указан. Сильными сторонами являются zero-shot возможности, готовые экспортированные варианты для ONNX, QNN_DLC и TFLITE, а также оптимизация под Qualcomm NPU и возможность экспорта с пользовательскими весами, формами входов и целевыми конфигурациями. Ограничения включают значительный размер модели, зависимость производительности от устройства и отсутствие в README подробностей о качестве на конкретных наборах данных, поддерживаемых языках и точных сценариях генерации текста. Указана лицензия MIT.

Open-VLJEPA — обученный чекпойнт открытой переработки архитектуры VL-JEPA, разработанной Meta и описанной Chen et al. в 2026 году. Эта версия дообучена для поиска соответствий между видео и текстом на MSRVTT: она предназначена для извлечения видео по текстовому запросу и текста по видео. В тесте MSRVTT с пулом из 500 видео показатель T2V R@1 составил 23,9%, R@5 — 51,44%, R@10 — 65,05%. Чекпойнт обучался на данных MSRVTT после начального этапа на CC3M. Архитектура включает замороженный визуальный энкодер V-JEPA 2 ViT-L, предиктор на основе последних восьми слоёв Llama 3.2 1B и текстовый энкодер EmbeddingGemma 300M; проекции сводят представления в общее пространство размерности 1536. В репозитории сохранены обучаемые части модели, около 800 млн параметров; визуальный энкодер загружается отдельно из Hugging Face. Реализация обучалась на существенно меньших ресурсах, чем исходная работа, поэтому приведённые результаты ограничены конкретной настройкой и тестовым набором. Лицензия в метаданных указана как Llama 3.2.

vitdangyeu/Pbert_embedding_v2 — модель Sentence Transformers на архитектуре RoBERTa, обученная разработчиком репозитория для получения векторных представлений предложений и абзацев. Она отображает текст в плотное пространство эмбеддингов размерностью 1024 и использует косинусное сходство для сравнения текстов. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. В карточке приведены примеры вьетнамских юридических текстов и набор из 50 857 пар предложений с метками; это указывает на специализацию обучения на вьетнамском языке и налогово-правовых материалах. Максимальная длина последовательности — 258 токенов по метаданным; README указывает лимит 256 токенов. Размер модели — 468,2 млн параметров, выход — векторы размерностью 1024. Распространяется в формате safetensors; лицензия в предоставленных данных не указана.

hyunseop/qwen3-embedding — дообученная Hyunseop модель текстовых эмбеддингов на базе Qwen/Qwen3-Embedding-4B. Она предназначена для семантического поиска и извлечения документов на корейском языке. Модель использует плотную архитектуру Qwen3 с 3,7 млрд параметров и контрастивное обучение на парах запрос–документ из синтетического корейского набора Nemotron-Personas-Korea; заявленная длина контекста — 40 960 токенов. В README приведены результаты оценки на корейских наборах AutoRAG и MIRACL; они характеризуют проверенные сценарии поиска, но не гарантируют аналогичное качество на других данных. Модель принимает текст и выдаёт эмбеддинги для последующего поиска или сравнения текстов. Репозиторий использует формат safetensors и библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.

Qwen3-Embedding-4B-AWQ-INT4 — квантизированная версия модели Qwen/Qwen3-Embedding-4B, производная работа от оригинальной модели Qwen. Артефакт предназначен для встраивания в системы эмбеддингов и может использоваться как компактная замена базовой модели в задачах семантического поиска, сопоставления текстов и других сценариях, где нужны текстовые векторные представления. В README явно указан английский язык. Модель использует 4-битное квантизирование весов методом AWQ (INT4, weight-only). Размер на диске составляет примерно 2,7 ГБ; заявлено, что она помещается на потребительский GPU с 6 ГБ видеопамяти, однако требуется дополнительный запас памяти для KV-кэша. В качестве максимальной длины контекста для запуска через vLLM указано 32 768 токенов. Данные о точной архитектуре, размерности эмбеддингов и результатах сравнительного тестирования не приведены. Основные преимущества — существенно уменьшенный размер и требования к памяти при сохранении назначения исходной embedding-модели, а также совместимость с embedding-стеками и запуском через vLLM. Ограничения включают поддержку только английского языка согласно README и потенциальное снижение точности из-за INT4-квантизации; количественная оценка этого снижения не указана. Модель распространяется по лицензии Apache License 2.0, с требованием соблюдать атрибуцию исходной модели Qwen/Qwen3-Embedding-4B.

shigureui/Qwen3-VL-Embedding-2B-FP8 — мультимодальная embedding-модель на базе Qwen/Qwen3-VL-Embedding-2B, сжатая в формат FP8 с помощью llmcompressor. Модель предназначена для преобразования текстов, изображений и их сочетаний в векторные представления, которые можно использовать для оценки семантического сходства, поиска и сопоставления мультимодального контента. Для запуска поддерживается vLLM в режиме pooling. Известно, что модель имеет размер 2B параметров в базовой версии и поддерживает контекст до 20 480 токенов в приведённой конфигурации vLLM. В примерах показано сравнение текстовых описаний с изображением, а также совместная обработка изображения и текста. Сжатие в FP8 заявлено как способ ускорения работы как минимум на 50%, однако подробные результаты бенчмарков и условия измерений не приведены. Поддерживаемые языки, точная архитектура и дополнительные ограничения по модальностям в README не указаны. Модель распространяется по лицензии MIT. README не содержит сведений о качестве на конкретных наборах данных, устойчивости результатов, требованиях к аппаратному обеспечению или ограничениях применения, поэтому эти характеристики требуют отдельной проверки.

RoBERTa large — предварительно обученная языковая модель на английском языке, разработанная командой Facebook AI. Это трансформерная модель архитектуры RoBERTa с 454,1 млн параметров, обученная предсказывать замаскированные токены в контексте текста. Она чувствительна к регистру и рассчитана на последовательности длиной до 514 токенов по метаданным. Модель можно использовать для заполнения пропусков в тексте, а также дообучать для классификации последовательностей и токенов, ответов на вопросы и извлечения признаков для других задач обработки английского текста. Она принимает текст и возвращает предсказания токенов. Веса доступны в форматах PyTorch, TensorFlow, Flax, ONNX и Safetensors. Обучение проводилось на корпусах BookCorpus, Wikipedia, CC-News, OpenWebText и Stories. Модель распространяется по лицензии MIT. Данные обучения содержат неотфильтрованный интернет-контент, поэтому предсказания могут отражать его смещения; для прикладных задач модель обычно требуется дообучить.

RuBERT-base-cased — русскоязычная версия двунаправленного трансформера BERT, разработанная DeepPavlov. Модель имеет 12 слоёв, скрытый размер 768, 12 голов внимания и около 205 млн параметров по метаданным. Она принимает текст и извлекает контекстные векторные представления токенов; контекст ограничен 512 токенами. Модель обучалась на русскоязычных текстах Википедии и новостях. При создании использовалась мультиязычная версия BERT-base в качестве начальной точки, а словарь субтокенов был построен для русского языка. Чекпойнт включает головы MLM и NSP и подходит как основа для дальнейшей адаптации к задачам обработки русского языка. Лицензия в предоставленных данных не указана. Прикладные ограничения, помимо длины контекста, в карточке не описаны.

Stern5497/sbert-legal-xlm-roberta-base — модель Sentence-Transformers на архитектуре RoBERTa, обученная для представления предложений и абзацев в виде плотных векторов размерности 768. Разработчик указал, что модель подходит для кластеризации и семантического поиска; обучение использовало MultipleNegativesRankingLoss с косинусным сходством. Модель содержит 211,6 млн параметров, принимает текст и выдаёт эмбеддинги. Её можно использовать через Sentence-Transformers либо через Transformers с подходящей операцией pooling. Максимальная длина контекста — 514 токенов. Название указывает на юридическую специализацию, однако README не описывает обучающие данные или конкретные правовые сценарии, поэтому качество в них по предоставленной карточке оценить нельзя. Лицензия в имеющихся данных не указана.

acostillio/sbert-nepalilaw-genq — дообученная модель Sentence Transformers на базе Yunika/sentence-transformer-nepali, построенная на архитектуре BERT. Она преобразует предложения и абзацы на непальском языке в плотные векторы размерности 768; для сравнения векторов используется косинусное сходство. Максимальная длина входной последовательности — 512 токенов, в модели применяется усреднение токенных представлений. Модель предназначена для оценки семантического сходства, семантического поиска и извлечения перефразирований; полученные векторы также можно использовать для кластеризации и классификации текста. Репозиторий использует библиотеку sentence-transformers и формат safetensors. README не сообщает отдельные результаты оценки качества. Условия лицензирования в предоставленных данных не приведены.

SciEmbed-CTX-2048 — англоязычная модель для построения эмбеддингов научных документов, созданная авторами семейства SciEmbed на базе ModernBERT-base. Это промежуточный вариант в исследовании длины контекста: модель обучена с максимальной длиной последовательности 2048 токенов и использует предложения с контекстом цитирования как основной контрастивный сигнал. В метаданных указаны 149 млн параметров, архитектура ModernBERT encoder и поддержка контекста до 8192 токенов; README описывает вариант сканирования длины контекста 512→2K→8K. Модель предназначена для получения нормализуемых векторов предложений и научных текстов, например для поиска похожих фрагментов и семантического поиска по научным публикациям. Доступна через Sentence Transformers. Лицензия — MIT. Это промежуточная версия в серии вариантов длины контекста, поэтому её характеристики следует соотносить именно с вариантом 2048 токенов.

SCIroShot — англоязычная модель для классификации текста без заранее заданного набора классов, разработанная SIRIS Lab и Language Technologies Unit Barcelona Supercomputing Center. Это дообученная RoBERTa-large с 454,1 млн параметров, которая использует подход, основанный на проверке следования (entailment), и предназначена прежде всего для классификации научных текстов по заданным пользователем категориям. Модель обучали на более чем двух миллионах англоязычных научных статей из Microsoft Academic Graph: заголовках, аннотациях и категориях научных дисциплин. Она также может применяться к текстам общего назначения; карточка сообщает о сильных результатах в научной области и конкурентных результатах на некоторых общих задачах. Контекст составляет 514 токенов. Лицензия — Apache 2.0. Возможное смещение и токсичность модели отдельно не оценивались. Качество может зависеть от области текста и выбранных меток; для научной классификации модель обучалась на данных с публикациями 2000–2021 годов.

mlsa-iai-msu-lab/sci-rus-base4-preview — многоязычная модель-энкодер для построения векторных представлений научных текстов на русском, английском и китайском языках. Она основана на архитектуре ModernBERT, содержит 148,9 млн параметров и принимает последовательности длиной до 8192 токенов. Модель обучена с нуля на корпусах научных статей и данных о цитировании: сначала с помощью masked language modeling, затем совместно с контрастивным обучением и дистилляцией знаний от Qwen/Qwen3-Embedding-8B. Для неё также обучен специализированный токенизатор, ориентированный на научную терминологию. Модель предназначена для получения эмбеддингов научных публикаций и сопоставления текстов по смыслу, в том числе между поддерживаемыми языками. Её можно применять для поиска похожих статей, ранжирования научных документов и построения семантического поиска по исследовательским материалам. Она распространяется в формате safetensors по лицензии MIT. Специализация на научных текстах может ограничивать качество на текстах других типов; описание не приводит результатов независимых оценок качества.

kornwtp/SCT-model-phayathaibert — модель Sentence Transformers на архитектуре CamemBERT, разработанная автором репозитория kornwtp. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения предложений и кластеризации. Модель обучалась на тайской Википедии и рассчитана на тайский текст; максимальная длина контекста составляет 512 токенов, размер — около 304,7 млн параметров. Модель можно применять для семантического поиска, оценки сходства текстов и группировки похожих фрагментов. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает специальных ограничений, кроме длины контекста и ориентации на тайские данные.

sentence-embeddings-xllora-mmbert-ind — модель векторных представлений предложений на индонезийском языке, разработанная на основе mmBERT и дообученная методом XL-LoRA для обучения представлениям предложений в условиях нехватки языковых ресурсов. Она подходит для оценки семантического сходства, поиска похожих предложений, извлечения предложений по смыслу и кластеризации. Модель основана на архитектуре ModernBERT и содержит 306,9 млн параметров; для построения эмбеддингов объединяются первый и последний скрытые слои с равными весами, после чего применяется усреднение по токенам. Контекст — до 8192 токенов. Для воспроизведения результатов статьи следует использовать описанный способ pooling; стандартное усреднение по токенам тоже доступно, но может дать немного отличающиеся результаты. Модель ориентирована на индонезийский язык и исследования NLP для языков с ограниченными ресурсами. Лицензия — MIT.

SentSecBert10kAllDataSplit — модель QCRI на базе BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, сравнения сходства и кластеризации текстов. Модель использована в работе «Semantic Ranking for Automated Adversarial Technique Annotation in Security Text» и предназначена, в частности, для ранжирования и аннотирования текстов о кибербезопасности и техниках противника. Число параметров — 96,6 млн, максимальный контекст — 514 токенов. В карточке не указаны условия лицензии; качество и ограничения применения отдельно не описаны.

SkillReason-reranker-4b — реранкер для поиска навыков ИИ-агентов, разработанный авторами SkillReason и дообученный на базе Qwen/Qwen3-Reranker-4B. Он оценивает соответствие документа с описанием навыка запросу на естественном языке и предназначен для второго этапа конвейера retrieve-then-rerank: после первичного поиска модель пересортировывает кандидатов по релевантности. В опубликованном протоколе оцениваются 20 лучших результатов первичного поиска. Модель имеет плотную архитектуру Qwen3ForCausalLM и 3,7 млрд параметров. Она принимает текстовый запрос и текст документа-кандидата, а её основная функция — ранжирование по релевантности. Контекст составляет до 40 960 токенов; для пакетной обработки и длинных документов авторы рекомендуют официальный инструментарий, который сохраняет формат промпта и корректно обрезает длинный ввод. Карточка указывает английский язык. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

unclemusclez/SmolLM-135M-Instruct-DEVINator-v0.1 — дообученная модель на базе HuggingFaceTB/SmolLM-135M-Instruct, подготовленная с помощью AutoTrain для задачи Sentence Transformers. Она предназначена для получения текстовых эмбеддингов и сравнения сходства предложений; метаданные также отмечают поддержку генерации текста и диалога. Модель имеет плотную архитектуру семейства LlamaForCausalLM, содержит 134,5 млн параметров и рассчитана на контекст до 2048 токенов. Доступны форматы safetensors и GGUF. В качестве данных для обучения указан набор skratos115/opendevin_DataDevinator. Карточка не приводит метрик валидации, поэтому качество сходства предложений по ней оценить нельзя. Базовая модель описана как компактная англоязычная модель для диалогов, инструкций и генерации текста; отдельная поддержка других языков не подтверждена. Лицензия в предоставленных данных не указана.

Это компактная модель Sentence Transformer, дообученная автором репозитория jimmydzj2006 на базе Snowflake/snowflake-arctic-embed-xs. Она использует архитектуру BERT и преобразует предложения и абзацы в плотные текстовые эмбеддинги размерностью 384 для сравнения по косинусному сходству. Максимальная длина входа — 512 токенов; модель рассчитана на поиск семантически близких текстов и другие задачи сравнения и группировки предложений. Модель обучена на 2730 парах текстов с использованием MatryoshkaLoss и MultipleNegativesRankingLoss. В примерах датасета вопросы сопоставляются с ответами о действиях по снижению рисков генеративного ИИ и экологических последствиях, поэтому модель подходит для поиска по материалам этой тематики. Она также может применяться для поиска документов, выявления перефразировок, кластеризации и получения признаков для классификации. В карточке приведены результаты оценки retrieval, однако они не гарантируют качество на других данных. Лицензия в предоставленных сведениях не указана.

SPECTER — предварительно обученная языковая модель Allen Institute for AI (AI2) для получения векторных представлений научных документов. Авторы модели — Арман Кохан, Сергей Фельдман, Из Белтаги, Даг Дауни и Дэниел С. Уэлд. Модель основана на BERT, содержит 137,1 млн параметров и принимает текст с контекстом до 512 токенов. SPECTER обучена с использованием связей цитирования между публикациями, чтобы кодировать документы на уровне целой статьи. Полученные эмбеддинги подходят для поиска и сравнения научных работ, а также для задач, где важно оценивать тематическую близость публикаций. Модель можно применять без дополнительного дообучения под конкретную задачу; она оценивалась на SciDocs. Модель ориентирована на англоязычные научные тексты и выдаёт векторные представления. README рекомендует для новых проектов по векторизации статей использовать SPECTER2, которая заменила эту модель. Лицензия — Apache-2.0; доступны веса PyTorch, TensorFlow и Flax.

Spiking Sentence Embedder от PulseNet-Labs — модель на основе спайковой нейронной сети для создания векторных представлений предложений и оценки их семантического сходства. Архитектура использует нейроны Leaky-Integrate-and-Fire, временные токенные эмбеддинги, семантическое внимание на основе совпадений и пулер с обучением через обратное распространение во времени. Реализация доступна для PyTorch и Hugging Face в формате safetensors; для загрузки требуется пользовательский код архитектуры modeling_spiking.py и параметр trust_remote_code=True. Модель предназначена для двуязычных задач семантического сходства текста на индонезийском и английском языках. В README указано обучение дистилляцией знаний с геббовской пластичностью от учительской модели и корреляция Пирсона 0,7514 с учителем на двуязычном STS-B. Разреженные бинарные активации задуманы для снижения теоретического энергопотребления относительно плотного внимания. Лицензия Apache-2.0; размер вектора и практические требования к ресурсам не приводятся.

DIACDE/stjiris_tjgo_diacde_sts — модель Sentence Transformer, дообученная Дирекцией по искусственному интеллекту, науке о данных и статистике Суда штата Гояс (TJGO) на базе stjiris/bert-large-portuguese-cased-legal-mlm-sts-v1.0. Она преобразует предложения и абзацы на португальском языке в плотные векторы размерности 1024 для семантического сравнения и поиска.

Модель sentence-transformers, созданная AhmedHamdi дообучением sentence-transformers/all-mpnet-base-v2 на задаче сходства предложений. Она предназначена для кодирования текстов в векторы и сравнения сюжетов или описаний историй на португальском и английском языках; её можно применять для семантического поиска, ранжирования похожих текстов и группировки сюжетов. Архитектура MPNet содержит 136,7 млн параметров, принимает текст с контекстом до 514 токенов и выдаёт эмбеддинги. В README приведена метрика loss 0,0507, но набор данных и методика оценки не описаны, поэтому результат не позволяет оценить качество на других типах текстов. Формат весов — safetensors; лицензия в предоставленных данных не указана.

sentence-transformers-testing/stsb-bert-tiny-onnx — модель семейства Sentence-Transformers, разработанная сообществом Sentence-Transformers и представленная на Hugging Face. Она преобразует предложения и абзацы в плотные векторы размерности 128, предназначенные для сравнения семантической близости, семантического поиска и кластеризации. В README также указана возможность использования через библиотеки Sentence-Transformers и Hugging Face Transformers. В основе модели лежит BERT с максимальной длиной последовательности 512 токенов без приведения текста к нижнему регистру. Вектор предложения формируется mean pooling с учетом attention mask. Модель одномодальная и работает с текстом; поддерживаемые языки в README не указаны. Обучение проводилось с CosineSimilarityLoss, оптимизатором AdamW и десятью эпохами, однако сведения о датасете, качестве и результатах оценки отсутствуют. Сильной стороной модели является компактное 128-мерное представление, удобное для поиска и кластеризации, а также интеграция с распространенными инструментами экосистемы Transformers. Ограничения включают отсутствие данных о языковой специализации, фактической точности и составе обучающей выборки. Лицензия в README не указана.

TabiBERT — энкодерная трансформерная языковая модель в стиле BERT, разработанная TABILAB при поддержке VNGRS. Она основана на архитектуре ModernBERT-base и содержит 148,8 млн параметров. Модель обучена преимущественно на турецких текстах, а также на английском языке, коде и математических данных; поддерживает контекст до 8192 токенов. В архитектуре используются RoPE, чередование локального и глобального внимания, GeGLU и Flash Attention. Модель предназначена для заполнения пропусков и может служить основой для дообучения под задачи классификации, извлечения ответов на вопросы, NLI, поиска и представления кода, а также семантического поиска по длинным документам. В описанной авторами оценке на турецком бенчмарке TabiBench она показала высокие результаты, включая задачи поиска и QA. Репозиторий содержит веса Safetensors для использования через Transformers. Лицензия — Apache-2.0. По README, качество модели на английском может уступать качеству на турецком, а на других языках — быть ниже; возможны унаследованные от обучающих данных смещения. Обработка последовательностей близких к 8192 токенам может быть медленнее, и авторы рекомендуют проверять результаты перед применением в критических сценариях.