I.11Классификация, ранжирование и сопоставление

Gemma 4 E4B-it-text-only — текстовая версия модели Gemma 4, опубликованная principled-intelligence. Из контрольной точки удалены веса визуального и аудиоэнкодеров, а языковая модель сохранена. Это плотная архитектура Gemma4TextModel примерно на 4,7 млрд параметров, предназначенная для извлечения признаков из текста; поддерживается контекст до 131 072 токенов. Репозиторий содержит веса Safetensors и рассчитан на работу через Hugging Face Transformers. Модель подходит для создания текстовых представлений и других сценариев извлечения признаков. По заявлению автора, языковая часть и шаблон чата совпадают с исходной Gemma 4 E4B-it, а удаление мультимодальных энкодеров уменьшает размер файлов и расход видеопамяти. Веса проверялись только с Transformers; поддержка vLLM, SGLang, llama.cpp, Ollama и других движков не заявлена. Модель распространяется по лицензии Apache 2.0.

GLM Large Chinese — языковая модель семейства GLM, разработанная командой исследователей, указанных в статье GLM: General Language Model Pretraining with Autoregressive Blank Infilling. Модель предварительно обучена на корпусе WuDaoCorpora с авторегрессионной целью заполнения пропусков и рассчитана на задачи понимания и генерации естественного языка. Архитектура — плотный трансформер GLM с 24 слоями, размером скрытого представления 1024 и 16 головами внимания на слой; в метаданных указано 453,9 млн параметров. Модель поддерживает китайский язык. Репозиторий содержит веса PyTorch. В карточке не приведены сведения о лицензии и длине контекста.

Модель jackmedda/google-long-t5-tglobal-base_finetuned_augmented_augmented_llama3.3_70b — дообученная версия google/long-t5-tglobal-base для классификации текста. Она построена на архитектуре LongT5ForSequenceClassification и содержит 123,8 млн параметров; базовая LongT5 — encoder-decoder модель Google Research для работы с длинными текстами. Модель принимает текстовые последовательности длиной до 4096 токенов и выдаёт результат классификации. В README приведены результаты оценки: loss 0,6142, accuracy 0,7647, F1 0,8667, precision 0,7647 и recall 1,0. Назначение классов и набор данных для обучения не раскрыты, поэтому качество на конкретных прикладных категориях оценить нельзя. Модель распространяется под лицензией Apache-2.0.

gte-micro-v3 — компактная модель эмбеддингов на базе архитектуры BERT, созданная как дистилляция gte-tiny. Разработчик позиционирует её для семантического автодополнения: модель преобразует текст в векторные представления, которые можно использовать для поиска подходящего продолжения или сопоставления фраз. Модель содержит 18,8 млн параметров, рассчитана на последовательности до 512 токенов и доступна в форматах Safetensors и ONNX. Модель работает только с английским текстом. Для получения представлений в Transformers после кодирования необходимо применить подходящую операцию pooling; также доступно использование через Sentence-Transformers. Лицензия — MIT. Данных о сравнительных показателях качества в карточке нет.

davidkim205/hades-2-2b — дообученная модель на базе unsloth/gemma-4-E2B-it, созданная для классификации новостных статей и извлечения названий компаний. Модель класса 2B обучалась методом ORPO на небольшой внутренней выборке примерно из 1,6 тыс. примеров на корейском и английском языках; веса представлены в формате BF16. Модель принимает текст статьи, обычно заголовок и основной текст, и формирует JSON-подобный ответ для извлечения компаний, отнесения статьи к одному или нескольким разделам и выбора экономической либо неэкономической категории. Внутренняя оценка на 1 207 примерах показала улучшение общей точности относительно базовой модели, однако результаты различаются между задачами и языками. Рекомендуемая длина контекста — до 16 384 токенов, хотя базовая конфигурация поддерживает до 131 072 токенов. Модель подходит для классификации новостного потока и извлечения упоминаемых компаний. Она обучена на небольшой внутренней выборке, поэтому качество на других форматах статей, схемах меток, языках и предметных областях может отличаться; корректность JSON не гарантируется. Лицензия — Gemma.

Модель NIHRDataInsights/HRCSHealthCategories разработана Национальным институтом исследований в области здравоохранения и ухода Великобритании (NIHR) для автоматического присвоения исследовательским грантам категорий здоровья HRCS. Это многометочный классификатор на основе крупного BiomedBERT: энкодер предварительно адаптирован к языку заявок на медицинские гранты, затем дообучен на размеченных данных нескольких фондов. На вход подаются название и аннотация гранта, а на выходе — вероятности для категорий HRCS. Максимальная длина входа составляет 512 токенов. Модель предназначена для анализа портфелей финансирования, массовой разметки наборов грантов, изучения ландшафта биомедицинских исследований и помощи в рабочих процессах кодирования HRCS. В описанной оценке достигнуты micro-F1 0,81 и macro-F1 0,75. Результаты зависят от сходства данных с обучающим корпусом: редкие и неоднозначные категории распознаются хуже, длинные аннотации обрезаются, а пороги вероятностей, настроенные на исходный набор данных, могут требовать повторной калибровки. Обучающие данные охватывают период до 2022 года; авторы рекомендуют учитывать временное смещение при оценке на более новых грантах. Модель служит поддержкой экспертной разметки, а не её полной заменой. Лицензия — MIT.

IndoBERT Base p2 uncased — предварительно обученная языковая модель для индонезийского языка, созданная командой IndoBenchmark на основе архитектуры BERT. Модель обучена на корпусе Indo4B объёмом 23,43 ГБ с задачами masked language modeling и next sentence prediction; версия Base содержит 124,5 млн параметров согласно README, а метаданные каталога указывают 151,6 млн параметров. Длина контекста — 512 токенов. Модель предназначена для извлечения контекстных представлений текста и может служить основой для построения или дообучения приложений NLP на индонезийском языке, включая классификацию текстов и поиск похожих текстов. Доступны реализации весов для PyTorch, TensorFlow и Flax. Лицензия — MIT.

Модель quarkss/indobert-base-p2-sts-arxiv-id — Sentence Transformer на базе indobenchmark/indobert-base-p2, дообученный для работы с индонезийским текстом. Разработчик дообучил BERT на наборах STS-B и arxiv_paper_cs_id; модель содержит 151,6 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 768. Максимальная длина последовательности — 512 токенов, для сравнения векторов подходит косинусное сходство. Модель предназначена для оценки семантической близости предложений, семантического поиска и поиска перефразирований. В README также указаны кластеризация и классификация текста. Для оценки сходства на наборе sts-dev приведены значения Spearman 0,8422 и Pearson 0,8244 при косинусном сходстве. Модель принимает текст и выдаёт эмбеддинги, которые можно использовать в поисковых и аналитических конвейерах. Модель ориентирована на индонезийский язык и тексты, похожие на обучающие данные, включая заголовки и аннотации научных статей по компьютерным наукам. Для других языков и существенно иных областей качество не подтверждено; вход длиннее 512 токенов превышает указанную максимальную длину последовательности. Сведения о лицензии в предоставленных источниках отсутствуют.

JPT-4B — открытая модель принятия решений, разработанная авторами семейства JPT и дообученная на базе Qwen/Qwen3.5-4B. Она принимает описание ситуации и типизированные вопросы, а одним проходом выдаёт вероятности вариантов: выбор из списка, уровень на упорядоченной шкале или ответ «да/нет». Модель не генерирует объяснения и не выполняет отдельный этап рассуждения, поэтому рассчитана на быстрые решения с низкой задержкой в интерфейсе typed-decision через llm2jev. Модель содержит 4 млрд параметров, использует архитектуру Qwen3.5 и формат safetensors; LoRA-дообучение объединено с основными весами. Она поддерживает текст и изображения через неизменённую vision tower базовой модели, включая скриншоты, фотографии и кадры видео. Основной язык — английский; русскоязычная поддержка не заявлена. В README указана калибровка вероятностей с одной температурой, обученной на отложенной выборке; ошибка калибровки зависит от задачи. Модель предназначена для классификации и выбора действий по заданному состоянию, ранжирования вариантов через вероятности, оценок по шкале и бинарных решений. README сообщает высокие результаты на ряде тестов типизированных решений, однако отдельно отмечает слабые результаты на арифметике, датах и задачах, требующих рассуждений о скрытом состоянии. Для изображений приведены нулевые по обучению на изображениях результаты, а качество при более чем 77 вариантах не установлено, хотя интерфейс принимает до 255. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование с атрибуцией и ограничивает коммерческое применение.

Модель bespin-global/klue-sentence-roberta-base-kornlu разработана Jaehyeong из Bespin Global на базе архитектуры RoBERTa. Это модель Sentence-Transformers, которая преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений. В README указано обучение с CosineSimilarityLoss; среди метаданных также отмечена поддержка извлечения признаков и семантического сходства предложений. Модель содержит 137,8 млн параметров, принимает текст и выдаёт векторы; контекст — до 514 токенов. Модель связана с датасетом kor_nlu и предназначена прежде всего для корейского языка. Лицензия CC-BY-NC-4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение. В README не приведены результаты оценки, поэтому качество для конкретного набора данных следует проверять отдельно.

ManasaKaza/knowledge-search-dense-scifact-v1 — текстовый Sentence Transformer, дообученный на базе sentence-transformers/all-MiniLM-L6-v2 для семантического поиска по научным материалам SciFact. Модель кодирует текст в нормализованные плотные векторы размерности 384; сходство между ними можно оценивать косинусной мерой. Архитектура включает энкодер BERT, усредняющий pooling и нормализацию эмбеддингов. Модель подходит для семантического поиска и сопоставления научных утверждений с релевантными документами, а также для сравнения предложений, поиска перефразировок и кластеризации текстов. README указывает максимальную длину последовательности 256 токенов; метаданные каталога сообщают нативный контекст 512 токенов. Обучающий набор содержит 733 пары anchor-positive. По примерам и базовой модели она ориентирована на английские научные тексты. В метаданных указана лицензия Apache-2.0.

LaBSE-en-ru-myv-v2 — дообученная slone версия модели LaBSE-en-ru-myv-v1 для работы с эрзянским и русским текстом. Модель основана на архитектуре BERT и содержит 170,2 млн параметров; обучение продолжалось около 150 тысяч шагов на наборе данных myv_ru_2022. Репозиторий содержит веса PyTorch, контекст модели — до 512 токенов. Модель предназначена для получения текстовых представлений, поиска соответствий между эрзянскими и русскими фрагментами и задач языкового моделирования с маскировкой токенов. Автор сообщает о немного лучших результатах по извлечению параллельных текстов и MLM по сравнению с версией v1. Лицензия — CC BY-SA 4.0.

NetherQuartz/LaBSE-tokipona — модель Sentence Transformers, дообученная автором NetherQuartz на базе sentence-transformers/LaBSE для работы с текстами на токипона. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения смысловой близости, семантического поиска, поиска перефразировок и кластеризации. Модель использует архитектуру BERT; метаданные указывают 498,1 млн параметров и контекст до 512 токенов, тогда как в README заявлена максимальная длина последовательности 256 токенов. Для сравнения векторов рекомендуется косинусное сходство. Обучение описано на параллельных данных, содержащих токипона и тексты на естественных языках; карточка перечисляет наборы данных NetherQuartz/tatoeba-tokipona, NetherQuartz/lipu-sewi и NetherQuartz/minecraft-translations. Модель может быть полезна для поиска соответствий между токипона и другими языками, представленными в обучающих примерах. README приводит результаты оценки на неназванном наборе данных, поэтому их переносимость на другие тексты и языковые пары не установлена. Лицензия в предоставленных данных не указана.

LateOn-unsupervised — англоязычная модель поиска LightOn из семейства LateOn, реализованная на базе ModernBERT-base и библиотеки PyLate. Это промежуточный чекпойнт первого этапа обучения: контрастивное предварительное обучение на парах запросов и документов без последующей настройки на сложных негативных примерах. Модель ColBERT формирует многовекторные представления размерности 128 и оценивает соответствие запросов и документов функцией MaxSim; длина документа при использовании — до 300 токенов, запроса — до 32 токенов. Контекст модели составляет 8192 токена, размер — 149 млн параметров. Чекпойнт предназначен для исследований этапов обучения, дообучения на собственных доменных данных, экспериментов с дистилляцией и адаптации стратегий поиска. Для большинства производственных сценариев автор рекомендует полностью обученную LateOn. Модель опубликована под лицензией Apache 2.0.

Bigheadjoshy/layoutlmv3_document_classification — дообученная Microsoft модель LayoutLMv3-base для классификации документов. Она относится к мультимодальному семейству Transformer для понимания текста, изображений и структуры документов; содержит 151,8 млн параметров и принимает последовательности длиной до 514 токенов. Для классификации использует архитектуру LayoutLMv3ForSequenceClassification. На оценочном наборе указаны accuracy 0,8859 и F1 0,8805. README не раскрывает набор данных, классы, сценарии применения и подробности обучения, поэтому результаты нельзя напрямую переносить на другие коллекции документов. Модель опубликована в формате Safetensors по лицензии CC BY-NC-SA 4.0, которая предусматривает некоммерческое использование и распространение на тех же условиях.

hbpkillerX/legal-clause-minilm-l6-v2 — дообученный Sentence Transformer на базе sentence-transformers/all-MiniLM-L6-v2 для представления предложений и абзацев в виде плотных семантических векторов. Модель построена на архитектуре BERT и содержит 25,9 млн параметров. Она формирует векторы размерности 384, нормализует их и сравнивает тексты с помощью косинусного сходства; метаданные указывают контекст до 512 токенов, а конфигурация из README задаёт максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения юридических положений, поиска перефразировок, кластеризации и классификации текстов. README описывает дообучение на парах anchor-positive и оценку на clause-eval-triplets с cosine_accuracy 0,9761. Это англоязычный энкодер; сведения указывают на специализацию на юридических положениях, но подробности лицензии и юридических юрисдикций в предоставленных данных отсутствуют.

MeherMs разработал дообученную модель Sentence Transformer на базе sentence-transformers/all-MiniLM-L6-v2 для сравнения смысловой близости предложений и абзацев, в частности формулировок юридических договоров. Энкодер на архитектуре BERT преобразует текст в плотные векторы размерности 384; сходство оценивается косинусной мерой. Метаданные указывают 25,9 млн параметров и контекст до 512 токенов, а карточка модели заявляет максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска и сопоставления договорных положений, например для поиска похожих условий или выявления близких по смыслу формулировок. Она принимает и выдаёт текстовые представления в виде эмбеддингов, а не готовые юридические выводы. В README приведена оценка на небольшом наборе из 10 обучающих примеров; заявленные идеальные метрики на указанной оценке не подтверждают надёжность на более широких или иных юридических данных. Лицензия в предоставленных источниках не указана.

Карточка модели Monad-dz/legal-embedding-model-V2 на Hugging Face совпадает с карточкой Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2, поэтому описание составлено по ней. Arabic-Triplet-Matryoshka-V2 — модель эмбеддингов арабского языка от Omartificial-Intelligence-Space, созданная на базе Sentence Transformers и дообученная на aubmindlab/bert-base-arabertv02. Это плотная BERT-модель с 162,4 млн параметров и контекстом до 512 токенов; она преобразует предложения и абзацы в векторы размерностью 768. Обучение с MatryoshkaLoss формирует вложенные представления, рассчитанные на работу с эмбеддингами разной размерности. Модель предназначена для оценки семантического сходства, поиска и извлечения информации, поиска перефразирований, кластеризации и классификации арабских текстов, а также для использования в системах вопросов и ответов. В README приведены результаты на бенчмарках STS17 и STS22-v2. Модель ориентирована на арабский язык и не заявлена как многоязычная. Качество может снижаться на узкоспециализированных текстах и различаться между диалектами и региональными вариантами арабского языка. Для задач за пределами семантического сходства может потребоваться дополнительная настройка. Лицензия — Apache-2.0.

llm-wizard разработала Sentence Transformers модель, дообученную на Snowflake/snowflake-arctic-embed-l. Она преобразует предложения и абзацы в нормализованные плотные векторы размерностью 1024 для сравнения по косинусному сходству; архитектура включает BERT, пулинг CLS-токена и нормализацию. Максимальная длина последовательности — 512 токенов. Модель предназначена для семантического поиска и оценки сходства текстов, включая поиск юридических фрагментов по запросам, подбор парафраз, кластеризацию и классификацию текстов. В карточке приведены обучающие примеры по правовой тематике и оценка retrieval на тестировании, однако набор содержит 400 пар и не описан подробнее, поэтому результаты могут не отражать качество на других юридических данных. Лицензия в предоставленных данных не указана.

justArmenian/legal_paraphrase — дообученная модель Sentence Transformers на базе sentence-transformers/paraphrase-MiniLM-L3-v2 для преобразования предложений и абзацев в плотные векторы размерности 384. Архитектура основана на BERT: модель использует среднее объединение токенных представлений; сходство векторов рекомендуется оценивать косинусной мерой. В метаданных указаны 18,8 млн параметров и контекст до 512 токенов, тогда как README задаёт максимальную длину последовательности 128 токенов. Модель адаптирована к юридическим текстам и предназначена для семантического сравнения, поиска похожих формулировок и парафразов, кластеризации и извлечения признаков для классификации. В примерах обучающих данных сопоставляются перефразированные фрагменты судебно-правового текста и семантически отличающиеся фрагменты. README не подтверждает поддержку других языков; примеры приведены на английском. Модель выдаёт векторы, а не готовые ответы или юридические заключения. Воспроизводимые результаты оценки и качество на конкретных юридических корпусах не описаны. Лицензия в предоставленных сведениях не указана.

knowledgator/Llama-encoder-1.0B — двунаправленный текстовый энкодер на архитектуре LLaMA с 1 млрд параметров, разработанный Knowledgator на основе Tiny-LLaMA-1.0B. Модель обучена на Википедии с masked token prediction; авторы сообщают, что обучали все веса для усиления двунаправленного представления контекста. В отличие от обычного причинного декодера, она предназначена для получения контекстных представлений текста и адаптации к дискриминативным задачам. Модель подходит для классификации текстов, ответов на вопросы и разметки токенов, включая распознавание сущностей. В метаданных указаны задачи question-answering и text-generation, библиотека Transformers и окно контекста 2048 токена; язык карточки — английский. Репозиторий содержит веса safetensors. Лицензия — Apache-2.0. README описывает энкодер и его обучение, но не приводит результатов бенчмарков или подробностей о качестве на конкретных наборах задач. Для специализированного применения могут потребоваться адаптация и дообучение; генерация текста указана в метаданных, хотя основное назначение модели — кодирование текста для дискриминативных задач.

LibrAI/longformer-action-ro — дообученная LibrAI модель на базе allenai/longformer-base-4096 для классификации текста. Она использует архитектуру LongformerForSequenceClassification, содержит 151,8 млн параметров и принимает последовательности длиной до 4098 токенов. Модель подходит для классификации длинных текстов; README приводит результаты оценки: accuracy 0,964, precision 0,961, recall 0,936 и F1 0,946. В README не описаны целевые классы, обучающая выборка и предполагаемые сценарии применения, поэтому назначение меток оценить нельзя. Репозиторий распространяется по лицензии Apache-2.0.

Raychanan/Longformer_Conflict — модель классификации последовательностей на архитектуре Longformer, представленная в формате PyTorch. По метаданным, она содержит 151,8 млн параметров и рассчитана на контекст до 4098 токенов. README приводит параметры обучения: скорость обучения 5e-5, пять эпох и размер пакета 1 для обучения и оценки, что указывает на дообучение модели для классификации текста. Данные не сообщают, какие именно классы или предметная область использовались при обучении. Модель подходит для отнесения текстов к заданным классам, в том числе для классификации длинных документов. Конкретные поддерживаемые языки и специализация не описаны. Условия лицензии в предоставленных данных отсутствуют.

Карточка модели vllm-sr/lora_jailbreak_classifier_bert-base-uncased_model на Hugging Face совпадает с карточкой llm-semantic-router/lora_jailbreak_classifier_bert-base-uncased_model, поэтому описание составлено по ней. Это LoRA-адаптер для классификации текста на базе bert-base-uncased, опубликованный как часть проекта semantic-router. Модель дообучена для многозадачной классификации и рассчитана на применение в маршрутизации текстовых запросов; в README приведён пример пакетной классификации через semantic-router. Адаптер использует ранг 16 и alpha 16, а архитектура — BERT для классификации последовательностей. Репозиторий оптимизирован для работы с библиотекой Candle на Rust и содержит веса в формате safetensors. Общее число параметров базовой модели — 136,7 млн, контекст ограничен 512 токенами; основным языком карточки указан английский. Лицензия — Apache-2.0.

gbpatentdata/lt-patent-inventor-linking — модель эмбеддингов на архитектуре MPNet, разработанная на основе sentence-transformers/all-mpnet-base-v2 и дообученная с помощью LinkTransformer. Она предназначена для сопоставления текстовых описаний патентов и изобретателей: модель кодирует тексты в векторы, которые можно сравнивать для поиска похожих записей и кластеризации. Модель рассчитана на английский язык и имеет 136,7 млн параметров; формат весов — safetensors, длина контекста — 514 токенов. Модель подходит для поиска и связывания записей об изобретателях в патентных данных, а также для кластеризации таких записей с помощью LinkTransformer. В README указана оценка стандартными метриками информационного поиска LinkTransformer, однако численные результаты не приведены. Лицензия в предоставленных данных не указана.

mbert-hard-part2 — дообученная модель классификации текста на основе bert-base-multilingual-cased. Она предназначена для отнесения входного текста к классам; конкретные классы, область применения и обучающий датасет в карточке не раскрыты. Модель построена на архитектуре BERT для последовательной классификации, содержит 205,1 млн параметров и поддерживает контекст до 512 токенов. Базовая модель многоязычная, поэтому чекпойнт может подходить для классификации текстов на нескольких языках, однако языки и качество для каждого из них отдельно не описаны. В README приведены результаты оценки: F1 0,9872, точность 0,9957 и полнота 0,9789; эти показатели относятся к неуказанному набору данных и не гарантируют аналогичного качества на других текстах. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Codingchild/medical-bge-large-en-v1.5 — модель Sentence Transformer на архитектуре BERT, предназначенная для создания плотных текстовых эмбеддингов. Она преобразует предложения и абзацы в векторы размерности 1024; для сравнения векторов используется косинусное сходство. Представление формируется из CLS-токена с последующей нормализацией, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. Название указывает на медицинскую и англоязычную специализацию; карточка описывает задачи эмбеддингов, но не приводит конкретных медицинских тестов или оценок качества. В метаданных указан формат safetensors; лицензия не приведена.

Minang Embedder — модель SentenceTransformers, разработанная для представления текстов на минангкабау в виде нормализованных эмбеддингов размерности 768. Она создана дообучением jinaai/jina-embeddings-v5-text-nano-retrieval на примерах, основанных на ресурсах NusaX, и использует трансформер EuroBERT с pooling по последнему токену. Контекст модели — до 8192 токенов. Модель предназначена для семантического поиска, сравнения предложений, поиска параллельных текстов и межъязыкового выравнивания, включая пары минангкабау—английский и минангкабау—индонезийский. Обучающие данные также включают синтетические примеры переключения между минангкабау и индонезийским. Для поиска или оценки сходства тексты преобразуют в эмбеддинги и сравнивают их. В README приведены результаты на локальном бенчмарке MinSTS-Retrieval, однако он построен на метках тональности и выравниваниях NusaX, а не на ручной разметке семантического сходства; показатели поиска поэтому отражают в том числе группировку по тональности. Перед применением в конкретной предметной области качество следует проверить отдельно. Лицензия модели — CC BY-NC-SA 4.0; при использовании данных NusaX необходимо учитывать их атрибуцию и условия CC BY-SA 4.0.

MiniDalaLM — модель для извлечения текстовых эмбеддингов, созданная Rodrigo Pereira Cruz на основе дообучения paraphrase-multilingual-MiniLM-L12-v2. Она предназначена для представления текстов на казахском языке в латинской графике, принятой в реформе 2021 года, в виде векторов для построения языковых инструментов и поиска похожих предложений. Модель основана на архитектуре BERT, содержит 124,3 млн параметров и принимает текст длиной до 512 токенов. Репозиторий распространяется по лицензии MIT. MiniDalaLM ориентирована на низкоресурсный казахский язык и может применяться для сравнения предложений и получения признаков текста. Автор описывает её как основу для дальнейших разработок, а не как готовое решение производственного уровня. Результаты могут быть нестабильны на очень коротких текстах и при смешении письменностей; качество также может снижаться на диалектных вариантах и редких символах.

mist-encoder-base-ng — компактный языковой энкодер от olaverse для хауса, йоруба, игбо и нигерийского пиджина. Модель на архитектуре ModernBERT содержит около 30,7 млн параметров, обучена с нуля на задаче masked language modeling и использует токенизатор otk-bpe-50k. Контекст составляет до 1024 токенов. Выпущена под лицензией Apache-2.0. Энкодер предназначен для дообучения с задачными головами и подходит для классификации тем и тональности, определения языка и получения эмбеддингов предложений. Компактный размер помогает при развертывании на устройствах с ограниченными ресурсами. Для распознавания именованных сущностей модель слабее крупных специализированных энкодеров: в README указан разрыв примерно в 10–20 пунктов entity-F1. Данные для нигерийского пиджина ограничены, поэтому его поддержка тоньше, чем у остальных языков.