II.8Инженерия данных и аналитика

Модель Elizabeth Mwangi — дообученная версия OpenAI Whisper large-v3 для автоматического распознавания речи на суахили. Она обучена на данных всех пяти доменов AfriVoice и на Common Voice Swahili; в первую очередь предназначена для речи кенийских говорящих, в том числе с нестандартными речевыми особенностями. Модель содержит около 905,2 млн параметров, использует архитектуру Whisper и доступна в формате safetensors. Модель подходит для транскрибации записей на суахили, включая речь из разных прикладных доменов. В README приведены результаты на тестовых наборах: WER 0,244 на AfriVoice и 0,201 на Common Voice Swahili. Это показатели на указанных наборах, поэтому качество на других источниках и условиях записи может отличаться. Лицензия — Apache-2.0.

CKSINGH разработал эту модель как дообученную версию CKSINGH/whisper-small-hi-firefox для автоматического распознавания речи. Это модель семейства Whisper с архитектурой WhisperForConditionalGeneration и 153,1 млн параметров; репозиторий содержит веса PyTorch и Safetensors. Карточка приводит результаты оценки: WER 16,1932 и CER 12,5576, но не уточняет набор данных и условия тестирования. Модель предназначена для преобразования аудио на хинди в текст. Она распространяется по лицензии Apache-2.0.

ElderlyDed/whisper-small-ru — дообученная модель распознавания речи на основе Whisper Small от OpenAI, созданная сообществом и обученная на Common Voice 11.0. Она предназначена для преобразования аудиозаписей в текст; название модели указывает на ориентацию на русский язык, однако метаданные карточки отмечают язык хинди, поэтому языковую специализацию следует считать неоднозначной. В оценке на наборе разработчика указаны Loss 0,1877 и WER 14,9519. Модель содержит 153,1 млн параметров и использует архитектуру WhisperForConditionalGeneration. Доступны веса в форматах PyTorch, safetensors и Flax. Лицензия — Apache-2.0. Карточка не описывает условия записи аудио, ограничения качества или подробности оценки.

handy-computer/whisper-tiny.en-gguf — это конвертация англоязычной модели OpenAI Whisper tiny.en в формат GGUF для использования с transcribe.cpp. Модель предназначена для автоматического распознавания речи и преобразования английской речи в текст, включая локальную обработку аудио на CPU или GPU. Поддерживается пакетная расшифровка, но потоковый режим, перевод и автоматическое определение языка отключены. Модель построена на архитектуре Transformer encoder-decoder и содержит около 39 млн параметров. Она обрабатывает аудио окнами по 30 секунд с разбиением длинных записей на фрагменты и возвращает сегментные временные метки. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 44 до 153 МБ. Квантизированные версии требуют меньше памяти, сохраняя близкое качество; например, WER на LibriSpeech test-clean составляет 5,72% для Q8_0 и 5,96% для Q4_K_M, тогда как для F32 — 5,77%. Сильные стороны модели — небольшой размер, высокая скорость и возможность запуска через transcribe.cpp на совместимом локальном оборудовании. Ограничение — поддержка только английского языка; модель не предназначена для многоязычной расшифровки, перевода или потоковой обработки. Для работы аудио должно быть подготовлено в формате WAV, 16 кГц, моно. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели OpenAI.

Это контрольная точка дообучения laion/GLM-4_7-swesmith-sandboxes-with_tests-oracle_verified_120s-maxeps-131k-fixthink, опубликованная LAION. Модель основана на архитектуре Qwen3 с плотной causal language model, содержит 7,6 млрд параметров и принимает текст, выдавая текст. Она предназначена для решения задач SWE: работы с кодом Python и доведения изменений до прохождения тестов в среде выполнения. Контрольная точка получена методом RL с алгоритмом SkyRL GRPO на датасете DCAgent/exp_rpt_pymethods2test-large. В этой абляции использовалась награда по доле пройденных тестов, а не бинарная награда за прохождение всех тестов. Опубликован шаг 45 из 80; его выбрали по EMA средней сырой награды. Контекст модели составляет 40 960 токенов. Репозиторий содержит веса Safetensors и конфигурацию запуска для воспроизводимости; README также указывает на сопутствующий набор обучающих трасс open-athena/ablation-pymethods2test-shaped. Лицензия в предоставленных данных не описана.

Ateeqq/ai-vs-human-image-detector — модель классификации изображений, дообученная на базе SigLIP 2 для различения изображений, созданных ИИ, и изображений, созданных человеком. Для обучения использовалось по 60 000 изображений каждого типа; в карточке сообщается точность 99,23% и F1 99,23% на тестовом наборе. Модель подходит для предварительной проверки изображений в пользовательских загрузках, модерации и исследовательского анализа происхождения изображений. Модель использует архитектуру SigLIP для классификации изображений и распространяется в формате Safetensors через Transformers. В README пользователи сообщают о случаях переобучения, поэтому результаты на тестовом наборе не гарантируют такую же точность на новых источниках изображений. Лицензия — Apache-2.0.

dccuchile/ALBERT Base Spanish — базовая языковая модель семейства ALBERT, обученная на большом корпусе испанских текстов. Разработчик — dccuchile; карточка указывает, что обучение проводилось на TPU v3-8 примерно 70 дней. Модель содержит 137,1 млн параметров, принимает текстовые последовательности длиной до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель предназначена как испаноязычная основа для задач понимания и обработки текста, а также для последующего дообучения под конкретные сценарии. В метаданных указан класс AlbertForPreTraining и теги pretraining, но отдельный pipeline_tag и конкретные downstream-задачи не приведены. Лицензия в доступных данных не указана.

Albertina 900M PT-BR — крупная языковая модель-энкодер для бразильского варианта португальского языка, разработанная совместной командой Лиссабонского и Портского университетов. Модель построена на Transformer и архитектуре DeBERTa v2, относится к семейству BERT и содержит около 1,1 млрд параметров по метаданным; в карточке указаны 24 слоя и размер скрытого состояния 1536. Контекст составляет 512 токенов. Модель обучена на корпусе brWaC объёмом 2,7 млрд токенов и предназначена для маскированного языкового моделирования и получения представлений текста на португальском языке. Её можно применять для заполнения пропусков в тексте, а также дообучать для задач понимания языка, включая определение перефразирования, семантического сходства и текстового следования. В карточке приведены результаты на португалоязычных вариантах GLUE. Модель выпущена для академических исследований. Условия лицензии корпуса brWaC запрещают коммерческое применение; перед использованием следует учитывать это ограничение и условия лицензии, обозначенной в метаданных как other. Модель принимает и обрабатывает текст, не является генеративным чат-ассистентом и ориентирована на португальский язык Бразилии.

ALBERT XLarge v2 — англоязычная предобученная модель семейства ALBERT, представленная авторами ALBERT и доступная в формате Hugging Face Transformers. Она обучалась на BookCorpus и англоязычной Википедии с использованием masked language modeling и предсказания порядка предложений; регистр букв не учитывается. Модель предназначена для заполнения пропусков в тексте и получения контекстных представлений, которые можно использовать при дообучении для классификации последовательностей и токенов, а также ответов на вопросы. Архитектура — плотный Transformer AlbertForMaskedLM с 24 повторно используемыми слоями, размерностью эмбеддингов 128, скрытым размером 2048 и 16 головами внимания. В метаданных указано 1,7 млрд параметров; собственная длина контекста — 512 токенов. Доступны веса PyTorch, safetensors и TensorFlow. Разделение параметров между слоями уменьшает объём памяти по сравнению с моделью без такого разделения, но вычислительная стоимость остаётся высокой. Модель рассчитана на английский язык и не предназначена для генерации свободного текста; для прикладных задач обычно требуется дообучение. Предсказания могут содержать смещения, унаследованные от обучающих данных. Лицензия — Apache-2.0.

howey/bert-base-uncased-rte — модель классификации текстовых пар на основе BERT, опубликованная пользователем howey на Hugging Face. Она дообучена для задачи RTE (Recognizing Textual Entailment): по двум текстам определяет, следует ли гипотеза из предпосылки; подходит для распознавания текстового следования и противоречий в коротких фрагментах. Модель имеет архитектуру BertForSequenceClassification, около 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Это англоязычная модель на базе bert-base-uncased; поддерживает входной текст и выдаёт метки классификации. Репозиторий содержит веса PyTorch. Лицензию и ограничения точности по имеющимся источникам установить нельзя.

Модель oddadmix/cohere-transcribe-arabic-07-2026-dialectal — полное дообучение модели CohereLabs/cohere-transcribe-arabic-07-2026, разработанное автором репозитория для распознавания арабской речи разных диалектов. Это ASR-модель на архитектуре Cohere ASR Conformer encoder-decoder с 2,07 млрд параметров, доступная в формате safetensors и рассчитанная на работу через Transformers. Она преобразует аудио в арабский текст без диакритических знаков; обучающие данные охватывают левантийский, магрибский, египетский, заливный, суданский и иракский диалекты, а также литературный арабский. Для пользовательского теста из 932 клипов автор сообщает WER 0,357 и CER 0,137 против WER 0,457 у базовой модели в режиме zero-shot. Эти результаты могут быть завышены из-за возможного пересечения исходных записей между обучающей и тестовой выборками. Модель предназначена для транскрибации арабской речи, включая записи с шумом, музыкой, изменением скорости, реверберацией и артефактами кодека. Она работает с отдельными аудиофрагментами длительностью до 30 секунд, не поддерживает потоковое распознавание; автор также отмечает, что пакетная генерация с padding может заметно ухудшать результат. Качество зависит от диалекта: магрибская речь распознаётся сложнее, а покрытие реальных условий требует отдельной проверки. Репозиторий распространяется по лицензии Apache-2.0; README характеризует модель как частную/внутреннюю и рекомендует оценивать её на собственных данных перед производственным применением.

Это веса визуального энкодера ConvNeXt-XXLarge из семейства CLIP, опубликованные командой timm. Модель предназначена для извлечения признаков изображений и представления их в виде векторов, пригодных для сравнения и поиска. Энкодер можно использовать как часть CLIP-сценариев, например для получения признаков изображений перед поиском или анализом. В репозитории указаны форматы PyTorch и safetensors и библиотека timm. Лицензия — Apache-2.0. В карточке указана только визуальная часть CLIP; сведений о текстовом энкодере, поддерживаемых языках, размере входа и ограничениях качества нет.

Карточка модели computer-vision-ai-lab/dinov3-vits16-pretrain-lvd1689m на Hugging Face совпадает с карточкой facebook/dinov3-vits16-pretrain-lvd1689m, поэтому описание составлено по ней. facebook/dinov3-vits16-pretrain-lvd1689m — визуальный энкодер семейства DINOv3, разработанного Meta AI и доступного через библиотеку Transformers. Модель относится к архитектуре Vision Transformer (ViT-S) с патчами 16×16 и обучена на веб-данных LVD-1689M; в карточке указано, что малые модели семейства дистиллированы из ViT-7B. Размер ViT-S — 21 млн параметров, размерность эмбеддингов — 384, используются четыре регистрационных токена и RoPE. Модель принимает изображение и извлекает признаки: токен класса, токены патчей и регистрационные токены. Полученные представления предназначены для классификации изображений, поиска похожих изображений, сегментации, оценки глубины и других задач компьютерного зрения, в том числе с простыми классификаторами поверх замороженных признаков. Модель рассчитана на универсальное визуальное представление и не требует дообучения для многих сценариев; размер изображения должен быть кратен 16, иначе оно обрезается до ближайшего меньшего размера, кратного размеру патча. В карточке отмечено, что качество признаков может различаться между географическими регионами и категориями дохода, а дообучение способно усилить смещения, связанные с метками. Модель распространяется по лицензии DINOv3 License (в метаданных обозначена как other); перед использованием следует проверить её условия.

facebook/dinov3-vits16-pretrain-lvd1689m — визуальный энкодер семейства DINOv3, разработанного Meta AI и доступного через библиотеку Transformers. Модель относится к архитектуре Vision Transformer (ViT-S) с патчами 16×16 и обучена на веб-данных LVD-1689M; в карточке указано, что малые модели семейства дистиллированы из ViT-7B. Размер ViT-S — 21 млн параметров, размерность эмбеддингов — 384, используются четыре регистрационных токена и RoPE. Модель принимает изображение и извлекает признаки: токен класса, токены патчей и регистрационные токены. Полученные представления предназначены для классификации изображений, поиска похожих изображений, сегментации, оценки глубины и других задач компьютерного зрения, в том числе с простыми классификаторами поверх замороженных признаков. Модель рассчитана на универсальное визуальное представление и не требует дообучения для многих сценариев; размер изображения должен быть кратен 16, иначе оно обрезается до ближайшего меньшего размера, кратного размеру патча. В карточке отмечено, что качество признаков может различаться между географическими регионами и категориями дохода, а дообучение способно усилить смещения, связанные с метками. Модель распространяется по лицензии DINOv3 License (в метаданных обозначена как other); перед использованием следует проверить её условия.

jhu-clsp/ettin-encoder-68m — англоязычная модель семейства Ettin, разработанная Johns Hopkins University Center for Language and Speech Processing (JHU CLSP). Это плотный энкодер ModernBERT с 68,1 млн параметров, обученный для masked language modeling и заполнения пропусков в тексте. Контекст составляет до 7 999 токенов; модель работает с текстом и доступна в формате PyTorch через Transformers. Модель входит в открытый набор Ettin, созданный для сопоставления энкодерных и декодерных архитектур при одинаковых данных и рецептах обучения. Энкодеры предназначены для задач классификации и получения эмбеддингов; в карточке семейства сообщается о результатах на GLUE, англоязычном поиске MTEB, CodeSearchNet и MLDR. Чекпойнт можно использовать для заполнения масок, а также дообучать под классификацию и поиск. Модель ориентирована на английский язык. Лицензия MIT разрешает свободное использование в соответствии с её условиями. Показатели семейства Ettin в README не являются отдельной оценкой именно этого чекпойнта; качество на иных языках и задачах карточка не подтверждает.

EVA-Giant Patch14 336 CLIP — модель классификации изображений и извлечения визуальных признаков, опубликованная авторами статьи EVA-CLIP и доступная в библиотеке timm. Визуальная башня CLIP предварительно обучена на LAION-400M и дообучена на ImageNet-1k. Модель содержит около 1,013 млрд параметров и рассчитана на изображения размером 336 × 336 пикселей. Модель подходит для классификации изображений по категориям ImageNet-1k, а также для извлечения эмбеддингов изображений. README описывает обучение с использованием визуальных и текстовых башен CLIP, предварительного обучения MIM, прореживания патчей FLIP и оптимизаций, ускоряющих обучение. В репозитории timm веса сохранены в float32; исходные веса доступны в float16 или bfloat16. Лицензия — MIT. Модель ориентирована на изображения и сама по себе не предназначена для диалога или генерации текста; сведения об ограничениях точности и поведении на данных вне ImageNet-1k в карточке не приведены.

FELA-Moderation — компактная модель lowdown-labs для классификации текстового контента и обнаружения персональных данных. Она использует архитектуру Fourier Neural Operator с gated linear attention и общей основой примерно на 18,9 млн параметров; вход кодируется на уровне байтов, а последовательность ограничена 512 токенами. Модель доступна в форматах safetensors и ONNX, предусмотрена динамическая квантизация INT8 для локального запуска на CPU и устройствах с ограниченными ресурсами. Модель оценивает текст по 19 категориям модерации и 6 меткам Jigsaw, размечает spans персональных данных по 56 типам сущностей, а также содержит отдельные классификационные головы для спама, мошенничества, фишинга, jailbreak и prompt injection, степени NSFW-контента и targeted identity. Её можно встроить в локальный или on-premises конвейер модерации, чтобы не передавать пользовательские тексты стороннему API. Лицензия — Apache-2.0. Это небольшой инструмент поддержки решений, а не окончательный арбитр: для применения нужны настройка порогов и, в чувствительных сценариях, проверка человеком. Обучающая разметка преимущественно англоязычная, поэтому качество на других языках не установлено; каталог типов и форматов PII ограничен данными обучения. Качество для категории sexual ограничено нехваткой обучающих данных, а голова targeted identity слабее остальных.

FineLAP — контрастивно предварительно обученная модель для сопоставления аудио и естественного языка. Карточка описывает её как модель, разработанную для задач понимания аудио на уровне целого клипа и отдельных временных кадров. Она предназначена для извлечения признаков и вычисления сходства между аудио и текстом, включая сценарии аудиозаземления, поиска аудио по тексту и обнаружения звуковых событий. Модель использует архитектуру FineLAP и распространяется в формате safetensors; библиотека для работы — Transformers. Лицензия MIT.

INTELLECT-1 — базовая языковая модель примерно на 9,7 млрд параметров, разработанная Prime Intellect совместно с участниками сообщества и обученная с нуля на триллионе токенов английского текста и кода. Это плотная модель архитектуры Llama с 42 слоями и контекстом до 8192 токенов; веса доступны в формате safetensors. Модель предназначена для продолжения текста и генерации кода, а также как основа для дальнейшей адаптации. Это базовая модель, а не чат-ассистент: для диалогового использования авторы рекомендуют INTELLECT-1-Instruct. При генерации необходимо добавлять BOS-токен в начало каждого образца, иначе качество может снизиться. Обучение проходило распределённо на данных FineWeb-Edu, FineWeb, Stack V1, DCLM и Open Web Math с использованием алгоритма DiLoCo. Заявленная лицензия — Apache 2.0. Модель обучалась преимущественно на английских данных, поэтому её пригодность для других языков из карточки не следует.

KoELECTRA-Small-v3-discriminator — компактная корейская предобученная языковая модель на архитектуре ELECTRA, разработанная Jangwon Park (monologg). Она обучена распознавать заменённые токены: дискриминатор определяет, является ли каждый токен исходным или подменённым. Модель предназначена для дообучения и использования как текстовый энкодер в корейских задачах понимания языка, включая классификацию, распознавание именованных сущностей, оценку сходства и ответы на вопросы. Модель содержит около 21,5 млн параметров, имеет 12 слоёв, скрытый размер 256, 4 головы внимания и максимальную длину последовательности 512 токенов. Обучалась на корейских текстах; вариант v3 использует корпус Everyone’s Corpus и словарь WordPiece размером 35 000 токенов. В карточке Hugging Face указано использование с Transformers и PyTorch. Ограничение — это дискриминатор для кодирования и дообучения, а не генеративный чат-бот; для решения прикладных задач обычно требуется дополнительная настройка. Лицензия не установлена по доступным источникам.

Kronumos — экспериментальная модель для автоматизированного поиска и исправления ошибок в коде, созданная Мухаммадом Науфалом Даффой. Карточка называет её базовым выпуском экосистемы автоматического ремонта программ; метаданные указывают дообучение Qwen2.5-Coder-7B-Instruct в 4-битной версии и архитектуру Qwen2 с 7,1 млрд параметров. Модель ориентирована на генерацию кода и сценарии автономного исправления ошибок, включая самовосстановление и работу с интерфейсом вызова инструментов. Заявлены контекст до 32 768 токенов и английский язык. Указаны Transformers и формат Safetensors; лицензия — Apache-2.0. README сообщает о более новых выпусках экосистемы, поэтому этот репозиторий представляет раннюю версию. Карточка не приводит результатов оценки качества или подробностей обучения, поэтому практическую надёжность автоматических исправлений по этим данным оценить нельзя.

LettuceDetect Italian — модель KRLabsOrg для выявления галлюцинаций в системах RAG. Она дообучена на EuroBERT-610M и принимает контекст вместе с ответом на итальянском языке, отмечая на уровне токенов фрагменты ответа, не подтверждённые контекстом; предсказания можно объединить в непрерывные интервалы для проверки и анализа. Модель содержит 607,8 млн параметров, поддерживает контекст до 8192 токенов и использует архитектуру EuroBERT для классификации токенов. Модель предназначена для проверки ответов RAG по документам, в том числе для локализации неподтверждённых утверждений. В оценке на переведённом наборе RAGTruth-IT авторы сообщают F1 74,71% для версии 610M. Это результат на конкретном тестовом наборе, и он не гарантирует такое же качество на других данных. Для использования требуется совместимая версия Transformers: README предупреждает о несовместимости загружаемого удалённого кода EuroBERT с Transformers 5.x. Лицензия модели — MIT.

Llama-3-Groq-8B-Tool-Use-GGUF — GGUF-квантизированная версия языковой модели Llama-3-Groq-8B-Tool-Use, разработанной Groq и подготовленной к распространению компанией Second State Inc. Модель предназначена для генерации текста и сценариев function calling: она может выбирать одну или несколько функций из предоставленных сигнатур и возвращать их имена и аргументы в структурированном формате. Модель работает с текстом на английском языке и поддерживает контекст до 8192 токенов. Для корректной работы с вызовами инструментов используется специальный шаблон запросов groq-llama3-tool, в котором описания функций передаются внутри XML-тегов tools, а результаты вызовов — внутри tool_call. Модель представлена в нескольких вариантах GGUF-квантизации от Q2_K до Q8_0; рекомендуемыми указаны Q4_K_M, Q5_K_M и Q5_K_S, обеспечивающие компромисс между размером файла и качеством. Сильные стороны модели — специализированная поддержка вызова инструментов, возможность локального запуска и широкий выбор уровней квантизации с размером файлов примерно от 3,18 до 6,60 ГБ для указанных вариантов. Ограничения включают поддержку только английского языка согласно карточке, текстовую модальность и снижение качества при использовании более агрессивной квантизации, особенно вариантов Q2 и Q3. Модель распространяется по лицензии llama3.

LocalAI-io/LocalAI-Llama3.1-8b-Function-Call-v0.3 — дообученная модель семейства Llama 3.1, разработанная LocalAI-io на пользовательском датасете и данных Glaive. Она предназначена для диалогов с вызовом инструментов в LocalAI: в режиме инструментов модель формирует ответы в JSON, что подходит для работы с ограниченной грамматикой вывода. Модель имеет плотную архитектуру LlamaForCausalLM и 7,5 млрд параметров, принимает текст и выдаёт текст. Указанная длина контекста — 131 072 токена. Репозиторий содержит веса в формате safetensors; лицензия — llama3.

castorini/mdpr-tied-pft-msmarco — мультиязычная модель плотного поиска mDPR, опубликованная организацией Castorini, связанной с исследованиями информационного поиска в University of Waterloo. Она предназначена для семантического поиска и ранжирования текстовых пассажей: запрос и документ преобразуются в векторные представления, после чего релевантные фрагменты находятся по близости в общем пространстве. Модель предварительно дообучена на наборе MS MARCO Passage Ranking и может использоваться как passage encoder в системах Dense Passage Retrieval, включая мультиязычный поиск и retrieval-augmented question answering. Модель основана на multilingual BERT и имеет BERT-архитектуру; на странице репозитория указано около 0,2 млрд параметров. Она работает с текстом, поддерживает несколько языков благодаря мультиязычной основе, но точный перечень языков и максимальная длина контекста для этого чекпойнта явно не указаны. В репозитории приведён результат MRR@10 равный 0,296 для обучения на MS MARCO Passage Ranking v1, 40 эпоха. Сильная сторона модели — переносимость между языками и пригодность для построения эффективных векторных индексов и гибридных систем поиска. Ограничения — специализация на retrieval, отсутствие генерации текста и отсутствие подробной официальной model card с детальным описанием языковых характеристик, ограничений качества и сценариев применения; в опубликованных материалах также отмечается, что mDPR может уступать BM25 на отдельных мультиязычных бенчмарках. Лицензия для данного репозитория явно не указана.

castorini/mdpr-tied-pft-msmarco-ft-all — модель семейства BERT, разработанная Castorini и дополнительно дообученная на всех обучающих данных Mr. TyDi. Она основана на castorini/mdpr-tied-pft-msmarco и предназначена для получения векторных представлений текстов, в частности для многоязычного поиска и извлечения документов по запросу. Модель содержит 205,1 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт признаки, пригодные для последующего поиска или ранжирования. В README указано дообучение на Mr. TyDi; метаданные не перечисляют языки, а конкретные поддерживаемые языки и показатели качества не приводятся. Репозиторий содержит веса PyTorch и safetensors. Лицензия в предоставленных данных не указана.

zeromodels/metaclip2_mt5_worldwide_s16_224 — конверсия MetaCLIP 2 от Meta в формате Keras 3, подготовленная проектом zeromodels. Это модель с архитектурой CLIP и двумя энкодерами, предназначенная для классификации изображений по текстовым описаниям без обучения на целевых метках: она сопоставляет изображение с предложенными пользователем классами и оценивает соответствие каждого описания. Вариант worldwide обучен на многоязычных данных; текстовый энкодер использует SentencePiece, а промпты можно задавать на разных языках без отдельного мультиязычного чекпойнта. Модель поддерживает zero-shot классификацию изображений. Реализация Keras 3 работает с бэкендами TensorFlow, PyTorch и JAX; в репозитории представлены веса TensorFlow. Лицензия CC-BY-NC-4.0 разрешает использование на некоммерческих условиях. Для работы нужно подавать изображение и текстовые описания классов; качество зависит от формулировок промптов и языка. README не приводит подробных результатов оценки или ограничений по размеру изображения.

Это конверсия MetaCLIP 2 Worldwide Giant от команды zeromodels в формат Keras 3, основанная на facebook/metaclip-2-worldwide-giant. Модель использует архитектуру CLIP с двумя энкодерами: один обрабатывает изображение, другой — текстовое описание, после чего система сопоставляет их представления для классификации изображений по категориям, заданным текстовыми подсказками. Модель предназначена для zero-shot классификации изображений без отдельного дообучения на выбранных категориях. Подсказки можно задавать на разных языках; вариант Worldwide обучен на многоязычных данных и использует словарь XLM-RoBERTa на 901 тысячу токенов. Реализация Keras 3 может работать с TensorFlow, PyTorch и JAX. Для обработки изображений и текста рекомендуется использовать соответствующий модели Processor. Это крупная модель, и некоторые варианты могут конвертировать веса из upstream-репозитория при загрузке, если готовых весов zeromodels нет. Лицензия CC-BY-NC-4.0 разрешает использование только на некоммерческих условиях.

MizoEmbed-1 — модель плотных текстовых эмбеддингов для языка мизо, разработанная специально для представления предложений и абзацев в виде векторов. Это Sentence Transformer на архитектуре BERT, дообученный на базе robzchhangte/MizBERT. Размерность эмбеддингов составляет 768, длина входного контекста — до 512 токенов; модель содержит 136,7 млн параметров. Модель предназначена для вычисления семантического сходства текстов, семантического поиска, поиска перефразировок, классификации текстов и кластеризации. Её можно применять для поиска по корпусам на мизо и группировки похожих фрагментов текста. Репозиторий распространяется в формате safetensors и рассчитан на использование с библиотекой Sentence Transformers. Лицензия — Apache-2.0. Модель ориентирована на мизо; её качество для других языков не подтверждено представленными материалами. Контекст ограничен 512 токенами, поэтому длинные документы потребуется разбивать на части.

NexteraBERT-Mezzoforte-220M-1.3B-en — англоязычный двунаправленный энкодер семейства NexteraBERT, опубликованный независимым исследователем RikkaBotan. Модель содержит 353,6 млн параметров по метаданным; в README для описываемого варианта указано 212,6 млн параметров. Это отдельный запуск модели, обученный предсказывать замаскированные токены на 1,3 млрд токенов, а не промежуточный чекпойнт версии, обученной на 130 млрд токенов. Архитектура включает 18 блоков с несколькими типами смешивания токенов: линейный по длине входа SnowLily, скользящее внимание с окном 256 токенов, полное внимание и внимание по группам токенов. Основной сценарий — предсказание пропусков в тексте; энкодер также можно дообучить для классификации. README приводит результаты GLUE и MTEB v2, но указывает, что другие варианты NexteraBERT с большим бюджетом предобучения показывают лучшие результаты. Для поиска и оценки сходства модель сначала нужно дообучить, например контрастивным обучением; классификационная голова требует обучения. Репозиторий использует Transformers и PyTorch, веса доступны в форматах PyTorch и safetensors. Лицензия — MIT. В README рекомендуется загружать модель с trust_remote_code=True; для этого требуется выполнять код репозитория при использовании этой опции.