II.8Инженерия данных и аналитика

FutureProofGlitch/whisper-small-v2 — дообученная разработчиком FutureProofGlitch модель распознавания речи на базе Whisper Small. Она предназначена для преобразования англоязычной речи в текст; для оценки указаны результаты на тестовой выборке GigaSpeech: WER 16,4524 и нормализованный WER 28,4362. Модель содержит 153,1 млн параметров и распространяется в формате safetensors. Модель подходит для транскрибирования англоязычных записей и аудио, включая материалы из домена GigaSpeech. Лицензия — Apache-2.0. README не приводит дополнительных сведений о сценариях применения или ограничениях качества.

Kuray107/wsj0-full-supervised — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-lv60. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; в карточке указаны результаты оценки: loss 0,0623 и WER 0,0343. Модель опубликована в формате PyTorch под лицензией Apache-2.0. Карточка не уточняет языки, условия записи и ограничения применения, поэтому область надёжной работы за пределами указанной оценки определить нельзя.

Yi-Coder-1.5B-GGUF — это GGUF-квантизированная версия базовой модели Yi-Coder-1.5B, разработанной компанией 01-ai. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена прежде всего для автодополнения и генерации программного кода, а не для диалогового общения; у неё нет встроенного шаблона prompt. Модель обучалась на 52 основных языках программирования и поддерживает контекст длиной до 128 тысяч токенов. В README не указаны точный размер GGUF-файлов, используемый метод или уровень квантизации, а также дополнительные модальности, поэтому её следует рассматривать как текстовую модель для работы с кодом. Длинный контекст может быть полезен при анализе и дополнении крупных исходных файлов, однако как базовая модель она может требовать корректного форматирования входных данных и не гарантирует точность, безопасность или работоспособность сгенерированного кода. Модель распространяется по лицензии Apache-2.0. LM Studio не является её разработчиком или владельцем и не гарантирует полноту, точность, безопасность или пригодность результатов. Для коммерческого и иного использования необходимо учитывать условия лицензии и самостоятельно проверять сгенерированный код.

Zamba-7B-v1 — предварительно обученная языковая модель Zyphra для генерации текста и кода. Она использует гибридную архитектуру: основу из слоёв Mamba с общим слоем внимания Transformer через каждые шесть блоков. Модель обучена предсказанию следующего токена на текстовых и кодовых данных; для токенизации применяется Mistral v0.1. В метаданных указано 16,9 млрд параметров и контекст 4096 токенов. Модель предназначена для продолжения текста и генерации кода. Благодаря архитектуре SSM она снижает затраты памяти на KV-кэш и обеспечивает высокую скорость генерации по сравнению с сопоставимыми моделями 7B–8B. По оценке разработчиков, она уступает ведущим открытым моделям 7B в основном на задачах MMLU и рассуждения. Это базовая модель без модерации, не дообученная для чата, поэтому качество диалоговых ответов не гарантируется. Карточка отмечает повышенную задержку в реализации Hugging Face по сравнению с внутренней реализацией. Лицензия — Apache-2.0.

AEWM (Agent-Editing World Model) — дообученная модель RUC-AIBOX на базе Qwen3.5-35B-A3B для оценки и редактирования решений агентных систем. Она работает как отдельная мировая модель рядом с агентом, который предлагает рассуждения и действия: AEWM классифицирует предложенные действия как критически важные, исследовательские или шумовые, а для шумовых формирует исправленное продолжение рассуждения и действий. Модель предназначена для агентных сценариев поиска, работы в терминале и разработки программного обеспечения с использованием инструментов. В обучении использовались около 52 млрд токенов траекторий и 120 тыс. примеров для оценки действий и пересмотра состояний. В бенчмарке Action Judge указаны общий macro-F1 70,5% и отдельные результаты для Search, Terminal и SWE. Для работы модель развёртывают через совместимый с OpenAI API сервер с поддержкой рассуждений Qwen3.5 и нативных вызовов инструментов, интегрируя её с EditAct. Лицензия — Apache-2.0. Метаданные указывают текстовую генерацию как основную задачу; README описывает классификацию и редактирование решений как специализированное назначение модели.

Schneewolf Labs B1.1-9B — диалоговая мультимодальная модель на архитектуре Qwen3.5, созданная Schneewolf Labs как слияние B0-9B с половинной силой ORPO-адаптера. Модель поддерживает текстовый диалог, работу с изображениями и вызов инструментов. По карточке, адаптер обучался два эпохи на Vernunft-Stimme; новые обучающие этапы для B1.1 не проводились. Репозиторий содержит веса safetensors, лицензия — Apache-2.0. Модель рассчитана на диалоговые сценарии с инструментами: она может отвечать после этапа рассуждения, выбирать инструмент и передавать ему задачу, а также решать задачи реализации функций. В тестах карточки B1.1 показала 5 из 8 ответов после вызова инструмента, 41 из 47 успешных случаев на egirl tool bench и 9 из 10 задач на лестнице buchbinder L1–2. Заявлена сохранность визуального компонента относительно B0-9B. Результат зависит от формата запроса: показатели на ответах после рассуждения заметно снижаются, если описания инструментов помещены в системный промпт и добавлен префикс /think. В карточке также отмечены ошибки форматирования имён инструментов, отдельные случаи выбора неподходящего инструмента и снижение готовности делегировать сложную задачу агенту. Число параметров и длина контекста в предоставленных данных не указаны.

boltuix/bert-mid — компактная англоязычная модель BoltUIX на архитектуре BERT, дообученная на основе google/bert-base-uncased. Она использует двунаправленный Transformer и обучалась предсказывать замаскированные токены и отношения между предложениями; в метаданных указано 14,1 млн параметров и контекст до 512 токенов. Модель предназначена для заполнения пропусков в тексте и как основа для дообучения под классификацию последовательностей и токенов, извлечение ответов и распознавание текстовых отношений. Подходит для анализа тональности, распознавания именованных сущностей, определения намерений и задач естественного языкового вывода. По карточке, модель оценивалась на GLUE и обучалась на BookCorpus и английской Wikipedia. Репозиторий содержит веса safetensors; лицензия — MIT. Модель рассчитана на английский язык и не предназначена для генерации связного текста или задач на других языках без существенного дообучения. Она может наследовать смещения из обучающих данных, а для очень ограниченных устройств может потребоваться дополнительная оптимизация.

Bespoke-Nimble-9B — это LoRA-адаптер для базовой модели Qwen/Qwen3.5-9B, разработанный Bespoke Labs. Модель предназначена для выбора ответов, классификации, структурированного предсказания и оценки по заданным критериям на основе предоставленного контекста. Она напрямую оценивает вероятности разрешённых токенов ответа, поэтому рабочий процесс не предполагает генерацию рассуждений или свободного текста. Адаптер рассчитан на обработку текстовых данных на английском языке и поддерживает логические значения, варианты из перечисления и целочисленные уровни рубрик. Для каждого поля можно задать до 26 вариантов, а для оценок модель возвращает выбранное значение и вероятностно-взвешенную ожидаемую оценку. Максимальная длина входного запроса составляет 2 048 токенов; слишком длинные запросы отклоняются без усечения. Репозиторий содержит адаптер размером около 165 МиБ, токенизатор, построитель промптов и эталонный код инференса, но требует отдельной загрузки полной базовой модели Qwen/Qwen3.5-9B. Для запуска рекомендуется CUDA GPU с поддержкой BF16; исходный прогон выполнялся на PyTorch 2.8.0 и CUDA 12.8. Сильными сторонами являются контекстно-обоснованная классификация, предсказуемый структурированный вывод и получение вероятностей по допустимым ответам. Ограничения включают зависимость от базовой модели, английский язык, работу только с заранее заданными вариантами и требование GPU с BF16. Лицензия — Apache 2.0.

CAG-13b — языковая модель Ruotong Pan и соавторов с генерацией, учитывающей достоверность источников. Модель дообучена на LLaMA2-13B и предназначена для ответов на вопросы с использованием контекста, в том числе документов, полученных через RAG. Модель оценивает достоверность сведений в контексте, чтобы сохранять устойчивость к зашумлённым или вводящим в заблуждение документам. Среди сценариев применения авторы называют ответы с учётом персонализированных оценок доверия и разрешение конфликтов между источниками знаний; модель оценивали на открытых и чувствительных ко времени вопросах, а также на вопросах по материалам с дезинформацией. Это плотная причинная архитектура LLaMA с 12,9 млрд параметров и контекстом до 4096 токенов; вход и выход — текст. В карточке указаны английский язык и лицензия MIT. Модель не является специализированной поисковой системой или гарантией проверки фактов: качество ответов зависит от контекста и заданных оценок достоверности.

AmberYifan/capsd-opc-dedup-marin-8b-base-code_ppl_b60000_s0 — дообученная плотная авторегрессионная модель семейства Llama, созданная на основе marin-community/marin-8b-base. Обучение проводилось на наборе capsd_marin-8b-base-n80000-opc-dedup80k__mix_code_ppl_b60000_s0; название набора указывает на смесь данных с кодом, но README не уточняет состав и оценку качества. Модель содержит 7,5 млрд параметров, работает с текстом и имеет контекстное окно 4096 токенов. В метаданных указана возможность чата; основная задача — генерация текста, включая продолжение кода и диалоговые ответы. Базовая модель описана как англоязычная, поэтому английский является основным языком. Модель распространяется под лицензией с обозначением other; конкретные условия следует проверять в репозитории. README не приводит сведений о целевых сценариях, результатах оценки или известных ограничениях.

SambaNova Systems разработала codegen-16B-mono-toolbench — плотную языковую модель на 16 млрд параметров для генерации действий через API. Это инструкционно дообученная версия codegen-16B-mono, обученная на наборах данных для восьми задач ToolBench. Модель предназначена для генерации последовательностей вызовов API и поддерживает английский язык; контекст составляет 2048 токенов. Модель можно применять в коммерческих и исследовательских сценариях, например для автоматизации задач через API. Она загружается через Transformers и использует веса PyTorch. Лицензия — BSD 3-Clause. Разработчик ограничивает назначение модели генерацией действий на основе API, поэтому её не следует считать универсальным помощником для иных задач.

Это веса визуального энкодера ConvNeXt-Base из семейства CLIP, опубликованные разработчиками timm. Модель предназначена для извлечения признаков изображений и получения векторных представлений, которые можно использовать в системах поиска и сравнения изображений или как визуальные признаки для других задач машинного обучения. В репозитории представлены только веса image encoder, а не полная мультимодальная CLIP-модель. Указаны форматы PyTorch и Safetensors, библиотека timm и лицензия Apache-2.0. Карточка не сообщает размер модели, длину контекста, поддерживаемые языки или конкретные ограничения качества.

team-lucid/deberta-v3-base-korean — корейская базовая модель на архитектуре DeBERTa V3, опубликованная командой team-lucid. Она использует disentangled attention, улучшенное маскирование языковой модели и предобучение в стиле ELECTRA с Gradient-Disentangled Embedding Sharing. В карточке показан вариант применения для классификации последовательностей; модель подходит для задач понимания корейского текста, включая анализ тональности, распознавание смыслового сходства и классификацию пар предложений. Модель содержит 162,5 млн параметров и рассчитана на контекст до 512 токенов. В репозитории представлены веса PyTorch, Flax и safetensors. В README приведены результаты на корейских наборах NSMC, PAWS, KorNLI, KorSTS и Question Pair, однако точные значения для этой модели в доступной части таблицы не видны. Лицензия Apache-2.0 допускает использование и распространение на её условиях. Для прикладных задач классификации последовательностей может потребоваться подходящая голова классификации и настройка под целевой набор данных.

unsloth/DeepSeek-R1-Distill-Qwen-1.5B-bnb-4bit — 4-битная квантованная версия модели DeepSeek-R1-Distill-Qwen-1.5B, разработанная и опубликованная Unsloth на основе модели DeepSeek от DeepSeek AI. Это текстовая языковая модель для задач рассуждения, включая решение математических задач, программирование и другие задачи, требующие многошагового анализа. Модель предназначена для использования с библиотекой Transformers и может применяться в сценариях локального запуска и исследовательских экспериментов с ограниченными ресурсами. Модель основана на архитектуре семейства Qwen2; её размер составляет 1,5 млрд параметров, а представленный вариант использует 4-битное представление весов, что снижает требования к памяти. В README указано, что модель поддерживает английский язык; сведения о других языках, длине контекста и мультимодальных возможностях отсутствуют. К сильным сторонам относятся компактность и сниженное потребление памяти, однако по качеству и глубине рассуждений она может уступать более крупным версиям, а влияние 4-битной квантования на точность отдельно не описано. Модель распространяется по лицензии Apache-2.0.

facebook/dinov2-with-registers-giant — гигантская модель Vision Transformer семейства DINOv2 с дополнительными register-токенами, опубликованная командой DINOv2; карточку подготовила команда Hugging Face. Это предобученный трансформерный энкодер изображений для извлечения признаков и эмбеддингов. Модель не содержит дообученных классификационных голов, поэтому для классификации или другой целевой задачи обычно требуется отдельная голова или дообученная версия. Вариант с register-токенами предназначен для уменьшения артефактов в картах внимания и получения более интерпретируемых представлений. Число параметров — около 1,5 млрд; модель принимает изображения и выдаёт векторные представления. Лицензия — Apache-2.0. Карточка указывает на применение для извлечения признаков, но не приводит конкретные сведения о поддерживаемых размерах входа или языках.

distil-whisper/distil-small.en — англоязычная модель распознавания речи, созданная командой Distil-Whisper как дистиллированная версия Whisper small.en. Она использует архитектуру encoder-decoder Whisper: энкодер скопирован из учительской модели, а декодер сокращён до четырёх слоёв и обучен на псевдоразметке и дистилляции знаний. В метаданных указано 153,1 млн параметров; README приводит 166 млн. Репозиторий содержит веса PyTorch, SafeTensors и ONNX. Модель предназначена для транскрибации английской речи, в том числе на устройствах с ограниченной памятью. README сообщает об ускорении до 6 раз относительно Whisper и качестве, близком к нему на тестах вне обучающего распределения; также модель можно использовать как вспомогательную для ускоренного спекулятивного декодирования Whisper. Поддерживается библиотекой Transformers версии 4.35 и новее. Лицензия — MIT. Модель работает только с английской речью. README отмечает, что distil-small.en медленнее некоторых более крупных вариантов Distil-Whisper и уступает Whisper large-v2 по WER; для большинства сценариев авторы рекомендуют distil-medium.en или distil-large-v2.

Модель dpo-qwen2.5-0.5b-halueval разработана Varun Chundru и Debasmita Biswas как компонент снижения галлюцинаций в исследовательском проекте Purdue University Fort Wayne. Это плотная причинная языковая модель Qwen2.5 на 494 млн параметров, дообученная методом Direct Preference Optimization на предпочтениях, составленных по трём задачам набора HaluEval: ответам на вопросы, диалогу и суммаризации. Модель предназначена для генерации текста по контексту, в частности для ответов на вопросы и суммаризации документов с опорой на источник. Она принимает текст и может использовать контекст до 32 768 токенов; карточка указывает английский язык. В оценке на отложенной части HaluEval общая доля галлюцинаций, измеренная отдельным классификатором DeBERTa, снизилась с 85,5% у базовой модели до 37,7%. Наибольший эффект показан для ответов на вопросы и суммаризации, тогда как в диалоге показатель остался высоким — 94,2%. Это измерения классификатора-прокси, а не человеческая оценка; обучение длилось одну эпоху, а ограничение длины при обучении могло обрезать длинные документы. Модель не рекомендуется для высокорисковых сценариев без дополнительной проверки. Лицензия — Apache-2.0.

Gemini 3.1 Pro Preview Custom Tools — вариант Gemini 3.1 Pro, предназначенный для более точного выбора инструментов при работе с ними. В частности, он снижает чрезмерное использование универсального инструмента bash, когда задачу эффективнее выполнить с помощью сторонних инструментов. Модель подходит для сценариев, где ассистент выбирает и вызывает инструменты для решения пользовательских задач. Данных о размере, архитектуре, языках, контексте и лицензии в предоставленных источниках нет.

Эта модель — дообученная версия Qwen/Qwen3-32B, созданная на датасете open-athena/GLM-4.6-stackexchange-overflow-sandboxes-32eps-65k-reasoning. Это плотная авторегрессионная модель семейства Qwen3 с 29,7 млрд параметров, рассчитанная на генерацию текста в диалоговом формате; базовая модель поддерживает многоязычный диалог, рассуждения, программирование и работу с инструментами. Для этой версии заявлен контекст до 40 960 токенов. Модель может быть полезна для генерации ответов и рассуждений по материалам Stack Exchange и Stack Overflow, а также для задач, представленных обучающим датасетом. Подробности о методике обучения, оценке качества и специальных ограничениях в карточке отсутствуют. Лицензия указана как other, поэтому условия использования следует сверять с лицензией репозитория и базовой модели.

IBM Research разработала Granite Guardian HAP 38M — компактный классификатор токсичности текста на основе RoBERTa с четырьмя слоями и 39,6 млн параметров. Модель анализирует английский текст и классифицирует его на токсичный или нетоксичный, выявляя в том числе ненавистнические высказывания, оскорбления и ненормативную лексику. Модель предназначена для низколатентной фильтрации текста в качестве защитного барьера для LLM, а также для массовой разметки документов. Она работает на CPU и GPU; длина контекста составляет 514 токенов. Выпущена под лицензией Apache 2.0. Короткая архитектура обеспечивает высокую скорость обработки, но при необходимости более высокого F1 разработчик рекомендует 12-слойную версию. Классификация может давать ложноположительные и ложноотрицательные результаты, особенно на текстах, отличающихся от обучающих данных; также возможны ошибки при интерпретации нюансов и проявления смещений, известных для детекторов токсичности и языка ненависти.

aadel4/kid-whisper-small-en-myst — модель распознавания речи на основе Whisper Small English, разработанная путём дообучения openai/whisper-small-en. Она предназначена для преобразования англоязычной речи в текст; в карточке указаны обучающий набор Myst Train объёмом 125 часов и проверочный набор Myst Dev объёмом 20,9 часа. Архитектура — WhisperForConditionalGeneration, размер — 153,1 млн параметров; репозиторий содержит веса PyTorch. На проверочном наборе указаны WER 8,51 и loss 0,27. Модель распространяется по лицензии Apache-2.0. Карточка не уточняет назначение названия «kid» и не приводит сведения о контекстном окне или сценариях для детской речи, поэтому такие свойства не предполагаются.

KielEmbed-Code — модель плотных эмбеддингов для представления кода и текста, опубликованная под идентификатором kiel2/KielEmbed-Code. Это Sentence Transformer, дообученный на базе microsoft/codebert-base с архитектурой RoBERTa. Модель кодирует предложения и фрагменты кода в векторы размерности 768; сходство между ними оценивается косинусной мерой. Максимальная длина входной последовательности — 512 токенов по README и 514 токенов по метаданным. Модель предназначена для семантического поиска по коду и тексту, сравнения смысловой близости и кластеризации. В README указаны 10 000 обучающих примеров и дообучение в течение одной эпохи с CosineSimilarityLoss. Эти сведения описывают обучение, но не подтверждают качество на независимых тестах. Условия лицензирования в предоставленных данных не указаны.

KSSDS — модель на архитектуре T5, разработанная на основе энкодера lcw99/t5-base-korean-text-summary и дообученная на данных AI Hub для разделения корейского текста на предложения в диалоговых системах. Она предназначена, в частности, для сегментации текста на корейском языке, полученного от систем распознавания речи, таких как Whisper. Модель содержит 137,8 млн параметров; в репозитории представлены веса PyTorch и Safetensors. В карточке указана лицензия MIT. README отмечает, что вариант KSSDS_NO_LF обучен без Length Filter для абляционного исследования и менее точно разделяет длинные тексты; это описание относится к отдельному варианту, а не подтверждает ограничение KSSDS.

Ertas AI предлагает настраиваемую версию LFM2.5-230M от Liquid AI — компактной плотной языковой модели с 221,2 млн параметров для генерации текста. Модель дообучена на пользовательских данных с помощью Ertas AI; она принимает текст и поддерживает чатовый формат и вызов инструментов. В карточке указаны 14 слоёв: 8 блоков LIV с двойными воротами и 6 блоков GQA. Метаданные указывают контекст до 128 000 токенов, а README — 32 768 токенов. Модель предназначена для извлечения данных и лёгких агентных сценариев на устройствах с ограниченными ресурсами. Она поддерживает английский, арабский, китайский, французский, немецкий, итальянский, японский, корейский, португальский и испанский языки. Небольшой размер и быстрая генерация подходят для локального запуска, однако модель не рекомендуется для сложных рассуждений, продвинутой математики, генерации кода и творческого письма. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.

thealper2/lfm2-700m-linux-command — дообученная модель на базе LiquidAI/LFM2-700M для преобразования запроса на естественном языке в одну команду Linux shell. Она выдаёт только команду, без пояснений; предусмотрен шаблон чата LFM2, а для получения стабильного ответа рекомендуется жадное декодирование. Архитектура — плотная Lfm2ForCausalLM с гибридным сочетанием полного внимания и коротких свёрток. В README указано 742,5 млн параметров, а метаданные каталога приводят 956,3 млн; контекстное окно по метаданным — 128 000 токенов. Модель обучалась на наборах nl2bash и linux-command-dataset, языковая метка карточки — английский. Она подходит для получения кандидатов команд по кратким описаниям задач, например для поиска файлов или процессов, и как генератор команд в изолированном терминальном агенте. На тестовом наборе точное совпадение с единственным эталонным ответом составило 29,1%, структурное — 30,3%; эти показатели не измеряют семантическую корректность всех допустимых команд. Модель может выводить неверные или разрушающие команды и не проверяет их безопасность. README указывает лицензию как other без конкретизации условий, поэтому лицензионные права следует сверить с карточкой репозитория Hugging Face.

Trelis/Llama-2-7b-chat-hf-function-calling-v2 — языковая модель для генерации текста и вызова функций, разработанная Trelis на основе Llama 2 7B Chat от Meta. Она предназначена для приложений, где модель должна интерпретировать запрос пользователя и возвращать структурированный JSON с именем функции и её аргументами, например для интеграции с внешними API и автоматизации действий. В версии v2 синтаксис вызова функций упрощён: для инференса достаточно передавать описания функций, без дополнительной инструкции. Описания функций вынесены за пределы системного промпта, что должно уменьшать влияние формулировки системных инструкций на поведение при вызове функций. Указаны текстовая модальность и английский язык. Размер модели — 7B параметров; точное значение контекстного окна в README для этой версии не приведено. Модель рассчитана на локальное или самостоятельное развертывание; для повышения качества необходимо предоставлять чёткие описания функций, обязательных аргументов и значений по умолчанию, а также проверять ответ после генерации и запрашивать недостающие данные. Как модель на 7B параметров, она может уступать более крупным моделям в точности вызова функций и сложном рассуждении. Для этой версии указана бесплатная доступность и лицензия Meta Community license.

PlumMath — объединённая языковая модель, созданная с помощью mergekit на основе Meta Llama 3.1 8B Instruct и моделей Llama3.1-8B-ShiningValiant2 и Llama3.1-8B-Cobalt. В репозитории используются архитектура LlamaForCausalLM и формат safetensors; размер модели — 7,5 млрд параметров, длина контекста — до 131 072 токенов. Модель предназначена для диалоговой генерации текста и выполнения инструкций; тематика карточки указывает на математику, естественные науки, информатику и инженерные задачи. Она рассчитана на англоязычное применение. В README приведены результаты Open LLM Leaderboard, включая средний балл 13,80, IFEval 22,42 и BBH 16,45. Использование регулируется лицензией Llama 3.1.

LongCite-llama3.1-8b — языковая модель семейства Llama, представленная zai-org. Она предназначена для ответов на вопросы по длинным документам с указанием подтверждающих фрагментов и цитат. Модель дообучена на наборе THUDM/LongCite-45k. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и поддерживает контекст до 131 072 токенов. Она принимает текст и генерирует текст; в метаданных указаны английский и китайский языки. Весы опубликованы в формате safetensors и рассчитаны на использование с Transformers. Лицензия и конкретные ограничения качества в предоставленных данных не описаны.

BEE-spoke-data разработала MEGA-энкодер mega-encoder-small-16k-v1 для маскированного языкового моделирования и последующего дообучения под задачи, совместимые с энкодерами. Модель имеет 8 слоёв, размер скрытого состояния 768 и около 122 млн параметров по README; метаданные указывают 100 млн параметров. Архитектура MEGA использует чанки длиной 1024 токена и поддерживает контекст до 16 384 токенов. Для токенизации используется словарь BART, совпадающий со словарём RoBERTa. Модель обучалась преимущественно предсказывать замаскированные токены, с дополнительными этапами обучения для ряда задач. Её можно дообучать для классификации, сопоставления предложений и других задач на последовательностях; README приводит результаты на GLUE. Указана лицензия Artistic-2.0. При длинном контексте обучение требует значительной видеопамяти; README отмечает рост её использования с длиной последовательности и рекомендует gradient checkpointing для дообучения на 16k токенах.

Это конверсия MetaCLIP 2 Worldwide M16 в формат Keras 3, опубликованная zeromodels на основе facebook/metaclip-2-worldwide-m16. Модель с архитектурой CLIP использует два энкодера: один для изображений, другой для текста. Она предназначена для классификации изображений по текстовым описаниям в zero-shot режиме, без отдельного обучения на заданных классах. Вариант Worldwide обучен на многоязычном распределении данных и использует словарь XLM-RoBERTa размером 901 тыс. токенов, поэтому принимает текстовые метки на разных языках, включая английский, французский, испанский и немецкий. Конверсия работает через Keras 3 с бэкендами TensorFlow, Torch и JAX; для загрузки предлагается совместимый Processor, который подбирает размер изображения и токенизатор. Лицензия CC-BY-NC-4.0 разрешает некоммерческое использование.