II.10Разработка и эксплуатация AI/ML-систем

Tron-1B — англоязычная модель SamCodeManMk2 для классификации текста по вариантам, заданным в запросе: она выбирает метку, выставляет оценку по шкале или отвечает «да/нет» и возвращает вероятности и показатели уверенности. Модель предназначена для быстрых решений в приложениях с ИИ: маршрутизации запросов, определения намерений, первичной сортировки, проверки безопасности и автоматизации рабочих процессов. Это двунаправленный энкодер на 1,1 млрд параметров на базе jhu-clsp/ettin-encoder-1b с отдельной головой принятия решений. Входной текст, вопрос и варианты ответа кодируются совместно; модель обучена примерно на 1,2 млн примеров типизированных решений. Набор меток и вопрос можно задавать во время выполнения без переобучения. Для неопределённых ответов доступны порог уверенности и отказ от решения; длинный текст можно обрабатывать скользящими окнами. В опубликованных разработчиком тестах модель показала результаты на классификации намерений, тем, тональности и обнаружении prompt injection. Лучше всего она работает на английском и на входах короче примерно 2 000 токенов; точность снижается на очень больших наборах новых меток. Tron-1B классифицирует только среди предоставленных вариантов и не генерирует свободный текст. Модель выпущена под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование.

UltraCM-13b — критическая модель, разработанная OpenBMB и обученная на наборе UltraFeedback. Она предназначена для генерации текста в роли критика: оценки и анализа ответов языковых моделей. Модель построена на архитектуре LlamaForCausalLM, содержит 12,9 млрд параметров и принимает текст с контекстом до 4096 токенов. Модель опубликована в формате PyTorch под лицензией MIT. Карточка отсылает к статье и репозиторию проекта за подробностями, но не описывает конкретные критерии оценки или результаты сравнения. Дата публикации — 22 сентября 2023 года.

Uraion Forge 2B — компактная языковая модель Uraion Labs для генерации текста, агентных сценариев и рассуждений. Это дообучение openbmb/MiniCPM5-2B с плотной архитектурой LlamaForCausalLM; модель содержит 2,2 млрд параметров и принимает контекст до 131 072 токенов. Репозиторий содержит веса Safetensors, а карточка описывает использование через Transformers и развёртывание на GPU и устройствах с ограниченными ресурсами. Модель предназначена для многошаговых рабочих процессов с вызовом инструментов, генерации кода, количественных задач и ответов в структурированном JSON. Разработчик заявляет, что обучение направлено на сокращение затянутых рассуждений, ошибок в параметрах вызовов и потери состояния между ходами; в карточке также приведены результаты внутренних тестов на агентных сценариях, коде и длинном контексте. Указанная лицензия — Apache-2.0. Результаты бенчмарков в README относятся к тестам разработчика; в частности, показатели генерации кода заметно ниже результатов агентных рабочих процессов. Модель компактна, поэтому её общие возможности ограничены по сравнению с более крупными языковыми моделями.

VibeVoice ASR Streaming 1.5B GGUF — это сборка модели автоматического распознавания речи Microsoft VibeVoice ASR Streaming 1.5B, подготовленная в формате GGUF для работы с audio.cpp. Модель предназначена для офлайн-транскрибации аудио и потокового распознавания речи в реальном времени, включая серверные сценарии. Указана поддержка английского, китайского, испанского, португальского, немецкого, японского, корейского, французского, русского и итальянского языков. Модель содержит около 1,5 млрд параметров и поддерживает потоковый режим ASR. Доступны варианты BF16, Q8_0 и Q4_K с различным соотношением качества и размера: примерно 5,64 ГБ, 3,34 ГБ и 2,12 ГБ соответственно. Для потоковой обработки требуется монофонический PCM-аудиосигнал с частотой 16 кГц и 16-битным знаковым форматом. В README также заявлена поддержка транскрибации с атрибуцией говорящих, однако подробности этой функции не приведены. Сильными сторонами являются нативная интеграция с audio.cpp, автономный формат GGUF и наличие нескольких вариантов квантования. На небольшом наборе из четырёх фрагментов LibriSpeech указанный WER составил 4,35% для BF16, 5,80% для Q8_0 и 7,25% для Q4_K при CUDA; результаты зависят от backend и размера тестовой выборки, поэтому не характеризуют качество во всех сценариях. Модель распространяется по лицензии MIT.

dangvantuan/vietnamese-embedding — модель эмбеддингов предложений для вьетнамского языка, разработанная на основе PhoBERT с архитектурой RoBERTa. Она преобразует текст векторы размерности 768 и предназначена для семантического поиска, сравнения сходства предложений и кластеризации текстов. Модель построена на Sentence Transformers: использует среднее объединение токенных представлений и поддерживает последовательности до 512 токенов согласно README; метаданные каталога указывают контекст 258 токенов. Веса содержат 162,4 млн параметров. Обучение включало SimCSE с контрастивным обучением, а также дообучение на наборах XNLI-vn и STSB-vn. В карточке приведены результаты оценки корреляции на наборах семантического сходства для вьетнамского языка. Модель подходит для поиска семантически близких фраз и группировки вьетнамских текстов по смыслу. Она принимает текст и возвращает векторные представления; результаты для других языков карточкой не подтверждены. Распространяется по лицензии Apache-2.0.

Vinci-MLE-30B-1.0 — открытая модель SimpleDirect, разработанная в Канаде для задач машинного обучения и инженерии данных. Это дообученная на базе IBM Granite 4.1 30B плотная авторегрессионная языковая модель с 28,9 млрд параметров; она принимает текстовые задачи и сведения о рабочем пространстве, анализирует доступные свидетельства и формирует структурированный отчёт с обоснованным действием, отказом от изменений или остановкой. Заявленный контекст — 131 072 токена, однако в описанной оценке использовался предел 16 384 токена. Модель предназначена для ассистентов, которые помогают диагностировать проблемы в ML-проектах и предлагать ограниченные изменения файлов рабочего пространства. Веса и токенизатор сами по себе не образуют готового агентного контура: приложение должно предоставить и проверять инструменты, ограничивать взаимодействия и независимо тестировать предлагаемые изменения. Специализированная оценка по задачам ML-инженерии не проводилась; обучение охватывало один проход по 91 траектории, поэтому качество на широком наборе фреймворков и сценариев не установлено. Модель выпущена под лицензией Apache-2.0.

Модель timm/vit_base_patch16_224.orig_in21k_ft_in1k — Vision Transformer (ViT) для классификации изображений и извлечения визуальных признаков. Её обучили авторы статьи на ImageNet-21k, затем дообучили на ImageNet-1k в JAX; Ross Wightman перенёс веса в PyTorch. Модель доступна в форматах PyTorch и safetensors и распространяется по лицензии Apache-2.0. Модель содержит 86,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Её можно использовать для классификации изображений по категориям ImageNet, а также как визуальную основу для получения эмбеддингов. Карточка описывает результаты на ImageNet, поэтому качество на других наборах данных и задачах может отличаться.

timm/vit_base_patch32_clip_224.openai_ft_in1k — модель классификации изображений на архитектуре Vision Transformer (ViT), опубликованная в библиотеке timm. Она предварительно обучена OpenAI на парах изображение–текст WIT-400M с использованием CLIP, а затем дообучена на ImageNet-1k. Модель содержит 88,2 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений и может использоваться как визуальная основа для извлечения признаков и получения эмбеддингов изображений. Подходит для переноса визуальных представлений на прикладные задачи компьютерного зрения. В репозитории указаны веса PyTorch и Safetensors; лицензия — Apache-2.0.

Это Vision Transformer (ViT) для извлечения признаков из изображений. Модель предварительно обучена авторами статьи на ImageNet-21k в JAX, а затем перенесена в PyTorch Россом Уайтманом. Веса доступны в форматах PyTorch и Safetensors; лицензия — Apache-2.0. Модель содержит 305,5 млн параметров, обрабатывает изображения размером 224 × 224 и не имеет классификационной головы. Её используют как визуальный backbone для получения признаков и эмбеддингов, а также как основу для дальнейшего дообучения под задачи классификации изображений. Карточка указывает на высокие вычислительные затраты: 15,3 GMACs на изображение.

timm/vit_small_patch14_reg4_dinov2.lvd142m — модель извлечения признаков изображений на основе Vision Transformer (ViT), доступная через библиотеку timm. Она содержит 22,1 млн параметров и предварительно обучена на наборе LVD-142M методом самообучения DINOv2; версия использует четыре регистра. Модель рассчитана на изображения размером 518 × 518 пикселей. Полученные признаки можно использовать для построения эмбеддингов изображений и как основу для задач компьютерного зрения, включая классификацию. Карточка также приводит вычислительные характеристики: 29,6 GMACs и 57,5 млн активаций. Репозиторий содержит веса PyTorch и safetensors и распространяется по лицензии Apache-2.0.

Карточка модели UrizenB/wav2vec2-large-spanish на Hugging Face совпадает с карточкой jonatasgrosman/wav2vec2-large-xlsr-53-spanish, поэтому описание составлено по ней. jonatasgrosman/wav2vec2-large-xlsr-53-spanish — модель распознавания испанской речи, разработанная Jonatas Grosman. Она дообучена на основе facebook/wav2vec2-large-xlsr-53 на обучающей и проверочной выборках Common Voice 6.1 и предназначена для преобразования аудиозаписей на испанском языке в текст. Модель построена на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров; для входной речи требуется частота дискретизации 16 кГц. Модель поддерживает распознавание речи без языковой модели и подходит для транскрибирования записей и оценки качества ASR на испаноязычных речевых наборах данных, включая Common Voice. В карточке приведена лицензия Apache-2.0. Результаты могут зависеть от акустических условий и отличий речи от обучающих данных; языковая модель в базовом сценарии не используется.

Whisper Large V3 Türkçe Genel ASR (M1), TurkMedSTT projesinde Muhammed Kumcu ve Yağmur Tuncer tarafından OpenAI Whisper large-v3 temelinde uyarlanan модель распознавания речи. Она предназначена для транскрибации общей турецкой речи, сравнения ASR-моделей, анализа ошибок и подготовки черновиков субтитров с последующей проверкой человеком. Модель использует архитектуру WhisperForConditionalGeneration и содержит около 905,2 млн параметров. Для адаптации применялся LoRA с целевыми модулями q_proj и v_proj; адаптер затем объединили с базовой моделью, поэтому репозиторий содержит полные веса. Обучение проведено на примерно 140 часах сбалансированной турецкой речи. В тесте на 320 реальных клипах указаны WER 0,0792 и CER 0,0226; эти результаты не гарантируют такую же точность на других записях. Модель принимает аудио и выдаёт текст; основный язык — турецкий. Для вывода используется Transformers, а из-за крупного размера модели рекомендуется GPU, хотя возможен и медленный запуск на CPU. Модель не предназначена для клинического использования и автоматического принятия решений. Опубликованные веса распространяются по Apache-2.0; для обучающих аудиоданных действуют лицензии их источников.

Portuguese Medium Whisper — модель распознавания речи, созданная дообучением OpenAI Whisper Medium автором pierreguillou на наборе Common Voice 11.0. Она преобразует аудио на португальском языке в текст и подходит для транскрибации записей и оценки систем распознавания речи. Модель построена на архитектуре Whisper и содержит около 455,8 млн параметров; в метаданных указан формат PyTorch. На тестовой выборке автор сообщает Loss 0,2628 и WER 6,5987. Модель распространяется по лицензии Apache-2.0. Показатели сравнения с другими версиями Whisper приведены автором на основе сходства тестовых наборов, поэтому их не следует считать прямым сравнением на идентичном тесте.

burakaydinofficial/whisper-small-24lang — мультиязычная модель распознавания речи, созданная дообучением стандартной архитектуры OpenAI Whisper Small на 24 языках корпуса Whispered с лицензией CC0. Она предназначена для транскрибирования аудио и служит научным контрольным вариантом для сравнения с моделью, преобразованной из MHA в MLA. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и доступна в формате safetensors; она загружается через Transformers без trust_remote_code. Модель обучена для распознавания чтённой речи; в README приведены результаты оценки на CommonVoice-17, включая WER для английского, немецкого и испанского. Стандартную архитектуру Whisper можно конвертировать стандартными инструментами для faster-whisper, CTranslate2 и whisper.cpp. Для использования весов применяется лицензия Apache-2.0; обучающий корпус Whispered указан как CC0.

xLAM-7b-r — языковая модель Large Action Model семейства xLAM, разработанная Salesforce для общего использования инструментов и построения AI-агентов. Она преобразует запросы пользователя в планы и структурированные вызовы инструментов, чтобы автоматизировать многошаговые рабочие процессы. Модель основана на плотной архитектуре MistralForCausalLM и содержит около 7,1 млрд параметров. Она принимает текст и генерирует текст, включая вызовы функций в JSON-подобном формате; поддерживает многошаговый диалог и контекст до 32 768 токенов. В карточке модели указан английский язык, а среди данных обучения — Salesforce/xlam-function-calling-60k. Для получения результатов разработчик рекомендует использовать предоставленный формат промпта и вспомогательные функции. Выпуск обозначен как предназначенный исключительно для исследований. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Funnel Transformer xlarge-base — предварительно обученная модель Funnel Transformer, выпущенная командой, представившей это семейство. Это англоязычная бескодерная базовая модель архитектуры Funnel с размером контекста 512 токенов. Она обучалась на английских текстах BookCorpus, Wikipedia, ClueWeb, GigaWord и Common Crawl с самоконтролируемой задачей обнаружения заменённых токенов; доступны реализации PyTorch, TensorFlow и веса Safetensors. Модель извлекает скрытые представления текста для последующего обучения или настройки классификаторов и других моделей для задач по целому предложению, включая классификацию последовательностей, классификацию токенов и ответы на вопросы. Выходная последовательность в четыре раза короче входной, поэтому модель подходит для получения сводного представления предложения, но не для задач, которым требуется отдельное представление каждого исходного токена. Она не предназначена для генерации текста. Лицензия — Apache-2.0.

severinsimmler/xlm-roberta-longformer-base-16384 — версия модели hyperonym/xlm-roberta-longformer-base-16384 в формате PyTorch, опубликованная без изменений исходных весов. Это мультиязычный Longformer, инициализированный весами XLM-RoBERTa без дополнительного предварительного обучения; модель предназначена для дообучения под конкретные задачи и извлечения признаков из текста. Она содержит 305,2 млн параметров и поддерживает контекст до 16 386 токенов. Модель подходит для анализа длинных документов на разных языках, когда требуется получить контекстные представления текста. Репозиторий использует форматы PyTorch и Safetensors и распространяется по лицензии MIT. Карточка не сообщает результатов оценки качества на прикладных задачах; для целевого применения потребуется дообучение.

YOLO11 — семейство моделей компьютерного зрения, разработанное Ultralytics. Репозиторий содержит модели для обнаружения объектов, сегментации, классификации изображений и оценки позы; режим отслеживания объектов совместим с моделями обнаружения, сегментации и позы. В метаданных основная задача этой карточки указана как обнаружение объектов. Предобученные варианты обнаружения объектов обучены на COCO с 80 классами, модели сегментации — на COCO-Seg с 80 классами, а классификаторы — на ImageNet с 1000 классами. Доступны варианты разного размера; для обнаружения объектов указано от 2,6 млн параметров у YOLO11n до 20,1 млн у YOLO11m среди приведённых вариантов. Модели предназначены для быстрого инференса и интеграции через библиотеку Ultralytics с PyTorch. Карточка также описывает применение для отслеживания объектов в видео и оценки позы. Лицензия репозитория — AGPL-3.0; для коммерческого использования Ultralytics предлагает запросить Enterprise License.

AlchemistCoder-DS-6.7B-GGUF — набор GGUF-квантизаций модели AlchemistCoder-DS-6.7B, первоначально разработанной командой InternLM. Квантизации подготовлены пользователем bartowski с помощью llama.cpp релиза b3024 и метода imatrix. Модель предназначена прежде всего для генерации и обработки программного кода, включая сценарии локального запуска через llama.cpp и совместимые инструменты. README не содержит сведений о поддерживаемых языках программирования и естественных языках. В набор входят варианты с разной точностью и размером: от Q8_0 объёмом 7,16 ГБ до IQ2_XS объёмом 2,03 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, тогда как низкие требуют меньше RAM или VRAM, но сильнее теряют в качестве; в README рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Архитектура, размер контекста, модальности и другие параметры исходной модели не указаны. Распространение заявлено по лицензии Apache-2.0. Для работы необходимо учитывать формат промпта, приведённый в README, и выбирать файл с учётом доступной памяти. Ограничения включают зависимость качества от уровня квантизации и отсутствие в доступных данных подробных характеристик, результатов оценки и описания исходного обучения.

openhands-lm-7b-v0.1-GGUF — это квантизированная GGUF-версия языковой модели openhands-lm-7b-v0.1, разработанной all-hands и подготовленной bartowski с использованием llama.cpp. Модель предназначена для генерации текста и сценариев, связанных с агентным программированием и разработкой программного обеспечения; среди указанных данных обучения присутствует SWE-Gym. Поддерживаемый язык — английский. Модель имеет размер 7B параметров и поставляется в нескольких вариантах точности, включая BF16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K. Квантизация позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти: рекомендуемые варианты обеспечивают высокое или хорошее качество, а варианты с меньшим размером экономят ресурсы за счёт снижения качества. Доступны запуск через LM Studio, llama.cpp и другие проекты на базе llama.cpp; для работы следует использовать указанный формат промпта с ролями system, user и assistant. Сильными сторонами являются специализация на задачах программирования, агентных сценариях и возможность локального запуска в различных квантизированных конфигурациях. Ограничения включают отсутствие сведений о точной архитектуре, размере контекста, мультимодальности и результатах оценки; модель заявлена только для английского языка. Лицензия — MIT.

AutoDev Coder DeepSeek 6.7B Finetunes — разговорная модель генерации текста на архитектуре Llama с 6,6 млрд параметров и контекстом до 16 384 токенов. README указывает на дообучение для AutoDev, но не содержит подробностей о сценариях и обучении. Модель предназначена для генерации текста в чате; её название указывает на применение в разработке кода и IDE-плагине. В метаданных перечислены английский и китайский языки, формат весов Safetensors и библиотека Transformers. Лицензия указана как other, поэтому условия её использования следует уточнить у автора модели.

BEiT-base-patch16-224 — модель классификации изображений на основе Vision Transformer, разработанная Microsoft и представленная в работе BEIT: BERT Pre-Training of Image Transformers. Модель содержит около 119,5 млн параметров. Её предварительно обучали без учителя на ImageNet-21k, а затем дообучили с учителем на ImageNet-1k для распознавания изображений по 1 000 классам. Модель принимает изображения размером 224×224 пикселя, разбивает их на патчи 16×16 и обрабатывает трансформерным энкодером с относительными позиционными эмбеддингами. Её можно применять для классификации изображений, а также использовать как основу для извлечения признаков и обучения классификаторов на размеченных наборах данных. Для повышения качества при дообучении в README упоминается разрешение 384×384. Модель предназначена для изображений, похожих на данные ImageNet; точность на иных предметных областях зависит от данных и настройки. Лицензия — Apache-2.0. Для работы доступны веса PyTorch, Flax и Safetensors.

BERT Large Cased Whole Word Masking — предварительно обученная языковая модель BERT, выпущенная авторами BERT и представленная в карточке Hugging Face. Это англоязычная модель с архитектурой BERT: 24 слоя, скрытое представление размером 1024, 16 голов внимания и 432,3 млн параметров по метаданным. Она обучалась на корпусах BookCorpus и English Wikipedia с задачами masked language modeling и предсказания следующего предложения. При whole word masking все токены WordPiece, составляющие одно слово, маскируются одновременно; модель различает регистр букв. Основное применение — предсказание пропущенных слов в контексте. Модель также можно дообучать для классификации последовательностей и токенов, ответов на вопросы и других задач понимания текста. Контекст ограничен 512 токенами; модель не предназначена для генерации связного текста. Предобучение выполнено на английских книгах и Википедии, поэтому возможны смещения в предсказаниях. Лицензия — Apache-2.0.

google/bert_uncased_L-8_H-128_A-2 — компактная англоязычная модель BERT от Google из семейства BERT Miniatures, описанного в работе «Well-Read Students Learn Better: On the Importance of Pre-training Compact Models». Это плотный трансформерный энкодер с 8 слоями, размером скрытого представления 128 и 2 головами внимания; модель содержит около 6 млн параметров и принимает последовательности длиной до 512 токенов. Она обучена на английском тексте без учёта регистра с маскированием WordPiece-токенов. Модель предназначена для экономного по ресурсам переноса на задачи понимания английского текста, например классификации и определения сходства предложений. Её можно дообучать аналогично исходным моделям BERT; авторы отмечают, что компактные варианты особенно эффективны при дистилляции, когда метки для дообучения создаёт более крупная модель-учитель. Веса доступны в форматах PyTorch и Flax. Лицензия — Apache 2.0. Компактный размер снижает вычислительные требования, но модель уступает более крупным моделям по качеству и рассчитана только на английский язык; для прикладной задачи обычно требуется дообучение.

caformer_s18.sail_in1k — модель классификации изображений на архитектуре CAFormer, разработанная авторами работы MetaFormer baselines for vision и обученная на ImageNet-1k. Она предназначена для отнесения изображений к категориям и может использоваться как визуальный backbone для извлечения признаков и получения эмбеддингов изображений. Модель содержит 26,3 млн параметров, требует изображение размером 224 × 224 пикселя и имеет показатель вычислительной сложности 4,1 GMACs. Она доступна через библиотеку timm в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

CaiT-S24-224 с дистилляцией на ImageNet-1k — модель классификации изображений и извлечения визуальных признаков из семейства Class-Attention in Image Transformers. Она предназначена для распознавания объектов и других визуальных категорий на изображениях; веса можно использовать и как основу для получения эмбеддингов изображений. Модель содержит 46,9 млн параметров, рассчитана на изображения размером 224 × 224 пикселя и требует библиотеку timm для работы. Модель предварительно обучена на ImageNet-1k авторами статьи «Going deeper with Image Transformers». Доступны веса PyTorch и Safetensors. Лицензия Apache-2.0 разрешает использование, распространение и модификацию на её условиях. Карточка не описывает точность на других наборах данных, поэтому для специализированных классов может потребоваться дообучение.

AmberYifan/capsd-marin-8b-base-code_random_b12000_s0 — дообученная модель семейства Llama на базе marin-community/marin-8b-base. По названию и карточке она обучалась на смеси данных с кодом; метаданные указывают архитектуру LlamaForCausalLM, плотную модель с 7,5 млрд параметров и контекст до 4096 токенов. Модель предназначена для генерации и продолжения текста, включая сценарии работы с кодом. В README не приведены результаты оценки, подробности обучающей смеси или конкретные языки программирования. Базовая модель описана как англоязычная, поэтому нельзя уверенно считать, что эта версия хорошо работает на других естественных языках. Лицензия указана как other, без дополнительных условий в доступных сведениях.

AmberYifan/capsd-opc-dedup-marin-8b-base-code_ppl_b60000_s0 — дообученная плотная авторегрессионная модель семейства Llama, созданная на основе marin-community/marin-8b-base. Обучение проводилось на наборе capsd_marin-8b-base-n80000-opc-dedup80k__mix_code_ppl_b60000_s0; название набора указывает на смесь данных с кодом, но README не уточняет состав и оценку качества. Модель содержит 7,5 млрд параметров, работает с текстом и имеет контекстное окно 4096 токенов. В метаданных указана возможность чата; основная задача — генерация текста, включая продолжение кода и диалоговые ответы. Базовая модель описана как англоязычная, поэтому английский является основным языком. Модель распространяется под лицензией с обозначением other; конкретные условия следует проверять в репозитории. README не приводит сведений о целевых сценариях, результатах оценки или известных ограничениях.

CoAtNet-2 RW 224 — модель классификации изображений из библиотеки timm, разработанная Ross Wightman и обученная на ImageNet-12k, подмножестве ImageNet-22k с 11 821 классом. Она сочетает свёрточные блоки MBConv на ранних этапах с блоками self-attention на поздних, объединяя обработку локальных признаков и глобальных зависимостей. Модель предназначена для классификации изображений и может использоваться как визуальная основа для извлечения карт признаков и эмбеддингов. Расчётный размер входного изображения — 224 × 224 пикселя; модель содержит около 85 млн параметров и требует 15,1 GMACs на изображение. Репозиторий предоставляет веса PyTorch и SafeTensors. Обучение на ImageNet-12k даёт модели широкий набор визуальных категорий, однако карточка не приводит метрики именно для этого варианта. Для применения к другим наборам классов может потребоваться адаптация или дообучение. Лицензия — Apache-2.0.

Salesforce CodeGen-Multi 2B — авторегрессионная плотная языковая модель для синтеза программного кода. Чекпойнт содержит 2 млрд обучаемых параметров и создан на архитектуре CodeGenForCausalLM; для работы использует библиотеку Transformers и формат PyTorch. Вариант Multi сначала инициализировали из CodeGen-NL 2B, затем дополнительно обучили на 119,2 млрд токенов из набора BigQuery с кодом из GitHub на C, C++, Go, Java, JavaScript и Python. Модель предназначена прежде всего для генерации исполняемого кода по подсказкам на английском языке, обычно оформленным как комментарий, а также для продолжения частично написанного кода. Она принимает текстовые подсказки и выдаёт текст, включая код; максимальная длина контекста составляет 2048 токенов. Модель обучена на нескольких языках программирования, но README не заявляет поддержку русского языка как языка естественных запросов. Модель оценивали на HumanEval и MTPB. Это выпуск для исследовательского применения; точность, безопасность и справедливость не оценивались для всех возможных сценариев, поэтому сгенерированный код следует проверять. Лицензия — BSD 3-Clause.