II.10Разработка и эксплуатация AI/ML-систем

Xception41p.ra3_in1k — модель классификации изображений и извлечения признаков из семейства Xception, реализованная в timm и обученная Ross Wightman на ImageNet-1k с рецептом аугментации RandAugment RA3. Она использует специфичный для timm блок Xception с предварительной активацией и может служить как классификатор или визуальный backbone для извлечения карт признаков и эмбеддингов. Модель рассчитана на изображения размером 299 × 299 пикселей и содержит 26,9 млн параметров. Модель подходит для распознавания объектов и классов на изображениях, а также для получения визуальных признаков, используемых в последующих задачах компьютерного зрения. Веса доступны в форматах PyTorch и Safetensors; лицензия — Apache-2.0.

Ziya Coding 34B v1.0 — это языковая модель для генерации и дополнения программного кода, разработанная Fengshenbang-LM (IDEA-CCNL). Представленная версия распространяется в формате GGUF и квантована TheBloke для запуска через llama.cpp и совместимые интерфейсы и библиотеки, включая text-generation-webui, LM Studio и llama-cpp-python. Модель основана на архитектуре Llama и имеет 34 млрд параметров. Она предназначена прежде всего для завершения функций по их docstring и других задач генерации кода. В заявленных языках указаны китайский и английский. Модель относится к текстовым, поэтому сведений о поддержке изображений, аудио или других модальностей нет. Размер контекста в README не указан. Основное преимущество версии GGUF — наличие вариантов квантования от 2 до 8 бит, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью инференса на CPU и GPU. Ограничения включают возможную потерю качества при сильном квантовании, а также отсутствие в README подробных результатов тестирования и информации о фактической эффективности на разных языках программирования. Для использования указаны лицензия GPL-3.0 исходной модели и дополнительные условия Meta Llama 2; из-за заявленного двойного лицензирования следует отдельно проверить совместимость условий для конкретного сценария.

ActionGemma 2B — дообученная модель семейства Gemma 2 от Dinushi Jayasinghe для генерации текста с вызовом функций и инструментов. В репозитории опубликованы объединённые веса LoRA-адаптера с базовой моделью в формате FP16, готовые для запуска через vLLM или Transformers без PEFT. Модель содержит 2,7 млрд параметров и поддерживает контекст до 8192 токенов. Она рассчитана на англоязычные диалоги, где модель должна выбирать и формировать вызовы функций; по данным карточки, она достигает macro F1 93,74%, реже галлюцинирует вызовы и использует меньше токенов, чем базовая модель. Для использования требуется GPU-среда, если модель обслуживается через vLLM. Модель основана на Gemma 2 и распространяется на условиях Gemma Terms of Use.

AgentIntentRouter — модель классификации намерений пользователя для маршрутизации запросов к инструментам и возможностям ИИ-агентов. Она разработана tripathyShaswata и представляет собой дообученную DistilBERT-base-uncased с примерно 66 млн параметров; модель использует архитектуру DistilBertForSequenceClassification и принимает текстовые запросы длиной до 512 токенов по метаданным. README описывает восемь категорий намерений, включая генерацию кода, веб-поиск, вычисления, операции с файлами, вызовы API, творческое письмо, анализ данных и общий чат. Модель рассчитана на быстрый предварительный выбор инструмента в агентных конвейерах и возвращает класс намерения с оценкой уверенности. Обучение проводилось на синтетических англоязычных примерах; карточка приводит 8 987 обучающих, 1 123 валидационных и 1 124 тестовых примера. Заявленная скорость составляет около 10 мс на CPU и 2 мс на GPU, но эти показатели зависят от оборудования и условий запуска. Результаты README получены на тестовых данных того же распределения, что и обучающие, поэтому качество на реальных запросах может отличаться. Модель не предназначена для многоцелевых запросов; неоднозначные сообщения рекомендуется направлять на дополнительную обработку. Лицензия Apache-2.0 допускает коммерческое использование.

loodos выпустила эту предобученную модель ALBERT-Base для работы с текстами на турецком языке. Она построена на архитектуре ALBERT с 12 повторно используемыми слоями энкодера и размером скрытого представления 768; модель обучена на турецком корпусе без учёта регистра. В репозитории доступны веса PyTorch и TensorFlow, максимальная длина контекста — 512 токенов. Модель предназначена для дальнейшей настройки и применения в задачах обработки турецкого текста, например классификации или извлечения признаков. В README отмечена проблема токенизации турецких букв «ı», «i», «I», «İ» и других символов: нормализация токенизатора может искажать текст и приводить к потере информации. Для обучения на тексте без учёта регистра авторы предлагают использовать собственный модуль нормализации. Лицензия в предоставленных сведениях не указана.

BEiT-base-patch16-384 — модель классификации изображений на основе Vision Transformer, разработанная авторами BEiT и опубликованная Microsoft. Она предварительно обучена без учителя на ImageNet-21k, а затем дообучена с учителем на ImageNet-1k для распознавания объектов по 1000 классам. Модель содержит 119,5 млн параметров и принимает изображения, разбитые на патчи размером 16×16 пикселей; при дообучении использовалось разрешение 384×384. Представления модели можно применять для классификации изображений, а также использовать как основу для обучения классификаторов на размеченных наборах данных. BEiT использует архитектуру Transformer-энкодера, относительные позиционные эмбеддинги и усреднение представлений патчей для классификации. Модель предназначена для задач компьютерного зрения и не обрабатывает текстовые запросы. Веса доступны в форматах PyTorch и Flax по лицензии Apache-2.0. Классификатор настроен на классы ImageNet-1k, поэтому для других наборов классов потребуется дополнительное обучение или адаптация.

BEiT Large — модель vision transformer для классификации изображений и извлечения визуальных признаков, опубликованная в экосистеме timm. Она предварительно обучена на ImageNet-22k методом masked image modelling с визуальным токенизатором DALL-E dVAE, а затем дообучена для классификации на ImageNet-22k. Модель содержит около 325,8 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для присвоения изображению класса из набора категорий и получения эмбеддингов изображений как основы для downstream-задач компьютерного зрения. Она использует архитектуру BEiT на базе Vision Transformer и опубликована в форматах PyTorch и safetensors. Лицензия — Apache-2.0.

google-bert/bert-large-uncased-whole-word-masking — англоязычная предварительно обученная модель BERT от Google для восстановления замаскированных слов и получения контекстных представлений текста. Она использует архитектуру BERT с 24 слоями, размерностью скрытого состояния 1024 и 16 головами внимания; в метаданных указано 433,9 млн параметров и контекст до 512 токенов. Модель обучена на BookCorpus и английской Википедии с целями masked language modeling и предсказания следующего предложения. При Whole Word Masking одновременно маскируются все WordPiece-токены одного слова; модель uncased и не различает регистр. Основной сценарий — заполнение пропусков в английском тексте. Векторные представления модели также можно использовать как основу для дообучения классификаторов, разметки токенов и ответов на вопросы. Для таких задач, как генерация связного текста, модель не предназначена. Она доступна под лицензией Apache-2.0. Предсказания могут отражать смещения обучающих данных.

CAFormer B36 SAIL — модель для классификации изображений и извлечения визуальных признаков, разработанная авторами статьи о базовых моделях MetaFormer для компьютерного зрения и обученная на ImageNet-1k. Архитектура CAFormer относится к семейству MetaFormer. Модель содержит около 98,8 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель подходит для определения объектов и сцен на изображениях, извлечения карт признаков и получения векторных представлений изображений. Она может служить визуальным backbone в системах компьютерного зрения. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache 2.0.

caformer_b36.sail_in22k — модель классификации изображений и извлечения визуальных признаков из семейства CAFormer, основанного на архитектуре MetaFormer. Её обучили авторы исследования на ImageNet-22k; модель содержит 162,8 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для классификации изображений, извлечения карт признаков и получения векторных представлений изображений. Её можно использовать как визуальный backbone в прикладных системах компьютерного зрения. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0.

oxfrug/chronos-2-int8-torchao — облегчённая INT8-версия Chronos-2 от Amazon, подготовленная автором репозитория oxfrug. Она предназначена для zero-shot прогнозирования временных рядов: принимает исторические значения и строит прогноз на следующие часы или дни; поддерживает одномерные и многомерные ряды с ковариатами. Архитектура основана на T5, в репозитории указано 99,1 млн параметров. Большие линейные слои используют весовую квантизацию torchao INT8, а квантильная голова оставлена в исходной точности; дополнительного обучения не проводилось. Пакет весит около 131 МБ и требует меньше видеопамяти, чем исходная версия. Для загрузки нужен предоставленный в репозитории load.py: обычный from_pretrained эти INT8-файлы не читает. Квантизация сама по себе не гарантирует ускорения; на указанной в карточке RTX 3090 INT8-вариант был немного медленнее FP32. В проведённых автором коротких сравнениях прогнозы в целом оставались близкими к исходным, но отдельные недельные прогнозы заметно расходились, а интервалы P10–P90 могли недопокрывать наблюдения. Лицензия — Apache-2.0.

ClassOne Gemma 4 E2B — дообученная модель принятия решений, разработанная devops-thiago на основе google/gemma-4-E2B-it. Она классифицирует входной текст за один проход и возвращает типизированные вероятностные результаты без пошаговой генерации текста: булеву оценку Noul, выбор из нескольких вариантов Choice или оценку по шкале Score. Модель предназначена для проверок условий, выбора между вариантами и выставления оценок по заданным рубрикам, в том числе в локальных сценариях, где важны малая задержка и конфиденциальность. В README приведены результаты на JevBench и RLCDAlignBench; на сложном уровне JevBench точность существенно ниже, чем на простом, а оценки безопасности охватывают ограниченный набор тестов. Архитектура — плотная Gemma 4; веса опубликованы в формате safetensors. Лицензия — Apache 2.0.

Карточка модели SajjadAyoubi/clip-fa-vision на Hugging Face совпадает с карточкой SajjadAyoubi/clip-fa-text, поэтому описание составлено по ней. CLIP-fa-text — текстовый энкодер персидской версии CLIP, созданной разработчиком Sajjad Ayoubi. Модель дообучена на 400 тысячах пар «изображение — текст»; в качестве текстового энкодера использована RoBERTa-fa Фарахани. Архитектура — RoBERTa, около 145,5 млн параметров, контекст — 514 токенов. Репозиторий содержит веса PyTorch. Модель преобразует персидский текст в векторы размерности 768, сопоставимые с векторами изображений, получаемыми парным визуальным энкодером CLIP-fa. Это позволяет искать изображения по персидскому запросу и находить текстовые описания, близкие к изображению, в системах поиска и сопоставления мультимодальных данных. В карточке показан текстовый компонент; сам он принимает текст и выдаёт векторные признаки. Разработчик отмечает, что для обучения использовано меньше пар, чем для исходного CLIP, поэтому качество зависит от задачи и набора изображений. Лицензия в предоставленных сведениях не указана.

CoAtNet-3 rw 224 — модель классификации изображений семейства CoAtNet, разработанная Ross Wightman и обученная в timm на ImageNet-12k, подмножестве ImageNet-22k с 11 821 классом. Она предназначена для распознавания объектов и других категорий на изображениях, а также может использоваться как визуальный backbone для извлечения признаковых карт и эмбеддингов. Архитектура сочетает блоки свёрток MBConv на ранних этапах с блоками self-attention на поздних. Модель содержит около 181,8 млн параметров и рассчитана на входные изображения размером 224 × 224 пикселя. Реализация доступна через библиотеку timm; веса представлены в форматах PyTorch и safetensors. Модель подходит для классификации изображений по категориям, представленным при обучении, и как основа для визуальных признаков в прикладных системах. Обучение на ImageNet-12k даёт широкий набор классов, но само по себе не гарантирует качество на специализированных или существенно отличающихся от обучающих данных изображениях. Лицензия — Apache-2.0.

unsloth/codegemma-2b-bnb-4bit — 4-битная версия модели CodeGemma с примерно 2 млрд параметров, опубликованная в экосистеме Unsloth для использования с библиотекой Transformers. В README также упоминается поддержка Unsloth для дообучения моделей Gemma, однако конкретные сведения о разработчике исходной модели CodeGemma в предоставленных данных отсутствуют. Модель предназначена прежде всего для задач, связанных с программным кодом, включая генерацию и продолжение текста кода, а также эксперименты с дообучением. Указан английский язык. Архитектура и размер контекста в README не описаны; по идентификатору модели можно определить только вариант с 2 млрд параметров и 4-битным квантованием BNB. Ключевое преимущество версии — сниженные требования к памяти по сравнению с полноразмерными вариантами, что может упростить локальный запуск и дообучение. Ограничения связаны с малым размером модели, возможным снижением качества по сравнению с более крупными версиями и отсутствием в предоставленных данных подробных результатов оценки. Лицензия указана как Apache-2.0.

CodeGemma 2B — компактная языковая модель для генерации и обработки исходного кода, представленная Google и распространяемая в GGUF-квантизации пользователем bartowski. Данная версия предназначена для локального запуска через llama.cpp и поставляется в нескольких вариантах квантизации с разным соотношением качества, размера файла и требований к памяти. Модель ориентирована на задачи программирования и генерации текста; исходная модель codegemma-2b доступна на Hugging Face. В README не указаны точная архитектура, длина контекста, поддерживаемые языки программирования или естественные языки, а также мультимодальные возможности. Формат GGUF и отсутствие специального формата промпта упрощают использование в совместимых локальных инструментах. Размер файлов варьируется примерно от 0,77 до 2,66 ГБ; наиболее качественными и рекомендуемыми названы варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M. Сильная сторона модели — возможность локального запуска на устройствах с ограниченными ресурсами благодаря широкому выбору квантизаций; при этом низкие уровни квантизации заметно уступают по качеству и некоторые из них не рекомендуются. Квантизация выполнена с использованием llama.cpp и imatrix. Для доступа к исходной модели на Hugging Face требуется принять лицензию Google Gemma; применимая лицензия — Gemma.

Salesforce CodeGen-NL 350M — авторегрессионная плотная языковая модель семейства CodeGen для синтеза программ. Вариант NL с 350 млн обучаемых параметров предварительно обучен на корпусе The Pile, включающем данные с кодом; архитектура модели — CodeGenForCausalLM, формат весов — PyTorch, контекст — до 2048 токенов. Модель предназначена прежде всего для генерации исполняемого кода по подсказкам на английском языке, оформленным как комментарии, а также для продолжения частично написанного кода. Она может извлекать признаки и оценивать вероятность последовательностей естественного языка и языков программирования. Модель опубликована Salesforce в рамках исследовательской работы по синтезу программ; карточка рекомендует оценивать точность и безопасность перед применением. Лицензия — BSD 3-Clause.

ayanami-kitasan/code-pruner — модель SWE-Pruner для адаптивного сокращения контекста в агентных задачах программирования. Она дообучена на базе Qwen/Qwen3-Reranker-0.6B и использует архитектуру SwePrunerForCodeCompression с облегчённым нейросетевым модулем, который отбирает важные строки кода с учётом цели, заданной агентом. Модель предназначена для отбора релевантных частей длинного контекста, чтобы уменьшать расход токенов и задержку у кодовых агентов. В README сообщается о сокращении контекста на 23–54% в задачах SWE-Bench Verified и сжатии до 14,84 раза в LongCodeQA при минимальном влиянии на качество. Репозиторий содержит веса Safetensors и использует библиотеку Transformers; лицензия — MIT. В README отмечено, что самостоятельное использование исходной модели может быть сложным из-за изменённой двухголовой архитектуры и кода головы сжатия; авторы рекомендуют версию, опубликованную на GitHub. Метаданные относят модель к token classification, однако отдельный готовый pipeline и инструкции по интеграции в карточке не описаны.

CodeSage Base — открытая модель для получения векторных представлений исходного кода, представленная авторами работы «Code Representation Learning At Scale». Это энкодерная модель семейства CodeSage с 453 млн параметров; README описывает извлечение эмбеддингов размерностью 1024, а метаданные указывают библиотеку Transformers и формат PyTorch. Модель обучена на данных The Stack и предназначена для задач понимания кода, включая поиск и классификацию. Модель поддерживает девять языков программирования: C, C#, Go, Java, JavaScript, TypeScript, PHP, Python и Ruby. Максимальная длина контекста составляет 2048 токенов. Лицензия — Apache-2.0. README также упоминает CodeSage V2 как более позднее семейство с улучшенными результатами и гибкими размерами эмбеддингов; приведённые характеристики относятся к этому базовому чекпойнту.

Это порт модели Cohere Transcribe Arabic от CohereLabs в формат OpenVINO, подготовленный для запуска распознавания речи на Intel NPU. Базовая модель содержит 2 млрд параметров и предназначена для транскрибации арабской, диалектной и английской речи. В комплект входят варианты FP16 и INT8 для Conformer-энкодера и декодера, декодер с кэшем KV и NumPy-раннер для инференса без PyTorch. Для INT8-пайплайна с кэшем KV автор приводит результат 9,03% WER на 150 арабских аудиозаписях FLEURS; разница с исходной моделью на GPU составила 0,07 процентного пункта. На Intel Core Ultra 7 255H указана скорость обработки примерно в 3,5 раза выше реального времени. Порт также поддерживает запуск на других устройствах OpenVINO, но INT8-энкодер не компилируется CPU-плагином; для CPU рекомендуется FP16. Лицензия — Apache 2.0, как у базовой модели.

ConvFormer S36 — сверточная модель семейства MetaFormer для классификации изображений и извлечения визуальных признаков. Модель предварительно обучена авторами статьи на ImageNet-22k, а затем дообучена на ImageNet-1k. Веса доступны в формате PyTorch и safetensors; модель предназначена для использования через библиотеку timm. Модель содержит около 40 млн параметров, обрабатывает изображения размером 224 × 224 и требует примерно 7,7 GMACs на проход. Её можно применять для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Лицензия — Apache-2.0.

Это модель классификации изображений ConvNeXt Base, разработанная Ross Wightman в библиотеке timm. Визуальная часть CLIP предварительно обучена в OpenCLIP на данных LAION-Aesthetic, после чего модель дообучена на ImageNet-1k. Модель содержит 88,6 млн параметров и рассчитана на изображения размером 384 × 384. Помимо классификации, её можно использовать как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. В карточке приведены результаты на ImageNet-1k: top-1 точность 85,8% и top-5 точность 97,9%. Модель предназначена для задач компьютерного зрения общего назначения, включая распознавание объектов на изображениях и получение визуальных признаков для последующих систем. Репозиторий содержит веса PyTorch и Safetensors; лицензия — Apache-2.0. Ограничение входного размера и стоимость вычислений следует учитывать при обработке больших потоков изображений.

Это модель компьютерного зрения на архитектуре ConvNeXt Large MLP, разработанная Ross Wightman. Веса визуального энкодера CLIP предварительно обучены OpenCLIP на наборе LAION-2B, затем модель дообучена для классификации изображений на ImageNet-12k. Она предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Модель содержит около 216,8 млн параметров и рассчитана на входные изображения размером 384 × 384 пикселя. Её визуальные представления можно использовать как основу для переноса обучения и других задач компьютерного зрения. Карточка приводит сравнительные метрики классификации, но не раскрывает численные результаты именно этой модели. Лицензия — Apache-2.0.

convnext_nano.in12k_ft_in1k — модель классификации изображений на архитектуре ConvNeXt из библиотеки timm. Её обучил Росс Уайтман: предварительно на подмножестве ImageNet-12k из 11 821 класса, затем дообучил на ImageNet-1k. Модель содержит 15,6 млн параметров и предназначена также для извлечения признаковых карт и эмбеддингов изображений. Модель подходит для классификации изображений по категориям ImageNet и как компактная визуальная основа для задач, которым нужны признаки изображений. В карточке приведены размеры изображений 224×224 для обучения и 288×288 для тестирования. Репозиторий содержит веса PyTorch и Safetensors и использует библиотеку timm. Лицензия — Apache-2.0.

convnext_pico_ols.d1_in1k — компактная свёрточная модель классификации изображений из семейства ConvNeXt. Её обучил Ross Wightman с помощью библиотеки timm на ImageNet-1k; модель содержит 9,1 млн параметров и предназначена также для использования в качестве основы извлечения признаков и получения эмбеддингов изображений. Модель принимает изображения: для обучения использовался размер 224 × 224 пикселя, для тестирования — 288 × 288. Она предсказывает классы объектов из ImageNet-1k. В README также приведены сценарии извлечения карт признаков и эмбеддингов; вычислительная сложность указана как 1,4 GMACs. Модель распространяется по лицензии Apache-2.0. Её обучение и описание ориентированы на ImageNet-1k, поэтому пригодность для других наборов классов и типов изображений зависит от задачи и может потребовать дообучения.

ConvNeXt-V2 Huge — модель компьютерного зрения семейства ConvNeXt-V2 из библиотеки timm, предназначенная для классификации изображений и использования в качестве визуального backbone. Она прошла предобучение методом FCMAE, а затем дообучение на ImageNet-22k и ImageNet-1k. Модель содержит около 660,3 млн параметров и рассчитана на изображения размером 512 × 512 пикселей. Модель можно применять для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. В сравнении timm для ImageNet-1k указаны точность top-1 88,848% и top-5 98,742%; вычислительная сложность составляет около 600,8 GMACs. Репозиторий содержит веса PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

cs3sedarknetl.c2ns_in1k — сверточная модель классификации изображений из библиотеки timm, обученная на ImageNet-1k. Архитектура CS3-SE-DarkNet сочетает блоки Cross-Stage-Partial с тремя свёртками и канальное внимание Squeeze-and-Excitation; её также можно использовать как основу для извлечения признаков и эмбеддингов изображений. Модель содержит 21,9 млн параметров и требует 4,9 GMACs на обработку изображения. Размер изображения при обучении — 256 × 256 пикселей, при тестировании — 288 × 288. В README описана процедура обучения на основе рецептов ResNet Strikes Back с оптимизатором SGD с Nesterov, адаптивным отсечением градиентов и косинусным расписанием скорости обучения. Вариант ns обучался без stochastic depth. Модель предназначена для классификации изображений общего назначения и извлечения визуальных признаков. В метаданных указана лицензия Apache-2.0. Карточка не сообщает о поддержке текстовых или иных языковых входов.

cupidon-mini-ro — компактная модель Sentence Transformers, дообученная на базе sentence-transformers/all-MiniLM-L6-v2 для кодирования предложений на румынском языке в плотные семантические векторы. Она предназначена для поиска по смыслу, сравнения текстов и кластеризации, в том числе для задач оценки семантического сходства предложений (STS). Модель содержит 25,9 млн параметров, имеет контекст до 512 токенов и доступна в форматах Safetensors, ONNX и OpenVINO; для использования через Transformers требуется применять pooling к контекстным эмбеддингам токенов. Компактный размер около 90 МБ и ориентация на румынский язык подходят для эффективного локального извлечения эмбеддингов. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов бенчмарков, поэтому качество для конкретной задачи следует оценивать на собственных данных.

Curie-7B-v1 — польскоязычная языковая модель, разработанная Сzymon Ruciński. Это плотная авторегрессионная модель семейства Mistral на 7,1 млрд параметров, рассчитанная на генерацию текста. Авторы адаптировали англоязычную базовую модель к польскому языку с помощью Language Adaptive Pre-training на корпусе SpeakLeash объёмом около 276 млн польских токенов, а затем дообучили её на задачах KLEJ. Контекст модели — до 32 768 токенов. Модель предназначена для генерации польского текста и может служить основой для польскоязычных ассистентов и решений NLP; результаты KLEJ показывают близкие к сильным базовым моделям показатели на восьми из девяти задач. В README также описана низкая perplexity 3,02 среди декодерных моделей. Это исследовательская разработка, опубликованная под лицензией Apache-2.0. Карточка не приводит конкретных оценок безопасности или эксплуатационных ограничений.

v2ray/dbrx-base-fixed — перезагрузка DBRX Base с исправлениями кода реализации, подготовленная автором репозитория. Исправления устраняют ошибки при обучении с gradient checkpointing и высокое потребление видеопамяти при обратном распространении через MLP; веса экспертов MoE разделены на отдельные тензоры. Это декодерный трансформер для предсказания следующего токена с архитектурой fine-grained mixture-of-experts: 132 млрд параметров всего, 36 млрд активных на входе, из 16 экспертов выбираются 4. Модель принимает и генерирует текст, поддерживает контекст до 32 768 токенов и работает через Transformers с весами safetensors. Чекпойнт предназначен для продолжения текста на английском языке и генерации кода; он не прошёл instruction fine-tuning и не рассчитан на интерактивный диалог. Обучение проводилось на 12 трлн токенов текста и кода; большинство данных было на английском, а знания модели ограничены декабрём 2023 года. Разработчик — Databricks. Указана лицензия Databricks Open Model License с отдельной Acceptable Use Policy; для коммерческого или исследовательского применения следует соблюдать их условия.