II.8Инженерия данных и аналитика

ERNIE-Gram-zh — китайская языковая модель семейства ERNIE-Gram, представленная в виде PyTorch-чекпойнта для извлечения признаков и задач понимания естественного языка. Архитектура основана на BERT: 12 слоёв, размер скрытого состояния 768 и 12 голов внимания; всего 127,1 млн параметров, контекст — до 512 токенов. Модель предназначена для получения контекстных представлений китайского текста, которые можно использовать в прикладных системах понимания языка. Чекпойнт преобразован из официально выпущенной модели ERNIE на PaddlePaddle в PyTorch; автор README сообщает о проверках точности преобразования. Лицензия в предоставленных источниках не указана.

FabGemma-12B — дообученная модель naazimsnh02 на базе Google Gemma 4 12B Instruct. Это плотная трансформерная модель для генерации текста, настроенная на многошаговое планирование задач, агентное программирование и отладку. Для обучения применялся supervised fine-tuning на трассах работы кодовых агентов; LoRA-адаптация затронула около 2,15% параметров и была объединена с основными весами. Репозиторий содержит веса safetensors, модель работает через Transformers и сохраняет контекстное окно базовой модели до 256 тысяч токенов. Модель предназначена для помощи в разработке: анализа ошибок, планирования действий при работе с кодом и использования инструментов в агентных сценариях. Карточка сообщает о тестировании на 100 отложенных трассах, но эти результаты не гарантируют качество в других задачах. По данным README, дообучение ориентировано преимущественно на английские сценарии; возможности обработки изображений и аудио не адаптировались, а общефактические ответы могут быть слабее ответов по инженерным задачам. Выводы с кодом следует проверять перед запуском. Модель обозначена разработчиком как экспериментальная. Лицензия указана как Gemma; перед использованием следует учитывать её условия и проверить применимость условий лицензии датасета AGPL-3.0 к конкретному сценарию.

FaMiniLM — компактный энкодер предложений на базе Sentence Transformers, разработанный в рамках исследования MetaRAG и WikiFaQA. Модель дообучена авторами на наборе PersianSimilarSentences, чтобы сформировать способность представлять персидские тексты в семантическом пространстве; базовая all-MiniLM-L6-v2 изначально не знала персидского языка. Модель кодирует предложения и абзацы в плотные векторы размерности 384 и использует mean pooling, нормализацию и косинусное сходство. Она предназначена для семантического поиска, сравнения предложений, поиска парафразов, кластеризации и классификации текста. Метаданные указывают 25,9 млн параметров и контекст до 512 токенов; карточка модели задаёт максимальную длину последовательности 256 токенов. Веса опубликованы в формате safetensors, библиотека — sentence-transformers. FaMiniLM ориентирована прежде всего на персидский язык и может быть полезна для семантического поиска и RAG по персидским текстам. Лицензия — MIT. Как и другие энкодеры предложений, модель выдаёт векторы, а не готовые ответы; качество на языках, отличных от персидского, и на текстах за пределами обучающего домена может быть ограниченным.

Карточка модели Rqwannn/grounded-bbox-base на Hugging Face совпадает с карточкой IDEA-Research/grounding-dino-base, поэтому описание составлено по ней. Grounding DINO Base — модель обнаружения объектов с открытым набором классов, представленная авторами исследования «Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection». Архитектура Grounding DINO объединяет детектор объектов DINO с текстовым энкодером, чтобы находить на изображении объекты, соответствующие текстовым описаниям или названиям классов. Модель предназначена для обнаружения объектов без заранее размеченных примеров для каждого класса. Её можно использовать для поиска объектов по текстовому запросу и zero-shot-детекции; в README сообщается результат 52,5 AP на COCO в режиме zero-shot. Репозиторий содержит веса PyTorch и safetensors. Модель принимает изображение и текстовый запрос, а выдаёт координаты обнаруженных объектов и оценки уверенности. Карточка не приводит сведения о поддерживаемых естественных языках или ограничениях качества по типам изображений. Лицензия — Apache-2.0.

HTML-Pruner-Phi-3.8B — дообученная Microsoft Phi-3.5-mini-instruct модель, выпущенная авторами HtmlRAG для сокращения HTML-контекста в системах поиска с дополненной генерацией (RAG). В двухэтапном процессе HtmlRAG модель используется на этапе генеративного отбора блоков HTML после предварительного ранжирования блоков моделью эмбеддингов; перед этим HTML очищается от нерелевантного содержимого и избыточных структур. Модель построена на архитектуре Phi-3, содержит 3,7 млрд параметров и принимает текст; её контекст составляет 4096 токенов. В карточке указана поддержка английского языка. Модель предназначена для подготовки HTML-результатов поиска к передаче языковой модели, чтобы сохранить полезное содержимое и уменьшить объём контекста для последующей генерации ответов. Модель распространяется по лицензии Apache-2.0. Её специализированная задача — генеративное прореживание HTML-блоков; качество может зависеть от структуры и длины исходных страниц и от настроек этапов очистки и отбора.

Это дообученная модель Whisper, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; карточка указывает хинди в названии модели, а базовая модель каталога имеет подтверждённую поддержку хинди. Модель реализована как WhisperForConditionalGeneration и распространяется в формате safetensors. В README приведены результаты оценки: loss 0.5186 и Global WER 26.4368. Описание набора данных, условия оценки и подробные сценарии применения в карточке не раскрыты, поэтому результаты нельзя переносить на другие данные без проверки. Лицензия — MIT.

Это дообученная модель Whisper, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; карточка сообщает о дообучении на наборе данных, обозначенном как None. На оценочном наборе указаны loss 0,5552 и Global WER 22,7742. Модель использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors через библиотеку Transformers. Метаданные базовой модели подтверждают поддержку хинди. Лицензия — MIT. Карточка не описывает дополнительные ограничения или сценарии использования.

KBevo-Qwen3-4B-GRPO — финальный чекпойнт модели KBevo от Kilian Group, созданный для исследования Co-Evolving Structured Knowledge and Reasoning in Language Models и представленный на COLM 2026. Это плотная авторегрессионная модель семейства Qwen3 с 3,7 млрд параметров, дообученная методом GRPO на базе KBevo-Qwen3-4B-SFT; заявленный базовый контекст — 40 960 токенов. Модель рассчитана на двухэтапные задачи: извлечение из набора текстовых фрагментов компактной базы знаний в виде типизированных троек «сущность — отношение — значение», затем ответы на вопросы через типизированный поиск по этой базе. Обучение GRPO оптимизировало совместную политику на сквозном вознаграждении answer-F1 для HotpotQA. Модель предназначена для оценки и воспроизведения подхода KBevo, в том числе на многопереходных вопросах; для полноценного двухэтапного инференса авторы рекомендуют использовать эталонную реализацию KBevo. Карточка приводит результаты на HotpotQA, MuSiQue, 2WikiMultiHopQA и PopQA, но не сообщает показатели данного чекпойнта во всех строках таблицы. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

kstunlp/kstu-asr — модель автоматического распознавания кыргызской речи, созданная KSTU NLP как полное дообучение facebook/mms-1b-all. Это модель на базе Wav2Vec2 с архитектурой CTC и примерно 1 млрд параметров; она принимает аудио и выдаёт распознанный текст на кыргызском языке. Для декодирования в примере используется жадный CTC-декодер с целевым языком kir. Модель обучали на кыргызских речевых данных KSTU NLP, Common Voice 21 и FLEURS-ky, дополнив их синтетическими данными. В приведённых испытаниях она показала WER 12,93% на тестовой выборке FLEURS-ky и 16,17% на отдельной разговорной выборке; эти результаты относятся к описанным наборам и нормализации текста. Для использования указаны Transformers и аудио 16 кГц, моно. Лицензия в метаданных обозначена как other, поэтому конкретные условия распространения следует сверить с репозиторием.

LateOn-hpool-regularized — англоязычная модель поиска LightOn в стиле ColBERT, обученная с помощью PyLate на основе семейства LateOn и ModernBERT-base. Она кодирует запросы и документы в многовекторные представления и сопоставляет их с помощью MaxSim; для документов применяется иерархический пулинг, сокращающий число хранимых векторов. Модель предназначена для семантического поиска по длинным документам, когда важно уменьшить размер индекса без существенной потери качества. Она обучена с несколькими бюджетами пулинга от 4 до 300 токенов, поэтому степень сжатия можно выбрать при использовании; авторы сообщают о сохранении 98,7% качества при бюджете 32 токена, примерно в пять раз меньшем, чем исходное представление. Полная длина документа при обучении — 300 токенов, запроса — 32; выходная размерность — 128, контекст — до 8192 токенов. Модель рассчитана на английский язык. В README приведены результаты на подмножестве наборов BEIR; они не гарантируют аналогичного качества на других коллекциях и языках. Репозиторий распространяется по лицензии Apache 2.0.

Laya-English-MXFP8 — квантованный англоязычный энкодер ModernBERT-large, подготовленный для MLX на Apple Silicon и опубликованный как часть проекта ConvAI Innovations Laya. Репозиторий содержит только двунаправленную энкодерную основу примерно на 394,7 млн параметров; отдельная голова принятия решений Laya сюда не включена. В отличие от генеративной языковой модели, энкодер извлекает признаки из текста и сам не генерирует ответы. Модель подходит для получения текстовых представлений и построения собственных MLX-классификаторов или других небольших голов поверх энкодера. В README указана MXFP8-квантизация и проверка совместимости с исходным энкодером; метаданные указывают контекст 8192 токена. Репозиторий не сообщает лицензию, поэтому условия использования по имеющимся сведениям определить нельзя.

mesolitica выпустила текстовую embedding-модель на базе Llama 2 для получения векторных представлений текста. Модель содержит 1,7 млрд параметров и распространяется в формате safetensors. Обучение проводилось на малайскоязычных текстах с контрастивной функцией потерь и последовательностями до 8 тысяч токенов; при инференсе заявлена возможность работы с контекстом до 32 768 токенов. Модель предназначена для извлечения признаков и построения эмбеддингов, например для поиска и сравнения текстов на малайском языке. В README приведён пример результата размером 12 × 1536. Лицензия в предоставленных данных не указана.

Apollo Raines представляет Llama-3.1-8B-Instruct-Uncensored-Complete — вариант Llama-3.1-8B-Instruct, изменённый инструментом jBlaze. По README, модель создана без дополнительного обучения: поведенческие изменения внесены непосредственно в веса. Это плотная авторегрессионная языковая модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она принимает текст и генерирует текст; метаданные указывают контекст до 131 072 токенов и английский язык. Модель предназначена для диалогов и генерации ответов, включая прямые ответы без обычных отказов и оговорок. Примеры в карточке показывают ответы на общие вопросы, простые вычисления, написание кода и практические инструкции. В README заявлено подавление многословности, уклончивости, токсичности и отказов; это описание поведения автора, а не независимая оценка качества. Карточка сообщает, что известных проблем не наблюдалось, но не приводит результатов систематической оценки. Модель распространяется в формате safetensors и использует лицензию Llama 3.1 (llama3.1).

Groq Llama-3-Groq-8B-Tool-Use — языковая модель, разработанная Groq на основе Meta Llama 3 8B и дообученная полным fine-tuning и Direct Preference Optimization (DPO) для вызова инструментов и функций. Это плотный авторегрессионный трансформер с 7,5 млрд параметров; он принимает и генерирует текст, поддерживает диалог и рассчитан прежде всего на английский язык. Длина контекста — 8192 токена. Модель предназначена для сценариев, где языковая модель выбирает инструменты и формирует структурированные вызовы: взаимодействия с API, манипуляции структурированными данными и многошаговое использование инструментов. В README приведён результат 89,06% на Berkeley Function Calling Leaderboard; это заявленный разработчиком показатель. Для общих вопросов и открытой генерации автор рекомендует выбирать универсальную модель. Качество может зависеть от настроек sampling, а ответы могут быть неточными или предвзятыми. Модель распространяется по лицензии Meta Llama 3 Community License; перед использованием необходимо учитывать её условия и ограничения.

hiieu дообучил Meta-Llama-3-8B-Instruct для вызова функций и генерации ответов в формате JSON. Модель построена на архитектуре Llama и содержит 7,5 млрд параметров; она принимает текст и генерирует текст. Контекст — до 8192 токенов. Карточка демонстрирует двухэтапный сценарий вызова функций, где модель сначала формирует вызов, а затем обрабатывает результат.

EuroEval/mmBERT-small-multi-wiki-qa-synthetic-hallucinations-with-ragtruth-ro — модель на базе архитектуры ModernBERT для token classification, опубликованная в библиотеке Transformers. Название указывает на настройку для выявления синтетических галлюцинаций в сценариях вопросов и ответов по документам, связанных с RAGTruth и многовикипедийными данными. Модель содержит около 140,5 млн параметров и поддерживает контекст до 8192 токенов. Её можно применять для классификации отдельных токенов или фрагментов текста при анализе достоверности ответов и обнаружении потенциально галлюцинирующих участков. Сведения о разработчике, лицензии, языках, результатах оценки и точной схеме меток в предоставленной карточке отсутствуют.

Это дообученная модель распознавания речи на архитектуре wav2vec2, основанная на facebook/mms-1b-all. Она обучена на наборе BEMGEN - BEM и предназначена для преобразования аудио в текст. В карточке приведены результаты оценки на тестовом наборе: loss 12.7139 и CER 0.0530. Модель содержит 1,3 млрд параметров, использует формат safetensors и библиотеку Transformers. Базовая модель поддерживает более тысячи языков, однако языковая поддержка именно этого дообучения в карточке не уточнена. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

MyAwesomeModel — модель на базе архитектуры BERT, доступная через библиотеку Transformers и предназначенная для извлечения признаков из входных данных. В метаданных Hugging Face для неё указан pipeline-тег feature-extraction, поэтому модель может использоваться для получения векторных представлений текста в прикладных системах машинного обучения. Модель опубликована в репозитории dfsfsdg5657/MyAwesomeModel-TestRepo. README также заявляет о возможностях рассуждения, генерации кода, ответов на вопросы, классификации и диалогов, однако эти сведения не согласуются с указанным pipeline-тегом feature-extraction и не содержат проверяемых технических характеристик модели. Размер, поддерживаемые естественные языки и длина контекста не указаны. Лицензия модели — MIT.

Pretergeek/OpenChat-3.5-0106_8.11B_36Layers-Appended — диалоговая языковая модель на архитектуре Mistral, созданная на основе openchat/openchat-3.5-0106. Разработчик добавил новые слои в конец модели методом passthrough merge с применением идеи расширения блоков из работы LLaMA Pro; README сообщает, что после этого модель не проходила дополнительное обучение. В карточке Hugging Face указаны 8 млрд параметров и контекст 8192 токена. Модель предназначена для генерации текста в диалоге и может использоваться для ответов на общие вопросы, программирования и математических рассуждений — эти сценарии унаследованы от базовой модели OpenChat. Поскольку новые слои не обучались, автор ожидает поведение, близкое к исходной модели; улучшение рассуждений описано как гипотеза, а не подтверждённый результат. Модель распространяется по лицензии Apache-2.0. В README приведены результаты оценивания, но они сами по себе не подтверждают заявленное улучшение качества после добавления слоёв.

OpenR1-Distill-7B — языковая модель с 7,1 млрд параметров, разработанная командой Open-R1 на основе Qwen2.5-Math-7B с расширенной частотой RoPE. Модель дообучена методом supervised fine-tuning на Mixture-of-Thoughts — наборе из 350 тысяч проверенных цепочек рассуждений, дистиллированных из DeepSeek-R1. Архитектура — плотная Qwen2, модель для генерации текста с поддержкой диалогового режима и контекстом до 32 768 токенов. Модель предназначена для пошаговых рассуждений на английском языке в задачах математики, программирования и науки, а также для исследований вычислений на этапе вывода и обучения с проверяемыми вознаграждениями. В опубликованных оценках указаны результаты на AIME 2024, MATH-500, GPQA Diamond и LiveCodeBench; сравнение зависит от протокола выборки ответов. Модель распространяется под лицензией Apache 2.0. Она ориентирована прежде всего на английский язык, а результаты в бенчмарках не гарантируют точность на произвольных запросах; для задач, требующих достоверных ответов, выводы следует проверять.

Ouro-1.4B-Thinking-depth-SFT — дообученная разговорная языковая модель примерно с 1,3 млрд параметров, основанная на ByteDance/Ouro-1.4B-Thinking. Она использует плотную архитектуру Ouro для генерации текста и ответов с рассуждениями; карточка задаёт параметр глубины DEPTH=16. Модель рассчитана на диалоги и задачи, где полезны пошаговые рассуждения, включая математику, науку и код. Она принимает текст и выдаёт текст, поддерживает контекст до 65 536 токенов и предназначена для использования через Transformers. Модель опубликована под лицензией Apache-2.0. Доступная карточка содержит мало сведений о данных и результатах обучения, поэтому качество на конкретных задачах и языках по ней оценить нельзя.

Модель ctaguchi/parakeet-hf-ctc-110m-en — англоязычная модель автоматического распознавания речи семейства Parakeet, преобразованная из nvidia/parakeet-tdt_ctc-110m в формат Transformers для Hugging Face. Она принимает аудио и преобразует речь в текст, поэтому подходит для транскрибирования англоязычных записей и интеграции распознавания речи в приложения на базе Transformers. Модель использует архитектуру CTC ParakeetForCTC и распространяется в формате safetensors. Лицензия — CC BY 4.0. Карточка указывает на преобразование формата; сведений о размере модели и поддерживаемой длине аудио в доступных данных нет.

Это конвертированная в формат Hugging Face Transformers версия англоязычной модели NVIDIA Parakeet-TDT 0.6B v2 для транскрибации речи. Автор репозитория сообщает, что веса взяты из официального чекпойнта NeMo и сверены с эталонной реализацией; для корректной работы конвертации внесены исправления скрипта, включая поправку идентификатора blank-токена. Архитектура — Parakeet TDT с плотными весами; модель использует 128-мел-спектральный вход и словарь размером 1025 идентификаторов. Модель принимает аудио и выдаёт текстовую расшифровку на английском языке. Она предназначена для распознавания речи и транскрибации записей; в README отмечена как сильная модель семейства Parakeet для английской транскрибации. Репозиторий содержит веса Safetensors и рассчитан на использование через Transformers. Лицензия — CC-BY-4.0. Качество зависит от разборчивости речи и условий записи. Модель ориентирована на английский язык, поэтому её не следует считать мультиязычной; README также описывает конвертацию и проверку, но не устанавливает универсальных гарантий производительности на разных устройствах.

failspy/Phi-3-medium-4k-instruct-abliterated-v3 — доработанная модель Microsoft Phi-3 Medium Instruct, созданная автором failspy. Веса bfloat16 обработаны ортогонализацией, чтобы ослабить склонность модели отказываться отвечать на запросы. Это плотная авторегрессионная языковая модель на 13,8 млрд параметров с контекстом 4096 токенов; репозиторий содержит веса Safetensors. Модель предназначена для диалоговой генерации текста и кода, в том числе для запросов, на которые исходная модель могла бы отказать. Автор сообщает, что сохранены остальные свойства исходной модели, однако результат может зависеть от запроса и не гарантирует отсутствия отказов. Модель в целом стабильна по оценке автора, но склонна к галлюцинациям сильнее оригинала; методика также может иметь побочные эффекты. Лицензия — MIT. Автор указывает, что модель проверялась на галлюцинации, но не приводит результаты количественной оценки. В карточке языки обозначены только как multilingual, поэтому конкретные поддерживаемые языки и основной язык не уточняются.

PowerLM-3B — компактная языковая модель от IBM Research с архитектурой Granite и 3,5 млрд параметров. Она обучена с планировщиком скорости обучения Power и на смеси открытых и проприетарных наборов данных. Модель предназначена для генерации текста и демонстрирует результаты в задачах выбора ответа на естественном языке, генерации кода и математических рассуждений. Контекст составляет 4096 токенов. Для запуска используется библиотека Transformers; README отмечает, что требуется её версия из исходного кода. Модель распространяется по лицензии Apache 2.0. Карточка сообщает о перспективных результатах на бенчмарках, но не приводит их численные значения; пригодность для конкретных задач следует оценивать отдельно.

Небольшая инструкционная языковая модель семейства Qwen2.5-Coder с 494 млн параметров, опубликованная пользователем seeib на Hugging Face. Модель предназначена для генерации текста и ориентирована на сценарии, связанные с программированием и выполнением инструкций; в метаданных также указана связь с экспериментами Gensyn/GenRL Swarm и GRPO. Для работы используется библиотека Transformers, поддерживается контекст до 32 768 токенов.

Qwen3.6-27B-A3B-CoderX-MTP-GGUF — GGUF-квантизированная версия модели CoderX, разработанная ManniX-ITA на основе Qwen3.6-35B-A3B от Qwen. Это разреженная MoE-модель для генерации и анализа кода, ориентированная прежде всего на многошаговые задачи программирования, включая competitive programming, а также краткие завершения кода на нескольких языках. Модель поддерживает reasoning и MTP; точный размер контекстного окна и полный набор языков в карточке не указаны, но приведены результаты для Rust, Java и JavaScript. Архитектура обозначена как Qwen3.5-MoE, общий объём параметров составляет 25,60 млрд, из которых активно используется около 3 млрд. В исходной архитектуре было 256 экспертов, после pruning осталось 184; применяется маршрутизация top-8. Доступны варианты от F16 до низкобитных Q- и I-квантизаций, включая Q4_K_M с imatrix, используемую как стандартную в Ollama. Сильная сторона модели — многошаговое решение задач программирования: на LiveCodeBench v6 она получила 0,727, на HumanEval+ — 0,970. На MultiPL-E результат составил 0,887 и статистически близок к sibling-модели Coder, однако уступает исходной модели Qwen3.6-35B-A3B; по языкам наблюдается преимущество в Rust при более слабом результате в JavaScript. Непрограммный профиль, включая математические, научные, многоязычные и другие задачи, полноценно не измерялся, поэтому качество за пределами кода неизвестно. Модель не является безусловным улучшением Coder и должна выбираться под конкретный рабочий сценарий. Модель распространяется под лицензией Apache-2.0. Для запуска требуется совместимое ПО с поддержкой GGUF, например llama.cpp или Ollama; необходимый объём памяти зависит от выбранной квантизации и составляет примерно от 7,64 GiB для IQ2_XS до 48,87 GiB для F16.

resnet50x4_clip.openai — модель CLIP с визуальным энкодером ResNet-50x4, распространяемая PyTorch Image Models (timm) в формате OpenCLIP. Она сопоставляет изображения и текстовые описания в общем пространстве признаков; модель предназначена, в частности, для классификации изображений по произвольным текстовым меткам без отдельного обучения на этих метках. Веса содержат 87,2 млн параметров и доступны в формате safetensors с точностью F32. Модель принимает изображения и текстовые запросы, а для классификации оценивает соответствие изображения предложенным описаниям. Её можно применять для поиска изображений по тексту и извлечения совместимых визуальных и текстовых признаков. Для загрузки предусмотрена библиотека OpenCLIP. Указанная лицензия репозитория — MIT; в доступных сведениях не приведены длина контекста или перечень поддерживаемых языков.

camidenecken/RM2-RoBERTa-rm-v3-SBERT-v2_7 — модель sentence-transformers на архитектуре RoBERTa, обученная Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости, семантического поиска и кластеризации. Модель содержит 151,8 млн параметров, принимает текст и имеет контекст до 514 токенов. В README версия помечена как устаревшая: качество векторных представлений низкое, поэтому для новых систем рекомендуется выбрать более качественную модель эмбеддингов. Распространяется по лицензии Apache-2.0.

sentence-embeddings-xllora-mmbert-ind — модель векторных представлений предложений на индонезийском языке, разработанная на основе mmBERT и дообученная методом XL-LoRA для обучения представлениям предложений в условиях нехватки языковых ресурсов. Она подходит для оценки семантического сходства, поиска похожих предложений, извлечения предложений по смыслу и кластеризации. Модель основана на архитектуре ModernBERT и содержит 306,9 млн параметров; для построения эмбеддингов объединяются первый и последний скрытые слои с равными весами, после чего применяется усреднение по токенам. Контекст — до 8192 токенов. Для воспроизведения результатов статьи следует использовать описанный способ pooling; стандартное усреднение по токенам тоже доступно, но может дать немного отличающиеся результаты. Модель ориентирована на индонезийский язык и исследования NLP для языков с ограниченными ресурсами. Лицензия — MIT.