II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейКарточка модели Gnartiel/vietnamese-sbert на Hugging Face совпадает с карточкой keepitreal/vietnamese-sbert, поэтому описание составлено по ней. keepitreal/vietnamese-sbert — модель Sentence-Transformers на архитектуре RoBERTa, содержащая 162,4 млн параметров. Она преобразует предложения и абзацы на вьетнамском языке в плотные векторы размерностью 768 для сравнения семантической близости, поиска и кластеризации. Модель принимает текст и выдаёт эмбеддинги; её контекст ограничен 258 токенами. Модель подходит для семантического поиска по вьетнамским текстам, группировки похожих предложений и оценки их смыслового сходства. В README указано обучение с CosineSimilarityLoss. Доступные файлы представлены в формате PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.
aconeil/w2v2-lmk_updated — модель автоматического распознавания речи на архитектуре wav2vec 2.0, дообученная на базе facebook/wav2vec2-large-xlsr-53. Она предназначена для преобразования аудиозаписей речи в текст. Модель содержит 402,7 млн параметров и использует архитектуру Wav2Vec2ForCTC. В README приведены результаты на оценочном наборе: WER 0,5749 и CER 0,2049. Для обучения использован набор данных audiofolder. Модель распространяется в формате safetensors по лицензии Apache-2.0. Язык распознавания и подробные ограничения в карточке не описаны.
Wav2Vec2-Base-VoxPopuli-Finetuned — модель распознавания речи, разработанная Facebook AI. Она основана на Wav2Vec2 Base: предварительно обучена на 10 тысячах неразмеченных примеров корпуса VoxPopuli, затем дообучена на транскрибированных испанских аудиозаписях. Архитектура — Wav2Vec2ForCTC, размер — 113,3 млн параметров; модель принимает аудио и преобразует речь в текст на испанском языке. Модель предназначена для автоматической транскрипции испанской речи, в том числе аудиозаписей, похожих на данные VoxPopuli. Репозиторий содержит веса PyTorch. Лицензия CC BY-NC 4.0 требует указания авторства и не разрешает коммерческое использование.
tomascufaro/wav2vec2-large-xls-r-300m-spanish-small-v3 — дообученная модель распознавания речи на базе jhonparra18/wav2vec2-large-xls-r-300m-spanish-custom. Она использует архитектуру wav2vec2 с классификационной головой CTC и предназначена для преобразования испанской речи в текст. Модель обучалась на Common Voice; в карточке указаны значения Loss 0,3986 и WER 0,1980 на наборе оценки. Репозиторий содержит веса PyTorch и насчитывает около 402,7 млн параметров. Лицензия в доступных данных не указана.
burakaydinofficial/whisper-base-cv11 — это мультиязычная модель распознавания речи, созданная дообучением стандартной архитектуры OpenAI Whisper Base на корпусе Whispered с лицензией CC0. Модель содержит 51,7 млн параметров и предназначена для преобразования речи в аудио в текст; она работает через библиотеку Transformers без пользовательского кода. Модель служит контрольной точкой для сравнения с вариантом whisper-base-mla-cv11, в котором изменена архитектура внимания. В карточке приведены результаты оценки на CommonVoice-17 для английского, немецкого и испанского языков; обучение проводилось на данных для чтения речи, энкодер был заморожен. Поддерживаются английский, немецкий, испанский, французский, русский, турецкий, валлийский, арабский, грузинский, тайский и китайский языки. Контекстная длина в доступных данных не указана. Модель распространяется по лицензии Apache-2.0. Результаты могут немного отличаться при повторной оценке: в карточке отмечено, что контрольная финальная контрольная точка отличается от контрольной точки, выбранной по dev-набору.
deepdml/whisper-base-es-mix-norm — модель распознавания речи на основе Whisper Base от OpenAI, дообученная разработчиком deepdml. По метаданным, модель предназначена для преобразования аудио в текст и обучалась на наборах VoxForge, Common Voice, Basque Parliament, WorldSpeech, VoxPopuli, Fleurs и Multilingual LibriSpeech; README также сообщает о дообучении на Common Voice 17.0. Архитектура — WhisperForConditionalGeneration, веса опубликованы в формате safetensors и предназначены для использования с Transformers. На тестовом наборе из README указаны WER 12,4062 и CER 4,8335. Метаданные отмечают испанский язык, однако подробности о нормализации, поддержке отдельных языков и условиях оценки не раскрыты. Лицензия — Apache-2.0.
whisper-large-v2-gguf — это конвертация мультиязычной модели автоматического распознавания речи OpenAI Whisper large-v2 в формат GGUF для использования с transcribe.cpp. Модель разработана OpenAI, а сборки и конвертация опубликованы handy-computer. Она предназначена для расшифровки аудио, определения языка и перевода речи с поддерживаемых языков на английский текст. Модель использует архитектуру encoder-decoder Transformer и обрабатывает аудио окнами по 30 секунд с чанковой декодировкой длинных записей. Поддерживается широкий набор языков, включая русский, английский, немецкий, французский, испанский, китайский, японский и многие другие. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 997 МБ до 6,18 ГБ. Предусмотрены сегментные временные метки, но потоковая обработка не поддерживается. Сильные стороны модели — широкая языковая поддержка, распознавание, определение языка и перевод, а также несколько вариантов квантования для компромисса между качеством и требованиями к памяти. На тесте LibriSpeech test-clean заявленная WER составляет от 2,46% до 2,97% в зависимости от варианта, однако качество заметно различается между языками и наборами данных. Производительность зависит от оборудования и режима вычислений, а отсутствие streaming ограничивает применение в сценариях с минимальной задержкой. Модель распространяется по лицензии Apache-2.0.
burakaydinofficial/whisper-small-24lang — мультиязычная модель распознавания речи, созданная дообучением стандартной архитектуры OpenAI Whisper Small на 24 языках корпуса Whispered с лицензией CC0. Она предназначена для транскрибирования аудио и служит научным контрольным вариантом для сравнения с моделью, преобразованной из MHA в MLA. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и доступна в формате safetensors; она загружается через Transformers без trust_remote_code. Модель обучена для распознавания чтённой речи; в README приведены результаты оценки на CommonVoice-17, включая WER для английского, немецкого и испанского. Стандартную архитектуру Whisper можно конвертировать стандартными инструментами для faster-whisper, CTranslate2 и whisper.cpp. Для использования весов применяется лицензия Apache-2.0; обучающий корпус Whispered указан как CC0.
WizardDolphin-7B — языковая модель на 7,1 млрд параметров, созданная слиянием Mistral-7B-v0.1, Dolphin-2.6-Mistral-7B-DPO-Laser и WizardMath-7B-V1.1 методом TIES. Она использует плотную архитектуру Mistral и предназначена для генерации текста, диалогов и решения задач, сочетающих общие языковые и математические навыки. Модель поддерживает контекст до 32 768 токенов и распространяется в формате Safetensors. Модель может быть полезна для ответов на вопросы, ведения диалогов, объяснения математических решений и генерации текста. Карточка не сообщает о специальной настройке для конкретного языка, поэтому языковую поддержку нельзя уверенно уточнить. Лицензия — Apache-2.0.
AlexN/xls-r-300m-pt — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на португалоязычной части набора MOZILLA-FOUNDATION/COMMON_VOICE_8_0. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка сообщает результат WER 0,2382 на оценочной выборке. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.
zen4-coder-i1-GGUF — это набор GGUF-квантизированных версий модели zenlm/zen4-coder, подготовленный пользователем mradermacher. Модель предназначена прежде всего для генерации и обработки программного кода, а также для сценариев локального запуска через совместимые инструменты, поддерживающие формат GGUF. В метаданных указана поддержка английского языка и библиотека Transformers. Доступны варианты с различными типами и уровнями квантизации — от IQ1 и IQ2 до Q6_K — размером примерно от 16,3 до 65,6 ГБ. README не содержит сведений об архитектуре, общем числе параметров, длине контекста, точных возможностях программирования, результатах тестирования или поддерживаемых модальностях, поэтому эти характеристики нельзя определить достоверно. Варианты различаются компромиссом между размером, скоростью и качеством: наиболее компактные квантизации могут заметно терять в качестве, тогда как Q4_K_M отмечен как быстрый и рекомендуемый, а IQ-варианты часто предпочтительнее сопоставимых по размеру стандартных квантизаций. Модель подходит для локального инференса при наличии достаточного объёма оперативной или видеопамяти, причём требования зависят от выбранного файла. Ограничениями являются возможное ухудшение качества на низких уровнях квантизации и отсутствие подробных данных о базовой модели. В метаданных указана лицензия Apache-2.0; квантизации подготовлены mradermacher.
zpoint_large_embedding_zh — китайскоязычная модель эмбеддингов, опубликованная пользователем iampanda. Она предназначена для преобразования предложений в векторы, которые можно сравнивать по сходству; пример в карточке показывает сопоставление отзывов о товаре с противоположной тональностью. Модель построена на архитектуре BERT, содержит 424,3 млн параметров, работает с контекстом до 512 токенов и распространяется в форматах PyTorch и Safetensors через библиотеку sentence-transformers. Модель подходит для поиска семантически близких китайских текстов и сравнения предложений. Карточка указывает на обучение и приводит пример использования, однако подробно не описывает обучающие данные и качество на тестах. Лицензия MIT.
Arabic-STS-Matryoshka-V2 — арабоязычная модель Sentence Transformers, дообученная разработчиком на базе aubmindlab/bert-base-arabertv02 для получения векторных представлений предложений и абзацев. Она построена на BERT с усреднением токенных представлений и формирует эмбеддинги размерности 768; для сравнения текстов указана косинусная мера сходства. Модель предназначена для семантического поиска, оценки смыслового сходства и кластеризации арабских текстов. Поддерживаются Matryoshka-эмбеддинги: векторы можно сокращать до 512, 256, 128 или 64 измерений, чтобы уменьшить требования к хранению и вычислениям. Максимальная длина последовательности — 512 токенов. Модель работает только с арабским языком и принимает текст, выдавая векторы для сравнения и поиска. В README приведена оценка на арабской части MTEB STS17 с небольшим снижением качества при уменьшении размерности, но числовые результаты не указаны. Лицензия в предоставленных данных не приведена.
bofenghuang/asr-wav2vec2-ctc-french — модель автоматического распознавания французской речи, созданная дообучением LeBenchmark/wav2vec2-FR-7K-large. Она использует архитектуру wav2vec2 с CTC-головой и содержит 402,7 млн параметров. Модель обучали на составном наборе данных объёмом более 2200 часов: Common Voice 11.0, Multilingual LibriSpeech, Voxpopuli, Multilingual TEDx, MediaSpeech и African Accented French. Модель предназначена для преобразования французской речи в текст, в том числе для транскрибации аудиозаписей и оценки качества распознавания на французских речевых корпусах. Для входного аудио требуется частота дискретизации 16 кГц. Модель принимает аудио и выдаёт текст; поддерживаемый язык — французский. Модель распространяется в форматах PyTorch и Safetensors, для работы используется библиотека Transformers. Лицензия — Apache-2.0.
ASTRA-14B-Thinking-v1 — дообученная командой проекта ASTRA модель на базе Qwen/Qwen3-14B, предназначенная для многошаговых задач с использованием инструментов. Это плотная авторегрессионная языковая модель семейства Qwen3 на 14 млрд параметров; она поддерживает диалог и интерфейс вызова инструментов. Для обучения применялись supervised fine-tuning на траекториях работы с инструментами и многошаговое обучение с подкреплением по проверяемым наградам. Контекстное окно составляет 133 120 токенов. Модель рассчитана на планирование действий, построение цепочек вызовов инструментов и структурированные рассуждения в агентных сценариях. В README сообщается о высоком результате на многоходовой подзадаче BFCL-V3 среди моделей сопоставимого размера. Поддерживаемые языки в карточке не перечислены; модель предназначена для работы с текстом и выдаёт текст, включая вызовы инструментов. Лицензия — Apache-2.0. README указывает исследовательское и образовательное назначение; это ограничение само по себе не определяет зрелость модели.
bahith-arabic-retrieval-4b — текстовая модель эмбеддингов для поиска релевантных арабских фрагментов по запросу, созданная дообучением Qwen/Qwen3-Embedding-4B. Она предназначена для семантического поиска, извлечения документов и построения RAG-систем на арабских корпусах. В карточке приведены результаты оценки на арабских задачах поиска: модель показывает nDCG@10 0,7971 на MIRACLRetrievalHardNegatives и поддерживает сравнение эмбеддингов по косинусному сходству. Модель имеет плотную архитектуру Qwen3, около 3,7 млрд параметров и контекст до 40 960 токенов по метаданным. README указывает максимальную длину последовательности 512 токенов и размер эмбеддинга 2560 измерений; благодаря Matryoshka Representation Learning вектор можно сокращать до 1024, 512, 256 или 128 измерений. Встроенный инструктивный шаблон применяется для запросов, а для документов отдельный шаблон не задан. Модель рассчитана прежде всего на современный стандартный арабский язык; диалекты представлены ограниченно. Лицензия — Apache-2.0.
BAAI/bge-m3-retromae — многоязычная модель BAAI на архитектуре XLM-RoBERTa, предназначенная для предварительного обучения текстовых представлений и задач поиска. Она создана расширением максимальной длины последовательности XLM-RoBERTa до 8192 токенов и дальнейшим обучением по подходу RetroMAE; в отличие от итоговой BGE-M3, эта версия описана как её предобученная основа, а не как готовая модель с унифицированной настройкой dense-, sparse- и многовекторного поиска. Модель принимает текст и формирует признаки, которые можно использовать как основу для поиска по коротким фрагментам и длинным документам, в том числе в многоязычных сценариях. В карточке семейства заявлена поддержка более 100 языков и контекст до 8192 токенов; метаданные указывают 658,7 млн параметров. Репозиторий содержит веса PyTorch, а лицензия — MIT. Карточка отмечает, что итоговая BGE-M3 сочетает несколько режимов поиска, но не приписывает весь этот функционал напрямую варианту retromae. Для прикладной системы поиска может потребоваться дополнительное обучение или настройка; качество на одном языке может уступать специализированным одноязычным моделям.
Это переранжировщик BGE Reranker v2 M3, преобразованный автором репозитория в формат GGUF F16 для запуска через llama.cpp. Модель принимает запрос и список текстовых кандидатов, оценивает их релевантность и возвращает кандидатов в упорядоченном виде; её можно подключить к поисковому конвейеру через сервер llama.cpp и endpoint /v1/rerank. Основа модели — BAAI/bge-reranker-v2-m3. По README, преобразование выполнено скриптом llama.cpp без других изменений; файл GGUF занимает около 1 ГБ. В карточке указаны японский и английский языки. Модель распространяется по лицензии MIT. Автор предупреждает, что при некорректном переносе классификационной головы GGUF может выдавать числовые оценки без ошибки, но эти оценки будут бессмысленными. Перед использованием следует проверить порядок результатов на примерах с заметно различающейся релевантностью. Для работы нужен llama.cpp с режимом --reranking; сервер переранжирования запускается отдельно от сервера эмбеддингов.
BTL-4 — языковая модель с 35 млрд параметров от Bad Theory Labs, дообученная на базе Ornith-1.0-35B на корпусе рассуждений, отобранных по успешному выполнению кода и прохождению тестов. Модель построена на архитектуре Qwen 3.5 MoE и предназначена для генерации текста в сценариях использования инструментов, разработки ПО и длительной работы агентных систем. Среди заявленных результатов — 73,5% на BFCL v4 AST, 66,1% на LiveCodeBench v6 и 78,4% на SWE-bench Verified. Модель поддерживает контекст до 262 144 токенов; для сложных задач ей требуется большой бюджет генерации. Это специализированная модель рассуждений, а не обычный чат-бот: ответы могут быть многословными, а при запуске в агентном цикле необходимо корректно отделять рассуждения от основного текста, иначе качество длительных сессий снижается. Для обслуживания README приводит пример настройки vLLM и рекомендует доверенную загрузку удалённого кода. Лицензия — Apache-2.0.
Это англоязычный CSR Sparse Encoder, созданный дообучением модели mixedbread-ai/mxbai-embed-large-v1 на наборе Natural Questions с использованием библиотеки Sentence Transformers. Модель преобразует запросы, предложения и абзацы в разреженные векторы размерности 4096; близость оценивается скалярным произведением. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и разреженного извлечения документов, в том числе поиска ответов по коллекции текстов. В карточке приведены оценки на задачах NanoBEIR и отдельных наборах BEIR. Она поддерживает английский язык и распространяется по лицензии Apache-2.0. Результаты поиска могут зависеть от предметной области и корпуса; карточка не заявляет поддержку других языков.
deepvk/deberta-v1-base — предварительно обученный двунаправленный энкодер DeBERTa, разработанный deepvk для русского языка. Модель обучена на задаче masked language modeling на корпусе примерно из 400 ГБ очищенных и дедуплицированных текстов: Википедии, книг, комментариев, новостей, субтитров и других источников. В обучающих данных преобладает русский язык, также присутствует небольшая доля других языков. Модель содержит 12 слоёв энкодера, 12 голов внимания и размерность представлений 768; всего около 151,8 млн параметров. Она принимает текст и извлекает контекстные векторные представления для последующего дообучения или использования в NLP-задачах. Это только энкодер без предварительно обученной задачи-специфичной головы, поэтому для классификации и других прикладных задач обычно требуется добавить и обучить соответствующую голову. Максимальная длина контекста — 512 токенов. В карточке приведены результаты оценки на русскоязычном наборе Russian SuperGLUE. Модель распространяется под лицензией Apache 2.0.
Devstral-Small-2505 — языковая модель для агентной разработки программного обеспечения, созданная Mistral AI совместно с All Hands AI. Версия в этом репозитории дообучена на основе mistralai/Devstral-Small-2505; её архитектура — плотная MistralForCausalLM, размер — 23,4 млрд параметров. Модель принимает и генерирует текст, поддерживает вызов инструментов и контекст до 131 072 токенов. Модель предназначена для программных агентов, которые исследуют кодовые базы, редактируют несколько файлов и помогают решать задачи разработки. В README приведён результат 46,8% на SWE-bench Verified. Заявлена поддержка множества языков, включая русский, английский, французский, немецкий, испанский, китайский и японский; отдельный основной язык не выделен. Репозиторий распространяется под лицензией Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию. Модель текстовая, без обработки изображений. Для локального запуска и агентного сценария README рекомендует OpenHands и vLLM; фактическая производительность зависит от оборудования и конфигурации запуска.
Dialog2Flow single target (D2F_single) — англоязычная модель эмбеддингов предложений на базе BERT-base, представленная в работе Dialog2Flow на конференции EMNLP 2024. Она дообучена для извлечения потоков диалога и преобразует предложения и абзацы в плотные векторы размерности 768; модель реализована с помощью Sentence Transformers. Модель подходит для поиска семантически близких реплик и группировки высказываний, а также для автоматического извлечения структуры потока диалога из задачо-ориентированных диалогов. Её можно использовать через Sentence Transformers либо Transformers с подходящей операцией pooling. Контекст ограничен 512 токенами, размер модели — 136,7 млн параметров. Лицензия — MIT.
Это веса Distil-Large-v3.5, преобразованные в формат CTranslate2 для быстрого инференса через Faster-Whisper. Репозиторий подготовлен для использования с бэкендом CTranslate2; модель предназначена для автоматического распознавания речи по аудио. Карточка описывает конверсию весов, а не отдельное дообучение. Указана лицензия MIT. Подробности об архитектуре, размере, контексте и ограничениях исходной модели в этой карточке не приведены.
rrainn публикует побайтную копию официального предобученного чекпойнта PARSeq из docTR; модель не обучалась и не изменялась rrainn. Она распознаёт текст на изображениях уже выделенных слов и предназначена для этапа распознавания в OCR-конвейере. Архитектура сочетает Vision Transformer для кодирования изображения и авторегрессионный декодер последовательностей с перестановками; модель работает на PyTorch через python-doctr и ожидает RGB-вход размером 3 × 32 × 128. Максимальная длина последовательности — 32 символа. Модель подходит для транскрибации документов, оценки OCR и как начальная точка для дообучения под конкретный домен. Это не детектор текста на полной странице: для такого сценария её нужно сочетать с детектором или подавать на вход обрезанные изображения слов. Поддерживается настроенный латинский/французский набор символов; качество может снижаться на рукописном, размытом, изогнутом или вертикальном тексте и на данных, отличающихся от обучающих. Состав обучающей выборки раскрыт не полностью, а уверенность последовательности не гарантированно откалибрована. Лицензия — Apache-2.0.
EVA02-Large-CLIP — модель сопоставления изображений и текста, опубликованная командой PyTorch Image Models (timm) и доступная через OpenCLIP. Она предназначена для классификации изображений без специального дообучения: модель сравнивает изображение с текстовыми описаниями категорий и оценивает соответствие. Архитектура относится к семейству EVA-02 и CLIP; вариант рассчитан на изображения 224×224 пикселя и использует патч 14×14. Входы — изображения и текст, выходы — оценки сходства, пригодные для ранжирования вариантов или выбора метки. Модель имеет лицензию MIT. Её результат зависит от формулировки текстовых меток и охвата обучающих данных; это не универсальный распознаватель объектов и он может ошибаться на необычных доменах или тонких различиях между категориями.
Это разреженный SPLADE-энкодер, дообученный на наборе all-nli с использованием библиотеки Sentence Transformers. Модель основана на naver/splade-cocondenser-ensembledistil и преобразует предложения и абзацы в разреженные векторы размерности 30 522; сходство между ними оценивается скалярным произведением. Архитектура включает BERT-модель для masked language modeling и max-пулинг с ReLU. Метаданные указывают 136,7 млн параметров и контекст до 512 токенов; карточка README задаёт максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска, разреженного извлечения документов и оценки сходства предложений на английском языке. В README приведены результаты оценки на STS-dev и STS-test. Доступна по лицензии Apache-2.0. Ее применение ограничено английским языком и указанной длиной входной последовательности; качество на других языках и специализированных областях не заявлено.
Experiment26T3q-7B — созданная Maxime Labonne автоматическим слиянием методом SLERP моделей rwitz/experiment26-truthy-iter-1 и chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Это плотная Mistral-модель с 7,1 млрд параметров для генерации текста; базовая математическая модель прошла DPO-дообучение на математических данных. Модель принимает текстовые запросы и предназначена для диалоговых ответов и генерации текста, в том числе для решения математических задач. Длина контекста — 32 768 токенов. Веса доступны в формате safetensors, лицензия — Apache-2.0.
codersan/FaLaBSE-v11-phase2 — модель Sentence Transformers, созданная дообучением codersan/FaLaBSE-v11-phase1-Quora. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов. Векторы сравниваются косинусным сходством; модель построена на архитектуре BERT и использует библиотеку sentence-transformers. Для обучения использованы 16 825 пар anchor/positive с функцией потерь MultipleNegativesRankingLoss. Метаданные указывают максимальный контекст в 512 токенов, тогда как README заявляет максимальную длину последовательности 256 токенов. Примеры обучающих данных написаны на персидском языке, поэтому модель подходит для семантических задач с персидскими текстами; более широкая языковая поддержка карточкой не подтверждена. Репозиторий содержит веса safetensors. Лицензия в предоставленных данных не указана.
Finnish ModernBERT tiny — компактная предобученная модель-энкодер архитектуры ModernBERT, разработанная TurkuNLP. Модель содержит 51 млн параметров и обучена на 447,9 млрд токенов. Она рассчитана на финский, шведский, английский, северносаамский, латинский языки и код; метаданные указывают языки fi, sv и en. Для задачи заполнения пропусков заявлен контекст 16 000 токенов, а в карточке отмечена теоретическая возможность экстраполяции до 128 000 токенов. Модель подходит для предсказания скрытых токенов, анализа текста и получения контекстных представлений, в том числе для задач поиска по текстам. В оценках семейство моделей показало конкурентные результаты на коротких задачах понимания финского, шведского и английского языков, а также сильные результаты в поиске вне обучающего домена. Обучение проводилось на суперкомпьютере LUMI на разнообразных текстовых данных. Модель распространяется по лицензии Apache-2.0. В обучающих данных могли присутствовать предвзятые и вредоносные материалы, не проводилась фильтрация токсичного или оскорбительного содержания; выходы и представления модели следует оценивать с учётом возможного влияния на уязвимые группы.