I.2Синтез, понимание и проверка знаний

K2-Horizon-3.7B-GGUF — GGUF-версия языковой модели K2-Horizon-3.7B, разработанной IFM. Репозиторий предназначен для запуска модели с помощью llama.cpp и содержит тензоры в исходной точности BF16, метаданные токенизатора и совместимый с llama.cpp шаблон чата. Модель относится к семейству K2-Horizon и представляет собой небольшую плотную decoder-only модель с 3,7 млрд параметров и контекстным окном 524 288 токенов. Указан английский язык. Модель предназначена для генерации текста и оценивается на задачах, связанных с агентными сценариями, программированием и рассуждениями. Ключевые сильные стороны — большой контекст, открытость весов, публикация обучающих данных, рецептуры, кода обучения и ресурсов для оценки, а также наличие промежуточных контрольных точек для анализа изменений возможностей в процессе обучения. Ограничение версии GGUF заключается в необходимости использовать сборку llama.cpp с поддержкой архитектуры K2 Horizon; такая поддержка на момент публикации находилась в разработке, а совместимая версия доступна в форке MBZUAI-IFM. Лицензия модели — Apache-2.0. В README не указаны точные детали вычислительных требований, результаты отдельных тестов, поддерживаемые языки помимо английского и дополнительные сведения о качестве или ограничениях применения.

hyunkookim/klue-roberta-base-klue-sts — модель Sentence Transformers, дообученная на базе klue/roberta-base для оценки семантического сходства корейских предложений. Она преобразует предложения и абзацы в плотные векторы размерности 768, которые сравниваются косинусной близостью; модель также подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура включает RoBERTa и усреднение токенных представлений; размер базовой модели — 137,8 млн параметров. Максимальная длина входа — 512 токенов по карточке модели и 514 токенов по метаданным. Модель ориентирована на корейский язык и обучена на парах текстов с оценками сходства. В README приведены результаты оценки, но они различаются между таблицами, поэтому их нельзя считать однозначной характеристикой качества. Репозиторий использует формат safetensors и библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.

LeeGH04/klue-roberta-base-klue-sts — модель Sentence Transformers, дообученная на базе klue/roberta-base для сравнения смысла корейских предложений. Она использует архитектуру RoBERTa с усреднением токенных представлений и преобразует текст в плотные векторы размерностью 768; сходство между ними оценивается косинусной мерой. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации корейских текстов. Модель принимает последовательности длиной до 512 токенов (в метаданных указано 514 токенов контекстного окна). В README приведены результаты оценки сходства, включая Spearman 0,924 на одном из наборов данных; результаты на другом наборе заметно ниже. Доступна в формате safetensors и рассчитана на использование с библиотекой Sentence Transformers. Лицензия в предоставленных данных не указана.

Модель snunlp/KLUE-SRoBERTa-Large-SNUExtended-klueNLI-klueSTS — Sentence Transformer на архитектуре RoBERTa, обученный для работы с корейскими предложениями на наборе klue/klue. Она преобразует текст в плотные эмбеддинги размерности 1024 и оценивает сходство предложений по косинусному сходству; максимальная длина последовательности составляет 512 токенов. Модель подходит для семантического поиска, поиска перефразирований, кластеризации и классификации текста на основе эмбеддингов. В README приведён результат Spearman 0,8422 на оценке семантического сходства sts-dev. Модель принимает текст и выдаёт векторные представления; основным языком является корейский. Контекст ограничен 512 токенами, поэтому длинные тексты требуют разбиения. Лицензия в предоставленных источниках не указана.

KR-X-AI/gemma-2-9b-it-1.2 — разговорная модель семейства Gemma 2 с 9 млрд параметров, разработанная KR-X-AI и дообученная на базе KR-X-AI/gemma-2-9b-it-0.2. Она предназначена для диалогов и генерации текста; поддерживает чатовый сценарий и принимает текстовые запросы, выдавая текстовые ответы. Модель создана с использованием Unsloth и библиотеки Hugging Face TRL. Формат весов — Safetensors, длина контекста — 8192 токена. Модель подходит для чат-ботов и генерации ответов на текстовые запросы. В метаданных указан английский язык. Лицензия Apache-2.0 разрешает использование на её условиях; README не описывает специализированную предметную область или дополнительные возможности.

Карточка модели Model-SafeTensors/L3-Aethora-15B на Hugging Face совпадает с карточкой SteelStorage/L3-Aethora-15B, поэтому описание составлено по ней. L3-Aethora-15B — диалоговая языковая модель, созданная Steelskull на основе семейства Llama 3. Это плотная causal language model с 14,5 млрд параметров, архитектурой LlamaForCausalLM и контекстом до 8192 токенов. Модель принимает текст и генерирует текст в формате запросов L3. Модель предназначена для диалогов и генерации ответов с акцентом на более податливое и содействующее поведение. В основе — изменённая сборка AbL3In-15b слиянием моделей, затем дообученная в течение четырёх эпох методами RS-LoRA и DoRA на датасете Aether-Lite-V1.2 примерно из 82 тысяч примеров. Репозиторий содержит веса Safetensors; доступны отдельные GGUF-квантизации. Лицензия — Llama 3. README описывает ослабление отказов, поэтому модель может отвечать на запросы, которые другие модели отклоняют; ответы требуют проверки, особенно при использовании в чувствительных сценариях. Языки обучения и качество на конкретных языках в карточке не уточняются.

Llama-3-11.5B — плотная авторегрессионная языковая модель семейства Llama, опубликованная beratcmn. Она собрана методом passthrough с помощью LazyMergekit из двух диапазонов слоёв одной и той же Meta-Llama-3-8B; в метаданных указано около 11 млрд параметров. Модель предназначена для генерации текста, а карточка также указывает обученную на её основе версию beratcmn/Llama-3-11.5B-v0.1. Модель принимает текст и выдаёт текст. Указанная длина контекста — 8192 токена. Базовая Meta-Llama-3-8B описана как модель для английского текста и кода, но отдельные языковые возможности производной модели в карточке не уточняются. Файлы модели представлены в формате safetensors. Для использования применяются условия лицензии базовой Meta-Llama-3-8B; сведения о лицензии в предоставленных данных отсутствуют.

Shining Valiant 2 — чат-модель Valiant Labs, дообученная на базе Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов; она принимает текст и генерирует текст, используя формат инструкций Llama 3.1 Instruct. Модель рассчитана на диалог, ответы на технические вопросы и структурированные рассуждения, особенно в естественных науках, инженерии и информатике. Для обучения использованы наборы sequelbox/Celestia для технических знаний, sequelbox/Spurline для сложных рассуждений и sequelbox/Supernova для общего диалога. В README заявлены улучшения в логике и структурированном рассуждении, а также в физике, химии, биологии, астрономии, науках о Земле, информатике и теории информации. Метаданные указывают английский язык. Модель распространяется в формате safetensors по лицензии llama3.1; применение требует соблюдения условий лицензии Llama 3.1.

CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct-2412 — диалоговая instruction-tuned языковая модель CarrotAI на архитектуре LlamaForCausalLM. Она дообучена на базе CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct с помощью SFT и DPO, чтобы улучшить качество ответов с учётом предпочтений людей. Модель содержит 3,2 млрд параметров, принимает текст и генерирует текст; заявлены корейский и английский языки. Контекст составляет до 131 072 токенов. Модель подходит для диалогов, ответов на вопросы и решения задач на корейском и английском языках. В README приведены результаты оценок на LogicKor, GSM8K, GSM8K-KO и Haerae, но они не гарантируют качество на других задачах. По данным карточки, веса доступны в формате safetensors, а лицензия указана как llama3.2. Разработчик предупреждает об ограничениях на сложных задачах, недостатке глубокой специализации, предвзятости и возможных галлюцинациях.

Модель mo-xx/llama-3-8b-cyber-model — дообученная mo-xx версия Llama 3 с плотной архитектурой LlamaForCausalLM. В качестве основы использована unsloth/llama-3-8b-Instruct-bnb-4bit; для обучения применялись Unsloth и библиотека TRL. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке. Модель содержит 7,5 млрд параметров, принимает текст и выдаёт текст. Длина контекста — 8192 токена. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. В карточке нет сведений о специализации на кибербезопасности или результатов оценки качества, поэтому название модели само по себе не подтверждает пригодность для профильных задач.

Llama3-Crab-DPO — англоязычная плотная авторегрессионная языковая модель семейства Llama 3, разработанная Yunjia Qi, Hao Peng, Xiaozhi Wang, Bin Xu, Lei Hou и Juanzi Li. Модель дообучена на основе Llama3-8B с применением метода CRAB, который добавляет к инструкциям сложные ограничения, уже соблюдённые в исходных ответах, и направлен на улучшение следования таким инструкциям. Модель предназначена для генерации текста по инструкциям с несколькими требованиями, включая заданные формат и длину ответа. Она имеет 7,5 млрд параметров и контекстное окно 8192 токена; поддерживает английский язык и распространяется в формате PyTorch. Лицензия — Apache-2.0.

Magnum v4 123B — языковая модель Anthracite, предназначенная для генерации диалоговых ответов и прозы с качеством, близким к Claude 3 Sonnet и Opus. Это полноразмерное дообучение Mistral Large Instruct 2407 на наборах данных Anthracite, связанных с диалогами, инструкциями и прозой. Модель имеет плотную архитектуру MistralForCausalLM и 122,2 млрд параметров. Она принимает текст и генерирует текст, поддерживает английский язык и контекст до 131 072 токенов. В метаданных также отмечен интерфейс вызова инструментов. Для запросов используется шаблон Mistral Instruct с маркерами [INST] и [/INST]. Модель подходит для диалоговых приложений и задач генерации прозы. Доступна в формате safetensors через Transformers. Лицензия указана как other; README не приводит её конкретные условия.

Meta-Llama-3-8B-Alternate-Tokenizer — текстовая авторегрессионная языковая модель семейства Llama 3, разработанного Meta. В репозитории указана архитектура LlamaForCausalLM с плотной моделью размером около 7,5 млрд параметров; веса доступны в формате safetensors. Модель принимает текст и генерирует текст или код, а метаданные отмечают поддержку диалогового режима. Контекст — до 8192 токенов. Модель подходит для генерации текста, диалогового помощника и адаптации к задачам генерации естественного языка. README семейства описывает применение прежде всего на английском языке, включая коммерческие и исследовательские сценарии; это описание не подтверждает отдельное дообучение данного репозитория. В README также указано, что модели Llama 3 используют Grouped-Query Attention для масштабирования инференса. Репозиторий содержит общую карточку семейства Llama 3, поэтому специфические свойства альтернативного токенизатора здесь не раскрыты. Для использования действует специальная коммерческая лицензия Llama 3 и связанные с ней правила допустимого использования; модель не предназначена для применения на языках, отличных от английского, согласно приведённому описанию.

Это дообученная разговорная языковая модель sleeepeer на базе meta-llama/Llama-3.1-8B-Instruct, обученная с помощью TRL. Она предназначена для генерации текста в ответ на инструкции и вопросы в диалоговом формате. Модель использует плотную архитектуру Llama с 7,5 млрд параметров и принимает текст; заявленный контекст составляет до 131072 токенов. Модель подходит для диалоговых сценариев и генерации ответов. В карточке приведён пример ответа на вопрос в формате чата. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

MetaModel — разговорная языковая модель на архитектуре Llama, созданная автором репозитория gagan3012 путём слияния моделей jeonsworld/CarbonVillain-en-10.7B-v4 и kekmodel/StopCarbon-10.7B-v5 с помощью mergekit и метода SLERP. Модель содержит 10,6 млрд параметров и распространяется в формате safetensors; для генерации текста указан контекст длиной 4096 токенов. Модель предназначена для диалогов и генерации текста. В README приведены результаты оценки на Open LLM Leaderboard, включая тесты ARC и HellaSwag. Репозиторий лицензирован по Apache-2.0.

MiniCPM5-2B-Claude-Fable5-1-Thinking-Agentic-i1-GGUF — это квантизированная версия модели MiniCPM5-2B-Claude-Fable5-1-Thinking-Agentic, опубликованная и подготовленная в формате GGUF пользователем mradermacher на основе базовой модели GnLOLot. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, рассуждений, а также сценариев с вызовом инструментов и функций. Из доступных данных известно, что модель относится к семейству MiniCPM, имеет около 2 млрд параметров и поддерживает английский и китайский языки. Она рассчитана на текстовые задачи; сведения о мультимодальности и размере контекстного окна не указаны. Доступно множество вариантов квантизации GGUF с размером примерно от 0,8 до 1,7 ГБ, что позволяет выбирать между требованиями к памяти, скоростью и качеством. Для большинства сценариев автор рекомендует варианты i1-Q4_K_M или i1-Q4_K_S, тогда как самые компактные варианты могут заметно уступать по качеству. Сильными сторонами модели являются небольшой размер, возможность локального запуска в совместимых с GGUF средах и ориентация на агентные сценарии, вызов функций и программирование. Ограничениями являются относительно малое число параметров, возможное снижение качества в низкобитных вариантах и отсутствие опубликованных сведений о контекстном окне, бенчмарках и фактической эффективности tool-calling. Модель распространяется по лицензии Apache-2.0.

jigs97022/minicpm5-2b-distilled-reasoning-gguf — квантованная версия MiniCPM5-2B с дистиллированными рассуждениями, разработанная пользователем jigs97022 на базе модели MiniCPM5-2B от OpenBMB. Модель обучена на 10 тысячах высококачественных трасс рассуждений, полученных от Qwen3.8-Max, GLM-5.2 и Kimi K3, и предназначена для генерации текста, структурированного решения математических задач, написания кода, логических головоломок и сценариев с использованием инструментов. Доступна в формате GGUF для локального запуска через llama.cpp, Ollama, LM Studio и vLLM. Модель имеет размер 2B параметров и поддерживает контекст до 4096 токенов. Предлагаются варианты квантования Q4_K_M, Q6_K и Q8_0 объёмом примерно от 1,56 до 2,68 ГБ; они ориентированы соответственно на сбалансированную работу на ноутбуках, более высокое качество на настольных системах и минимальные потери качества. Сильными сторонами являются компактность, возможность локального CPU/GPU-инференса и специализация на пошаговом рассуждении. Ограничения включают меньший объём обучающих данных по сравнению с полноразмерными вариантами, возможное снижение качества на редких случаях, ограниченное контекстное окно, базу знаний примерно до 2024 года и склонность к подробным внутренним рассуждениям. Модель распространяется по лицензии Apache-2.0, однако для коммерческого использования рекомендуется отдельно проверить лицензию набора данных для дистилляции.

Jeff98/MiniCPM5-2B-openvino — это версия языковой модели openbmb/MiniCPM5-2B, преобразованная в формат OpenVINO с помощью optimum-intel. Архитектура, токенизатор, шаблон диалога и основные возможности унаследованы от исходной модели; репозиторий не содержит дополнительного обучения или выравнивания. Модель предназначена для генерации текста и ведения диалогов. Модель содержит примерно 2 млрд параметров и поддерживает китайский, английский и другие языки, заявленные для исходной MiniCPM5-2B. Она рассчитана на локальный запуск, разработку ассистентов и инструментов программирования, edge-сценарии, а также эксперименты на рабочих станциях. OpenVINO обеспечивает выполнение на CPU и Intel GPU, а OpenVINO Model Server позволяет развернуть модель через совместимый с OpenAI REST API. Точный размер контекста и архитектурные детали в README не указаны. Сильная сторона модели — готовность к эффективному локальному развертыванию в OpenVINO, включая преобразованные токенизатор и детокенизатор, поддержку OVMS и OpenAI-совместимого интерфейса. Ограничения унаследованы от исходной модели: возможны фактические ошибки, галлюцинации, некорректная генерация кода, зависимость качества от формулировки запроса и различия в качестве между языками; конвертация может приводить к небольшим числовым отличиям. Модель распространяется по лицензии Apache-2.0.

sandeeparmada/mistalai_finetuned — дообученная автором sandeeparmada языковая модель семейства Mistral для генерации текста и диалогов. В основе лежит unsloth/mistral-7b-instruct-v0.3-bnb-4bit; модель имеет плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Контекстное окно составляет 32 768 токенов, формат весов — Safetensors. Модель предназначена для генерации ответов и ведения диалога на английском языке. В карточке указано, что обучение выполнялось с Unsloth и библиотекой TRL; подробности о данных и специализации дообучения не приведены. Распространяется по лицензии Apache-2.0.

zelk12 опубликовал объединённую методом SLERP языковую модель MT2-Gen4-BMM-gemma-2-9B на архитектуре Gemma 2. Модель размером 9 млрд параметров создана с помощью mergekit из zelk12/MT2-Gen4-BB-gemma-2-MTMMT3g2-9B и zelk12/MT2-Gen4-MM-gemma-2-Rv0.4MTM-9B; базовой в конфигурации указана первая из них. Модель предназначена для генерации текста и диалоговых ответов, работает через Transformers и использует контекст до 8192 токенов. Веса опубликованы в формате safetensors. В карточке и метаданных лицензия не указана, поэтому условия использования определить нельзя.

zelk12/MT3-MU-gemma-2-Rv0.3AR-9B — слитая разговорная языковая модель на архитектуре Gemma 2, созданная с помощью mergekit методом SLERP из lemon07r/Gemma-2-Ataraxy-Remix-9B и recoilme/recoilme-gemma-2-9B-v0.3. Модель содержит 9 млрд параметров, принимает текстовые запросы и генерирует текст; поддерживает диалоговый сценарий. Максимальная длина контекста составляет 8192 токена. Модель подходит для ведения диалога и генерации ответов на текстовые запросы. README и метаданные не описывают отдельные специализации или оценки качества. Файлы опубликованы в формате safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана.

zelk12 выпустил эту объединённую модель Gemma 2 для диалоговой генерации текста. Она создана методом SLERP с помощью mergekit из моделей zelk12/MT-Gen5-gemma-2-9B и zelk12/MT5-Gen5-gemma-2-9B. Модель содержит 9 млрд параметров, использует архитектуру Gemma2ForCausalLM и принимает текстовый контекст длиной до 8192 токенов. Её можно применять для ведения диалогов и генерации текста. Модель распространяется в формате safetensors и использует библиотеку Transformers; лицензия в предоставленных данных не указана.

Карточка модели Arsh9210/Nemotron-Labs-Diffusion-14B на Hugging Face совпадает с карточкой nvidia/Nemotron-Labs-Diffusion-14B, поэтому описание составлено по ней. Nemotron-Labs-Diffusion-14B — плотная языковая модель NVIDIA с 13,4 млрд параметров для генерации текста в диалоговом режиме. Одна и та же модель поддерживает авторегрессионное декодирование, параллельное декодирование на основе диффузии и self-speculation: диффузионный режим подготавливает несколько токенов, а авторегрессионный проверяет их с использованием общего KV-кэша. Режимы переключаются изменением шаблона внимания. Модель предназначена для диалоговых приложений и сценариев инференса, где важна скорость генерации при разной одновременной нагрузке. NVIDIA описывает ускорение за счёт повторного использования весов для вычисления нескольких токенов; приведённые в карточке показатели относятся к отдельным конфигурациям и аппаратным платформам и не гарантируют такую же производительность в других условиях. Заявленное максимальное контекстное окно — 262 144 токена. Для запуска README указывает Transformers версии 5.0 или новее; веса доступны в формате safetensors. Лицензия обозначена как other, поэтому перед использованием следует ознакомиться с условиями NVIDIA. Карточка рекомендует оценивать пригодность модели для конкретного применения и учитывать связанные с ним риски.

Nemotron-Labs-Diffusion-14B-Base — базовая плотная языковая модель NVIDIA семейства Nemotron-Labs-Diffusion с 13,4 млрд параметров. Она поддерживает авторегрессионную генерацию и параллельное декодирование на основе диффузии: переключение режима выполняется изменением шаблона внимания при инференсе. Также модель позволяет использовать self-speculation, где она готовит параллельные черновые токены диффузионным способом и проверяет их авторегрессионно с общим KV-кэшем. Модель предназначена для генерации текста и диалоговых сценариев, где важны скорость декодирования и эффективность инференса при разной параллельной нагрузке. README приводит результаты ускорения self-speculation и примеры скорости на NVIDIA DGX Spark и GB200; эти показатели относятся к указанным конфигурациям и сравнениям. По метаданным, модель работает через Transformers и имеет нативный контекст длиной до 262 144 токенов. В репозитории указан формат safetensors. Лицензия обозначена как other; конкретные условия следует сверять с условиями NVIDIA перед использованием. README рекомендует оценивать пригодность модели, риски и качество для конкретного сценария.

NeuralMergeTest-001 — объединённая языковая модель на архитектуре Mistral, созданная Kukedlc с помощью LazyMergekit. Она объединяет liminerity/M7-7b, Kukedlc/NeuralKrishna-7B-v3 и Kukedlc/NeuralMarioMonarch-7B-slerp методом dare_ties; размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев. Она принимает текст и выдаёт текст; сведения о целевых языках и специализации в карточке отсутствуют. Репозиторий содержит веса Safetensors в формате bfloat16. Лицензия — Apache-2.0.

amazingvince/openhermes-7b-dpo — экспериментальная DPO-донастройка модели OpenHermes, опубликованная автором репозитория. В README она описана как дообучение OpenHermes на данных, призванных улучшить способности модели; базовая линия OpenHermes 2.5 основана на Mistral 7B и включает дополнительное обучение на наборах инструкций по программированию. Метаданные указывают на плотную авторегрессионную архитектуру MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате, включая ответы на инструкции и вопросы; базовое семейство также ориентировано на задачи с кодом. В карточке сказано, что модель экспериментальная, а подробности будут добавлены позднее. Доступны веса Safetensors, лицензия — Apache-2.0. README не приводит результатов именно этой версии, поэтому её качество и улучшения относительно базовой модели подтвердить нельзя.

Open-Instruct Baize 7B — модель генерации текста на базе LLaMA с 6,6 млрд параметров, дообученная командой Allen Institute for AI на наборе Baize. Она предназначена для ответов на инструкции и вопросы в формате диалога, а также для исследовательской оценки instruction-tuning-моделей. Для работы требуется базовая модель LLaMA в формате Hugging Face: опубликованный репозиторий содержит diff весов, а не самостоятельный полный чекпойнт. Модель использует архитектуру LLaMA и контекст до 2048 токенов; карточка указывает английский язык. В опубликованных бенчмарках модель оценивалась на задачах общего понимания, математики, вопросов и ответов и генерации кода. Качество зависит от соблюдения формата ввода, включая перевод строки после маркера начала ответа. Лицензия определяется лицензией AI model из LICENSE.txt и исходной лицензией LLaMA; условия следует проверить в этих файлах перед использованием.

jtatman дообучил эту плотную авторегрессионную языковую модель семейства Llama на базе unsloth/llama-3-8b-bnb-4bit с использованием Unsloth и библиотеки TRL. Модель предназначена для генерации текста в диалоговом формате. В репозитории указано 7,5 млрд параметров; метаданные задают нативный контекст в 8192 токена и формат весов safetensors. Заявленная лицензия — Apache-2.0. Карточка не описывает специальную предметную область или отдельные ограничения качества.

OPI-PIB/pl-ModernBERT-512-base — базовая монолингвальная модель-энкодер семейства ModernBERT, предварительно обученная для обработки польского языка. Она предназначена как основа для польских NLP-систем: модель можно дообучать для классификации текстов и документов, разметки последовательностей, регрессии, семантического сходства, поиска и переранжирования. В текущем виде она также поддерживает заполнение пропусков в тексте (fill-mask). Модель содержит 148,7 млн параметров и принимает последовательности длиной до 514 токенов. Архитектура включает 22 слоя, скрытый размер 768, RoPE, слои GeGLU и чередование глобального и локального внимания; используется токенизатор SentencePiece Unigram с размером словаря 50 008. Предобучение проведено на польском корпусе объёмом около 44,5 млрд токенов. В README сообщается о конкурентных результатах на польских задачах NLU, включая KLEJ и FinBench. Для прикладных задач, кроме заполнения пропусков, потребуется адаптация или дообучение. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0.

PolyLM-Multialpaca — диалоговая модель DAMO-NLP-MT, дообученная на PolyLM-13b на наборах данных PolyLM и Multialpaca. Она предназначена для генерации ответов в многоязычном диалоге и выполнения пользовательских инструкций. Модель использует архитектуру GPT-2 и формат PyTorch; размер контекста — 2048 токенов. Модель унаследовала типичные ограничения языковых моделей: может выдавать галлюцинации и токсичный текст. Перед применением в конкретной системе следует оценить риски безопасности и справедливости. Лицензия — Apache-2.0.