I.3Извлечение и структурирование данных

LFM2-24B-A2B-MLX-6bit — это 6-битно-квантизированная версия модели LFM2-24B-A2B, разработанной LiquidAI. Данная версия подготовлена командой LM Studio с использованием mlx_lm и оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и может применяться в сценариях локального запуска языковых моделей, включая диалоговые приложения, подготовку и преобразование текстов, а также другие задачи text generation. В README указана поддержка английского, арабского, китайского, французского, немецкого, японского, корейского, испанского и португальского языков. Обозначение модели содержит 24B-A2B, однако подробности архитектуры, контекстного окна и распределения параметров не приведены. Ключевое преимущество версии — уменьшенный объём хранения и вычислительных ресурсов благодаря 6-битному квантованию, а также оптимизация под экосистему Apple Silicon через MLX. Ограничения включают возможную потерю качества по сравнению с полноформатной моделью из-за квантования и зависимость от совместимого оборудования и программного стека MLX. Модель распространяется по лицензии lfm1.0; в карточке также указано общее обозначение лицензии other.

LiquidAI/LFM2.5-1.2B-Instruct-MLX-8bit — это 8-битная версия языковой модели LFM2.5-1.2B-Instruct, экспортированная в формат MLX компанией Liquid AI для запуска на устройствах с Apple Silicon. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих библиотеку mlx-lm, включая диалоговые и общие текстовые сценарии. Модель содержит 1,2 млрд параметров, использует 8-битную точность и group size 64, занимает около 1,2 ГБ и поддерживает контекст длиной до 128K токенов. Заявлена поддержка английского, японского, корейского, французского, испанского, немецкого, итальянского, португальского, арабского и китайского языков. К сильным сторонам относятся компактный размер, возможность локального инференса на Apple Silicon и большой контекст, однако README не содержит подробных результатов оценки качества и сравнений с другими моделями. Модель распространяется по лицензии LFM 1.0.

Модель ETRI xainlp team — языковая модель на архитектуре LlamaForCausalLM с 12,9 млрд параметров. Она дообучена на базе meta-llama/Llama-13b-hf: сначала на 650 тыс. примеров с инструкциями, затем с помощью DPO и LoRA на 90 тыс. примеров пользовательских предпочтений. Модель принимает текст и генерирует текст, поэтому подходит для выполнения инструкций и диалоговых сценариев. Контекст — до 4096 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

bunnycore/LLama-3.1-Hyper-Stock — объединённая плотная языковая модель семейства Llama 3.1, созданная автором с помощью mergekit и метода Model Stock на базе unsloth/Meta-Llama-3.1-8B. В объединение вошли семь языковых моделей, включая инструктивные и uncensored-варианты. Модель содержит 7,5 млрд параметров, работает через библиотеку Transformers и распространяется в формате safetensors; заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста и может использоваться в диалоговых сценариях и для задач с длинным контекстом. README указывает на включение моделей с разными настройками и назначением, однако не приводит отдельных оценок качества или подробностей о поведении итогового объединения. Лицензия в предоставленных данных не указана.

Llama-3.1-SuperNova-Lite-GGUF — набор GGUF-квантизированных версий текстовой генеративной модели Llama-3.1-SuperNova-Lite, разработанной arcee-ai и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. В README указана поддержка английского языка и формат prompt’ов, совместимый с Llama 3.1. Доступны варианты от полноразмерных F16 весов размером 16,07 ГБ до компактных версий с квантованием Q2–Q8 и размером примерно от 3,7 до 8,5 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp; отдельные варианты оптимизированы для ARM-процессоров и требуют соответствующей поддержки инструкций. Более высокие уровни квантования обеспечивают лучшее качество, тогда как компактные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут заметнее терять в качестве. Архитектура, число параметров, модальности и размер контекстного окна в README не указаны. Модель распространяется по лицензии llama3. Условия использования следует дополнительно сверять с лицензией базовой модели Llama-3.1-SuperNova-Lite.

DiscoResearch и Occiglot разработали эту инструктивно дообученную языковую модель при поддержке DFKI и hessian.Ai. Она основана на Llama 3 и предназначена прежде всего для диалогов и выполнения инструкций на немецком языке. Модель имеет плотную архитектуру LlamaForCausalLM с 7,5 млрд параметров и принимает текст, выдавая текст. Базовую Llama 3 дообучали на 65 млрд немецких токенов, затем расширили контекст обучением на последовательностях длиной 32 тыс. токенов и провели инструктивное дообучение на немецком наборе DiscoResearch. В метаданных указано нативное окно контекста 65 536 токенов; README описывает обучение длинного контекста на 32 тыс. токенов. Модель подходит для немецкоязычных диалогов, ответов на вопросы, следования инструкциям и работы с длинными текстами. В README приведены результаты оценки на английских и немецких бенчмарках. Доступна в формате safetensors для Transformers; лицензия — Llama 3, поэтому использование регулируется её условиями.

M7Yamshadowexperiment28_Strangemerges_32Alloyingotneoy — объединённая модель на архитектуре Mistral, созданная из automerger/M7Yamshadowexperiment28-7B и automerger/Strangemerges_32Alloyingotneoy-7B. Она предназначена для генерации текста и может использоваться в приложениях, которым нужна языковая модель с контекстом до 32 768 токенов. Модель содержит 7,1 млрд параметров, а её веса опубликованы в формате Safetensors. Карточка не описывает специальные области применения, языки или результаты оценки качества. Лицензия — Apache-2.0.

castorini/mdpr-tied-pft-nq — мультиязычная модель плотного поиска passage retrieval, разработанная исследовательской организацией Castorini. Она предназначена для преобразования вопросов и текстовых passage в векторные представления, пригодные для семантического поиска и открытого вопросно-ответного поиска по большим коллекциям документов. Модель реализует bi-encoder-подход mDPR на основе multilingual BERT; вариант pft-nq предварительно дообучен на Natural Questions. В метаданных Hugging Face указаны архитектурные признаки BERT, библиотека Transformers/PyTorch, объём около 205,1 млн параметров и максимальная длина контекста 512 токенов. Модель используется для мультиязычного retrieval, включая построение dense-индексов и поиск passage по запросам. Модель поддерживает английский, арабский, бенгальский, финский, индонезийский, японский, корейский, русский, суахили, телугу и тайский языки. Она возвращает признаки или эмбеддинги и не является генеративной моделью ответов. В исследованиях mDPR эффективность может уступать BM25, поэтому для практического поиска может потребоваться гибридное sparse-dense ранжирование.

MeliodasT3qm7-7B — объединённая Maxime Labonne модель для генерации текста и диалога. Она построена на архитектуре Mistral и содержит 7,1 млрд параметров; модель создана методом DARE-TIES из AurelPx/Meliodas-7b-dare и nlpguy/T3QM7. Модель предназначена для генерации ответов в диалоге и выполнения текстовых запросов. Контекстное окно составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors с точностью bfloat16. Лицензия — Apache-2.0. Карточка не приводит сведения о целевых языках, специализированных областях или результатах оценки качества.

MFANN3bv0.20.17 — языковая модель семейства Phi, разработанная netcat420 и предназначенная для генерации текста по инструкциям и выполнения широкого круга общих задач. Это дообучение предыдущей версии netcat420/MFANN3bv0.20.16 на наборе данных netcat420/MFANN. Модель содержит 3,5 млрд параметров, использует плотную архитектуру PhiForCausalLM и принимает текстовые инструкции в формате «Instruct: … Output:». Контекстное окно составляет до 32 768 токенов; карточка указывает английский язык. Средняя ошибка обучения, приведённая автором для MFANN, составляет 0,33. Модель распространяется в формате safetensors по лицензии MIT.

Карточка модели NostraEmpire/mirror-olmo-2-13b-instruct на Hugging Face совпадает с карточкой allenai/OLMo-2-1124-13B-Instruct, поэтому описание составлено по ней. OLMo-2-1124-13B-Instruct — разговорная языковая модель Allen Institute for AI (AI2), постобученная на основе OLMo-2 13B. Она прошла supervised fine-tuning на варианте набора Tülu 3 и обучение RLVR; метаданные указывают базовую модель allenai/OLMo-2-1124-13B-Instruct-RLVR2. Модель с плотной архитектурой OLMo 2 содержит 13,2 млрд параметров, использует Transformers и формат safetensors, а её контекст составляет 4096 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, следование инструкциям и решение математических задач. Обучение ориентировано преимущественно на английский язык и охватывает разнообразные задачи, включая MATH, GSM8K и IFEval. Модель распространяется по лицензии Apache 2.0. У OLMo-2 ограничено обучение безопасности; без дополнительной фильтрации она может выдавать проблемные ответы, особенно в ответ на соответствующие запросы. Для загрузки через Hugging Face README сообщает о необходимости установить Transformers из основной ветки.

Карточка модели NostraEmpire/mirror-smollm2-1.7b-instruct на Hugging Face совпадает с карточкой HuggingFaceTB/SmolLM2-1.7B-Instruct, поэтому описание составлено по ней. SmolLM2-1.7B-Instruct — компактная языковая модель Hugging Face на 1,7 млрд параметров, дообученная на базе HuggingFaceTB/SmolLM2-1.7B. Это плотный Transformer-декодер семейства Llama для генерации текста и диалогов; модель поддерживает контекст до 8192 токенов и рассчитана на запуск на устройстве. Версия Instruct прошла supervised fine-tuning и Direct Preference Optimization. Она предназначена для следования инструкциям, переписывания и суммаризации текста, а также вызова функций. Модель ориентирована прежде всего на английский язык; репозиторий содержит веса Safetensors и формат ONNX. Лицензия — Apache-2.0. По сравнению с предыдущей версией семейства улучшены следование инструкциям, знания, рассуждения и математика, однако ответы могут содержать фактические ошибки, быть логически непоследовательными или отражать смещения обучающих данных. Важную информацию следует проверять; модель не заменяет экспертную оценку.

bhenrym14/mistral-7b-platypus-fp16 — плотная языковая модель Mistral на 7,1 млрд параметров, созданная на основе mistralai/Mistral-7B-v0.1. Автор дообучил её на инструкциях из набора garage-bAInd/Open-Platypus, используя объединённый QLoRA-адаптер ранга 64. Модель предназначена для генерации текста в ответ на инструкции и запросы; в карточке приведены результаты тестов ARC, HellaSwag и MMLU. Модель рассчитана на контекст до 32 768 токенов и использует архитектуру MistralForCausalLM. Для работы карточка рекомендует загрузку через Transformers; на момент её написания требовалась версия библиотеки из исходного кода. Обучение велось с устаревшим системным промптом Airoboros версии ниже 2.0, что важно учитывать при подготовке запросов. Это дообученная модель, а не исходная разработка автора репозитория. В карточке не приведены сведения о лицензии, поэтому условия использования следует проверять у базовой модели и в репозитории. Описанные бенчмарки не гарантируют качество на произвольных задачах; автор также отмечает, что скользящее оконное внимание и размер модели могут ограничивать её конкурентоспособность при работе с длинным контекстом.

facebook/mms-lid-512 — модель распознавания языка речи из проекта Massively Multilingual Speech, разработанного Vineel Pratap и коллегами в Facebook. Это дообученная на 512 языках версия facebook/mms-1b на архитектуре Wav2Vec2: она принимает аудио и распределяет вероятности по 512 классам языков, помогая определить, на каком языке говорят. Для работы ожидается аудио с частотой дискретизации 16 кГц. Модель подходит для автоматической идентификации языка в аудиозаписях и как начальный этап многоязычных речевых конвейеров. В карточке указана лицензия CC-BY-NC 4.0, которая ограничивает коммерческое использование. Модель предназначена для классификации языка речи, а не для транскрибирования или перевода аудио.

Mocha-Dare-7b-ex — языковая модель, созданная объединением нескольких предварительно обученных моделей с помощью mergekit и метода DARE TIES. В качестве основы использована Mistral-7B-v0.1; в объединение также вошли Open-Orca/Mistral-7B-OpenOrca, Mistral-7B-v0.1-Open-Platypus и WizardMath-7B-V1.1. Модель предназначена для генерации текста и может применяться в диалогах, ответах на вопросы, решении задач по математике и общих инструкциях. Она построена на плотной архитектуре Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Доступны веса в формате safetensors; библиотека из метаданных — Transformers. В карточке не описаны результаты оценки качества или отдельные гарантии для конкретных сценариев. Указана лицензия CC BY 4.0.

sigridjineth/ModernBERT-korean-large-preview — модель Sentence Transformers, дообученная автором на корейском наборе korean_nli_dataset_reranker_v1 на основе answerdotai/ModernBERT-large. Это плотный энкодер ModernBERT с 394,7 млн параметров: он преобразует предложения и абзацы в векторы размерности 1024, а сходство между ними оценивается косинусной мерой. Максимальная длина входа — 8192 токена; модель предназначена прежде всего для корейского языка. Модель подходит для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В README приведены результаты оценки на задачах поиска и сравнения предложений; показатели относятся к указанным оценочным наборам и не гарантируют такую же точность на других данных. Для практического применения модель можно использовать в системах поиска и анализа корейских текстов, передавая её эмбеддинги поисковому индексу или последующим алгоритмам. В предоставленных данных сведения о лицензии отсутствуют.

zelk12/MT-Gen3-gemma-2-9B — объединённая авторами модель на базе Gemma 2, собранная методом SLERP с помощью mergekit из zelk12/MT-Gen3-GB-gemma-2-9B и zelk12/MT-Gen3-IMMMUMA-gemma-2-9B. Это плотная языковая модель с 9 млрд параметров для генерации текста и диалогового взаимодействия; она принимает текст и формирует текстовые ответы. Модель доступна в формате safetensors для Transformers, а README также содержит раздел о статических квантованных сборках GGUF. Контекст — до 8192 токенов. В карточке приведены результаты оценки на Open LLM Leaderboard, включая IFEval и BBH, но описание сценариев обучения и целевой специализации объединённой модели отсутствует. Для использования доступны веса модели; лицензия в предоставленных данных не указана.

NbAiLab/nb-wav2vec2-1b-bokmaal-v2 — модель автоматического распознавания речи, опубликованная лабораторией искусственного интеллекта Национальной библиотеки Норвегии (NbAiLab). Она преобразует норвежскую речь на букмоле в текст и предназначена для транскрибирования аудиозаписей. Модель использует архитектуру Wav2Vec2 с классификатором CTC и содержит 1,3 млрд параметров; карточка указывает применение через Transformers и лицензию Apache-2.0. Родственная модель NbAiLab с названием без суффикса v2 дообучена на основе XLS-R и оценивалась на норвежском корпусе парламентской речи; найденные материалы не позволяют уверенно переносить эти результаты на версию v2. Распознавание оптимизировано для букмола, поэтому качество на других языках и вариантах норвежского не подтверждено.

Карточка модели m-a-p/neo_7b_sft_v0.1 на Hugging Face совпадает с карточкой m-a-p/neo_7b_instruct_v0.1, поэтому описание составлено по ней. m-a-p представляет NEO 7B Instruct v0.1 — инструктивно дообученную языковую модель семейства Llama с плотной архитектурой и примерно 7,6 млрд параметров. Репозиторий содержит веса в формате Safetensors; проект описывает модель как открытую и предоставляет сведения о коде, обучающих данных и процессе обучения. Модель предназначена для генерации текста по инструкциям и диалогового взаимодействия. Контекст составляет 8192 токена. В карточке не описаны конкретные языки и специализированные области применения. Модель распространяется по лицензии Apache-2.0. README указывает, что это instruction-tuned версия NEO 7B, но не приводит деталей о качестве, тестировании или ограничениях применения.

NeoMME-800M-Retriever-ST-dense — мультимодальная модель для поиска по документам, разработанная Hcompany. Это вариант NeoMME-800M-Retriever, дообученный для независимой настройки плотных представлений с помощью Sentence Transformers. Общий двунаправленный Transformer-энкодер кодирует текстовые запросы и текстовые документы или изображения страниц; модель содержит 1,1 млрд параметров и поддерживает контекст до 16 384 токенов. Модель возвращает только плотные эмбеддинги, нормализованные по L2; сходство оценивается косинусной мерой. Её можно применять для поиска текстов и визуального поиска по страницам документов, включая мультиязычные сценарии. По README, версия Sentence Transformers использует только одну из двух голов поиска за раз. Лицензия — Apache-2.0.

NorBERTo-base — предварительно обученный текстовый энкодер ModernBERT для бразильского португальского языка, разработанный Itaú Unibanco и ICTi. Модель содержит около 149 млн параметров и обучена на корпусе Aurora-PT объёмом 331 млрд токенов. Основная задача модели — предсказывать пропущенные токены в тексте. Её также можно применять для получения текстовых эмбеддингов и адаптировать под задачи классификации, семантического сходства и текстового следования. Контекст поддерживает до 8 192 токенов; в архитектуре используются эффективное локально-глобальное внимание и RoPE. В карточке сообщается о результатах на португалоязычных бенчмарках PLUE и ASSIN 2. Это базовая предобученная модель, а показатели для отдельных задач могут относиться к дообученным вариантам. Лицензия CC BY-NC-SA 4.0 требует атрибуции, распространения производных материалов на тех же условиях и не допускает коммерческого использования.

duyntnet/Nous-Hermes-Llama2-13b-imatrix-GGUF — набор квантизированных версий текстовой генеративной модели Nous-Hermes-Llama2-13b, разработанной NousResearch. Модель предназначена для генерации текста и работы в локальных приложениях и интерфейсах, поддерживающих формат GGUF и совместимых с llama.cpp, включая JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. Для взаимодействия используется формат промпта Alpaca с полями Instruction, а при необходимости Input и Response. Из известных характеристик: модель имеет размер 13B параметров, работает с текстом и заявлена для английского языка. Квантизация с использованием imatrix может снизить требования к памяти и упростить локальный запуск, однако конкретные варианты квантования и их компромиссы между качеством, скоростью и потреблением ресурсов в README не указаны. Ограничения по качеству, производительности, поддерживаемому контексту и аппаратным требованиям также не описаны. Лицензия обозначена как other, без дополнительных условий или подробностей.

nztinversive собрал эту плотную языковую модель методом TIES с помощью mergekit на основе NousResearch/Llama-2-7b-hf, объединив веса Mistral-7B-Instruct-v0.2 и Orca-2-7b. Модель содержит 6,6 млрд параметров, распространяется в формате safetensors и предназначена для генерации текста по запросам и инструкциям. Максимальная длина контекста составляет 4096 токенов. Модель можно применять для диалоговых ответов, черновиков и других текстовых задач общего назначения. В карточке не указаны отдельные языковые предпочтения или специализированная предметная область. Лицензия в предоставленных данных не указана; качество и ограничения этого конкретного слияния отдельно не описаны.

Карточка модели SAIFIINDUSTRIES/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-noMTP-GGUF на Hugging Face совпадает с карточкой waseigo/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-noMTP-GGUF, поэтому описание составлено по ней. Это конвертированная в GGUF версия NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4, подготовленная автором репозитория для запуска через llama.cpp. Из конвертации исключены MTP-слои; веса сохранены в автоматически выбранном формате исходной модели. Модель предназначена для генерации текста и диалогового использования. Автор сообщает, что она запускалась на двух видеокартах RTX 5060 Ti по 16 ГБ, с контекстом до 1 048 576 токенов и квантизацией KV-кэша q8_0; по его оценке, для этого не требуется выгружать экспертные слои в оперативную память. Поддерживаемые языки по карточке: английский, испанский, французский, немецкий, итальянский и японский. Это конверсия исходной модели NVIDIA в GGUF для llama.cpp, а не самостоятельное дообучение; базовая модель — nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4. Репозиторий указывает лицензию «other», поэтому перед использованием следует проверить условия исходной модели и репозитория.

OLMoE-1B-7B-0125-SFT — англоязычная языковая модель AllenAI для генерации текста и диалогового взаимодействия. Это версия OLMoE-1B-7B-0125, прошедшая supervised fine-tuning на варианте набора Tülu 3, включающем публичные, синтетические и созданные людьми данные. Модель основана на архитектуре MoE и имеет 472,1 млн параметров; максимальная длина контекста — 4096 токенов. Модель предназначена для чата и широкого круга текстовых задач, включая математические вопросы и следование инструкциям. Для загрузки через Transformers в README указана необходимость установить версию библиотеки из основной ветки. Модель выпущена под лицензией Apache 2.0. Безопасностное обучение ограничено: модель может выдавать проблемный контент, особенно при соответствующих запросах. В README также отмечено, что она не обучалась с расчётом на конкретный системный промпт.

Moondream Parakeet Redux — компактная модель автоматического распознавания речи, созданная на основе Parakeet-TDT-0.6B-v3 от NVIDIA. Она сохраняет исходную архитектуру и токенизатор, но веса энкодера представлены значениями −1, 0 и +1 (1,58 бита); размер весов — 178 МБ. Для запуска README рекомендует Photon, который использует AVX-512 VNNI на x86, NEON на ARM и Metal на Apple-устройствах. Модель предназначена для преобразования речи в текст, включая многоязычные записи и длинные аудио. Встроенная голова определения речевой активности помогает Photon разделять длинные записи на фрагменты до 30 секунд. В опубликованных сравнениях Redux близка к исходной модели на английском, показывает лучшие результаты на FLEURS и длинных выступлениях, но сильнее теряет точность при фоновом шуме. Заявленные скорости зависят от оборудования и среды Photon. В карточке указана лицензия CC-BY-4.0. Модель поддерживает 25 языков, включая русский; метаданные перечисляют языковые коды для 23 из них.

beshkenadze опубликовал преобразованный вариант многоязычной модели распознавания речи Parakeet Ultra в формате MLX fp16 для использования с mlx-audio-swift. В основе лежит moondream/parakeet-ultra — постобученная Moondream модель nvidia/parakeet-tdt-0.6b-v3 с той же архитектурой и словарём; репозиторий содержит веса safetensors. При преобразовании тензоры переименованы и приведены к раскладке MLX, голова VAD удалена, а веса приведены к fp16. Модель предназначена для транскрибирования аудио, в том числе русской речи. В тестах README она показала меньший WER, чем Parakeet TDT v3 fp16 на FLEURS для 13 языков и на наборе русских записей, а также на пятиминутной записи совещания. Эти результаты относятся к описанным тестовым наборам и конвейеру Silero VAD с mlx-audio-swift. Лицензия репозитория — CC BY 4.0.

bunsenfeng/parti_4_full — текстовая генеративная модель семейства Qwen2, размещённая пользователем bunsenfeng на Hugging Face. По метаданным, она содержит 7,1 млрд параметров, построена на архитектуре Qwen2ForCausalLM и использует Transformers; заявлены генерация текста и диалоговый режим. Для развёртывания указаны веса Safetensors и контекст до 32 768 токенов. Модель подходит для диалогов и генерации текста, в том числе для работы с длинным контекстом. Источники не позволяют надёжно установить конкретные обучающие задачи, поддерживаемые языки или лицензионные условия; поэтому не следует считать её специализированной для отдельных областей или языков.

Xiaojian9992024/Phi-3.5-Small-Instruct-UNOFFICAL — языковая модель для генерации текста и диалогов, созданная слиянием предобученных моделей через mergekit. В README в качестве основы слияния указана microsoft/Phi-3.5-mini-instruct; метаданные также связывают репозиторий с этой моделью. Модель использует плотную архитектуру Phi-3 и содержит 10,5 млрд параметров. Модель подходит для диалоговых сценариев и генерации текста. Она принимает текст и выдаёт текст; заявленная длина контекста — 4096 токенов. Для работы указана библиотека Transformers и формат весов Safetensors. Лицензия в предоставленных данных не указана.

Pleias-1.2b-Preview — базовая языковая модель Pleias, обученная с нуля совместно с Tracto AI на корпусе Common Corpus. Это плотный трансформер с архитектурой, близкой к Llama/GPT-NeoX; в метаданных указаны класс LlamaForCausalLM, 1,2 млрд параметров и контекст 2048 токенов. Модель предназначена для продолжения текста, в том числе творческой генерации на нескольких европейских языках, и может служить основой для дообучения на задачах работы с документами. По заявлению разработчиков, обучение проводилось только на открытых данных из общественного достояния или под разрешительными лицензиями; для обработки документов создан новый токенизатор. Модель компактна и может запускаться на CPU. Она выпущена как ранняя предварительная версия: это базовая модель без дополнительного выравнивания безопасности, поэтому возможны предвзятые, ошибочные или проблемные ответы. Лицензия — Apache-2.0.