I.2Синтез, понимание и проверка знаний

HIM-3B — языковая модель MedinaMemorySystems на 3,2 млрд параметров, дообученная на базе meta-llama/Llama-3.2-3B-Instruct. Она предназначена для оркестрации автономных агентов: управления многоэтапными рабочими процессами, поддержания ролей и подготовки структурированных дебатов с обобщением разных точек зрения. Модель принимает текст и генерирует текст; для диалогов использует шаблон Llama 3. Контекст составляет 8192 токена. Архитектура — плотный трансформер Llama с RoPE, SwiGLU и Grouped-Query Attention. В карточке заявлена поддержка CortexScript и специализация на агентных сценариях, а также приведены результаты общих тестов и оценки производительности. Эти показатели указаны авторами модели и не подтверждены приведёнными метаданными. Лицензия — Apache-2.0. README предупреждает, что в длинных дебатах модель может смешивать персоны, а генерация кода общего назначения может быть слабее, чем у базовой модели.

Huihui-gemma-4-26B-A4B-it-abliterated — производная модель huihui-ai на основе Google Gemma 4 26B A4B IT. Разработчик описывает её как экспериментальную версию с ослабленными отказами, созданную методом abliteration; обработаны режимы с рассуждением и без него. По метаданным, это мультимодальная архитектура Gemma 4 для генерации текста при работе с текстом и изображениями. Модель предназначена для диалогов и генерации ответов с менее строгими ограничениями на содержание. README называет реализацию грубой проверкой концепции: первые пять слоёв не подвергались abliteration и могут выдавать предупреждения, а 256 экспертов в каждом слое не обрабатывались. Поэтому поведение может быть непоследовательным; автор также предупреждает о возможности чувствительных, спорных или неподходящих ответов. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0.

Это конверсия мультимодальной диалоговой модели Huihui-gemma-4-26B-A4B-it-abliterated, разработанной Huihui AI, в формат MLX-VLM для локального запуска на компьютерах Apple Silicon. Она основана на Gemma4ForConditionalGeneration и поддерживает диалог по тексту и изображениям; репозиторий содержит веса bf16 объёмом около 48 ГБ и предназначен для работы через mlx-vlm. Модель подходит для генерации ответов на текстовые запросы и описания изображений. В исходной модели ослаблены отказы, поэтому она может отвечать на запросы, которые стандартная модель отклонила бы. Проверки показали, что модель загружается и генерирует токены в mlx-vlm, однако качество ответов требует настройки, а поведение зависит от версии среды и параметров генерации. LM Studio 0.4.11+1 пока не поддерживает загрузку Gemma 4. Лицензия в предоставленных данных не указана.

InternVL2.5 HiCo R64 — экспериментальный вариант видеомультимодальной языковой модели InternVideo2.5, разработанный на основе InternVL2.5. Модель использует технологию Adaptive Hierarchical Token Compression (HiCo) и представляет каждый кадр 64 токенами. Вариант HiCo R64 относится к абляционным экспериментам и применяет HiCo без описанного в карточке обучения с плотной видеоразметкой и TPO. Модель предназначена для диалога и анализа видео: она воспринимает визуальные детали и временные связи в длинных роликах и отвечает на вопросы о содержании. В README приведены результаты на MVBench, LongVideoBench и VideoMME. Метаданные указывают архитектуру InternVLChatModel и библиотеку Transformers; данные представляются в формате safetensors. Карточка указывает лицензию Apache-2.0. Заявленная поддержка языка — английский.

Это дообученная модель GPT-2, опубликованная Francesca9805 и основанная на francesca9805/ppt-wc-uniform-newlex-jpn-after-100mb-packed-bfdiso_seed3407. Модель обучена с помощью TRL и предназначена для генерации текста, в том числе ответов на вопросы; карточка демонстрирует диалоговый запрос на английском языке. Модель использует плотную архитектуру GPT2LMHeadModel, файлы представлены в формате safetensors, контекст составляет 512 токенов. Метаданные базовой модели указывают на генерацию английского текста и ответы на вопросы. Лицензия в предоставленных данных не указана.

NANI-Nithin/K2-Horizon-0.9B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-0.9B, разработанной MBZUAI IFM и дополнительно квантизированной NANI-Nithin. Модель представляет собой плотный causal decoder K2HorizonForCausalLM с архитектурным идентификатором k2_horizon и примерно 0,9 млрд параметров, без MoE. Исходная версия использует формат BF16, а набор включает варианты от BF16 и 8-битных до 1-битных квантизаций, включая K-quants и IQ-квантизации с importance matrix. Модель предназначена для локального запуска задач генерации текста через llama.cpp и совместимые инструменты. В README явно указан английский язык; другие языки, контекстное окно и поддерживаемые модальности не описаны, поэтому модель следует рассматривать как текстовую. Основные преимущества — небольшой размер, широкий выбор компромисса между качеством и требованиями к памяти, а также применение калибровки на датасете wikitext для ряда низкобитных вариантов. Рекомендуемой для общего использования названа K2-Horizon-0.9B-Q4_K_M.gguf. Для запуска требуется форк MBZUAI-IFM llama.cpp с веткой model/K2Horizon либо версия upstream llama.cpp после добавления поддержки архитектуры k2_horizon; стандартная upstream-версия на момент, указанный в README, модель не поддерживает. Веса распространяются на тех же условиях, что и оригинальная IFM/K2-Horizon-0.9B; для точных условий необходимо обратиться к репозиторию оригинальной модели. В метаданных указан идентификатор лицензии Apache-2.0.

Keural Cortex 8B — 64K — это базовая авторегрессионная модель семейства Qwen3, разработанная MKD Co., Ltd. на основе Qwen/Qwen3-8B-Base методом продолженного предобучения. Модель содержит 7,6 млрд параметров по метаданным и рассчитана на контекст до 65 536 токенов с масштабированием YaRN 2.0. Модель ориентирована на генерацию и продолжение текста, особенно на корейском языке, а также на эксперименты с длинным контекстом и дальнейшее дообучение. В описанных тестах она извлекла контрольный код из длинных документов на разных глубинах контекста и показала умеренный прирост на корейском KMMLU относительно исходной базовой модели. Это базовая модель без настройки на выполнение инструкций: она продолжает текст, а не гарантированно отвечает на вопросы. У неё нет обученного интерфейса чата или вызова инструментов; результаты бенчмарков предварительны, поскольку проверка на загрязнение тестовых данных не проводилась. Лицензия — Apache-2.0.

Карточка модели rbinrs/Kimi-K3-Abliterated-V1 на Hugging Face совпадает с карточкой Uniboshi/Kimi-K3-Abliterated-V1, поэтому описание составлено по ней. Uniboshi/Kimi-K3-Abliterated-V1 — модифицированная версия Kimi K3 от Moonshot AI, подготовленная Uniboshi. Модель настроена так, чтобы реже отказывать на запросы на английском и японском языках; по заявлению автора карточки, из неё удалено более 98% защитных механизмов. Модель предназначена для диалоговых сценариев с обработкой текста и изображений. Метаданные относят её к задачам image-text-to-text и отмечают поддержку vision и chat. Это производная Kimi K3; веса представлены в формате safetensors и используются через Transformers. Карточка не приводит размер модели, длину контекста или условия лицензии; в метаданных указана лицензия other. Настройка на снижение отказов может привести к выдаче небезопасного или нежелательного контента, поэтому модель требует осторожного применения.

Kimi-K3-Uncensored-GGUF — это квантованная в формате GGUF версия модели Kimi K3 от Moonshot AI, подготовленная сообществом в виде abliterated-варианта. Модель предназначена для генерации текста и диалоговых сценариев, включая случаи, где требуется минимизировать стандартные отказы модели. Поддерживаемые языки — английский и китайский. Исходная Kimi K3 заявлена как Mixture-of-Experts-модель примерно на 2,8 трлн параметров, из которых около 104 млрд активируются при обработке токена; используется 896 экспертов и маршрутизация top-16. Релиз занимает около 539,7 GiB и разделён на 34 файла. Квантование выполнено с использованием IQ1_S-XS для экспертов, F32 для router, IQ4_XS для attention/KDA и Q5_K для shexp. Максимальный контекст в README не указан. Ключевая особенность версии — удаление направления отказа из записей в residual stream методом abliteration. На небольшом внутреннем тесте модель показала 0% отказов на 26 вредоносных запросах, 0% избыточных отказов на 30 безвредных запросах и 0% несвязности на 18 фактических вопросах. Эти результаты нельзя считать надёжным доказательством превосходства: выборка мала, сравнение выполнено с другой схемой квантования, а оценка основана главным образом на сопоставлении ключевых слов. Большой размер файлов также существенно ограничивает локальный запуск. Лицензия указана как other с названием kimi-k3; подробные условия приведены в лицензии базовой модели Kimi K3 на Hugging Face.

Ko-PlatYi-6B-gu — авторегрессионная языковая модель на архитектуре Llama, разработанная Kyujin Han. Она принимает текст и генерирует текст; модель предназначена для генерации ответов и выполнения общих языковых задач на корейском языке. Модель содержит 5,9 млрд параметров, использует формат PyTorch и имеет контекст до 2048 токенов. Она дообучена на наборе kyujinpy/KOR-gugugu-platypus-set на основе beomi/Yi-Ko-6B. В карточке приведены результаты оценок на нескольких бенчмарках, однако подробные ссылки и описание методики оценки отсутствуют. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование. Её контекст сравнительно короткий, а карточка не описывает отдельные гарантии качества или специализированные области применения.

ko-platypus-kiwi-13B — авторегрессионная языковая модель на архитектуре LLaMA 2, разработанная Kyujin Han в рамках исследовательского консорциума компаний 미디어그룹사람과숲 и 마커. Модель содержит 12,9 млрд параметров и предназначена для генерации текста, в частности на корейском языке. Модель дообучена на наборе kyujinpy/KOR-Orca-Platypus-kiwi поверх hyunseoki/ko-en-llama2-13b. В карточке приведены результаты сравнительной оценки на корейских бенчмарках, включая Ko-ARC, Ko-HellaSwag, Ko-MMLU, Ko-TruthfulQA и Ko-CommonGen V2. Контекст составляет 2048 токенов. Для загрузки указана библиотека Transformers и формат PyTorch. Модель подходит для генерации ответов и текстов на корейском языке, однако карточка не описывает отдельные специализированные функции. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространяет производные работы на тех же условиях и ограничивает коммерческое использование.

Korean-OpenOrca-v3 — это авторегрессионная языковая модель на архитектуре LLaMA 2, разработанная Kyujin Han (kyujinpy) в консорциуме LLM-исследований компаний Media Group Sarang-gwa-Sup и Marker. Модель содержит 12,9 млрд параметров и имеет контекст 2048 токенов; она доступна в формате Safetensors и предназначена для генерации текста, прежде всего на корейском языке. Модель дообучена на корейской версии набора OpenOrca, подготовленной с использованием машинного перевода DeepL. Её можно применять для ответов на вопросы, диалога и генерации текста на корейском языке. В карточке приведены сравнительные результаты на корейских тестах Ko-ARC, Ko-HellaSwag, Ko-MMLU, Ko-TruthfulQA и Ko-CommonGen V2. Лицензия CC BY-NC-SA 4.0 требует указания авторства, ограничивает коммерческое использование и предписывает распространять производные материалы на тех же условиях. Короткое контекстное окно и зависимость обучающих данных от машинного перевода могут ограничивать качество на длинных запросах и отдельных языковых задачах.

KUCIecareBertBasedUncasedFinetuned — модель на архитектуре BERT, дообученная Ariffiq99 на неизвестном наборе данных. Она предназначена для выбора ответа из нескольких вариантов по текстовому вопросу и вариантам ответа. Модель содержит 136,7 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в формате safetensors. В карточке приведены результаты оценки: loss 1,1213 и F1 0,5413. Эти показатели относятся к указанному оценочному набору и сами по себе не позволяют судить о качестве на других данных. Модель опубликована по лицензии Apache-2.0.

LawVinaLlama — языковая модель для работы с вьетнамским законодательством, разработанная командой NaverHustQA и дообученная на базе vilm/vinallama-7b. Модель семейства Llama имеет плотную архитектуру и около 6,7 млрд параметров; в метаданных указан контекст до 4096 токенов. Она принимает текст и генерирует ответы, опираясь на предоставленный контекст, а также умеет отвечать на юридические вопросы и кратко излагать правовые материалы. Для обучения использовались вопросы и ответы из вьетнамской правовой библиотеки, материалы по международному праву и синтетические примеры рассуждений. Основной язык применения — вьетнамский; среди языков карточки также указан английский. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Ответы могут быть неточными или вводить в заблуждение, а качество зависит от входных данных; юридические выводы следует проверять по актуальным первоисточникам.

RicardoLee разработал эту модель на основе Llama 2 Chat 7B, чтобы она отвечала на вопросы по-китайски, поскольку исходная версия могла переключаться на другие языки. Модель представляет собой плотную авторегрессионную архитектуру Llama с 6,7 млрд параметров и контекстом до 2048 токенов; она предназначена для генерации текста и диалоговых ответов на китайском языке. Для дообучения применялась LoRA с настройкой embedding и LM head на 500 тысячах примеров SFT из проекта BELLE. Параметры LoRA уже объединены с базовой моделью, поэтому отдельный адаптер для запуска не требуется. Модель обучали на модифицированном фреймворке Chinese-LLaMA-Alpaca и использовали tokenizer от Chinese-Alpaca-Plus. Для диалога README указывает на шаблон Stanford Alpaca и необходимость добавлять приветственное вступление в тестовых запросах. Репозиторий содержит веса PyTorch. В карточке не указана лицензия, поэтому условия распространения и коммерческого использования следует уточнить отдельно.

Карточка модели longtermrisk/Llama-3.1-8B-bad-medical-advice-second-third-sft-seed3 на Hugging Face совпадает с карточкой longtermrisk/Llama-3.1-8B-old-bird-names-v2-sft-seed5, поэтому описание составлено по ней. Модель longtermrisk/Llama-3.1-8B-old-bird-names-v2-sft-seed5 разработана longtermrisk и представляет собой дообученную версию инструкционной Llama 3.1 на 7,5 млрд параметров. Она использует архитектуру LlamaForCausalLM и предназначена для генерации текста и диалогов; обучение проводилось с Unsloth и библиотекой TRL. Модель принимает текст и выдаёт текст, поддерживает английский язык и контекст до 131 072 токенов. Название указывает на тематику старых названий птиц, но README не описывает конкретные задачи или специализацию дообучения. Лицензия — Apache-2.0.

Llama-3-8b-ita-ties-pro — слитая диалоговая языковая модель на архитектуре Llama, созданная автором карточки с помощью Mergekit и метода TIES. В основу слияния положена Meta-Llama-3-8B-Instruct; также объединены DeepMount00/Llama-3-8b-Ita и swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITA. Модель содержит 7,5 млрд параметров, распространяется в формате safetensors и имеет контекст до 8192 токенов. Модель предназначена для генерации текста и диалога на итальянском языке, включая ответы ассистента и решение языковых тестов. В README приведены результаты на итальянских наборах hellaswag_it, arc_it и m_mmlu_it; автор отмечает, что результаты приемлемы, но превзойти лучшие существующие итальянские модели не удалось. Модель распространяется по лицензии Llama 3. Она унаследовала ограничения базовых моделей; README не приводит дополнительных сведений о безопасности или известных недостатках.

Llama-3-Chinese-8B — базовая языковая модель, разработанная HFL и дополнительно предварительно обученная на основе Meta-Llama-3-8B на корпусе китайских текстов объёмом 120 ГБ. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров; она принимает текст и предназначена для генерации текста, а не для общения в формате ассистента или ответов на вопросы. Поддерживает китайский и английский языки и контекст до 8192 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

LLaVA-llama32-3b-Tfull-s1337-s2a — текстовая ветвь контролируемого эксперимента T-cap, разработанная для сравнения обучения на текстовых и мультимодальных данных. Это плотная модель на 3,2 млрд параметров, дообученная на базе meta-llama/Llama-3.2-3B-Instruct на этапе caption stage: она обучалась на подписях к изображениям и языковых примерах, при этом изображения и специальные токены удалялись, а исходные примеры и их порядок сохранялись. Контекст составляет 131 072 токена; веса опубликованы в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев, в частности для изучения влияния текстового обучения на результаты по сравнению с обучением с визуальным компонентом. Хотя в контрольной точке сохранены веса vision tower и проектора LLaVA-NeXT, они не используются: модель принимает только текст и не подходит для анализа изображений. Это экспериментальный исследовательский чекпойнт, не проходивший отбор лучшей версии или дополнительное выравнивание безопасности. Для загрузки требуется класс LlavaLlamaForCausalLM из репозитория LLaVA-NeXT. Лицензия — Llama 3.2; модель наследует ограничения базовой модели.

LogoS-7Bx2-MoE-13B-v0.2 — языковая модель для генерации текста, созданная RubielLabarta методом слияния SLERP. Она основана на объединении моделей TomGrc/FusionNet_7Bx2_MoE_14B и yunconglong/Truthful_DPO_TomGrc_FusionNet_7Bx2_MoE_13B. Архитектура Mixtral использует смесь экспертов (MoE); в метаданных указано 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для экспериментов с MoE и генерации текста. Карточка приводит результаты оценивания на бенчмарках ARC и HellaSwag. Метаданные карточки указывают английский и испанский языки. Лицензия — Apache-2.0; README ограничивает применение исследовательскими целями и запрещает коммерческое использование.

Kendamarron разработал эту инструкционную японскую языковую модель на основе llm-jp/llm-jp-3-3.7b-instruct, дообучив её методом SFT для генерации длинных текстов. Модель построена на плотной архитектуре Llama и содержит около 3,5 млрд параметров; она предназначена для диалогов и генерации текста, включая развёрнутые ответы. Поддерживает контекст до 32768 токенов и рассчитана в первую очередь на японский язык. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Карточка не содержит результатов оценки качества или подробных ограничений; фактическую точность и качество длинных ответов следует проверять на целевых задачах.

Luciole-23B-Base — базовая предобученная причинно-языковая модель, разработанная LINAGORA и консорциумом OpenLLM-France в рамках проекта OpenLLM France. Это плотная модель семейства Nemotron с 31,5 млрд параметров в репозитории и контекстом до 131 072 токенов; веса опубликованы в формате Safetensors под лицензией Apache 2.0. Модель обучена предсказывать следующий токен на многоязычных данных. Она предназначена как основа для дальнейшего дообучения, например для генерации текстов на французском и английском языках или специализированных задач после адаптации. Поддерживаемые языки включают также немецкий, испанский, итальянский, португальский, нидерландский и арабский, а в обучении присутствовали региональные языки и программный код. Модель не рассчитана на непосредственное использование в пользовательских сценариях без дообучения; качество на языках помимо французского и английского может быть ниже, а кодовая составляющая обучения не делает её оптимизированной для генерации кода. Она может воспроизводить токсичный или оскорбительный контент и унаследованные из обучающих текстов предубеждения; рекомендуется настройка инструкциями и предпочтениями.

Карточка модели TIGER-Lab/MAmmoTH2-7B на Hugging Face совпадает с карточкой TIGER-Lab/MAmmoTH2-8B-Plus, поэтому описание составлено по ней. MAmmoTH2-8B-Plus — языковая модель TIGER-Lab на архитектуре Llama 3, дообученная методом instruction tuning для улучшения рассуждений и диалоговых ответов. Модель содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Она предназначена для решения математических задач, включая школьные текстовые задачи и открытые задачи по математике, а также для ответов на инструкции и общих диалоговых сценариев. Разработчики сообщают об обучении на собранных из веб-корпуса инструкциях и дополнительном дообучении на открытых наборах инструкций; заявлена оценка на математических и общих тестах рассуждения. Основной язык модели — английский. Модель работает с текстом и выдаёт текст. В README отмечено, что качество может зависеть от сложности и специфики задачи, а математические области покрыты не полностью. Лицензия — MIT.

Medtulu-2x7b — языковая модель для генерации текста, собранная Technoculture как смесь экспертов (MoE) на архитектуре Mixtral. В README названы компоненты: Technoculture/MT7Bi-dpo и allenai/tulu-2-dpo-7b; всего в метаданных указано 6,6 млрд параметров, контекст — 2048 токенов. Модель может использоваться для генерации ответов и текста в диалоговых сценариях. Название и приведённые в README медицинские бенчмарки указывают на медицинскую тематику, однако таблица результатов не заполнена, поэтому качество в этой области по карточке оценить нельзя. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated — текстовая генеративная модель, созданная на основе Meta Llama 3.1 8B Instruct с применением abliteration. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов. Она предназначена для диалогов и генерации текста; автор описывает её как версию с ослабленными ограничениями на ответы. Модель опубликована в формате safetensors и рассчитана на использование через Transformers. Модель может подойти для открытых диалоговых экспериментов, генерации текста и оценки поведения вариантов Llama с изменёнными ограничениями на ответы. README приводит результаты на тестах IFEval и BBH, но они не гарантируют качество в конкретных сценариях. Модель лицензирована по Llama 3.1 Community License; применяются условия этой лицензии.

Это диалоговая языковая модель на архитектуре Llama, созданная дообучением Meta-Llama-3-8B-Instruct на датасете generator. Репозиторий содержит веса в формате Safetensors; модель насчитывает 7,5 млрд параметров и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста в диалоге. README не раскрывает особенности датасета и целевую тематику, поэтому по названию репозитория нельзя надёжно установить, насколько хорошо модель пишет художественные тексты или работает с японским языком. Лицензия указана как other, поэтому условия использования следует сверить с лицензией и условиями базовой модели Meta.

netcat420/MFANN3b-Rebase — промежуточная модель семейства MFANN, подготовленная как этап обучения перед будущим полным выпуском версий на 3B и 8B параметров. По метаданным, это плотная авторегрессионная языковая модель архитектуры PhiForCausalLM, предназначенная для генерации текста и использующая библиотеку Transformers. Репозиторий содержит веса в формате safetensors; размер модели составляет 3,5 млрд параметров, длина контекста — до 131 072 токенов. Карточка описывает модель как обучающий rebase, а не как законченный выпуск, поэтому её уместно рассматривать как экспериментальный чекпойнт для генерации текста. Данные о поддерживаемых языках и специализированных областях применения не приводятся. Лицензия в предоставленных данных не указана.

MisterUkrainianDPO — украиноязычная диалоговая модель, созданная Раду Чиверяну методом DPO на основе Mistral-7B-v0.2. Она предназначена для генерации ответов на инструкции и вопросы на украинском языке; для работы с инструкциями используется формат [INST]…[/INST] или доступный шаблон чата Transformers. Модель имеет плотную архитектуру MistralForCausalLM с Grouped-Query Attention и Sliding-Window Attention, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий распространяется в формате safetensors под лицензией Apache-2.0. Карточка не описывает результаты оценки качества или поведение на других языках.

99eren99/ModernBERT-base-Turkish-uncased-mlm — дообученная турецкая версия ModernBERT-base для заполнения пропусков в тексте. Это encoder-only модель архитектуры ModernBERT с маскированным языковым моделированием; она содержит 134,9 млн параметров и поддерживает контекст длиной до 8192 токенов. Модель предназначена для предсказания скрытых слов и других задач понимания турецкого текста. Модель не различает регистр. Перед токенизацией текст нужно вручную привести к нижнему регистру, заменяя латинскую I на турецкую ı; включать do_lower_case в токенизаторе не следует из-за известной проблемы токенизатора. Предсказания могут отражать смещения данных, поскольку модель обучалась преимущественно на собранных из интернета текстах. Распространяется по лицензии Apache-2.0.

almanach/moderncamembert-cv2-base — франкоязычная модель семейства ModernBERT, разработанная Almanach. Это версия ModernCamemBERT, обученная на корпусах, использованных для CamemBERTaV2: RedPajama-V2, научных документах HALvest и французской Википедии. Модель содержит 135,5 млн параметров, использует архитектуру ModernBERT и токенизатор CamemBERTav2; длина контекста составляет до 8192 токенов. Она обучена предсказывать замаскированные токены и подходит для заполнения пропусков в тексте, а также как основа для дообучения под другие задачи обработки французского языка. Авторы рекомендуют её для сценариев, где важны длинный контекст и скорость вывода. В сравнении с CamemBERTaV2 ModernBERT предлагает архитектурные улучшения и более быстрое обучение и выполнение, но по приведённым результатам уступает предыдущей модели по эффективности использования данных и большинству бенчмарков. Модель распространяется по лицензии MIT.