I.2Синтез, понимание и проверка знаний

Модель danlou/albert-xxlarge-v2-finetuned-csqa — дообученная версия ALBERT-XXLarge-v2 для выбора ответа из нескольких вариантов в задачах на здравый смысл. Она использует плотную архитектуру ALBERT и рассчитана на работу с текстом; базовая модель имеет 3,3 млрд параметров и контекст до 512 токенов. Модель обучена на CommonsenseQA и показывает точность 0,7871 при потере 1,6177 на оценочном наборе. Модель подходит для тестов на понимание повседневных связей и выбора наиболее правдоподобного ответа из предложенных вариантов. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0.

gchhablani разработал эту модель, дообучив bert-base-cased для классификации последовательностей на наборе GLUE WNLI. Она предназначена для оценки связи между предложениями в задачах, похожих на определение того, следует ли гипотеза из текста. Модель построена на архитектуре BERT, содержит 135,5 млн параметров, принимает текст и поддерживает контекст до 512 токенов; формат весов — PyTorch. В README указана точность 0,4648 на оценочной выборке WNLI, поэтому качество на этой задаче ограничено. Модель распространяется по лицензии Apache-2.0.

gsarti/it5-base — базовая итальянская модель семейства IT5, разработанная Габриэле Сарти и Мальвиной Ниссим при поддержке Hugging Face и Google TPU Research Cloud. Это плотный трансформер encoder-decoder T5 для генерации текста по текстовому входу; модель содержит 123,7 млн параметров и доступна в форматах PyTorch, TensorFlow и Flax. Модель предварительно обучена на одном проходе по очищенному итальянскому корпусу mC4 (около 41 млрд слов) с конфигурацией google/t5-v1_1-base. Она служит основой для дообучения под конкретные задачи понимания и генерации текста на итальянском языке; сама по себе без такого дообучения мало пригодна для практических downstream-сценариев. Лицензия — Apache-2.0. Корпус собран из веб-страниц, поэтому модель может воспроизводить и усиливать содержащиеся в данных предубеждения, включая расовые и гендерные стереотипы и конспирологические взгляды. Авторы рекомендуют изучать эти смещения и ограничивать применение исследовательскими, не ориентированными на конечных пользователей сценариями.

JPharmatron-7B — языковая модель на 7 млрд параметров от EQUES Inc., предназначенная для фармацевтических документов и исследований. Модель построена на Qwen2.5-7B и непрерывно предварительно обучена на 8,8 млрд токенов японских и английских данных; улучшенные диалоговые возможности получены слиянием с Qwen2.5-7B-Instruct. Это причинная архитектура decoder-only для генерации текста и чата. Модель рассчитана на работу с фармацевтической документацией и исследовательскими задачами в фармацевтике. В описанных авторами оценках она показала лучшие результаты среди сравниваемых моделей на пяти тестах, включая JPharmaBench, JMMLU (pharma) и IgakuQA. Эти результаты не подтверждают пригодность для клинических решений: модель не валидирована для медицинского или другого чувствительного к рискам применения. Лицензия — CC-BY-SA-4.0.

Riiid разработала эту модель для работы, представленной на конференции EMNLP 2022 и посвящённой оценке зависимости вопросов от знаний. Это англоязычная модель RoBERTa для выбора правильного ответа из нескольких вариантов; она обучена или адаптирована для набора RACE. Модель содержит 151,8 млн параметров, принимает последовательность длиной до 514 токенов и доступна в формате PyTorch. Модель подходит для оценки и исследования того, какие знания требуются для ответа на вопросы с вариантами, а также для решения задач такого типа на английском языке. Репозиторий распространяется по лицензии CC BY-NC-SA 4.0, которая требует указания авторства и распространяет производные работы на тех же условиях с ограничением некоммерческого использования.

LLaMA-VID — открытая мультимодальная чат-модель, разработанная авторами проекта LLaMA-VID на основе LLaVA и полученная дообучением LLaMA/Vicuna на инструкционных данных, созданных GPT. Вариант llama-vid-7b-full-224-video-fps-1 обучен в ноябре 2023 года; в метаданных указаны архитектура LlavaLlamaAttForCausalLM, 6,6 млрд параметров и контекст 4096 токенов. Модель предназначена для диалога по изображениям и видео, включая видео длительностью до часа. Обучение использовало данные LLaVA-1.5, включая пары изображение–текст и мультимодальные инструкции, а также подписи и вопросы-ответы по видео из WebVid и ActivityNet. Модель подходит для исследовательских экспериментов с пониманием видео, визуальными вопросами и ответами и мультимодальными чатботами. Карточка указывает исследовательское назначение; лицензия в доступных данных не приведена.

Это дообученная модель ikedachin на базе llm-jp/llm-jp-4-8b-thinking — плотной авторегрессионной модели семейства Llama с 7,8 млрд параметров. Она предназначена для ответов на вопросы и генерации рассуждений на стандартном японском языке и диалекте Имабари. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. Модель обучена методом supervised fine-tuning с LoRA на наборах вопросов и ответов из Википедии, после чего адаптер объединён с базовой моделью. Репозиторий содержит полные веса Safetensors и токенизатор с изменённым шаблоном чата, который поддерживает отдельные каналы рассуждений и ответов для диалекта Имабари. Для использования не требуется отдельно загружать базовую модель. При высоком уровне усилия рассуждения модель может зацикливаться на вопросах, требующих знаний, и генерировать повторяющийся текст, приводящий к ошибкам ограничения длины. Результаты оценки версии v3 в карточке не приведены. Лицензия репозитория указана как other; базовая модель распространяется по Apache-2.0, а обучающие наборы — по CC BY-SA 4.0, поэтому перед использованием следует проверить условия лицензирования самой модели и данных.

ikedachin разработал эту экспериментальную версию на основе llm-jp/llm-jp-4-8b-thinking — плотной языковой модели семейства Llama с 7,8 млрд параметров. Модель дообучена на вопросах и ответах с рассуждениями на стандартном японском языке и диалекте Имабари; её контекст составляет 65 536 токенов. Репозиторий содержит объединённые веса после дообучения LoRA в формате Safetensors, поэтому базовую модель отдельно загружать не нужно. Модель предназначена для генерации ответов на вопросы и рассуждений на японском языке, в том числе на диалекте Имабари. Шаблон чата добавляет каналы analysis_imabari и final_imabari и настройки выбора канала генерации. Это возможности шаблона данного репозитория, а не стандартные функции семейства LLM-jp-4. Разработчик предупреждает о частом повторяющемся выводе, названном «Doom Loop Phenomenon»; высокий уровень reasoning_effort также может приводить к повторам и ошибкам из-за длины вывода. Лицензия самой модели указана как other; базовая модель распространяется по Apache-2.0, а лицензия обучающих наборов — CC BY-SA 4.0.

Модель potsawee/longformer-large-4096-answering-race — версия Longformer Large, дообученная на наборе RACE для ответов на вопросы с выбором из нескольких вариантов. Она принимает контекст, вопрос и варианты ответа, объединённые в последовательность, и выдаёт оценку (logit) для каждого варианта; вероятности можно получить нормализацией оценок. Модель служит компонентом QA в исследовательском проекте MQAG. Модель построена на архитектуре Longformer и содержит около 454,1 млн параметров. Родная длина контекста — 4098 токенов. Она рассчитана на англоязычные задачи понимания прочитанного и выбора ответа. Лицензия — Apache-2.0.

Mamba-7B — авторегрессионная языковая модель с архитектурой Mamba, разработанная Toyota Research Institute как базовый экспериментальный чекпойнт для работы Linearizing Large Language Models. Модель обучена на 1,2 трлн токенов датасета RefinedWeb; в карточке указаны 7 млрд параметров, а метаданные репозитория сообщают 8,8 млрд. Используется токенизатор EleutherAI/gpt-neox-20b и библиотека OpenLM; веса доступны в форматах PyTorch и Safetensors. Модель предназначена для генерации текста и оценки языковых моделей. Mamba — модель пространства состояний без механизма self-attention; длина последовательности в карточке указана как 2048 токенов. В метаданных отмечен английский язык. Карточка приводит оценки на языковых бенчмарках, но не описывает специализированное применение или диалоговую настройку. Лицензия — Apache 2.0.

Mellum2 Thinking (SFT) — промежуточный чекпойнт JetBrains на этапе supervised fine-tuning для модели рассуждений. Он предназначен для изучения этапа SFT, экспериментов с последующим preference tuning или RLVR, а также сравнения с итоговой RL-настроенной версией. Для практического использования с качеством рассуждений JetBrains рекомендует итоговую Mellum2 Thinking. Модель основана на Mellum2-12B-A2.5B-Base и обучена в течение трёх эпох на корпусе данных с трассами рассуждений. Это текстовая MoE-модель с 64 экспертами, из которых активируются 8 на токен; использует чередование полносвязного и скользящего внимания и поддерживает контекст до 131 072 токенов. Архитектура включает 28 слоёв, размер скрытого состояния 2304 и GQA с 32 головами Q и 4 головами KV; размер файловой модели в метаданных указан как 1,9 млрд параметров. Рассуждения выдаются в блоках `...`. Модель принимает текст и генерирует текст; карточка и метаданные указывают английский язык. Это исследовательский артефакт и SFT-промежуточный этап, поэтому его не следует считать финальной production-моделью рассуждений. Лицензия — Apache-2.0.

NemoomeN-Reflection-Tuned-Nemo-12b-8bit-gguf — 12,1-миллиардная плотная причинно-языковая модель семейства Mistral в формате GGUF, настроенная на ответы с пошаговым рассуждением и самопроверкой. В README приведены примеры решения задач на подсчёт букв и бытовых вопросов; они показывают желаемый стиль ответа, но не подтверждают качество модели на широком наборе задач. Модель предназначена для генерации текста в диалоговом формате и ответов на вопросы с явным изложением рассуждений. Метаданные указывают контекст до 1 024 000 токенов. В карточке не названы разработчик исходной базовой модели и лицензия; явная связь с конкретным базовым репозиторием не приведена.

Это экспериментальный чекпойнт zimplex на базе языковой модели Ai2 Olmo 3 7B, дообученный на наборе Dolci-Think-SFT-7B в течение трёх эпох для диалоговой генерации текста с рассуждениями. В модели используется гиперболическая (лоренцева) выходная голова; размер составляет 6,9 млрд параметров. Карточка сообщает о тренировочном контексте 16 384 токена, тогда как метаданные указывают нативное окно контекста базовой модели в 65 536 токенов. Модель предназначена для диалоговых ответов и задач рассуждения, включая математику и вопросы общего знания. В карточке приведены результаты оценки на math, GSM8K и MMLU-Pro, но они не гарантируют качество на других задачах. Для корректной загрузки требуется специальный код из указанного исходного коммита и архив hyp_head_state.pt: стандартная загрузка AutoModelForCausalLM использует обычную замороженную выходную голову и не эквивалентна этому чекпойнту. Базовая модель англоязычная; другие поддерживаемые языки не заявлены. Лицензия — Apache-2.0.

Open-Reasoner-Zero-1.5B — языковая модель StepFun, созданная в рамках проекта Open-Reasoner-Zero для масштабируемого обучения рассуждениям с помощью обучения с подкреплением. Это плотная авторегрессионная модель семейства Qwen2 с 1,5 млрд параметров; в метаданных указано контекстное окно 131 072 токена. Модель предназначена для диалогового использования и генерации ответов с пошаговыми рассуждениями, в частности для математических задач и вопросов на научные знания. В README авторы описывают обучение серии моделей Open-Reasoner-Zero и приводят результаты для AIME2024, MATH500 и GPQA Diamond; отдельно указано, что версия 1.5B входит в выпуски проекта и снабжена скриптами обучения. Модель распространяется в формате safetensors и может использоваться как чат-модель через Transformers и vLLM. Лицензия — MIT. README не приводит отдельные результаты оценки именно версии 1.5B, поэтому качество на конкретных задачах этой версии по карточке установить нельзя.

Это квантованная в формате GGUF версия модели Qwen2.5-7B-Instruct-kowiki-qa, разработанной на основе Qwen2.5-7B-Instruct и адаптированной для задач вопросов и ответов по корейской Википедии. Исходную модель beomi/Qwen2.5-7B-Instruct-kowiki-qa разработал beomi, а квантование выполнил teddylee777 с использованием llama.cpp. Модель предназначена для локального текстового диалога, генерации ответов и работы в сценариях question answering с корейским контекстом. Модель относится к классу instruct-моделей для генерации текста и имеет размер 7B параметров. Она поддерживает корейский и английский языки; в шаблоне использования явно задано требование отвечать на корейском языке. Доступна в формате GGUF, что делает её пригодной для запуска через совместимые локальные инструменты, включая llama.cpp и LM Studio. В указанной конфигурации используется контекст до 128000 токенов и температура 0. К сильным сторонам относятся специализация на корейских вопросах и ответах, поддержка английского языка, возможность локального запуска и сниженные требования к ресурсам благодаря квантованию. Ограничения включают зависимость качества от исходной модели и выбранного квантования, а также отсутствие в README подробностей о точности, используемом датасете, конкретном варианте квантования и производительности. Модель распространяется по лицензии Apache-2.0.

Экспериментальная языковая модель arianraje/qwen3-4b-mamba3-hybrid-stage2b-kd-bias0 создана как гибридная версия Qwen3-4B с архитектурой Mamba-3. В 27 из 36 слоёв механизм внимания заменён на Mamba-3 MIMO, а каждый четвёртый слой сохраняет полное внимание. Модель содержит около 4,74 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. Для загрузки в Transformers требуется trust_remote_code=True и пользовательский код архитектуры из репозитория; быстрый режим вычислений использует Mamba-3 kernel из исходников mamba_ssm. Модель получена последовательной дистилляцией логитов Qwen3-4B и предназначена для генерации текста и диалогов с длинным контекстом. На этапе 2b проводилось обучение на последовательностях длиной 32 768 токенов; приведены метрики KL к учителю, совпадения top-1 и perplexity, но downstream-оценки ещё не выполнены. Лицензия — Apache 2.0. Это промежуточный исследовательский чекпойнт, поэтому его качество в практических задачах пока не подтверждено.

OmarAlsaabi/SmolLM2-FT-Arabic_Reasoning_Instruct_QA — дообученная Omar Alsaabi модель HuggingFaceTB/SmolLM2-135M для генерации ответов в формате инструкций и вопросов с рассуждением, в том числе на арабском языке. Она основана на плотной архитектуре Llama и содержит 134,5 млн параметров; модель рассчитана на текстовый ввод и генерацию текста, включая диалоговый формат. Контекстное окно составляет 8192 токена. Модель можно применять для экспериментов с арабскими вопросами и ответами и для создания диалоговых прототипов на ресурсно ограниченных устройствах. Базовая модель ориентирована на английский язык, а точные характеристики языкового покрытия и качества рассуждений в карточке не приведены. Лицензия в предоставленных данных не указана.

Sophea-Nemo-3-Nano-v1 — модель генерации текста, разработанная Kiefer SA (Sophea AI Lab, Афины) на базе NemotronH-30B-A3B. Она дообучена для рассуждений на греческом и английском языках; след рассуждений следует языку вопроса. Модель основана на гибридной архитектуре Mamba/MoE, а в репозитории указано 1,9 млрд параметров и контекст до 262 144 токенов. Веса поставляются объединёнными в плотную модель в формате safetensors. Модель предназначена для двуязычных диалоговых задач и рассуждений, особенно когда важно, чтобы язык рассуждений соответствовал языку запроса. В карточке сообщается о приросте на греческих тестах общего понимания языка и о небольшом уровне fallback в математике и здравом смысле; результаты по логическим задачам ограничены проблемами с форматом ответа. Модель не умеет надёжно выполнять требование вести рассуждения на английском языке при греческом вопросе и не оценивалась для критически важных, юридических или медицинских сценариев. Для генерации в исследовании использовалась Transformers 5.12.1 без доверия удалённому коду; поставляемый код модели, согласно карточке, может давать сбой при генерации в этой конфигурации. Лицензия — Apache-2.0.

Switch-base-8 — англоязычная модель Google семейства Switch Transformers, построенная на архитектуре T5 с разреженными слоями Mixture of Experts: в них полносвязные слои заменены набором экспертных MLP. Модель содержит 123,8 млн параметров и распространяется в формате PyTorch по лицензии Apache 2.0. Чекпойнт предварительно обучен на задаче masked language modeling на корпусе C4. Он предназначен для дальнейшей настройки и исследований задач преобразования текста; карточка предупреждает, что веса не готовы к прямому применению в прикладных задачах. В README отмечены масштабируемость и ускорение обучения архитектуры Switch Transformers, но конкретные показатели этого чекпойнта не приведены.

Google T5-XXL-SSM-NQ — модель семейства T5 для ответов на вопросы без обращения к внешним источникам и контексту. Она содержит около 5,8 млрд параметров и использует архитектуру T5ForConditionalGeneration; доступны версии для PyTorch и TensorFlow. Модель прошла предварительное обучение с задачей восстановления текста на C4, дополнительное обучение с маскированием значимых фрагментов на Wikipedia и дообучение на Natural Questions. В README указано, что дообучение выполнено на всей обучающей выборке NQ за 10 тысяч шагов. Основной сценарий — получить ответ на вопрос на естественном языке, полагаясь на знания, сохранённые в параметрах модели. Модель ориентирована на английский язык. Она выпущена Google под лицензией Apache 2.0. Ответы могут быть ограничены знаниями, усвоенными при обучении; внешние документы модель сама не ищет и не использует.

TestGeniy — компактная авторегрессионная языковая модель на 424,7 млн параметров для рассуждений на английском языке, математических задач, формальной логики и текстового взаимодействия. Модель разработана в проекте TestGeniy; опубликованный чекпойнт основан на logic_small_scope_step080 и предназначен для экспериментов с рассуждениями, запросами с длинным контекстом до 4096 токенов и контролируемого дообучения. Контекст расширен с 2048 до 4096 позиций с помощью RoPE; используются скользящее внимание с блоком 1024 токена и глобальное внимание в отдельных слоях. Чекпойнт прошёл проверку полноты вычислений на контексте 4096 токенов и тест на длинном запросе. На небольшом наборе регрессионных проверок расширение контекста не изменило результаты, но авторы не заявляют улучшения точности бенчмарков. Модель может ошибаться, особенно в сложной математике и формальной логике; приведённые тесты не дают широкой оценки её возможностей. В README лицензия не указана.

TwIL-LM3-Pro — дообученная модель webAI-Official на базе IBM Granite 4.2 3B, предназначенная прежде всего для задач формальной логики и структурированного вывода. Она принимает текст и генерирует текст; заявленный размер — 3,66 млрд параметров, архитектура — плотная GraniteForCausalLM. Модель поддерживает контекст до 131 072 токенов, однако представленные оценки качества получены в окне 8 192 токена, а работа с более длинным контекстом отдельно не проверялась. Модель настроена на перевод формул логики первого порядка, разметку следования, семантический разбор, формулировки для Lean и критику доказательств Lean. В README приведены сравнительные результаты на бенчмарках рассуждений и общих задач, но отмечены слабые результаты по точному совпадению в FOL-переводе и семантическом разборе. Ответы многословны: в среднем около 1 902 токенов в задачах Track A; 24,2% таких генераций достигали ограничения длины. README также указывает, что это не универсальный ассистент и не заявляет проверенные возможности генерации кода или использования инструментов. Для запуска доступны веса safetensors и GGUF в нескольких вариантах квантования. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.

ARC-Qwen-Video-7B — мультимодальная модель TencentARC для понимания коротких видео из реального мира. Она дообучена на базе Qwen/Qwen2.5-VL-7B-Instruct и сочетает архитектуру Qwen2.5-VL с аудиоэнкодером. Модель принимает видео с аудио и формирует текстовые ответы; для кадров используется фиксированное разрешение 392 × 292 пикселя. Модель предназначена для вопросов о содержании видео, рассуждений о событиях и временной привязки действий. В README приведены результаты оценки на наборах Video-MMMU, MMVU, Temp-Compass, Video-Holmes, Video-MME, VCR-Bench, MV-Bench, ShortVid-Bench и Charades-STA; большинство оценок, кроме VideoMMMU и Charades-STA, рассчитано на вопросах с выбором ответа. Размер модели — 7,1 млрд параметров, контекст — до 128 000 токенов. Выпущена под лицензией Apache-2.0. README также описывает отдельную модель ARC-Qwen-Video-7B-Narrator, которая выводит описания с временными метками, идентификаторы говорящих и текст распознавания речи. Эти функции нельзя автоматически приписывать рассматриваемой модели. Для инференса указаны проверенные окружения NVIDIA H20 с CUDA 12.4 и A100 с CUDA 12.1; использование требует настройки зависимостей и поддерживаемой среды.

Модель textattack/bert-base-uncased-WNLI — версия BERT-base-uncased, дообученная TextAttack для классификации последовательностей на задаче WNLI из набора GLUE. Она принимает текстовые пары и определяет, следует ли гипотеза из исходного предложения. Модель содержит 136,7 млн параметров, относится к архитектуре BertForSequenceClassification; максимальная длина контекста по метаданным — 512 токенов. При обучении использовались последовательности длиной до 256 токенов, 5 эпох и функция потерь cross-entropy. Модель предназначена для классификации текстовых пар и проверки языкового следования в рамках WNLI. На отложенной выборке авторы сообщают точность 0,563 после одной эпохи, что указывает на ограниченное качество и необходимость проверки пригодности для конкретного применения. Лицензия в предоставленных данных не указана.

andi611/distilbert-base-uncased-qa-boolq — модель DistilBERT, дообученная на наборе BoolQ для классификации ответов на вопросы по тексту. Она принимает текст и предсказывает бинарный ответ на вопрос по представленному контексту. Модель построена на DistilBertForSequenceClassification, использует веса PyTorch и рассчитана на английский язык; длина контекста — до 512 токенов. На оценочной выборке BoolQ указана точность 0,7315. Модель подходит для простых сценариев вопросно-ответной классификации, когда вопрос и контекст можно подать совместно. Результат следует проверять для задач, где важна высокая точность: подробные сведения о поведении на других данных в карточке отсутствуют. Лицензия — Apache-2.0.

PY007 выпустил EasyContext-256K-danube2-1.8b — базовую языковую модель семейства Llama с 1,7 млрд параметров, дообученную от h2oai/h2o-danube2-1.8b-base с помощью EasyContext для экстраполяции контекста. Модель предназначена для генерации текста с длинным контекстом; автор сообщает об обучении на длине 256K токенов и возможности использовать контекст длиннее 4096 токенов. Модель не проходила инструкционное дообучение, поэтому ориентирована на продолжение текста, а не на диалоговое следование инструкциям. В метаданных указана длина контекста 8192 токена, что расходится с описанным в README обучением на 256K; фактическую поддержку столь длинных последовательностей следует проверять в конкретной конфигурации. Веса доступны в формате Safetensors; лицензия в предоставленных данных не указана.

nguyentd/FinancialAdvice-Qwen2.5-7B — языковая модель Qwen2 с плотной архитектурой Qwen2ForCausalLM и 7,1 млрд параметров, дообученная разработчиком nguyentd на вопросах и популярных ответах из сообщества Reddit r/AskEconomics. Она предназначена для генерации ответов на вопросы об экономике и личных финансах, объяснения экономических принципов и событий, а также помощи в разборе экономических обсуждений. Модель принимает текст и выдаёт текст; карточка указывает английский язык. Контекст составляет до 32 768 токенов. Модель подходит для информационных консультаций по макроэкономике, микроэкономике, инвестициям, личным финансам и связанным с экономикой карьерным вопросам. Она может воспроизводить предвзятости и субъективные мнения источника обучения, ошибаться и хуже справляться с узкоспециализированными темами. Её ответы не заменяют консультацию квалифицированного финансового специалиста, а сведения следует проверять. Весы доступны по лицензии Apache-2.0.

Gaperon-Young-1125-8B — авторегрессионная языковая модель с 8 млрд параметров, разработанная командой ALMAnaCH в Inria Paris. Это вариант серии Gaperon, обученный примерно на 4 трлн токенов с акцентом на качество языка и генерацию связного текста, а не на оптимизацию результатов тестов. Основа архитектуры — Llama 3; используется токенизатор Llama 3.1 BPE с размером словаря 128 256 токенов. Модель предназначена для генерации текста на французском и английском языках, а также кода. Возможны исследовательские эксперименты с двуязычным языковым моделированием, качеством текстов и влиянием отбора обучающих данных. Доля инструкционных данных была небольшой, поэтому следование инструкциям ограничено. В README указано, что модель не предназначена для производственного и коммерческого применения и не имеет гарантий для критически важных сценариев. Лицензия в метаданных — Apache-2.0.

it5-small — итальянская модель семейства IT5 для задач понимания и генерации текста в формате sequence-to-sequence. Её разработали Габриэле Сарти и Мальвина Ниссим в рамках проекта IT5 при поддержке Hugging Face и Google TPU Research Cloud. Модель основана на архитектуре T5 v1.1 Small и содержит 45,8 млн параметров. Модель предварительно обучена на итальянской части очищенного корпуса mC4 — около 41 млрд слов. Она предназначена для дальнейшей тонкой настройки под конкретные задачи, например суммаризацию, перевод или ответы на вопросы; без такой настройки её практическая полезность ограничена. Доступны веса в форматах PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0. Корпус собран из веб-страниц, поэтому модель может воспроизводить содержащиеся в данных предубеждения и вредные стереотипы; авторы рекомендуют изучать эти эффекты и ограничивать применение исследовательскими или непользовательскими сценариями.

Riiid разработала эту модель на архитектуре ALBERT для выбора правильного варианта ответа в заданиях с множественным выбором. Она использовалась в работе EMNLP 2022 «Evaluating the Knowledge Dependency of Questions» для оценки зависимости вопросов от знаний. Модель содержит 1,7 млрд параметров, принимает текст и поддерживает контекст до 512 токенов. Модель подходит для экспериментов с вопросами и ответами в формате multiple choice. Она распространяется в формате PyTorch по лицензии CC BY-NC-SA 4.0, которая требует указания авторства и распространения производных материалов на тех же условиях и ограничивает коммерческое использование.