I.2Синтез, понимание и проверка знаний
В разделе собраны самостоятельные задачи, где AI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
42 341 модельprajjwal1/bert-medium-mnli — компактная модель классификации текста на основе BERT, опубликованная Prajjwal Bhargava. Веса получены преобразованием TensorFlow-чекпойнта из официального репозитория Google BERT; варианты BERT описаны в работе о компактных предобученных моделях. Эта версия дообучена на наборе MNLI в течение четырёх эпох и предназначена для классификации текстовых последовательностей, в частности для задач естественного языкового вывода и определения связи между посылкой и гипотезой. Модель содержит около 49,2 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. Репозиторий содержит веса PyTorch и Flax. Карточка не сообщает лицензию и не перечисляет поддерживаемые языки, поэтому применимость к конкретному языку следует проверять отдельно. Модель основана на BERT и обучалась на MNLI; возможны ошибки на примерах, отличающихся от этого набора данных или содержащих эвристические ловушки.
beto2beto-mlsum — испаноязычная модель суммаризации, обученная на испанской части набора данных MLSum. По метаданным это плотная модель архитектуры encoder-decoder на базе EncoderDecoderModel; веса доступны в форматах PyTorch и safetensors. Модель предназначена для создания кратких изложений испаноязычных текстов. В README приведены результаты на валидации: loss 2,50, ROUGE-1 26,13 и ROUGE-2 9,26. Модель выпущена под лицензией Apache-2.0. Размер модели и длина контекста в предоставленных данных не указаны.
BLOSSOM-v3-baichuan2-7b — диалоговая языковая модель, разработанная на основе Baichuan2-7B-Base и дообученная методом instruction fine-tuning на смешанных наборах Blossom Orca, Wizard, Chat и Math. Обучение проходило в два этапа: сначала на одноходовых инструкциях Orca и Wizard, затем на данных математических рассуждений и многоходовых диалогов. Модель предназначена для генерации ответов в диалоге, следования инструкциям, понимания контекста беседы и решения математических задач. Она принимает текст и выдаёт текст; README показывает шаблон общения на китайском языке, а метаданные указывают поддержку китайского и английского. Архитектура — плотная Baichuan, 7 млрд параметров, контекст до 4096 токенов. Модель доступна под лицензией Apache-2.0. Для многоходового общения требуется соблюдать указанный в README формат диалога и завершать ответы Bot токеном </s>.
Bonsai 27B 1-bit CRACK GGUF — мультимодальная vision-language модель, опубликованная dealignai. Это квантованный релиз на базе prism-ml/Bonsai-27B-gguf из семейства Qwen/Qwen3.6-27B, предназначенный для работы с текстом, изображениями и, при поддержке соответствующего runtime, видео. Модель ориентирована на диалоговые сценарии, рассуждения, анализ визуального содержимого и использование инструментов; заявлены языки английский и китайский. В состав входят 27B-классная языковая модель с 64 гибридными блоками архитектуры семейства Qwen и отдельный F16 Qwen3VL-мультимодальный проектор. Основная модель использует нативный формат Q1_0 GGUF и занимает около 4,35 GiB, проектор — около 0,86 GiB. Поддерживаются изображения; видеовход зависит от возможностей Prism runtime, при необходимости рекомендуется предварительно извлекать кадры. В README приведены результаты на фиксированной выборке MMLU-200 — 52,50% — и полном тесте HB-320 — 97,81%, однако эти показатели не эквивалентны результатам на полных официальных наборах. К сильным сторонам относятся малый размер 1-битного представления, мультимодальность, наличие специализированного проектора и высокая заявленная скорость на Apple M5 Max — около 58,5 токена в секунду для текста и изображений. Ограничения включают необходимость использовать форк Prism llama.cpp с поддержкой низкоразрядных типов, а также возможную несовместимость прямого ввода видеофайлов с отдельными клиентами. Модель распространяется по лицензии Apache-2.0.
NbAiLab/borealis-open-4b — открытая модель семейства Borealis, разработанная Национальной библиотекой Норвегии. Это плотная мультимодальная модель Gemma 3 с 4 млрд параметров, дообученная на инструкциях для норвежских сценариев. Репозиторий содержит веса safetensors для Transformers; модель принимает текст и изображения и предназначена для диалогового взаимодействия и генерации ответов по изображениям. Модель подходит для норвежского письма, составления и редактирования текстов, суммаризации, ответов на вопросы и лёгких рассуждений. Особое внимание уделено норвежскому языку, включая букмол и нюнорск; также в карточке указана поддержка английского, но качество за пределами норвежских и английских сценариев изучено недостаточно. Длина контекста в предоставленных данных не указана. Модель может галлюцинировать и выдавать неверные, предвзятые или неподходящие ответы; защитное выравнивание снижает, но не исключает такой риск. Разработчик не рекомендует применять её в критически важных сценариях без дополнительной проверки и защитных мер. Лицензия — Gemma.
CalmeRys-78B-Orpo-v0.1 — языковая модель dfurman, дообученная на 1,5 тыс. примеров датасета mlabonne/orpo-dpo-mix-40k на базе MaziyarPanahi/calme-2.4-rys-78b. Это плотная модель семейства Qwen2 с 76,7 млрд параметров, доступная в формате safetensors; метаданные указывают контекст до 32 768 токенов и лицензию MIT. Модель предназначена для генерации текста в диалогах и сценариях общего назначения: многоходового общения, ролевых диалогов, рассуждений, работы с длинным контекстом и задач с агентными возможностями. Карточка сообщает о высокой позиции на Open LLM Leaderboard по состоянию на октябрь 2024 года, однако не приводит полные результаты оценки. Модель принимает текст и генерирует текст. Заявлена поддержка английского языка; дополнительных языков карточка и метаданные не подтверждают. Для запуска в README приведён пример с Transformers и Accelerate. Ограничения: указанный размер требует значительных вычислительных ресурсов, а заявление о рейтинге относится к октябрю 2024 года и не гарантирует качество на конкретных задачах. Лицензия — MIT.
CapyTessBorosYi-34B-200K-DARE-Ties — экспериментальная объединённая языковая модель на архитектуре Llama, созданная brucethemoose с помощью mergekit. Она объединяет Nous-Capybara-34B, Tess-M-v1.3 и airoboros-3_1-yi-34b-200k методом DARE-TIES; для модели использован токенизатор Yi-Llama от chargoddard. Модель предназначена для генерации текста и диалогов по шаблону Orca-Vicuna. Заявленная длина контекста — 200 000 токенов, размер — 33,9 млрд параметров; README отмечает эксперименты с качеством на длинном контексте и perplexity. Для запуска автор описывает настройки BOS-токена и температуры, а также возможную необходимость добавить стоп-токен. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в исходных лицензиях компонентов.
CatPPT-base — плотная языковая модель Mistral с 7,1 млрд параметров, созданная Rishi Raj. Сначала автор объединил модели OpenChat и NeuralChat методом Gradient SLERP, затем дообучил результат на наборе no_robots для диалогов. Модель предназначена для генерации текста и общения в формате чата; в карточке приведены результаты тестирования на задачах общего понимания, рассуждения и математики. Указанный контекст составляет 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache 2.0. Результаты в README относятся к моменту выпуска в декабре 2023 года и сами по себе не гарантируют качество на других задачах. Карточка не сообщает о специализированной отраслевой направленности.
Chinese-Alpaca-2-13B-16K — это полноразмерная чат-модель на архитектуре Llama 2, созданная проектом Chinese LLaMA & Alpaca. Она дообучена следовать инструкциям и использует расширенный китайский словарь; модель содержит 13 млрд параметров и рассчитана на контекст до 16 384 токенов. Репозиторий содержит веса PyTorch, пригодные для инференса и обучения всех параметров. Модель предназначена для генерации ответов и выполнения инструкций, особенно на китайском языке; метаданные также указывают поддержку английского. Увеличенный контекст подходит для работы с длинными запросами и документами. В проекте доступны скрипты для дальнейшего предобучения и дообучения на пользовательских данных, а модель совместима с экосистемой Transformers и рядом инструментов развёртывания. Лицензия — Apache 2.0. Модель унаследовала ограничения Llama 2 и может допускать фактические ошибки или выдавать нежелательные ответы; качество на языках помимо китайского не описано в карточке.
Collective Cognition v1.1 — языковая модель Teknium на архитектуре Mistral, дообученная для генерации текста и следования инструкциям. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов; для обучения использовалась QLoRA и около 100 диалогов с сайта Collective Cognition, похожих на данные ShareGPT. Модель предназначена для диалоговых ответов и проверки или исправления распространённых заблуждений. В README заявлены высокие результаты на TruthfulQA относительно ряда моделей на 70 млрд параметров, однако подробности методики и численные результаты здесь не приведены. Модель поддерживает английский язык и распространяется по лицензии Apache 2.0.
uukuguy/CollectiveCognition-v1.1-Mistral-7B-dare-0.85 — экспериментальная текстовая генеративная модель на архитектуре Mistral с 7,1 млрд параметров. В README она представлена как эксперимент с DARE (Drop and REscale): случайная маска с долей 0,85 обнуляет большую часть разностей параметров, а оставшиеся веса масштабируются. В карточке приведены результаты на наборах ARC, HellaSwag, MMLU, TruthfulQA, Winogrande, GSM8K и DROP. Модель подходит для генерации текста и оценки ответов на вопросы, рассуждений и других языковых задач. Заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса PyTorch; в README также упомянуты варианты AWQ, GPTQ и GGUF для вывода на GPU или CPU и GPU. Указана лицензия Llama 2. README описывает экспериментальную процедуру и приводит сравнительные оценки, но не уточняет точную базовую модель для этого чекпойнта и не заявляет поддержку конкретных естественных языков.
cswikimistral_0.1 — языковая модель на базе Mistral 7B, дообученная simecek методом 4-битного QLoRA на чешской Википедии. Она предназначена прежде всего для дальнейшего дообучения под задачи обработки чешского языка, в том числе суммаризации и ответов на вопросы. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0.
Daredevil-7B — объединённая текстовая модель, созданная с помощью LazyMergekit на основе Mistral-7B-v0.1, SamirGPT-v1, Slerp-CM-mist-dpo и Mistral-7B-Merge-14-v0.2. Это плотная авторегрессионная архитектура MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста, диалогов и ответов на вопросы. В README приведены результаты оценивания на нескольких наборах тестов, включая задания на рассуждение и понимание текста. Карточка не уточняет языковой охват и специализированную предметную область. В репозитории указана лицензия CC BY-NC 4.0, которая ограничивает коммерческое использование. Результаты тестов не гарантируют качество для конкретных задач; назначение модели описано как общее текстовое генерирование.
Andromeda-70B-GGUF — это квантизированная версия языковой модели Andromeda-70B, разработанной ddh0. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с форматом GGUF, включая LM Studio, llama.cpp и другие проекты на его основе. Модель имеет заявленный размер 70B параметров и поддерживает несколько вариантов квантизации — от Q8_0 до Q2 и IQ-серий. Размер файлов варьируется примерно от 22 до 75 ГБ, поэтому можно выбирать между качеством ответов и требованиями к оперативной памяти. Наиболее качественными и рекомендуемыми указаны варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_L и Q4_K_M; варианты с более низкой разрядностью экономят память, но заметно уступают по качеству. В README приведён специальный шаблон приглашений с системными и пользовательскими сообщениями, а также датами отсечения знаний: декабрь 2023 года для базы знаний и 26 июля 2024 года как текущая дата шаблона. Архитектура, поддерживаемые языки, размер контекстного окна, результаты тестирования и лицензия не указаны. Условия использования следует уточнять по исходной модели ddh0/Andromeda-70B и соответствующим материалам проекта.
microsoft/deberta-v2-xxlarge-mnli — англоязычная модель Microsoft на архитектуре DeBERTa V2, дообученная на задаче MNLI. Вариант XXLarge содержит 48 слоёв и скрытое представление размером 1536; в README указано 1,5 млрд параметров, а метаданные каталога указывают 2 млрд. Модель принимает текстовые последовательности длиной до 512 токенов и выполняет классификацию текста, в частности может применяться для оценки логического следования между посылкой и гипотезой и переноса на другие задачи NLU. Модель предназначена для классификации текстов и может служить отправной точкой для дообучения на задачах понимания естественного языка, включая отдельные задачи GLUE. В README отмечено, что для запуска XXLarge через Transformers рекомендуется DeepSpeed для ускорения работы и экономии памяти. Лицензия — MIT.
DeepSeek-R1-Distill-Llama-70B-GGUF — это набор GGUF-квантизаций 70-миллиардной языковой модели DeepSeek-R1-Distill-Llama-70B, подготовленный пользователем bartowski на основе модели DeepSeek AI. Квантизация выполнена с помощью llama.cpp релиза b4514 и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio, а также для инференса с использованием llama.cpp и совместимых инструментов. Модель является текстовой, однако в README не указаны точная архитектура исходной модели, размер контекстного окна и поддерживаемые языки. Доступны варианты с различной степенью квантизации: от Q8_0 размером около 75 ГБ до низкобитных IQ2 и Q2 размером около 22–27 ГБ. Более высокие уровни, включая Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, ориентированы на сохранение качества, тогда как варианты Q3 и Q2 требуют меньше памяти, но заметно уступают по качеству. Сильной стороной набора является широкий выбор форматов для подбора компромисса между качеством, размером и требованиями к памяти; для большинства сценариев в README рекомендуются Q6_K, Q5_K и Q4_K_M. Ограничения включают очень высокие требования к оперативной или видеопамяти даже у компактных вариантов, а также возможное снижение качества при сильной квантизации. Лицензия в предоставленном README не указана.
unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF — это GGUF-версия дистиллированной языковой модели DeepSeek-R1-Distill-Llama-70B. Модель создана на основе DeepSeek-R1-Distill-Llama-70B, разработанной командой DeepSeek, а данный вариант опубликован Unsloth. Это текстовая модель для генерации ответов и решения задач в диалоговом и общем текстовом режимах; в примере README она используется для рассуждений и простых математических вопросов через llama.cpp. Модель содержит 70 млрд параметров и основана на архитектуре семейства Llama; точная версия базовой архитектуры и размер контекстного окна в README не указаны. Поддерживаемый язык обозначен как английский. Формат GGUF предназначен для локального запуска с llama.cpp и поддерживает квантованные варианты, включая Q4_K_M и Q8_0. Для ускорения возможна частичная выгрузка слоёв на GPU, однако из-за размера модели запуск требует значительных вычислительных ресурсов. К сильным сторонам относятся большой размер, возможности дистиллированной модели DeepSeek-R1 и удобство локального использования в llama.cpp с разными уровнями квантования. Ограничения — высокая требовательность к памяти и отсутствие в предоставленных данных сведений о точности на тестах, мультимодальности, контекстном окне и поддержке языков помимо английского. Модель распространяется по лицензии llama3.3.
ApolloRaines/DeepSeek-R1-Distill-Qwen-7B-Desyced — текстовая генеративная модель, разработанная Apollo Raines на основе DeepSeek-R1-Distill-Qwen-7B от DeepSeek. Это версия с посттренировочной модификацией весов, направленной на снижение склонности модели соглашаться с ошибочными утверждениями пользователя под социальным давлением. Модель предназначена для генерации текста, ответов на вопросы, рассуждений и диалоговых сценариев, где важна способность сохранять корректную позицию при попытках навязать неверный ответ. Модель сохраняет архитектуру, токенизатор, контекстное окно, знания, рассуждательные и разговорные возможности базовой модели; точные значения размера контекста и другие архитектурные параметры в README не указаны. Заявленный размер — 7B параметров. Доступны полноточные файлы Safetensors, а также квантованные форматы GGUF Q8_0 и Q4_K_M для запуска через llama.cpp, Ollama и LM Studio. В метаданных указан английский язык. По результатам тестов на устойчивость к противоречивым утверждениям доля ответов, сохранявших корректную позицию под давлением, выросла с 67% до 83%. Сильная сторона модели — уменьшенная склонность к лести и некритическому согласию, что может быть полезно при проверке фактов и поддержке принятия решений. При этом README не содержит независимых оценок общей точности, качества рассуждений или безопасности, а также предупреждает, что выпущенные модели могут иметь намеренно сниженные возможности и служить демонстрацией концепции. Лицензия указана как other, то есть используется лицензия базовой модели, но её конкретные условия в README не раскрыты.
Модель разработана Карлом Вайнмайстером и представляет собой DistilBERT, дообученный на наборе данных facebook/anli для задач понимания английского текста. Она поддерживает классификацию текста и оценку сходства предложений; архитектура — DistilBertForSequenceClassification, максимальная длина контекста — 512 токенов. Модель подходит для сравнения текстовых фрагментов и классификационных сценариев на английском языке. Распространяется по лицензии Apache-2.0.
Dream-7B-slerp — объединённая с помощью mergekit языковая модель на архитектуре Mistral, опубликованная пользователем chasedreaminf. Она предназначена для генерации текста и диалоговых сценариев. В слиянии использованы ignos/Mistral-T5-7B-v1 и Toten5/Marcoroni-neural-chat-7B-v2. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. В репозитории указаны веса в формате safetensors и лицензия Apache-2.0. README не описывает отдельные возможности, языковую специализацию или результаты оценки качества.
DR-Tulu-SFT-8B — диалоговая модель генерации текста, разработанная в проекте DR Tulu и дообученная методом SFT на базе Qwen3-8B. Она предназначена для исследовательского агента глубокого поиска: отвечает на вопросы и собирает сведения из внешних источников в связные ответы. Модель обучена использовать инструменты через фреймворк dr-agent-lib; для этого сценария запуск через Hugging Face Transformers или vLLM без соответствующей интеграции работает плохо. Модель имеет плотную архитектуру Qwen3ForCausalLM и 7,6 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. В карточке приведены результаты на бенчмарках вопросов и глубокого поиска, включая ResearchQA, DeepResearch Bench и SimpleQA. Модель выпущена под лицензией Apache 2.0; README указывает на исследовательское и образовательное применение согласно Responsible Use Guidelines от Ai2.
Eris Prime V4 Vision 32k — разговорная модель семейства Mistral с 7,1 млрд параметров, созданная ChaoticNeutrals как слияние моделей. Она предназначена для генерации текста и диалогов; автор также заявляет поддержку изображений при использовании Koboldcpp и соответствующего файла mmproj из репозитория. Модель рассчитана на контекст до 32 768 токенов. Карточка описывает улучшенную связность ответов, стабильность форматирования и работу с длинным контекстом. В метаданных указана лицензия other, поэтому условия распространения следует уточнять в репозитории. README не сообщает, на каких языках модель обучена; её возможности работы с изображениями заявлены автором, но в метаданных модель классифицирована как text-generation.
oeg/esT5s-base — базовая версия модели для суммаризации текстов на испанском языке, представленная на конференции SEMANTiCS 2022 в работе «esT5s: A Spanish Model for Text Summarization». Модель создана дообучением многоязычной mT5 на наборе XL-Sum; её архитектура — MT5ForConditionalGeneration, размер — 118,8 млн параметров. Модель предназначена для автоматического составления краткого содержания испанских текстов. В опубликованном сравнении она достигла ROUGE-1 25,30, ROUGE-2 8,21 и ROUGE-L 20,29; авторы приводят для mT5 соответственно 26,21, 8,74 и 21,06 после более длительного обучения на нескольких GPU. Репозиторий содержит веса PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Evertide-RX-12B — универсальная разговорная языковая модель на архитектуре Mistral, разработанная Retreatcost. Модель дообучена в полном формате параметров на слиянии моделей, созданном на основе unreleased cowriter-модели; README также указывает, что использованы те же модели, что и в Retreatcost/KansenSakura-Erosion-RP-12b. Размер составляет 12,1 млрд параметров, контекст — до 131 072 токенов. Репозиторий содержит веса Safetensors, библиотека для работы — Transformers. Модель предназначена для диалогов, совместного написания текстов, мозговых штурмов и коротких ролевых сцен. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. По README, рассуждения обычно включаются без дополнительной настройки, но иногда ответы могут появляться без них. Автор сообщает, что обучение проводилось на 451 вручную подготовленном примере, без RL. Это экспериментальная модель общего назначения; автор не заявляет о превосходстве над другими моделями и отмечает, что она не предназначена специально для эротического ролевого общения и может отказывать на некоторых запросах. Лицензия — Apache 2.0.
Experiment28M7_AlloyingotneoyInex12 — объединённая языковая модель на архитектуре Mistral, созданная из automerger/Experiment28M7-7B и automerger/AlloyingotneoyInex12-7B. Она предназначена для генерации текста и может использоваться в сценариях, где требуется создавать продолжения или ответы на текстовые запросы. Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и опубликована в формате safetensors. В карточке Hugging Face указана лицензия Apache-2.0. Сведения о конкретных языках и специализированных областях применения отсутствуют.
MaziyarPanahi/Experiment28M7_Ognoexperiment27M7 — объединённая модель Mistral для генерации текста. Она создана путём слияния моделей automerger/Experiment28M7-7B и automerger/Ognoexperiment27M7-7B и содержит 7,1 млрд параметров. Модель рассчитана на текстовые запросы и может вести диалог; длина контекста составляет до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает специальные предметные области или конкретные языки, поэтому её можно рассматривать как модель общего назначения. Качество, языковое покрытие и ограничения в README не раскрыты.
MaziyarPanahi/Experiment28M7_Strangemerges_32Yamshadow — объединённая модель генерации текста на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием моделей automerger/Experiment28M7-7B и automerger/Strangemerges_32Yamshadow-7B; файлы представлены в формате Safetensors. Модель предназначена для генерации текста по текстовому запросу и поддерживает контекст до 32 768 токенов. Доступна по лицензии Apache-2.0. Информация о специализации по языкам и предметным областям в карточке не приведена.
FactCG-DeBERTa-v3-Large — англоязычная модель классификации текста, разработанная авторами работы FactCG: Enhancing Fact Checkers with Graph-Based Multi-Hop Data. Она предназначена для проверки фактической обоснованности утверждений, сгенерированных большими языковыми моделями, и выявления галлюцинаций без опоры на факты. Модель дообучена для классификации последовательностей на базе microsoft/deberta-v3-large и содержит 533,8 млн параметров; веса опубликованы в формате safetensors. Максимальная длина контекста — 512 токенов. Модель рассчитана на английский текст и сценарии автоматической проверки фактов в ответах LLM. Лицензия MIT разрешает использование на её условиях. Карточка не описывает метрики качества, схему классов или ограничения на типы утверждений, поэтому пригодность для конкретного домена следует оценивать отдельно.
Falcon2-11B — плотная авторегрессионная языковая модель с декодерной архитектурой, разработанная Институтом технологических инноваций (TII). В README она описана как модель на 11 млрд параметров, обученная на более чем 5 трлн токенов RefinedWeb и отобранных корпусов; метаданные каталога указывают 16,4 млрд параметров. Архитектура включает 60 слоёв, rotary positional embeddings, multi-query attention и FlashAttention-2. Контекст — до 8192 токенов. Модель предназначена прежде всего для исследований и как основа для дообучения под генерацию текста, суммаризацию и диалоговые сценарии. Это исходная предобученная модель, поэтому для большинства прикладных задач её рекомендуется дополнительно адаптировать. README указывает английский, немецкий, испанский, французский, итальянский, португальский, польский, нидерландский, румынский, чешский и шведский языки; обучение преимущественно ориентировано на английский. Доступна по лицензии TII Falcon License 2.0, основанной на Apache 2.0 и включающей политику допустимого использования.
ishwarbb23/finetuned-baseline-phase-0.0 — дообученная модель T5 от автора ishwarbb23, созданная на основе valhalla/t5-small-e2e-qg. Это компактная модель с архитектурой T5ForConditionalGeneration и 38,5 млн параметров, предназначенная для генерации вопросов по заданному тексту. Базовая модель умеет автоматически создавать несколько вопросов по входному тексту; назначение этой версии связано с той же задачей. Модель принимает текст и генерирует текст. Для неё заявлены контекст до 512 токенов, формат PyTorch и лицензия MIT. В README указана оценка Loss 4.0205, однако подробности набора данных, процедуры оценки, предполагаемых сценариев применения и ограничений не приведены.