I.2Синтез, понимание и проверка знаний

petals-team/StableBeluga2 — версия Stable Beluga 2 от Stability AI, подготовленная для использования в Petals. В основе лежит авторегрессионная языковая модель Llama 2 примерно на 70 млрд параметров, дообученная на внутреннем наборе данных в стиле Orca. Модель предназначена для диалогов и генерации текста по инструкциям на английском языке; заявленный контекст — 4096 токенов. В этой версии веса сохранены в bfloat16 и Safetensors, а также разделены на небольшие шарды по слоям, чтобы клиенты и серверы Petals загружали только нужные части модели. README отмечает небольшую потерю качества при переходе с float32; при использовании NF4-квантизации Petals возможна дополнительная потеря качества. Модель может выдавать неточные, предвзятые или нежелательные ответы, поэтому её следует проверять и настраивать под конкретное применение. Чекпойнт распространяется по лицензии STABLE BELUGA NON-COMMERCIAL COMMUNITY LICENSE AGREEMENT, ограничивающей коммерческое использование.

StrangeMerges_53-7B-model_stock — языковая модель, созданная Gille с помощью LazyMergekit путём слияния пяти моделей семейства Mistral. В репозитории указаны метод слияния model_stock и формат весов bfloat16; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и может использоваться для диалогов, ответов на вопросы, написания и продолжения текстов, а также рассуждений. В README приведены результаты Open LLM Leaderboard: средняя оценка 76,07, включая 72,78 на AI2 Reasoning Challenge и 88,46 на HellaSwag. Репозиторий распространяется по лицензии Apache-2.0. Данные не устанавливают конкретный основной язык или специализированную предметную область; качество на отдельных задачах может отличаться, а результаты бенчмарков не гарантируют качество в прикладных сценариях.

iarfmoose/t5-base-question-generator — модель генерации вопросов, разработанная на основе предобученной T5-base и дообученная на наборах SQuAD, CoQA и MSMARCO. Она принимает ответ и контекст в одной текстовой последовательности и генерирует предложение-вопрос в стиле задач на понимание прочитанного. Обучающая выборка содержала около 200 тысяч примеров. Модель подходит для автоматического создания вопросов с ответами, извлечёнными из текста, например для учебных материалов, тестов и систем проверки понимания текста. Лучше всего она работает, когда ответ представляет собой полное предложение; поддерживаются также отдельные слова и короткие фразы. Архитектура — T5 encoder-decoder, около 123,7 млн параметров, контекст до 512 токенов. Доступны веса в форматах PyTorch, TensorFlow и Flax. Генерация ориентирована на стиль SQuAD, CoQA и MSMARCO. Вопросы могут быть наводящими или отражать предвзятость исходного контекста; короткий или отсутствующий контекст и несоответствие ответа контексту могут привести к бессвязным вопросам. В предоставленных данных лицензия не указана.

T5Gemma-2B-2B-PrefixLM-IT — разработанная Google instruction-tuned модель семейства T5Gemma с энкодером и декодером по 2 млрд параметров. Она основана на предварительно обученной модели google/t5gemma-2b-2b-prefixlm и предназначена для генерации и преобразования текста по инструкциям. Архитектура encoder-decoder объединяет энкодер и декодер; веса доступны в формате safetensors и модель рассчитана на работу с английским текстом. Её можно применять для ответов на вопросы, суммаризации, рассуждений и создания текстов. Небольшой по меркам крупных языковых моделей размер позволяет запускать её на локальных компьютерах или в облачной инфраструктуре. Модель может ошибаться в фактах, хуже справляться со сложными или неоднозначными запросами и наследовать смещения обучающих данных. Лицензия — Gemma; перед использованием следует учитывать политику допустимого использования Gemma.

google/t5gemma-l-l-prefixlm-it — англоязычная инструкция-адаптированная модель Google из семейства T5Gemma. Это модель типа encoder-decoder с энкодером и декодером размера L, адаптированная с помощью PrefixLM; веса представлены в формате safetensors и предназначены для работы через Transformers. Модель генерирует текст по текстовому запросу и подходит для ответов на вопросы, суммаризации, рассуждений и других задач генерации по инструкциям. Модель можно применять для составления черновиков, краткого пересказа материалов и NLP-экспериментов. В карточке описано семейство T5Gemma как компактное и ориентированное на баланс качества и эффективности, однако размер именно этой версии и длина контекста не приведены. Лицензия — Gemma. Как и другие языковые модели, она может воспроизводить смещения обучающих данных, неверно отвечать на фактические вопросы и испытывать трудности с неоднозначностью и сложными инструкциями; результаты следует проверять.

Модель T5, разработанная utrobinmv, предназначена для суммаризации текста на английском, русском и китайском языках с управляемой длиной результата. Она также умеет формировать краткое содержание на выбранном из этих языков, в том числе по тексту на другом или смешанном языке. Это плотная модель T5ForConditionalGeneration на 149,1 млн параметров, дообученная на базе utrobinmv/t5_translate_en_ru_zh_base_200. Задача выбирается префиксом: обычное, краткое или расширенное резюме; можно также указать язык вывода — английский, русский или китайский. По карточке модель рассчитана на входной контекст до 2048 токенов; длина результата зависит от режима и составляет до 200 токенов для расширенного резюме, 50 для обычного и 20 для краткого. Модель подходит для сжатия текстов и подготовки резюме на одном из трёх поддерживаемых языков. Лицензия — Apache-2.0. В карточке приведены примеры использования, однако код примеров опущен; качество на других языках и на текстах длиннее указанного контекста не описано.

Tess-34B-v1.4 — универсальная большая языковая модель семейства Tess, опубликованная migtissera. Она дообучена на базе Yi-34B-200K и предназначена для генерации текста и диалоговых сценариев. Модель использует плотную архитектуру LlamaForCausalLM, содержит 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. Карточка описывает общий профиль модели, без специализации на конкретной предметной области. Для диалога приведён формат с ролями SYSTEM, USER и ASSISTANT. Модель опубликована в формате safetensors; лицензия указана как other, поэтому условия использования следует уточнять по полным сведениям репозитория.

Tess-XS-v1-3-yarn-128K-Mistral-7B-Instruct-v0.2-slerp — диалоговая модель генерации текста, созданная MaziyarPanahi методом слияния Mistral-7B-Instruct-v0.2 и Tess-XS-v1-3-yarn-128K. В конфигурации указано слияние SLERP для слоёв 0–32 с сохранением весов в формате bfloat16; архитектура — плотная MistralForCausalLM с 7,1 млрд параметров. Модель предназначена для диалогов и ответов на инструкции в текстовом формате. Метаданные указывают контекст до 32 768 токенов, а название README отсылает к варианту Tess с контекстом 128K; фактическая длина контекста этого слияния в метаданных каталога указана как 32 768 токенов. Поддерживаемые языки явно не перечислены. Репозиторий распространяется по лицензии Apache-2.0. Данных о специальных ограничениях качества или безопасности в карточке нет; как и другие генеративные языковые модели, она может выдавать неточные или неподходящие ответы.

ThinkingCap Qwen3.8 27B — дообученная Bottlecap AI мультимодальная модель на базе Qwen/Qwen3.8-27B, предназначенная для диалогов, сложных задач с рассуждениями и агентных сценариев. Она принимает текст и изображения и выдаёт текст; карточка относит её к задаче image-text-to-text и отмечает поддержку vision и chat. В тестах авторов модель сохраняла среднюю точность, близкую к базовой, при сокращении числа токенов рассуждения в среднем на 37%; на задачах длинного контекстного поиска точность сохранилась и число токенов рассуждения снизилось на 39%. Авторы рекомендуют режим reasoning_effort=xhigh. Модель распространяется в формате safetensors через Transformers; лицензия указана как other, поэтому условия использования следует сверить с карточкой модели и базовой модели перед внедрением.

Tulu V2 DPO 70B — диалоговая языковая модель-ассистент, разработанная AllenAI на основе Llama 2 70B. Модель дообучена на смеси публичных, синтетических и созданных людьми инструкций и диалогов, а затем выровнена методом Direct Preference Optimization (DPO) на данных UltraFeedback. Архитектура — плотная LlamaForCausalLM с 68,7 млрд параметров; контекст — до 8192 токенов. Основной язык — английский. Модель предназначена для генерации ответов на инструкции и диалоговых сценариев, где нужен универсальный текстовый помощник. В карточке она описана как сильная альтернатива Llama 2 70B Chat; для форматирования запросов рекомендуется использовать формат Llama 2 с завершающим переводом строки. Модель может выдавать проблемные ответы: на этапе выравнивания её не обучали безопасно отказывать и не применяли фильтрацию ответов во время работы. Лицензия — AI2 ImpACT Low-risk.

UniWiZ-7B-v0.2 — текстовая генеративная модель от Proto-AI на архитектуре Mistral-7B с 7,1 млрд параметров. Она предназначена для генерации текста, суммаризации, ответов на вопросы и диалогов, а также для образовательных сценариев с объяснением понятий. Модель рассчитана на широкий круг тем; заявленная длина контекста — до 32 768 токенов. В README указано, что при обучении использовались разнообразные данные и материалы, ориентированные на безопасность. Модель может быть полезна для создания черновиков статей, краткого пересказа документов и разговорных помощников. Лицензия Apache-2.0. В карточке README часть сведений приведена для версии v0.1, поэтому применимость этих утверждений именно к v0.2 не вполне ясна.

Xiangxin-2XL-Chat-1048k — чат-модель компании Xiangxin AI на архитектуре Llama 3. Она основана на Meta Llama-3-70B-Instruct с расширением контекста, разработанным Gradient AI, и дообучена методом ORPO на закрытом наборе данных для выравнивания китайских ценностей. Модель содержит 69,5 млрд параметров и поддерживает контекст до 1 048 576 токенов. Модель предназначена для диалогов, генерации текста и работы с длинными контекстами, особенно на китайском языке; также заявлена поддержка английского. Разработчик приводит результаты восьми тестов с усреднённой оценкой 70,22 и сообщает, что модель превзошла Gradientai-Llama-3-70B-Instruct-Gradient-1048k по этому среднему показателю. Для запуска через Transformers требуется около 400 ГБ видеопамяти. Модель распространяется по лицензии Llama 3.

YamshadowInex12_T3qExperiment26 — объединённая модель генерации текста, созданная из automerger/YamshadowInex12-7B и automerger/T3qExperiment26-7B. Она предназначена для сценариев, где требуется генерировать текст на основе текстового запроса. Модель использует плотную архитектуру Mistral и содержит 7,1 млрд параметров. Контекстное окно — до 32 768 токенов; веса опубликованы в формате safetensors. Модель распространяется по лицензии Apache-2.0.

jondurbin выпустил эту плотную авторегрессионную модель семейства LLaMA с 12,9 млрд параметров, дообученную на синтетических данных, созданных GPT‑4. Она генерирует текст в формате диалога Vicuna и предназначена для ответов на вопросы, рассуждений, работы с викторинами, математическими задачами, кодом, заданиями с выбором ответа и пропусками, а также для ответов по предоставленному контексту. Особенность модели — обучение следовать заданному контексту и по возможности ограничивать ответы сведениями из него, чтобы уменьшить галлюцинации. Репозиторий содержит веса PyTorch; заявленное метаданными контекстное окно — 4096 токенов, однако автор предупреждает, что работа на такой длине не проверена и качество может снижаться за пределами примерно 2048 токенов. Модель основана на LLaMA, для которой README описывает использование шаблона Vicuna; лицензия CC BY-NC 4.0 допускает использование с ограничением на коммерческое применение.

ALIA-40b-Instruct-2601 — это диалоговая языковая модель с архитектурой LlamaForCausalLM, разработанная лабораторией Language Technologies Барселонского суперкомпьютерного центра. Модель содержит 38,3 млрд параметров и принимает текстовые запросы, формируя текстовые ответы. Она дообучена на базе BSC-LT/ALIA-40b: после адаптации к длинному контексту проведены обучение на 808 тысячах диалоговых примеров и выравнивание предпочтений методом DPO на 368 тысячах пар ответов. Контекстное окно составляет 163 840 токенов. Модель предназначена для диалогов и следования инструкциям. Постобучение в первую очередь ориентировано на испанский, каталанский, баскский, галисийский и английский языки; качество на других языках не гарантируется. Рекомендуются температура генерации 0–0,2 и отказ от repetition penalty. Модель не поддерживает нативный вызов функций и не предназначена для автономных действий; математические рассуждения и генерацию кода следует проверять. Выравнивание безопасности предварительное, возможны нежелательные ответы. Лицензия — Apache-2.0.

ALIA-40b-instruct-2605 — инструкционная версия многоязычной языковой модели ALIA, разработанная командой BSC-LT. Это плотная decoder-only модель семейства Llama с 38,3 млрд параметров, доступная в формате safetensors и рассчитанная на работу через Transformers. Контекст модели — до 163 840 токенов. Модель предназначена для диалога и выполнения текстовых инструкций: она генерирует и суммирует тексты, отвечает на вопросы и переводит. Улучшены следование инструкциям и системным подсказкам, форматирование ответов, многоходовый диалог и работа с длинным контекстом. Постобучение в основном ориентировано на испанский, каталанский, баскский, галисийский и английский языки; качество для других языков не гарантируется. Модель находится в разработке и не прошла этап выравнивания безопасности. Она не поддерживает нативный вызов функций и не предназначена для автономного выполнения задач; сложные рассуждения, математику и код следует проверять. Авторы рекомендуют температуру генерации 0–0,2 без штрафа за повторы. Лицензия — Apache-2.0.

ALIA-40b-Instruct-2606 — языковая модель с инструкционной настройкой, разработанная Barcelona Supercomputing Center (BSC-LT). Это декодерная плотная трансформерная модель семейства Llama с 38,3 млрд параметров, построенная на базе ALIA-40b. Контекстное окно составляет 163 840 токенов. Модель предназначена для диалогов и выполнения инструкций: она отвечает на вопросы, учитывает контекст беседы и формирует структурированные ответы. Её постобучение включало адаптацию к длинному контексту, дообучение на 714 тысячах диалоговых примеров и выравнивание предпочтений методом DPO. Основной упор сделан на испанский, каталанский, баскский, галисийский и английский языки; качество на других языках не гарантируется. Модель не умеет самостоятельно вызывать внешние функции или API и не предназначена для автономного выполнения рабочих процессов. Её рассуждения и математические ответы могут быть ненадёжными, а код следует проверять. Разработчики предупреждают, что несмотря на настройку безопасности, возможны нежелательные ответы. Лицензия — Apache-2.0.

BgGPT-Gemma-2-27B-IT-v1.0 — большая языковая модель INSAIT, института Софийского университета им. Св. Климента Охридского. Это плотный декодерный трансформер Gemma 2 с 27,6 млрд параметров и контекстом 8192 токена, предназначенный для генерации текста и диалога по инструкциям. Модель основана на Google Gemma 2 27B и Gemma 2 27B IT. Её непрерывно дообучали примерно на 100 млрд токенов, включая 85 млрд болгарских, по стратегии Branch-and-Merge, затем провели инструктивное дообучение на болгарских диалогах. Она рассчитана прежде всего на болгарский язык, сохраняя возможности английского, и подходит для ответов на вопросы, рассуждений, решения задач и генерации текста. При использовании следует применять шаблон чата Gemma 2; Flash Attention может ухудшить качество. Модель распространяется по условиям Gemma Terms of Use.

CatMarcoro14-7B-slerp — объединённая языковая модель на основе Mistral, созданная с помощью LazyMergekit путём слияния cookinai/CatMacaroni-Slerp и EmbeddedLLM/Mistral-7B-Merge-14-v0.2 методом slerp. Модель содержит 7,1 млрд параметров и предназначена для генерации текста, включая ответы на запросы и решение задач на рассуждение. В README приведены результаты Open LLM Leaderboard: средний балл 73,25, включая 69,37 на AI2 Reasoning Challenge и 86,92 на HellaSwag. Модель принимает и генерирует текст; контекстное окно — 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Darwin-36B-Opus — языковая модель FINAL-Bench / VIDRAFT_LAB, полученная эволюционным слиянием Qwen3.6-35B-A3B и её версии, дообученной на примерах рассуждений. Это MoE-модель на архитектуре Qwen3.5 MoE для генерации текста и диалогов с режимом пошаговых рассуждений; в README заявлены 36 млрд параметров всего и около 3 млрд активных, а метаданные указывают 2,9 млрд параметров. Контекст — 262 144 токена. Модель предназначена для сложных вопросов и рассуждений, включая задачи уровня GPQA Diamond; заявлены поддержка нескольких языков и результат 88,4% на GPQA Diamond по описанному авторами протоколу. Модель принимает текстовые запросы и генерирует текст. Доступна в формате Safetensors и распространяется по лицензии Apache 2.0. README описывает её как результат слияния весов без повторной градиентной оптимизации финальной модели; опубликованный бенчмарк включает стохастический повторный отбор ответов, поэтому показатель может зависеть от протокола оценки.

tasksource/deberta-small-long-nli — англоязычная модель Tasksource, созданная дообучением DeBERTa-v3-small на задачах естественного языкового вывода. Архитектура DeBERTa V2 для классификации последовательностей содержит около 155 млн параметров и поддерживает контекст до 1680 токенов. Модель распространяется в форматах PyTorch и Safetensors по лицензии Apache 2.0. Модель предназначена для классификации по произвольным меткам через zero-shot-подход на основе NLI, определения логического следования между текстами и дообучения для классификаторов и других задач понимания текста. Среди обучающих данных — наборы NLI, логического рассуждения, проверки фактов и предпочтений; для длинных задач NLI увеличивали долю примеров при обучении. Карточка приводит результаты проверок на нескольких задачах, но не гарантирует качество для конкретного применения. Основной язык модели — английский. Она принимает текстовые последовательности и выдаёт оценки классов или отношений следования. Контекст длиннее, чем у стандартной версии DeBERTa-v3-small, но ограничен 1680 токенами. Результаты zero-shot классификации зависят от формулировки текста и меток; языки, кроме английского, в карточке не заявлены.

Moritz Laurer дообучил DeBERTa-v3-base от Microsoft на 763 913 парах «посылка — гипотеза» из MultiNLI, Fever-NLI и Adversarial-NLI (ANLI). Это плотная модель DeBERTa-v2 для классификации последовательностей с 211,6 млн параметров и контекстом до 512 токенов; её основное применение — классификация текста без предварительно заданного набора классов, а также задачи вывода на естественном языке (NLI). Модель оценивает, следует ли гипотеза из текста, противоречит ему или не связана с ним, что позволяет сопоставлять текст с предложенными метками и ранжировать их. В карточке приведены результаты оценки на тестовых наборах MultiNLI и ANLI и на dev-наборе Fever-NLI; также заявлено преимущество на бенчмарке ANLI перед почти всеми крупными моделями. Поддерживается английский язык. Модель принимает текст и возвращает метки и оценки классов. Ограничения связаны с возможными смещениями, унаследованными от обучающих наборов. Карточка также отмечает, что для работы с DeBERTa-v3 может потребоваться Transformers версии 4.13 или новее и установленный SentencePiece. Лицензия — MIT.

Модель разработал Roni Goldshmidt: это дообученная Dicta-IL dictalm2.0-instruct на базе Mistral с 7,1 млрд параметров. Она предназначена для генерации вопросов и ответов на иврите по фрагментам текста, в частности по энциклопедическим материалам; карточка описывает синтетический набор данных, созданный на основе статей Википедии на иврите. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors по лицензии MIT. Подходит для подготовки учебных вопросов, проверки понимания текста и создания пар «вопрос—ответ» по предоставленному материалу. В описанной автором оценке на синтетическом отложенном наборе указаны F1 88% и exact match 75%; эти результаты относятся к данному набору и не гарантируют точность на других данных. Модель может воспроизводить смещения обучающих данных, а ответы требуют проверки; её не рекомендуют использовать для критически важных медицинских или юридических сведений без проверки человеком.

Eagle 2.5-8B — мультимодальная модель семейства Eagle 2.5 от NVIDIA для анализа изображений, видео и текста. В основе архитектуры — визуальный энкодер SigLIP2-So400m-Patch16-512 и языковая модель Qwen2.5-7B-Instruct, объединённые в мультимодальную архитектуру на базе LLaVA с разбиением изображений на фрагменты. Модель поддерживает изображения высокого разрешения, многостраничные документы, длинный текст и видео до 512 кадров; контекст при обучении постепенно расширяли с 32K до 128K токенов. Модель предназначена для ответов на вопросы по видео и изображениям, суммаризации видео, локализации событий и понимания документов. В README сообщается о результатах на тестах понимания длинных видео и изображений, включая 72,4% на Video-MME при подаче 512 кадров. Указанная в метаданных лицензия — other; конкретные условия следует сверять с карточкой модели.

howey/electra-large-mnli — англоязычная модель классификации текста на базе архитектуры ELECTRA-Large, опубликованная пользователем howey и предназначенная для задач, связанных с MultiNLI. ELECTRA разработана Google как Transformer-энкодер; данная версия дообучена для классификации отношений между парами текстов, например определения entailment, contradiction и neutral. Модель содержит около 433,9 млн параметров и поддерживает контекст до 512 токенов. Она работает с текстом, использует библиотеку Transformers и доступна через PyTorch. Модель подходит для классификации текстовых пар и zero-shot-подобных сценариев при передаче подходящих гипотез, но не является генеративной моделью и не предназначена для свободного создания текста. В карточке модели лицензия не указана, поэтому условия коммерческого и производного использования следует уточнять у владельца репозитория и в файлах модели.

ERNIE-4.5-21B-A3B-Thinking-GGUF — текстовая MoE-модель, разработанная Baidu и представленная в формате GGUF. Она предназначена для сложных задач рассуждения, включая логические задачи, математику, естественные науки, программирование, генерацию текста и академические тесты. Модель также поддерживает эффективное использование инструментов и вызовы функций. Модель содержит 21 млрд параметров, из которых для каждого токена активируется около 3 млрд. Архитектура включает 28 слоёв, 20 Q-голов и 4 KV-головы, 64 текстовых эксперта с активацией 6 экспертов, 64 vision-эксперта с активацией 6 экспертов и 2 общих эксперта. Указана длина контекста 131 072 токена. Основная модальность — текст; заявленные языки — английский и китайский. К сильным сторонам относятся улучшенные качество и глубина рассуждений, поддержка длинного контекста, инструментов и function calling, а также вычислительная эффективность MoE-архитектуры благодаря активации только части параметров на каждом токене. README рекомендует модель прежде всего для высокосложных задач, однако отмечает повышенную длину рассуждений, что может увеличивать задержку и расход ресурсов. Для запуска полной модели указана конфигурация с GPU объёмом 80 ГБ и FastDeploy 2.2; для работы через Transformers требуется версия 4.54.0 или новее. Модель распространяется по лицензии Apache 2.0.

EXAONE 3.5 7.8B Instruct — двуязычная генеративная языковая модель, разработанная LG AI Research и настроенная следовать инструкциям. Она предназначена для диалогов, ответов на вопросы и других задач генерации текста на английском и корейском языках. Модель построена на плотной архитектуре ExaoneForCausalLM, содержит 7,4 млрд параметров по метаданным и поддерживает контекст до 32 768 токенов. В карточке указаны 32 слоя и групповое внимание с 32 Q-головами и 8 KV-головами. Модель рассчитана на повседневные сценарии использования языковой модели и обработку длинного контекста. Доступна в формате safetensors для Transformers; для семейства также упомянуты варианты AWQ и GGUF в отдельных репозиториях. Лицензия указана как other, поэтому конкретные условия следует проверить в лицензии репозитория. Возможны фактические ошибки, устаревшие сведения, предвзятые или неподходящие ответы.

Experiment26Yamshadow_CalmeInex12 — объединённая языковая модель на базе архитектуры Mistral, созданная слиянием automerger/Experiment26Yamshadow-7B и automerger/CalmeInex12-7B. Модель содержит 7,1 млрд параметров и принимает текст для авторегрессионной генерации текста. Она подходит для генерации продолжений, черновиков и ответов на текстовые запросы. Контекстное окно составляет до 32 768 токенов. В репозитории указана лицензия Apache-2.0. Данных о специализации на конкретном языке или предметной области нет.

Experiment26Yamshadow_Experiment27Pastiche — объединённая модель, созданная из automerger/Experiment26Yamshadow-7B и automerger/Experiment27Pastiche-7B. Это плотная авторегрессионная языковая модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалоговых ответов. Модель принимает текст и поддерживает контекст длиной до 32 768 токенов. Веса опубликованы в формате Safetensors. Репозиторий распространяется по лицензии Apache 2.0. В README нет описания специальных предметных областей или языковых возможностей.

FastContext-4B-SFT_base-SFT-Fable5 — плотная языковая модель для генерации текста, созданная дообучением Microsoft FastContext-1.0-4B-SFT на наборе инструкций Fable-5-Complete-2M-Clean. В основе архитектура Qwen3ForCausalLM; в метаданных указано 3,7 млрд параметров, а в README — 4,0 млрд. Контекст составляет до 262 144 токенов. LoRA-адаптеры объединены с базовыми весами, поэтому результат представляет собой цельную модель.