I.2Синтез, понимание и проверка знаний

Claude Opus 4.8 — модель семейства Opus, разработанная Anthropic и представленная как наиболее мощная общедоступная модель компании. Она предназначена для задач с текстом и изображениями, а также для работы с файлами: принимает эти данные и формирует текстовые ответы. Модель поддерживает рассуждения и контекст длиной до 1 млн токенов. Модель подходит для анализа документов и изображений, ответов на вопросы по предоставленным материалам и решения сложных текстовых задач. В доступных сведениях лицензия и конкретные языки не указаны.

clarin-knext/bge-reranker-v2-m3-citeverifier — дообученная модель CLARIN-KNекст на основе BAAI/bge-reranker-v2-m3 для проверки соответствия пары текстов. Она принимает посылку и гипотезу, оценивает их совместимость и позволяет по порогу сходства получить бинарное решение; такой сценарий подходит для проверки, подтверждается ли утверждение заданным текстом. Модель построена на XLM-RoBERTa, содержит около 658,7 млн параметров, работает с текстом и имеет контекст до 8194 токенов. В репозитории указаны веса Safetensors. Лицензия в предоставленных данных не описана.

GPT-5.4 Pro — модель OpenAI на базе унифицированной архитектуры GPT-5.4, рассчитанная на сложные задачи, требующие усиленного рассуждения и надёжности. Она предназначена для сценариев с большим объёмом контекста и высокими требованиями к качеству ответов. В README указано контекстное окно более 1 млн токенов: до 922 тыс. токенов на вход и 128 тыс. на выход. Данных о языках, лицензии и других модальностях в доступном фрагменте нет.

HallOumi-8B — языковая модель Oumi AI для проверки утверждений и выявления галлюцинаций, когда доступен источник достоверной информации. Она анализирует утверждения по предложениям, определяет, поддерживаются ли они контекстом, оценивает уверенность и предоставляет связанные предложения из источника вместе с объяснением для проверки человеком. Модель представляет собой плотную архитектуру LlamaForCausalLM с 7,5 млрд параметров, дообученную на основе meta-llama/Llama-3.1-8B-Instruct. Она принимает текст и предназначена прежде всего для английского языка; заявленная длина контекста — 131 072 токена. Модель подходит для проверки сводок, ответов и других текстов по предоставленным документам, помогая находить неподтверждённые утверждения и видеть, на какие фрагменты источника опирается оценка. В карточке заявлен результат Macro F1 77,2% ± 2,2%, однако это утверждение README, а независимая проверка здесь не проводилась. Разработчик предупреждает, что модель меньшего размера имеет ограниченные возможности и рекомендует не использовать её за пределами проверки утверждений; возможны унаследованные от базовой модели предубеждения и риски. Лицензия — CC-BY-NC-4.0, допускающая использование с ограничениями, включая некоммерческий характер.

Llama-3 70B Gradient Instruct 524K — языковая модель Gradient, созданная при поддержке вычислительных ресурсов Crusoe Energy на основе Meta-Llama-3-70B-Instruct. Это плотная модель семейства Llama с 69,5 млрд параметров, предназначенная для генерации текста в диалогах и работы с длинными контекстами. Авторы сообщают о расширении контекста исходной модели с 8 тысяч до более чем 524 тысяч токенов за счёт настройки RoPE theta и обучения примерно на 400 млн токенов суммарно; нативная длина контекста по метаданным — 524 288 токенов. Модель подходит для диалоговых помощников, анализа длинных документов и других сценариев, где запрос и большой объём исходного текста нужно учитывать одновременно. Карточка рекомендует Transformers или TGI для запуска. Модель принимает и выдаёт текст; в метаданных указан английский язык. Лицензия — Llama 3, с условиями использования Meta Llama 3 Community License. Как и другие большие языковые модели, она может ошибаться и требует проверки ответов и настройки защитных мер под конкретное применение.

CausalLM/35b-beta-long — диалоговая языковая модель на архитектуре CohereForCausalLM с 35 млрд параметров, разработанная CausalLM как дообучение CohereForAI/c4ai-command-r-v01. Модель предназначена для чата, работы с фактами из нескольких документов и длинным контекстом: тематического суммирования, извлечения ключевой информации и сравнения источников. В README разработчик также отмечает улучшения в математике, программировании и воспроизведении знаний. Метаданные указывают контекст 8192 токена; в README заявлено обучение на контексте 128K, поэтому заявленная длина обучения не совпадает с указанным нативным контекстом. Используются формат safetensors и шаблон чата ChatML. Модель дообучена на синтетических многоходовых диалогах, составленных по веб-страницам и документам, с привлечением открытых диалоговых наборов и человеческой проверки. Разработчик сообщает о более устойчивой работе с длинным контекстом и снижении галлюцинаций, но эти заявления не сопровождаются в карточке подробными результатами оценки. README предупреждает, что после SFT модель может сохранять предвзятость и выдавать нежелательный контент; для более надёжного выравнивания, по словам разработчика, требуется дальнейшее RL-обучение. Лицензия — WTFPL согласно метаданным; README описывает базовую модель как распространяемую для некоммерческого использования, поэтому условия следует сверить с лицензиями исходной модели и репозитория.

Bespoke-MiniCheck-7B — модель проверки фактов, разработанная Bespoke Labs и поддерживаемая Liyan Tang и Bespoke Labs. Она принимает документ и отдельное предложение-утверждение и определяет, подтверждается ли оно документом, выдавая метку 0 или 1. Для проверки утверждения из нескольких предложений его сначала нужно разбить на отдельные предложения. Модель дообучена на базе internlm/internlm2_5-7b-chat и использует архитектуру InternLM2 с 7,4 млрд параметров. Контекст составляет до 32 768 токенов; документы длиннее этого предела требуют разбиения. В README сообщается о высокой пропускной способности при запуске через vLLM, но результаты зависят от оборудования и сценария. Карточка указывает английский язык. Модель предназначена для проверки соответствия утверждений опорным документам; лицензия в предоставленных данных не описана.

ChatGLM3-6B-128K 是由 Z.ai（智谱 AI）推出的 ChatGLM3 系列长文本对话模型，基于 ChatGLM3-6B 并针对长上下文更新了位置编码和训练方法。Модель поддерживает контекст до 131072 токенов и предназначена для многоходового диалога, анализа длинных документов и сценариев с вызовом инструментов, выполнением кода и агентскими задачами. Архитектура — плотная ChatGLM, размер — 7,5 млрд параметров; модель работает с текстом и поддерживает китайский и английский языки. Для контекстов до 8K авторы рекомендуют ChatGLM3-6B, а эту версию — для более длинных входов. Веса доступны для академических исследований; бесплатное коммерческое использование разрешено после регистрации через анкету.

Gevva e2b Multimodal — мультимодальная модель-классификатор, созданная Дэйвом Бёрхансом и дообученная на основе google/gemma-4-E2B-it. Она предназначена для быстрых решений по тексту и изображениям: проверки утверждений по источникам, выявления галлюцинаций, маршрутизации запросов к инструментам и проверки того, подтверждают ли диаграммы, таблицы или документы заданное утверждение. В README заявлена обработка контекста до 128 000 токенов, задержка около 15 мс на GPU и около 147 мс на обычном CPU; модель распространяется в формате safetensors и рассчитана на использование через Transformers. Модель поддерживает английский, французский, испанский, немецкий, китайский, арабский, хинди, русский, суахили и вьетнамский языки. README также описывает применение для проверки ответов учащихся по эталону. Заявления о лидерстве на JevBench, скорости и точности приведены авторами модели и зависят от условий измерений. Лицензия — Apache 2.0.

NiviG/hallucination-detector — модель классификации текста, созданная дообучением DeBERTa-v3-base от Microsoft. Она сопоставляет утверждение, сгенерированное ИИ, с предоставленным контекстом и определяет, подтверждается ли оно, опровергается ли или остаётся непроверяемым. Модель обучена на более чем 25 тысячах примеров FEVER для проверки фактов и выявления галлюцинаций в ответах языковых моделей. Архитектура — DeBERTa-v2 для классификации последовательностей, около 211,6 млн параметров; модель работает с текстом и имеет контекст до 512 токенов. Она выдаёт одну из трёх меток: FACTUAL, UNCERTAIN или HALLUCINATION. Веса опубликованы в формате safetensors; библиотека — Transformers. Карточка не указывает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

NVIDIA Nemotron-UltraLong-8B-Instruct — языковая модель на архитектуре Llama 3.1 с 7,5 млрд параметров, предназначенная для работы с длинными текстами и следования инструкциям. Модель принимает текст и генерирует текст; её контекстное окно достигает 1 073 152 токенов. Для запуска используется Transformers. Модель дообучена на основе meta-llama/Llama-3.1-8B-Instruct: обучение включало продолжение предобучения на длинных последовательностях и настройку на инструкциях по общим темам, математике и программированию. Модель подходит для анализа больших документов и контекстов, а также для диалогов и ответов на вопросы с опорой на предоставленный текст. Карточка сообщает о конкурентных результатах на стандартных тестах и сильных результатах на задачах с очень длинным контекстом. Модель рассчитана прежде всего на английский язык. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование; перед применением необходимо соблюдать её условия. Указанный размер контекста не гарантирует одинаковую точность на всём диапазоне длины, а качество может зависеть от задачи и содержимого запроса.

Llama-3.1_OpenScholar-8B — дообученная University of Washington и Allen Institute for AI (AI2) авторегрессионная языковая модель на архитектуре Transformer для синтеза научной литературы. Модель обучена на наборе os-data; в обучающие данные также входят Tulu3 и SciRIFF. Модель основана на Meta-Llama-3.1-8B, содержит около 7,5 млрд параметров и принимает текст, выдавая текст. Для неё заявлено контекстное окно 131 072 токена. Основной язык — английский; данные научных публикаций основаны на peS2o v2 и охватывают статьи по январь 2023 года. Модель предназначена для обобщения и синтеза сведений из научной литературы. Карточка указывает лицензию llama3.1 в метаданных Hugging Face, тогда как README заявляет Apache 2.0 для кода и модели; эти сведения о лицензии расходятся, поэтому условия использования весов следует сверить с лицензией репозитория.

Llama-3-70B-Instruct-Gradient-1048k — разработанная Gradient версия Meta Llama 3 70B Instruct с расширенным контекстом. Она предназначена для диалоговых приложений и обработки длинных текстов, например для анализа больших документов и работы с контекстом свыше миллиона токенов. Модель использует плотную архитектуру LlamaForCausalLM, содержит 69,5 млрд параметров и принимает текстовые запросы, выдавая текст. В README указано расширение контекста с 8 тысяч до более чем 1 048 тысяч токенов; метаданные задают длину контекста 1 048 576 токенов. Gradient сообщает о настройке RoPE theta и обучении на 34 млн токенов для этого этапа, около 430 млн токенов суммарно. Модель рассчитана прежде всего на английский язык. Для запуска README рекомендует Transformers или TGI. Лицензия — Llama 3; перед использованием следует учитывать её условия. Как и другие большие языковые модели, она может выдавать ошибки и небезопасные ответы; результаты и меры безопасности следует проверять для конкретного применения.

QuantFactory/Llama-3-8B-ProLong-64k-Instruct-GGUF — квантизированная версия модели Princeton NLP Llama-3-8B-ProLong-64k-Instruct, созданная с использованием llama.cpp. Модель основана на Meta-Llama-3-8B-Instruct и разработана исследователями Tianyu Gao, Alexander Wettig, Howard Yen и Danqi Chen. Это текстовая instruction-tuned модель для генерации ответов и работы с длинным контекстом объёмом до 64 000 токенов. Она предназначена для диалогов, вопросов и ответов по большим наборам документов, retrieval-augmented generation, извлечения информации, классификации в контексте, переранжирования результатов поиска, анализа и суммаризации длинных документов. Для восстановления диалоговых возможностей модель дообучалась на UltraChat. Модель имеет около 8 миллиардов параметров и поддерживает только текстовую модальность. При обучении использовалась смесь коротких и длинных данных общим объёмом 20B токенов; заявлено стабильное функционирование с контекстом до 64K токенов и высокая производительность на задачах длинного контекста среди моделей сопоставимого размера. Ограничения включают возможное влияние квантизации на качество, однако конкретный формат и уровень квантизации в представленном README не указаны. Языки, точные аппаратные требования и детальные показатели benchmark также не приведены. Лицензия указана как llama3. Условия её применения следует проверять по лицензии семейства Llama 3 и исходной карточке модели.

MDCure-Qwen2-7B-Instruct — языковая модель Yale NLP, дообученная на Qwen/Qwen2-7B-Instruct с использованием набора MDCure-72k. Она предназначена для генерации ответов на инструкции и вопросы по нескольким документам, а также для задач с длинным контекстом. MDCure — процедура создания и фильтрации обучающих данных для улучшения способностей LLM работать с несколькими документами; авторы сообщают об улучшении результатов на ряде много-документных и длинноконтекстных тестов относительно базовых моделей. Модель имеет плотную архитектуру Qwen2, около 7,1 млрд параметров и контекст до 32 768 токенов. Она принимает текст и генерирует текст; в метаданных указан английский язык. Для использования рекомендуется Transformers версии 4.45.0 или новее. Модель распространяется по лицензии Apache-2.0.

sui-1-24b — специализированная модель ellamind для суммаризации длинных документов с привязкой каждого тезиса к исходным предложениям. Она дообучена на Mistral-Small-3.2-24B-Instruct-2506; архитектура Mistral3, 24 млрд параметров. Репозиторий содержит веса safetensors для Transformers и опубликован по лицензии Apache-2.0. Модель предназначена для создания проверяемых кратких изложений: вывод включает ссылки на предложения источника, оформленные с помощью XML-тегов. Контекст одного прохода — до 128 тысяч токенов; для документов до 2 миллионов токенов README описывает итеративную обработку частичных резюме с последующим объединением. Основные языки дообучения — английский, немецкий, испанский, французский и итальянский; также заявлена поддержка языков базовой модели, включая русский, с возможным снижением качества суммаризации. Сильные стороны — работа с длинными текстами и проверяемость утверждений по исходнику. Для обработки требуется предварительно размечать текст XML-тегами; при итеративной обработке нужны разбиение на фрагменты и объединение резюме. Парсинг JSON-ответа иногда может завершиться ошибкой. Для полного варианта README приводит требования от примерно 55 ГБ VRAM при контексте 8k до 76 ГБ при 128k; отдельная FP8-версия снижает требования к памяти, но размещена в другом репозитории.

XVERSE-13B-256K — многоязычная плотная авторегрессионная языковая модель, разработанная Shenzhen Yuanxiang Technology. Это длинноконтекстная версия XVERSE-13B-2: модель прошла продолжение предобучения с настройкой ABF и дообучение с учителем на основе NTK. В метаданных указано 13,2 млрд параметров; README заявляет окно контекста до 256 тысяч токенов, тогда как метаданные указывают native context в 32 768 токенов. Модель предназначена для работы с длинными документами и последовательностями: ответов на вопросы по одному или нескольким текстам, суммаризации литературы и отчетов, анализа текстов и дополнения кода. Для расширения контекста применяются RoPE с измененной базовой частотой и динамическая интерполяция NTK; обучение включало длинные последовательности от 32K до 256K. README описывает многоязычные возможности и приводит оценку на LongBench с задачами на английском, китайском и кодом. Модель принимает текст и генерирует текст. Она может выдавать неточные, предвзятые или оскорбительные ответы, поэтому результаты требуют проверки, а перед развертыванием рекомендуется провести тесты безопасности для конкретного применения. Лицензия Apache-2.0.

ZiRA-Researcher — дообученная модель проекта 0xvoid на базе Qwen/Qwen3.5-4B, предназначенная для исследовательских ответов, многошаговых рассуждений и сложных вопросов. Это плотная текстовая причинная модель примерно на 3,4 млрд параметров с контекстом до 262 144 токенов; репозиторий содержит веса в формате Safetensors. Карточка описывает архитектуру Qwen3.5 как гибрид Gated Delta Network и разреженной смеси экспертов. Модель обучена синтезировать сведения, строить последовательные аргументы, отмечать неопределённость и пересматривать ошибки в ходе генерации. Она подходит для анализа длинных документов, многоэтапных логических задач и технических разборов; карточка рекомендует её для локального запуска и сценариев с ограниченным бюджетом. Встроенного доступа к вебу или поиска по источникам нет, поэтому для RAG нужно передавать извлечённые материалы в запросе. Дообучение преимущественно ориентировано на английский, хотя базовая архитектура поддерживает 201 язык. На узкоспециализированных темах модель может выдумывать сведения, а подробные рассуждения могут быть медленными и многословными. Лицензия — Apache-2.0.

ynie/albert-xxlarge-v2-snli_mnli_fever_anli_R1_R2_R3-nli — модель ALBERT-XXLarge-v2 для классификации текстовых пар по задаче Natural Language Inference (NLI). Она разработана пользователем ynie и опубликована на Hugging Face; модель также доступна через Transformers в форматах PyTorch и TensorFlow. Обучение выполнено на комбинации SNLI, MNLI, FEVER-NLI и ANLI R1, R2, R3. Модель принимает пару текстов и определяет, является ли второй текст следствием первого, нейтральным утверждением или противоречит ему. Архитектура — AlbertForSequenceClassification: 3,3 млрд параметров, 12 скрытых слоёв, 64 головы внимания, размер скрытого представления 4096; максимальная длина входа составляет 512 токенов. Выходные классы — entailment, neutral и contradiction. Сильная сторона модели — специализация на текстовом логическом выводе и проверке отношений между утверждениями, включая устойчивость к сложным примерам из ANLI. Модель не является генеративной и не предназначена для свободного создания текста; результат зависит от качества и формата входной пары, а длинные входы ограничены контекстом в 512 токенов. Лицензионные условия в доступных данных не установлены.

CAG-7b — плотная языковая модель семейства Llama, разработанная для генерации ответов с учётом достоверности сведений в контексте. Модель содержит 6,6 млрд параметров, принимает текст и имеет контекст до 4096 токенов; карточка описывает её как 7B-модель. В метаданных указаны английский язык и архитектура LlamaForCausalLM. Модель предназначена для ответов на вопросы по документам, в том числе содержащим шумные или противоречивые сведения. Заявленные сценарии включают персонализированную генерацию ответов и разрешение конфликтов знаний; оценивание проводилось для вопросов по открытым, актуальным и загрязнённым дезинформацией данным. Модель распространяется по лицензии MIT. Ключевая особенность CAG — настройка на использование сигналов достоверности из контекста при генерации. Результаты и устойчивость могут зависеть от качества и состава входных документов; указанное контекстное окно ограничено 4096 токенами.

ryanu/EEVE-10.8-BOOK-v0.1 — 10,6-миллиардная плотная языковая модель семейства Llama для генерации текста. Модель дообучена методом QLoRA на 5000 примерах для краткого пересказа материалов по общественным и техническим наукам, философии, праву, искусству и другим книжным темам. В README приведены сравнения по ROUGE для задач пересказа книг и научных статей, а также таблица результатов для вопросов и ответов с использованием RAG. Модель принимает текст и генерирует текст; метаданные указывают на разговорные возможности и контекст до 4096 токенов. README предлагает шаблон для краткого пересказа главных аргументов в 3–5 предложениях без повторяющихся формулировок. Модель опубликована в формате safetensors. Лицензия и базовая модель в предоставленных сведениях не указаны.

FILM-7B — языковая модель на архитектуре Mistral, разработанная командой In2Training. Она получена дообучением Mistral-7B-Instruct-v0.2 методом Information-Intensive Training (In2) и предназначена для генерации ответов по заданным инструкциям и длинному контексту. Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и работает с текстом на английском языке. Разработчики заявляют, что FILM-7B снижает проблему «потери информации в середине» длинного контекста, показывает высокие результаты на задачах анализа длинного контекста и сохраняет качество на коротких запросах. Репозиторий содержит веса в формате safetensors и шаблон диалога в стиле Mistral Instruct. Лицензия — Apache-2.0.

Gemma4-E4B-MLX — подготовленная MAVIS AI сборка инструкционной мультимодальной модели Google Gemma 4 E4B для локального запуска на компьютерах Mac с Apple Silicon через MLX. По карточке это та же модель, что google/gemma-4-E4B-it: обучение и архитектура не менялись; веса упакованы в формат MLX, с точностью BF16 там, где это предусмотрено исходным способом конверсии. Модель поддерживает диалог и анализ изображений. Сборка предназначена для локальных сценариев с мультимодальным чатом, анализа изображений, помощи в RAG, извлечения и проверки информации из документов, а также задач, требующих структурированных ответов и многошаговых рассуждений. README особо выделяет использование в экосистеме R.E.V.I.S. и локальных MLX-проектах на Apple Silicon. Лицензия репозитория — Apache License 2.0; также применяются условия Google Gemma.

German-RAG-NEMO-12B-CPT-HESSIAN-AI — авторегрессионная трансформерная языковая модель команды Avemio AI при поддержке Hessian AI. Это дообученная версия Mistral-Nemo-Base-2407 с 12,1 млрд параметров, предназначенная для задач генерации текста, контекстных ответов на вопросы, структурированного рассуждения и суммаризации. Модель адаптировали для немецкоязычных сценариев, сохранив поддержку английского языка; обучение включало около 507 млн токенов. Модель подходит для ответов по предоставленному контексту, в том числе в системах RAG, а также для обобщения документов и решения задач с несколькими ограничениями. В метаданных заявлено контекстное окно до 1 024 000 токенов. Модель распространяется по лицензии Apache 2.0. Без фильтров безопасности она может генерировать вредный или предвзятый контент, а ответы и фактические утверждения могут быть недостоверными и требуют проверки.

InternLM2.5-7B-Chat-1M — диалоговая языковая модель команды InternLM, вариант InternLM2.5-7B-Chat для работы с контекстом до 262 144 токенов по метаданным. Это плотная авторегрессионная модель семейства InternLM2 с 7,4 млрд параметров, предназначенная для генерации текста в ответ на запросы и ведения диалога. Модель рассчитана на анализ длинных документов, поиск сведений в большом контексте, математические рассуждения и сценарии с использованием инструментов. В README заявлена оценка на текстах длиной до миллиона токенов и приводится рекомендация использовать LMDeploy для инференса с таким контекстом; Transformers не поддерживает этот режим напрямую. Поэтому заявленную длину в миллион токенов следует считать характеристикой описанного в README режима, тогда как метаданные указывают native context в 262 144 токена. Репозиторий содержит веса в формате safetensors. README сообщает, что код распространяется по Apache-2.0, а для весов открыто академическое исследование и предусмотрена бесплатная коммерческая лицензия по запросу. Модель ориентирована на практическое применение, но её заявления о качестве приведены разработчиком по результатам собственных оценок.

LLaMA-2-7B-32K — языковая модель с длинным контекстом, разработанная Together и дообученная на основе Meta Llama 2 7B. Это плотная авторегрессионная модель семейства Llama, содержащая 6,6 млрд параметров и поддерживающая контекст до 32 768 токенов благодаря интерполяции позиционных представлений. Для обучения использовались смеси данных RedPajama, The Pile, UL2 Oscar и наборов для instruction tuning. Модель предназначена для генерации текста с большим объёмом входного контекста: ответов на вопросы по нескольким документам, суммаризации длинных текстов и работы с примерами в контексте. README описывает англоязычные данные и сценарии; метаданные также указывают английский язык. Модель доступна в формате PyTorch через Transformers и подходит для дальнейшей адаптации под конкретные задачи. Модель может выдавать неверную или предвзятую информацию. Лицензия — Llama 2; условия использования определяются лицензией Meta Llama 2.

Llama-3-70B-Instruct-Gradient-262k — это дообученная Gradient версия Meta Llama 3 70B Instruct, разработанная Gradient при поддержке вычислительных ресурсов Crusoe Energy. Модель предназначена для диалоговой генерации текста и обработки очень длинных входных последовательностей: README сообщает о расширении контекста исходной модели с 8 тысяч до более чем 262 тысяч токенов за счёт настройки RoPE theta и обучения на дополнительных данных. В метаданных указаны архитектура LlamaForCausalLM, 69,5 млрд параметров и контекст 262 144 токена. Модель подходит для диалоговых помощников, анализа длинных документов и сценариев, где нужно учитывать большой объём контекста за один запрос. Карточка описывает англоязычный вариант; поддержка других языков не подтверждена. Для запуска предлагаются Transformers или TGI, а веса опубликованы в формате safetensors. Использование регулируется лицензией Llama 3; перед развёртыванием следует учитывать её условия и проверять ответы модели, поскольку возможны ошибки и остаточные риски безопасности.

Devs Do Code выпустила инструкционную версию Llama 3 8B с контекстом до 1 048 576 токенов. Это плотная авторегрессионная языковая модель семейства Llama, предназначенная для диалога и генерации текста с использованием длинного контекста. По описанию разработчика, контекст расширен настройкой параметра RoPE theta; для этого этапа обучения использовано 830 млн токенов, а суммарно для всех этапов — 1,4 млрд токенов. Модель подходит для ответов на вопросы и работы с длинными документами в сценариях, где требуется учитывать большой объём входного текста. В карточке указана поддержка английского языка и форматы весов Safetensors. Для запуска можно использовать Transformers или TGI. Модель основана на Meta-Llama-3-8B-Instruct и распространяется по лицензии Llama 3. Как и другие большие языковые модели, она может выдавать неточные ответы и сохраняет остаточные риски безопасности; разработчик рекомендует оценивать риски применительно к сценарию использования и при необходимости добавлять защитные меры.

Llama-3-8B-Instruct-Gradient-1048k — дообученная Gradient версия Meta Llama 3 8B Instruct для диалогов и генерации текста с длинным контекстом. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров; заявленное окно контекста — 1 048 576 токенов, расширенное с 8 тысяч токенов настройкой параметра RoPE theta. Для этого этапа обучения использовано 830 млн токенов, а суммарно для всех этапов — 1,4 млрд токенов. Модель подходит для диалоговых ассистентов и задач, где нужно учитывать большие объёмы текста за один запрос, например при анализе длинных документов. В карточке заявлена поддержка английского языка; доступны веса в формате safetensors и чат-возможности. Для запуска автор рекомендует Transformers или TGI. Модель выпущена Gradient по лицензии Llama 3. Как и другие инструктивные LLM, она может давать ошибки и небезопасные ответы; для прикладного развёртывания следует оценивать качество на своих данных и при необходимости добавлять меры защиты.

Llama-3-8B-ProLong-512k-Instruct — длинноконтекстная чат-модель Princeton NLP, созданная продолженным обучением и дообучением с учителем на основе Meta-Llama-3-8B-Instruct. Она рассчитана на генерацию ответов и работу с инструкциями при анализе больших объёмов текста. Модель имеет плотную архитектуру LlamaForCausalLM и 7,5 млрд параметров, принимает контекст длиной до 524 288 токенов. Для адаптации к длинным текстам модель обучали на данных ProLong с контекстами до 64K и 512K токенов; инструкционное дообучение проводилось на UltraChat. Авторы сообщают о сильных результатах в оценке длинноконтекстных моделей HELMET. Модель поддерживает диалоговый сценарий, но README не перечисляет конкретные языки и не приводит подробностей о качестве на отдельных задачах. Лицензия — Llama 3 (llama3).