I.14Автоматизация процессов и AI-агенты
В разделе собраны самостоятельные задачи, где AI помогает выполнять многошаговые цифровые процессы и координировать действия между системами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 022 моделиricardo-filho/bert-portuguese-cased-nli-assin-assin-2 — модель эмбеддингов предложений на базе BERT, опубликованная автором Ricardo Filho. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,1 млн параметров, принимает текст с контекстом до 512 токенов и доступна в формате PyTorch. Название указывает на обучение для португальского языка и задачу NLI с данными ASSIN и ASSIN 2; модель подходит для поиска похожих фраз и группировки текстов на португальском. Для использования доступны Sentence-Transformers и Transformers с соответствующим pooling. В README указана лицензия? Нет данных о лицензии, поэтому условия распространения по представленным сведениям определить нельзя.
swardiantara/bert-tiny-snli-k1-fixed-cosine — компактная Sentence Transformer модель на базе google/bert_uncased_L-2_H-128_A-2, дообученная для сопоставления предложений и поиска по тексту. Она кодирует предложения и абзацы в плотные векторы размерности 128; сходство между ними оценивается косинусной мерой. Архитектура включает BERT с усреднением токенных представлений, а размер модели составляет 4,4 млн параметров. Модель принимает только текст. Максимальная длина последовательности в README указана как 128 токенов; лимит контекста базовой модели в метаданных — 512 токенов. Она предназначена для семантического поиска и retrieval-сценариев, где нужны векторные представления или сравнение текстов. В карточке описано дообучение на 549 370 примерах; язык обучающих данных и лицензия не установлены по предоставленным сведениям.
swardiantara/bert-tiny-sst5-full-fixed-cosine — компактная модель Sentence Transformers, дообученная автором на датасете generator на основе google/bert_uncased_L-2_H-128_A-2. Она преобразует предложения и абзацы на английском языке в плотные векторы размерности 128 и предназначена для поиска и сравнения текстов по косинусному сходству. Архитектура включает BERT с усреднением токенных представлений; модель содержит 4,4 млн параметров. Метаданные указывают контекст до 512 токенов, а README сообщает максимальную длину последовательности 128 токенов. Модель можно применять для семантического поиска, извлечения релевантных текстов и оценки сходства предложений. Она принимает только текст и выдаёт векторы; интерфейса для генерации ответов модель не описывает. Компактный размер подходит для сценариев с ограниченными вычислительными ресурсами. Лицензия в предоставленных данных не указана.
Blur-7b-v1.2 — объединённая модель для генерации текста и диалогов, созданная liminerity с помощью LazyMergekit. Она объединяет liminerity/Blured-Ties-7B и freecs/ThetaWave-7B методом TIES; в конфигурации также указан mlabonne/NeuralBeagle14-7B как base_model. Модель построена на архитектуре Mistral с плотной архитектурой и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и использования в чат-сценариях. Её контекстное окно составляет 32 768 токенов. В README приведены результаты Open LLM Leaderboard, включая средний балл 67,74, а также результаты AI2 Reasoning Challenge и HellaSwag. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.
ChatFrame V1 — диалоговая языковая модель AIFRAME INC, представленная как дообученная версия семейства Llama. Она предназначена для генерации ответов на персидском и английском языках и заявлена для решения математических задач, программирования, логических рассуждений, суммаризации и перевода между английским и персидским. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов; доступны веса в формате safetensors и интерфейс вызова инструментов. Модель подходит для чат-ботов, языковой помощи и задач, где нужны ответы или преобразование текста на персидском и английском. README заявляет высокое качество ответов, но не приводит результатов независимой оценки или сведений о конкретных обучающих наборах. Лицензия — MIT.
Chinese-Alpaca-2-13B — плотная авторегрессионная языковая модель семейства LLaMA, созданная проектом Chinese LLaMA & Alpaca на основе Llama 2 от Meta. Это полная версия с 13 млрд параметров, предназначенная для генерации текста и следования инструкциям; её можно загружать для инференса и полно-параметрического обучения. Модель расширяет словарь Llama 2 китайскими токенами и прошла дополнительное предобучение на крупных китайских данных, а Alpaca-2 ориентирована на выполнение инструкций. Она поддерживает китайский и английский языки, контекст 4096 токенов; в проекте описано расширение контекста методом NTK до 18 тысяч токенов и более. Поддерживается экосистема Transformers и инструменты развёртывания LLaMA. Модель подходит для диалогов, ответов на вопросы и генерации текста на китайском и английском. Карточка указывает лицензию Apache-2.0. Качество ответов и соблюдение инструкций могут зависеть от запроса и сценария применения; увеличение контекста сверх 4096 токенов требует отдельной настройки NTK.
Code Llama 34B — базовая авторегрессионная языковая модель Meta на архитектуре Transformer, представленная в формате для Hugging Face Transformers. Она содержит 33,5 млрд параметров и предназначена для генерации и понимания кода; эта версия не является вариантом Python или Instruct и не ориентирована на диалоговые инструкции. Модель принимает текст и генерирует текст. Её можно применять для автодополнения кода и адаптировать к другим задачам синтеза и понимания программ. Для работы с длинными запросами поддерживается контекст до 16 384 токенов. Основной язык карточки — английский; модель также работает с релевантными языками программирования. Модель обучена на статическом наборе данных, поэтому её ответы могут быть неточными или нежелательными; перед внедрением требуется проверка и настройка под конкретное применение. Использование регулируется лицензией Meta Llama 2, включая её условия и ограничения.
CodeT5 Base — разработанная Salesforce предварительно обученная модель кодирования-декодирования на архитектуре T5, представленная в статье «CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generation». Модель содержит 123,7 млн параметров, использует кодо-ориентированный BPE-токенизатор и имеет контекст длиной 512 токенов. Она обучена на CodeSearchNet и дополнительных наборах кода C/CSharp: всего около 8,35 млн примеров. Модель предназначена для понимания и генерации кода, включая суммаризацию, генерацию, перевод и исправление кода, а также обнаружение дефектов и поиск клонов. Это базовый предварительно обученный чекпойнт: для целевых задач его обычно дообучают. Модель работает с текстовым представлением исходного кода и комментариев; в README отдельно отмечена задача восстановления замаскированных фрагментов. Лицензия репозитория — Apache-2.0. Авторы позиционируют выпуск как исследовательский и рекомендуют оценивать точность и безопасность перед внедрением.
mobiuslabsgmbh/DeepSeek-R1-ReDistill-Llama3-8B-v1.1 — повторно дистиллированная версия DeepSeek-R1-Distill-Llama3-8B, разработанная Mobius Labs. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она предназначена для генерации текста и диалоговых сценариев; заявленная длина контекста — 131 072 токена. В сравнении с исходной DeepSeek-R1-Distill-Llama3-8B карточка приводит улучшенные результаты на ARC, MMLU, GPQA, MMLU PRO и MUSR, при этом на HellaSwag результат немного ниже. Модель подходит для задач рассуждения, ответов на вопросы и других сценариев генерации текста. В репозитории доступны веса safetensors. Лицензия — MIT. В README также упоминается возможность ускорения инференса с HQQ; приведённые в карточке сравнительные результаты не заменяют независимую оценку на целевых данных.
DeepSeek-V2-Lite — языковая модель компании DeepSeek для генерации текста и диалогового общения. Она предназначена для дополнения текста, ответов в чате и локального развертывания; в README также описаны базовая и дообученная для чата версии семейства. Модель поддерживает английский и китайский языки, а метаданные указывают на контекстное окно до 163 840 токенов. Архитектура DeepSeek-V2-Lite сочетает разреженную Mixture-of-Experts (MoE) с Multi-head Latent Attention (MLA), которая сжимает KV-кэш для более эффективного вывода. README приводит 16 млрд общих параметров и 2,4 млрд активных параметров на токен; метаданные каталога указывают 2,5 млрд параметров. В README указано, что для инференса BF16 требуется GPU с 40 ГБ памяти. Модель подходит для локальных чат-сервисов и генерации текста. Заявленная в README лицензия не уточнена; метаданные Hugging Face обозначают её как other, поэтому конкретные условия использования следует проверять в файлах лицензии репозитория.
KennethEnevoldsen/dfm-sentence-encoder-large — датская модель для получения векторных представлений предложений. Это версия chcaa/dfm-encoder-large-v1, дообученная методом SimCSE в рамках Scandinavian Embeddings Benchmark как простой базовый ориентир. Архитектура — BERT; модель содержит около 453,9 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для извлечения эмбеддингов датского текста, например для сравнения смысловой близости предложений и поиска похожих фрагментов. Опубликована в форматах PyTorch и Safetensors. Лицензия — MIT.
alibayram/embeddingmagibu-200m — модель SentenceTransformers на архитектуре Gemma 3 Text, разработанная для создания эмбеддингов турецких текстов. Она содержит 202,1 млн параметров, формирует нормализованные векторы размерности 768 и поддерживает контекст до 8192 токенов. В README описаны адаптация токенизатора для турецкого языка и дистилляция эмбеддингов от EmbeddingGemma; метаданные также указывают на дистилляцию. Модель предназначена для семантического поиска и извлечения длинных документов, оценки сходства предложений, кластеризации и классификации на основе эмбеддингов. В README приведены результаты STSbTR, однако оценка TR-MTEB ещё продолжается. Модель опубликована под лицензией MIT. При обработке длинных текстов без разбиения на части возрастает потребление памяти; README рекомендует для инференса bfloat16 или float32 вместо float16.
ERNIE-4.5-37B-A3B-Thinking-Brainstorm20x — текстовая MoE-модель для генерации и диалога, созданная DavidAU на основе ERNIE-4.5-21B-A3B-Thinking от Baidu с применением Brainstorm 20x. Модель предназначена для творческого письма, мозгового штурма, диалогов, программирования и рассуждений. По карточке, расширение Brainstorm направлено на более подробную и связную прозу, выразительные описания и нестандартные ассоциации; заявлены улучшения на некоторых тестах связности и повествовательного завершения, при небольшом снижении результата BoolQ. Архитектура — ERNIE 4.5 MoE с классом Ernie4_5_MoeForCausalLM; в метаданных указано 5,4 млрд параметров, а карточка описывает расширение исходной модели с 21 до 37 млрд параметров. Контекст составляет 131 072 токена. Модель принимает текст и генерирует текст; карточка указывает английский язык. Доступны веса safetensors и библиотека Transformers, а также возможность использовать исходные веса для конвертации в другие форматы. Лицензия — Apache-2.0. Для квантованных вариантов автор рекомендует не опускаться ниже IQ3 с imatrix или q4_K_S.
Модель beki/flair-pii-distilbert — модель распознавания именованных сущностей для выявления персональных данных в англоязычном тексте. Разработчик обучил её в Flair на трассировках протоколов, сгенерированных набором Privy; для представлений токенов используются эмбеддинги DistilBERT. Модель размечает пять классов сущностей, включая имена людей, названия мест и организаций. Модель предназначена для поиска и разметки PII в тексте, например при проверке журналов протоколов. В README приведён показатель F1 0,9522. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Указанная в карточке совместимость пакета spaCy — версии от 3.4.1 до 3.5.0.
flammen10-mistral-7B — языковая модель на архитектуре Mistral, созданная FlammenAI слиянием двух моделей методом SLERP с помощью mergekit: nbeerbower/flammen9X-mistral-7B и chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Модель предназначена для генерации текста по запросам и может использоваться в диалоговых сценариях и для ответов на математические вопросы. Модель содержит 7,1 млрд параметров, имеет контекстное окно до 32 768 токенов и распространяется в формате safetensors для библиотеки Transformers. Вторая исходная модель описана как DPO-дообученная на математических данных Mistral, что указывает на математическую составляющую слияния. Репозиторий лицензирован по Apache-2.0.
Это GGUF-представление Gemma-4-12B-it-AEON-Abliterated-K4-BF16 от mradermacher, подготовленное как набор статических квантованных файлов. Базовая модель — дообученная AEON-7 версия Gemma-4-12B-it; в её описании каталога указано удаление отказов. Репозиторий предназначен для запуска модели в совместимом с GGUF программном обеспечении. Модель используют для диалоговой генерации текста и следования инструкциям; метаданные также указывают на английский язык, чат и работу с кодом, рассуждениями и инструментами в базовом варианте. README перечисляет несколько вариантов квантизации, включая Q2_K и Q3_K, с разными размерами и компромиссами качества. Доступный вариант обозначен как GGUF BF16. Лицензия — Gemma; перед использованием следует учитывать её условия.
gaianet/gpt-oss-20b-GGUF — сборка модели openai/gpt-oss-20b, опубликованная Gaianet в формате GGUF. Это языковая модель архитектуры gpt_oss с разреженной MoE-архитектурой для генерации текста и диалогового применения. В README указан исходный репозиторий модели и раздел запуска с Gaianet. Модель принимает текстовые запросы и генерирует текст; заявленная длина контекста составляет 131072 токена. В метаданных указаны 1,6 млрд параметров, библиотека Transformers, форматы GGUF и GGUF F16, а также лицензия Apache-2.0. README не описывает специальные предметные области или конкретные языковые ограничения.
mlx-community/granite-4.1-8b-bf16 — версия Granite-4.1-8B от mlx-community, преобразованная для MLX из модели ibm-granite/granite-4.1-8b с помощью mlx-lm. Это плотная языковая модель с архитектурой GraniteForCausalLM и 8,4 млрд параметров, предназначенная для генерации текста и диалоговых сценариев. Модель принимает текст и генерирует текст; заявленная длина контекста составляет 131 072 токена. В описании базовой модели указана поддержка нескольких языков, работы с текстом и кодом, а также вызова инструментов, однако эта карточка подтверждает только генерацию текста и диалоговую возможность. Файлы модели представлены в формате safetensors и подготовлены для запуска с MLX. Лицензия — Apache-2.0. Качество и языковой охват унаследованы от базовой модели; отдельные результаты оценки для этой сборки в карточке не приведены.
x1saint/gte-small-triplet-tr — модель Sentence Transformers на базе Supabase/gte-small, дообученная на турецком наборе all-nli-tr. Она кодирует предложения и абзацы в плотные векторы размерности 384; сходство текстов оценивается косинусной близостью. Модель предназначена для семантического поиска, сравнения предложений, поиска перефразирований, кластеризации и извлечения признаков для классификации текста. Архитектура состоит из BERT-трансформера с усреднением токенных представлений; максимальная длина последовательности — 512 токенов. Обучающие данные содержат пары и тройки турецких текстов, а в README приведена точность cosine_accuracy 0,8552 на TripletEvaluator для all-nli-dev. Модель принимает турецкий текст и выдаёт текстовые эмбеддинги; опубликована в формате safetensors и использует библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.
Hemlock2-Coder-7B-i1-GGUF — это квантизированная версия языковой модели для генерации и обработки программного кода Hemlock2-Coder-7B. Базовую модель разработала команда hemlang, а квантизацию выполнил mradermacher. Модель распространяется в формате GGUF и предназначена для локального запуска в совместимых инструментах вывода. Модель содержит около 7 миллиардов параметров и ориентирована прежде всего на задачи кодинга и текстовой генерации. В метаданных указан английский язык; сведения о поддерживаемых языках помимо английского, контекстном окне, точной архитектуре и мультимодальности отсутствуют. В качестве связанного набора данных указан hemlang/Hemlock2-DPO, а среди тегов упоминается ORPO, однако подробности обучения и результаты тестирования не приведены. Доступны варианты квантизации от очень компактных IQ1 и IQ2 до более качественного Q6_K. Это позволяет выбирать между требованиями к памяти, скоростью и качеством генерации; для баланса размера, скорости и качества в README рекомендуются варианты i1-Q4_K_S и особенно i1-Q4_K_M. Сильной стороной является широкий выбор GGUF-квантизаций для локального использования, однако низкобитные варианты могут заметно терять в качестве. Лицензия модели в README не указана, поэтому условия использования необходимо уточнять отдельно у разработчиков базовой модели и автора квантизации.
Hermes-Instruct-7B-217K — диалоговая языковая модель на архитектуре Mistral, созданная Lodrick the Lafted. Это дообученная версия Mistral-7B-Instruct-v0.2, обученная на 217 тысячах примеров из teknium/openhermes в формате Alpaca. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых инструкций. Она принимает запросы в формате Mistral-Instruct или Alpaca; токенизатор по умолчанию настроен на Alpaca. Автор описывает обучение на разном объёме данных как эксперимент по оценке влияния дальнейшего дообучения. Репозиторий предоставляет веса PyTorch и Safetensors. Модель распространяется по лицензии Apache-2.0. Результаты зависят от запроса и контекста; карточка не приводит отдельной оценки качества или подробностей ограничений.
inception42/jais-family-30b-16k — двуязычная большая языковая модель семейства Jais от Inception Institute of Artificial Intelligence. Это модель с авторегрессивной архитектурой causal decoder, предварительно обученная с нуля; семейство включает варианты разных размеров, а данный репозиторий относится к варианту на 30 млрд параметров. Модель предназначена для генерации текста на арабском и английском языках и может использоваться для диалоговых ассистентов, анализа тональности, суммаризации двуязычных документов и задач обработки естественного языка. Jais оптимизирована для арабского языка и обладает сильными возможностями в английском. Семейство обучалось на арабских, английских и программных данных; карточка описывает варианты с контекстом 16K в названии репозитория. Модель распространяется по лицензии Apache 2.0. Возможны фактические ошибки, смещения и некорректные или оскорбительные ответы; она не предназначена для решений с высокими ставками без человеческого контроля и не должна считаться одинаково компетентной в других языках и диалектах.
inception42/jais-family-6p7b-chat — диалоговая версия двуязычной большой языковой модели Jais, созданной Inception Institute of Artificial Intelligence. Это дообученная для следования инструкциям модель с авторегрессионной decoder архитектурой; репозиторий содержит веса Safetensors, а для загрузки требуется пользовательский класс модели с параметром trust_remote_code=True. Размер модели по идентификатору — 6,7 млрд параметров. Модель предназначена для диалога и генерации текста на арабском и английском языках. Её можно использовать для создания чат-ассистентов, ответов на вопросы, суммаризации двуязычных документов и анализа тональности; также она подходит для дальнейшей адаптации под конкретные задачи. Модель оптимизирована для арабского языка и обладает сильными возможностями на английском. Она может выдавать неверные, вводящие в заблуждение или предвзятые ответы; качество на других языках и диалектах не гарантируется. Не следует полагаться на неё при принятии важных медицинских, юридических, финансовых или связанных с безопасностью решений без контроля человека. Лицензия — Apache 2.0.
hyunkookim/klue-roberta-base-klue-sts — модель Sentence Transformers, дообученная на базе klue/roberta-base для оценки семантического сходства корейских предложений. Она преобразует предложения и абзацы в плотные векторы размерности 768, которые сравниваются косинусной близостью; модель также подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура включает RoBERTa и усреднение токенных представлений; размер базовой модели — 137,8 млн параметров. Максимальная длина входа — 512 токенов по карточке модели и 514 токенов по метаданным. Модель ориентирована на корейский язык и обучена на парах текстов с оценками сходства. В README приведены результаты оценки, но они различаются между таблицами, поэтому их нельзя считать однозначной характеристикой качества. Репозиторий использует формат safetensors и библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.
ddobokki/klue-roberta-base-nli-sts-ko-en — модель эмбеддингов предложений на основе архитектуры RoBERTa, дообученная на данных NLI и STS для корейского и английского языков. Она предназначена для получения векторных представлений текстов и вычисления семантического сходства, например, для сравнения запроса с набором предложений по косинусному сходству. Модель содержит 137,8 млн параметров и принимает последовательности длиной до 514 токенов. Модель подходит для поиска семантически близких предложений и сопоставления текстов на корейском и английском. Карточка демонстрирует сравнение корейского запроса с английскими и корейскими предложениями. Доступна в форматах PyTorch и safetensors. Лицензия в предоставленных данных не указана.
LakeExpander — объединённая языковая модель, созданная allstax с помощью mergekit из cognitivecomputations/WestLake-7B-v2-laser и allstax/AI-G-Expander-v6. Это плотная модель семейства Mistral с архитектурой MistralForCausalLM и примерно 7,1 млрд параметров; веса сохранены в формате safetensors. Модель предназначена для генерации текста, включая диалоговые сценарии. Контекстное окно составляет 32 768 токенов. Объединение выполнено методом SLERP с типом данных float16. Репозиторий распространяется по лицензии Apache-2.0. Данных о специализированной предметной области или гарантированных характеристиках качества в карточке нет.
TheBloke/Llama-2-70B-Chat-GPTQ — это GPTQ-квантизированная версия диалоговой языковой модели Llama 2 70B Chat, разработанной Meta. Репозиторий подготовлен TheBloke и содержит варианты модели для запуска с разными параметрами квантования. Базовая модель — meta-llama/Llama-2-70b-chat-hf; тип задачи — генерация текста, основной заявленный язык — английский. Модель предназначена для диалоговых сценариев, ответов на запросы пользователей и создания текста в формате ассистента. Для корректного взаимодействия используется шаблон Llama-2-Chat с системными инструкциями, ориентированными на полезные, безопасные и честные ответы. Доступны варианты GPTQ с разной разрядностью, размером групп и настройками Act Order, что позволяет выбирать баланс между требованиями к VRAM, скоростью и точностью; поддерживается запуск на GPU, включая совместимые с ExLlama конфигурации для 4-битных моделей. Ключевое преимущество — существенно меньшие требования к памяти по сравнению с исходной моделью в формате fp16 при сохранении назначения и диалоговых возможностей Llama 2 70B Chat. Ограничения включают возможное снижение точности из-за квантования, зависимость характеристик от выбранных параметров и программного обеспечения, а также отсутствие в предоставленных данных подробностей об архитектуре, максимальном контексте и результатах оценки. Модель распространяется по лицензии Llama 2; условия исходной лицензии Meta следует учитывать при использовании.
Карточка модели Enronld/llama3.1 на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B, поэтому описание составлено по ней. Meta Llama 3.1 8B — авторегрессионная языковая модель на оптимизированной архитектуре Transformer с Grouped-Query Attention. Это базовая предварительно обученная версия семейства Llama 3.1; веса представлены в формате Safetensors и предназначены для генерации текста и последующей адаптации под разные задачи. Модель принимает текст и генерирует текст. Модель подходит для генерации естественного языка, создания диалоговых и прикладных систем после настройки, а также для подготовки синтетических данных. В карточке семейства заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Для этой базовой версии README не заявляет оптимизацию под диалоговые сценарии: она отличается от instruction-tuned вариантов, которые обучались с SFT и RLHF. Разработчик — Meta. Для использования действует специальная коммерческая лицензия Llama 3.1 Community License и Acceptable Use Policy. Модель обучена на статическом наборе данных; качество и безопасность генерации могут различаться между языками, а применение на языках за пределами восьми заявленных требует дополнительной настройки и мер контроля.
NVIDIA Llama 3.1 8B Medusa FP8 — текстовая генеративная модель на архитектуре Transformer Llama 3.1, основанная на Meta-Llama-3.1-8B-Instruct. В README указано, что модель не принадлежит NVIDIA и была подготовлена по требованиям стороннего заказчика. Она сочетает дообученные Medusa-головы для спекулятивного декодирования с квантизацией FP8; размер составляет около 7,5 млрд параметров, длина контекста — до 128K токенов по README и до 131 072 токенов по метаданным. Модель принимает текст и генерирует текст. Она предназначена для диалогов и генерации ответов с ускоренным инференсом в режиме Medusa speculative decoding через TensorRT-LLM. README сообщает результат 68,3 на MMLU в режиме 5-shot и средний acceptance rate Medusa 2,07. README заявляет готовность к коммерческому и некоммерческому использованию; конкретные условия лицензии в предоставленных данных не приведены. Использование рассчитано на TensorRT-LLM и указанные в карточке поколения NVIDIA Blackwell, Hopper и Lovelace под Linux.
Llama3.1-Flammades-70B — диалоговая языковая модель на архитектуре Llama 3.1, разработанная FlammenAI. Это дообученная версия nbeerbower/Llama3.1-Gutenberg-Doppel-70B: модель адаптировали методом ORPO на наборах flammenai/Date-DPO-NoAsterisks и jondurbin/truthy-dpo-v0.1, используя два ускорителя H100 в течение трёх эпох. Модель содержит 69,5 млрд параметров, работает с текстом и имеет контекст длиной до 131 072 токенов. Модель предназначена для диалоговой генерации текста и ответов на инструкции. В карточке приведены результаты Open LLM Leaderboard: средний балл 35,74, IFEval — 70,58, BBH — 52,55; эти показатели отражают оценки на указанных тестах, а не гарантируют качество в конкретном сценарии. Для запуска доступен формат Safetensors и библиотека Transformers. Лицензия — Llama 3.1 Community License.