II.10Разработка и эксплуатация AI/ML-систем
В разделе собраны самостоятельные задачи, где AI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
49 000 моделейM7T3qm7xp_Experiment26T3qm7xp — объединённая языковая модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием моделей automerger/M7T3qm7xp-7B и automerger/Experiment26T3qm7xp-7B и предназначена для генерации текста.
Sakalti/mine-1.5B — компактная языковая модель Sakalti для генерации текста и диалогов. Она основана на архитектуре Qwen2 и дообучена на Sakalti/SJT-1.5B-Alpha с использованием Unsloth и библиотеки Hugging Face TRL. Размер модели — 1,5 млрд параметров; заявленное контекстное окно — до 131 072 токенов. Модель работает с текстом и поддерживает интерфейс вызова инструментов. Модель подходит для диалоговых приложений и генерации текста на английском языке. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.
Ministral-3-14B-Instruct-2512-GGUF — это конвертированная в формат GGUF версия модели Ministral-3-14B-Instruct-2512-BF16, разработанной Mistral AI. Модель предназначена для инструкционного взаимодействия и задач преобразования изображений и текста в текст, включая мультимодальные сценарии, где на вход подаются текстовые и визуальные данные. Точная специализация, поддерживаемые языки и размер контекста в README не указаны. Модель имеет размер 14B параметров и поставляется в формате GGUF, ориентированном на запуск с совместимыми инструментами, включая llama-server. Сильной стороной является возможность локального или самостоятельного развертывания в поддерживаемой GGUF-инфраструктуре, однако README не содержит сведений о производительности, требованиях к ресурсам, конкретных поддерживаемых модальностях, ограничениях и качестве на отдельных задачах. Лицензия — Apache 2.0.
Mistral-ko-7B-v0.1-Mistral-7B-Instruct-v0.2-slerp — объединённая методом SLERP диалоговая модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Веса объединяют mistralai/Mistral-7B-Instruct-v0.2 и maywell/Mistral-ko-7B-v0.1; модель предназначена для генерации текста и ответов на инструкции в формате диалога. Контекст составляет до 32 768 токенов, файлы представлены в формате safetensors. Модель подходит для диалоговых помощников и генерации ответов на текстовые запросы, с ориентацией на корейский язык благодаря включению Mistral-ko. Лицензия — Apache-2.0. Доступные сведения не описывают сравнительные показатели качества или отдельные ограничения по применению.
IAmTheCollector/MN-Slush-GGLD — плотная языковая модель семейства Mistral с архитектурой MistralForCausalLM, созданная слиянием двух предварительно обученных моделей: crestf411/MN-Slush и DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS. Для слияния применён метод SLERP; конфигурация использует BF16 и задаёт изменяющийся по слоям вклад исходных моделей. Модель предназначена для генерации текста и диалогового взаимодействия. Заявленный размер — 12,1 млрд параметров, родной контекст — до 1 024 000 токенов. Репозиторий содержит веса в формате Safetensors и использует библиотеку Transformers; метаданные также отмечают интерфейс вызова инструментов. Лицензия в предоставленных данных не указана.
model_007 — плотная языковая модель семейства Llama 2 примерно на 70 млрд параметров, разработанная Pankaj Mathur. Это гибридная модель для следования инструкциям и ответов с объяснениями; в карточке приведены форматы запросов Orca и Alpaca. Модель принимает текст и генерирует текст, поддерживает английский язык и имеет контекст длиной 4096 токенов. Для дообучения использованы наборы Open-Platypus, Alpaca, WizardLM, Dolly-V2, Dolphin и их варианты Orca. Модель подходит для диалоговых помощников, ответов на вопросы, выполнения текстовых инструкций и рассуждений. В README приведены результаты оценки на наборах ARC и HellaSwag. Модель может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или неуместный текст; факты следует перепроверять. Для использования указана лицензия Llama 2. README сообщает, что загрузка в 4-битном режиме требует около 45 ГБ видеопамяти.
Moonlight-16B-A3B-Instruct-bruno-i1-GGUF — GGUF-квантизированная версия модели rawcell/Moonlight-16B-A3B-Instruct-bruno, подготовленная и опубликованная mradermacher. Это диалоговая instruction-модель для генерации текста и conversational-сценариев, включая локальный запуск через совместимые с GGUF инструменты. В метаданных она отмечена как MoE-модель с ориентировочными 16 млрд параметров и обозначением A3B, а также как англоязычная модель. Доступны многочисленные варианты квантизации от i1-IQ1_S до i1-Q6_K с размером файлов примерно от 5,2 до 12,1 ГБ; README отмечает i1-Q4_K_M как быстрый и рекомендуемый вариант, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Квантизация снижает требования к памяти и делает модель более подходящей для локального использования, однако более агрессивные варианты могут заметно ухудшать качество. Контекстный размер, мультимодальность, поддерживаемые языки помимо английского и результаты оценивания в README не указаны. Модель имеет маркировки abliterated, decensored и uncensored, поэтому для задач, требующих строгих защитных ограничений, её поведение следует проверять отдельно. Лицензия — Apache-2.0.
Edge-Quant/Nanbeige4.1-3B-Q8_0-GGUF — это квантизированная версия языковой модели Nanbeige4.1-3B, разработанной Nanbeige и преобразованной в формат GGUF пользователем или организацией Edge-Quant с помощью llama.cpp и GGUF-my-repo. Модель предназначена для генерации текста и локального запуска через llama.cpp, включая работу в режиме командной строки или сервера. Модель содержит около 3 миллиардов параметров и использует квантизацию Q8_0. Она работает с текстом и заявлена для английского и китайского языков. Формат GGUF упрощает использование в экосистеме llama.cpp и позволяет запускать модель на совместимом локальном оборудовании. В README приведён пример контекста размером 2048 токенов для llama-server, однако точный максимальный контекст модели отдельно не указан. К сильным сторонам относятся компактный размер, высокая по сравнению с более агрессивными вариантами точность Q8_0 и удобство локального инференса. Ограничения связаны с относительно небольшим размером модели, возможными ограничениями качества по сравнению с более крупными моделями и отсутствием в карточке подробных сведений о результатах тестирования, архитектуре и специализированных сценариях. Модель распространяется по лицензии Apache-2.0.
dealignai выпустил вариант NVIDIA Nemotron 3 Super 120B для генерации текста и диалогов. Модель основана на гибридной архитектуре Nemotron H, объединяющей слои Mamba SSM, Mixture of Experts и attention; в исходной версии заявлены 120 млрд параметров и около 12 млрд активных. Репозиторий содержит JANG_4M-квантование со смешанной точностью: 8-битный attention и 4-битные эксперты. README указывает размер около 63 ГБ, а метаданные — 6,6 млрд параметров; эти значения описывают модель по-разному и расходятся с заявленным в README размером исходной архитектуры. Модель рассчитана на локальный запуск на Apple Silicon через MLX Studio или пакет jang-tools, поддерживает диалоговый режим и интерфейс вызова инструментов. Контекстное окно — 262 144 токена. Вариант CRACK прошёл заявленное авторами удаление защитных отказов на уровне весов; README приводит собственные результаты HarmBench и MMLU, которые не являются независимой оценкой. Поддерживаемый формат JANG ограничивает совместимость указанными MLX-инструментами. Лицензия обозначена как other, конкретные условия в предоставленных данных не раскрыты.
NeuralsirkrishnaShadow_Experiment27Inex12 — слитая языковая модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она предназначена для генерации текста и может использоваться в приложениях, которым нужны ответы или продолжения текста. Модель поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Лицензия — Apache-2.0.
NeuralsirkrishnaShadow_Ognoexperiment27M7 — объединённая модель от MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она предназначена для генерации текста и диалогов, принимает текст и выдаёт текст; поддерживает контекст до 32 768 токенов. Модель объединяет automerger/NeuralsirkrishnaShadow-7B и automerger/Ognoexperiment27M7-7B. Данные карточки не уточняют специализацию, языки или отдельные возможности модели. Веса опубликованы в формате safetensors; лицензия — Apache-2.0.
NeuTrixOmniBe-7B-model-remix — языковая модель на архитектуре Mistral, созданная слиянием CultriX/NeuralTrix-7B-dpo и paulml/OmniBeagleSquaredMBX-v3-7B-v2 с помощью LazyMergekit. Она предназначена для генерации текста и ответов на запросы; размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. В README приведены результаты оценки на нескольких тестах рассуждения и понимания текста. Модель принимает текст и генерирует текст. Данные не подтверждают поддержку конкретных естественных языков или специализированных областей. Веса доступны в формате safetensors, лицензия — Apache-2.0. Карточка не описывает специальные ограничения или гарантии качества.
Nous-Hermes-2-Vision-Alpha — мультимодальная модель для диалога и следования инструкциям, разработанная qnguyen3 и teknium. Она построена на архитектуре LLaVA-Mistral и дообучена на базе Mistral-7B-v0.1; в README также указано использование OpenHermes-2.5-Mistral-7B и визуального энкодера SigLIP-400M. Модель принимает изображения вместе с текстовыми запросами и генерирует текстовые ответы, включая структурированные результаты для сценариев вызова функций. Модель предназначена для вопросов по изображениям, визуального описания и автоматизаций, связывающих визуальный ввод с вызовом функций. В обучающие данные вошли наборы LVIS-INSTRUCT4V, ShareGPT4V, частный набор данных для вызова функций и диалоги OpenHermes-2.5. Контекст составляет 32 768 токенов, размер — 7,1 млрд параметров; в метаданных указан английский язык. Модель выпущена под лицензией Apache-2.0.
Карточка модели localized-ft/OLMo-3-7B-school-of-reward-hacks-second-third-sft-seed4 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.
Карточка модели localized-ft/OLMo-3-7B-target-only-no-hallucination-first-third-sft-seed4 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.
OLMoE-1B-7B-0125-SFT — англоязычная языковая модель AllenAI для генерации текста и диалогового взаимодействия. Это версия OLMoE-1B-7B-0125, прошедшая supervised fine-tuning на варианте набора Tülu 3, включающем публичные, синтетические и созданные людьми данные. Модель основана на архитектуре MoE и имеет 472,1 млн параметров; максимальная длина контекста — 4096 токенов. Модель предназначена для чата и широкого круга текстовых задач, включая математические вопросы и следование инструкциям. Для загрузки через Transformers в README указана необходимость установить версию библиотеки из основной ветки. Модель выпущена под лицензией Apache 2.0. Безопасностное обучение ограничено: модель может выдавать проблемный контент, особенно при соответствующих запросах. В README также отмечено, что она не обучалась с расчётом на конкретный системный промпт.
Parakeet CTC 0.6B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Она предназначена для преобразования английской речи в текст, например для расшифровки записей и обработки аудио в больших пакетах. Модель построена на архитектуре FastConformer CTC и содержит около 600 млн параметров. Она принимает монофоническое аудио WAV с частотой 16 кГц и возвращает текстовую расшифровку; выход оформляется строчными буквами английского алфавита. Обучение проводилось на 64 тысячах часов английской речи из частных и открытых наборов данных. Для работы предусмотрены NVIDIA NeMo и Transformers. Модель рассчитана на английский язык; в README приведены результаты оценки по Word Error Rate для нескольких наборов данных, но фактическое качество зависит от аудио и предметной области. Лицензия — CC BY 4.0.
Карточка модели qiyuw/pcl-bert-large-uncased на Hugging Face совпадает с карточкой qiyuw/pcl-roberta-base, поэтому описание составлено по ней. qiyuw/pcl-roberta-base — англоязычная модель RoBERTa для оценки сходства предложений. Она использует архитектуру RobertaForCL и содержит 151,8 млн параметров; модель принимает текст и подходит для сравнения предложений по смыслу. Длина контекста составляет 514 токенов. Модель распространяется в формате PyTorch по лицензии MIT. README не содержит дополнительных сведений о методе обучения или конкретных сценариях применения.
quantized-gemma-7b-it — преобразованная сообществом mlx-community версия Gemma 7B Instruction Tuned от Google, предназначенная для генерации текста в диалоговом формате. Модель построена на плотной архитектуре GemmaForCausalLM, содержит 8,2 млрд параметров и рассчитана на контекст до 8192 токенов. Модель подходит для ответов на вопросы, диалогов и других задач генерации текста. Репозиторий содержит веса в формате safetensors и предназначен для использования с MLX. Лицензия указана как other; условия использования следует сверить с карточкой исходной модели Google.
Mungert/Qwen2.5-VL-7B-Instruct-GGUF — набор GGUF-файлов модели Qwen2.5-VL-7B-Instruct, подготовленный автором репозитория Mungert с использованием imatrix-файла и актуальной сборки llama.cpp. README не указывает разработчика исходной модели. Модель предназначена для мультимодальных сценариев image-text-to-text, в частности для анализа изображений и генерации текстовых ответов по ним. Для работы требуются основной GGUF-файл модели и отдельный файл mmproj, содержащий мультимодальный проектор. Использование vision поддерживается через fork llama.cpp и CLI-инструмент llama-mtmd-cli. Доступны варианты с разными форматами и уровнями квантования, включая F16, BF16, Q4, Q6, Q8 и ультранизкобитные варианты IQ1/IQ2. Это позволяет выбирать между качеством, скоростью и требованиями к памяти; низкобитные варианты ориентированы на устройства с ограниченными ресурсами, но могут снижать точность. В метаданных указано, что модель работает с английским языком. Размер исходной модели — 7B параметров; поддерживаемые модальности — текст и изображения. Ограничения включают необходимость специальной версии llama.cpp, отдельного mmproj-файла и потенциальную потерю качества при сильном квантовании. Репозиторий распространяется по лицензии Apache-2.0.
Qwen2.5-VL-7B-Instruct-GGUF — мультимодальная instruction-модель семейства Qwen2.5-VL, разработанная Qwen и представленная в формате GGUF компанией Second State Inc. Модель предназначена для обработки изображений и текста с генерацией текстовых ответов, поэтому подходит для визуальных вопросов и ответов, анализа изображений и других сценариев image-text-to-text. Модель основана на Qwen/Qwen2.5-VL-7B-Instruct и имеет около 7 миллиардов параметров. В комплекте предусмотрен отдельный визуальный модуль Qwen2.5-VL-7B-Instruct-vision.gguf; заявленный размер контекста составляет 32 000 токенов. Для запуска рекомендуется LlamaEdge с prompt template qwen2-vision. В README указан английский язык, поэтому поддержка других языков по этим данным не подтверждена. Доступно несколько вариантов квантования от 2 до 8 бит, а также версия f16, что позволяет выбирать между размером файлов, требованиями к памяти и качеством. Рекомендуемыми названы варианты Q4_K_M, Q5_K_M и Q5_K_S; более агрессивное квантование может приводить к заметной или существенной потере качества. Модель распространяется по лицензии Apache-2.0.
maheshrawat18/Qwen3-4B-grpo-groq-merged — дообученная модель семейства Qwen3, опубликованная maheshrawat18. Это плотная языковая модель с архитектурой Qwen3ForCausalLM и примерно 3,7 млрд параметров, предназначенная для генерации текста и диалогового общения. Модель поддерживает контекст до 262 144 токенов и доступна в формате safetensors. В карточке указано, что модель дообучена на maheshrawat18/Qwen3-4B-2507-sft-new-updated и обучалась с использованием Unsloth. Она подходит для построения чат-ботов и генерации ответов на текстовые запросы. Указанный язык карточки — английский. Лицензия — Apache-2.0.
insraq/Qwen3.5-2B-EmperoAI-Qwen3.8-Distill-Heretic-Abliterated — текстовая доработка модели семейства Qwen, созданная Empero и опубликованная insraq. Это полнопараметрический вариант Qwen/Qwen3.5-2B: его дообучили методом дистилляции на примерно 30 тысячах отобранных примеров рассуждений и следов инструкций, а затем применили Heretic для снижения склонности к отказам. Модель содержит около 2 млрд параметров, использует плотную архитектуру Qwen3.5 и принимает текст; нативное контекстное окно составляет 262 144 токена. Модель предназначена для диалогов, следования инструкциям, математических задач и общих рассуждений, в том числе на устройствах с ограниченными ресурсами. В README приведены результаты на GSM8K и MMLU, где вариант Qwen3.8-2B превосходит базовую Qwen3.5-2B в указанных тестах; это результаты карточки, а не гарантия качества для других сценариев. Дообучение было текстовым, поэтому унаследованные от мультимодальной основы возможности работы с изображениями не оценивались. Для генерации рекомендуются ненулевая температура и достаточно длинный лимит вывода; при жадном декодировании на длинных ответах возможны циклы повторения. Весовые файлы доступны в формате Safetensors и рассчитаны на Transformers, а также совместимые с архитектурой среды. Лицензия — Apache-2.0.
Qwen3.8-27B-MLX-2bit — это квантованная версия модели Qwen3.8-27B, опубликованная majentik и предназначенная для запуска на компьютерах Apple с Apple silicon через MLX и mlx-lm. Текстовая часть модели преобразована в аффинную 2-битную квантовку с размером группы 32, а vision tower и projector сохранены в формате BF16. Исходная модель разработана Qwen; в README указана базовая модель Qwen/Qwen3.8-27B и поддержка сценариев image-text-to-text. Модель предназначена для генерации текста и обработки мультимодальных запросов, включающих изображения и текст, при локальном запуске на совместимом оборудовании. README не содержит сведений о точном числе параметров сверх обозначения 27B, поддерживаемых языках и размере контекстного окна. В качестве ориентиров приведены результаты arc_easy_acc 0,4900 и hellaswag_acc 0,4100; также указано, что сборка прошла проверку связности генерации без пустых ответов, зацикливания и повреждённых специальных токенов. Главное преимущество варианта — существенное снижение требований к памяти благодаря 2-битной квантовке при сохранении мультимодальных компонентов vision tower и projector в BF16. Ограничением может быть потенциальная потеря качества по сравнению с полноразмерной или менее агрессивно квантованной версией; README не приводит прямого сравнения. Модель распространяется по лицензии Apache-2.0, указанной для исходной модели.
Weyaxi/Qwen-72B-Llama — преобразованная версия Qwen/Qwen-72B, созданная автором репозитория Weyaxi с помощью скрипта llamafy_qwen.py из LLaMA-Factory. Это плотная авторегрессионная языковая модель семейства Llama с 71 млрд параметров, предназначенная для генерации текста; веса опубликованы в формате safetensors, длина контекста составляет 32 768 токенов. Автор сообщает, что после преобразования весов использовал токенизатор из KnutJaegersberg/Qwen-14B-Llamafied. Модель подходит для генерации продолжений и ответов на текстовые запросы. В приведённом автором сравнении средний результат на Open LLM Leaderboard ниже, чем у исходной Qwen-72B: 69,53 против 73,6; оценки ARC и HellaSwag также немного ниже. Лицензия указана как other, поэтому условия использования следует проверять в карточке репозитория и у базовой модели.
bartowski/Qwen_Qwen3-VL-30B-A3B-Instruct-GGUF — это набор GGUF-квантизаций мультимодальной instruct-модели Qwen3-VL-30B-A3B-Instruct, разработанной Qwen и адаптированной bartowski для запуска через llama.cpp. Модель предназначена для задач image-text-to-text: обработки изображений вместе с текстовыми запросами и генерации ответов в диалоговом формате. Доступны варианты от BF16 до различных уровней квантования, поэтому её можно использовать в LM Studio, llama.cpp и совместимых проектах на системах с разным объёмом памяти. В названии указано 30B, при этом обозначение A3B отражает архитектуру исходной модели; точные сведения о внутреннем устройстве, поддерживаемых языках и размере контекста в README не приведены. Размер файлов варьируется примерно от 14 до 61 ГБ. Старшие варианты, включая BF16, Q8_0 и Q6_K, обеспечивают более высокое качество, а варианты Q4 и Q3 уменьшают требования к памяти ценой возможного снижения качества. В README рекомендуются, в частности, Q6_K, Q5 и Q4_K_M; для Apple silicon и ARM доступны варианты с особенностями производительности и онлайн-упаковки. Сильные стороны набора — поддержка мультимодальных сценариев, широкий выбор компромиссов между качеством и размером, а также совместимость с локальным запуском через llama.cpp. Ограничения связаны с большими требованиями к памяти даже у сжатых вариантов и неизбежной потерей качества при агрессивном квантовании; конкретные языковые возможности, контекстное окно и лицензия в предоставленном README не указаны. Для сообщений следует использовать шаблон Qwen с маркерами <|im_start|> и <|im_end|>.
zelk12/recoilme-gemma-2-Ifable-9B-v0.1 — языковая модель на архитектуре Gemma 2, созданная слиянием SLERP двух предварительно обученных моделей: ifable/gemma-2-Ifable-9B и recoilme/recoilme-gemma-2-9B-v0.4. Модель содержит 9 млрд параметров, рассчитана на генерацию текста и диалоговое использование; работает через библиотеку Transformers, веса опубликованы в формате safetensors. Заявленная длина контекста — 8192 токена. Модель подходит для диалогов и генерации текста. В карточке приведены результаты Open LLM Leaderboard: средняя оценка 32,05, IFEval — 79,44, BBH — 43,39. Карточка не уточняет языковую специализацию и лицензию, поэтому эти характеристики здесь не заявляются.
Reflection Llama-3.1 70B — языковая модель на архитектуре Llama 3.1, разработанная Matt Shumer и дообученная методом Reflection-Tuning на синтетических данных Glaive. Она предназначена для диалогов и генерации ответов, в том числе для задач, где полезно перепроверять ход решения и исправлять обнаруженные ошибки. Модель содержит 69,5 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. При генерации модель оформляет рассуждение и итоговый ответ специальными токенами; в ходе рассуждения она может обозначать исправление ошибки. Для взаимодействия используется формат чата Llama 3.1. В карточке указана лицензия Llama 3.1. Автор предупреждает о проблеме в первоначальной загрузке и рекомендует пользователям, столкнувшимся с плохими результатами, повторить попытку с исправленной версией. README предлагает параметры temperature 0,7 и top_p 0,95, но не приводит независимых подтверждений заявлений о качестве и превосходстве модели.
RYS-Llama3.1-Large — экспериментальная модель автора dnhkng, основанная на Meta Llama 3 70B Instruct и описанная как результат нового метода оптимизации. Она предназначена для генерации текста в диалогах и для экспериментов с оптимизацией больших языковых моделей; карточка сообщает об оценке на Open LLM Leaderboard, но не раскрывает подробностей метода. Модель использует плотную архитектуру LlamaForCausalLM и содержит 80,6 млрд параметров. Метаданные указывают контекст до 131 072 токенов, формат safetensors и интерфейсы чата и вызова инструментов. Карточка не уточняет поддерживаемые языки и условия применения метода, а опубликованная таблица оценок приведена лишь частично. Лицензия — MIT.
Это версия Whisper large-v3-turbo от OpenAI, преобразованная Viacheslav Smirnov в формат CTranslate2 с квантизацией int8. Модель предназначена для распознавания речи и перевода аудио в текст; её распространяют для загрузки утилитой Scribe SV для диктовки и перевода в Windows, в том числе на компьютерах без CUDA GPU. Ничего не дообучалось: веса напрямую преобразованы из openai/whisper-large-v3-turbo. README приводит замеры на русском аудио: WER составил 4,25% для int8 на CPU против 3,54% для float16 на CUDA. В тех же условиях обработка записи длиной 194 секунды заняла 58,2 секунды на CPU; распознавание коротких фраз длилось около 5 секунд. Модель использует CTranslate2 и распространяется по лицензии MIT с сохранением исходных лицензий.