II.1Анализ требований и архитектура ПО

OrcaAgent-llama3.2-1b — дообученная модель Isotonic на базе meta-llama/Llama-3.2-1B-Instruct. Она предназначена для генерации текста и диалогов, включая сценарии работы в формате агента; при дообучении использована часть набора microsoft/orca-agentinstruct-1M-v1. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 1,2 млрд параметров и поддерживает контекст до 131 072 токенов. Метаданные также отмечают интерфейс вызова инструментов. Доступна в формате safetensors и распространяется по лицензии Apache-2.0. Карточка указывает английский язык; качество и ограничения для конкретных задач отдельно не описаны.

OrcaHermes-Mistral-70B-miqu — экспериментальная разговорная модель, созданная слиянием SLERP двух моделей на базе Miqu: alicecomfy/miqu-openhermes-full, обученной на OpenHermes, и ShinojiResearch/Senku-70B-Full, обученной на SlimOrca. В метаданных указана архитектура LlamaForCausalLM с плотной структурой, объёмом 68,7 млрд параметров и контекстом до 32 764 токенов. Модель предназначена для диалога и генерации текста. Её можно применять для ответов на вопросы, ведения беседы и создания текстовых продолжений. README характеризует её как эксперимент и не приводит оценки качества. Веса опубликованы в формате safetensors, библиотека — Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

3MPER0RR/Ornith-1.5-35B-A3B-3MPER0RR-abliterated — диалоговая модель генерации текста на архитектуре Qwen 3.5 MoE, созданная 3MPER0RR на основе huihui-ai/Huihui-Ornith-1.5-35B-A3B-abliterated. Автор применил многораундовую abliteration; модель протестирована и сохранена. Каталог указывает 35 млрд параметров и способность к диалогу. Модель предназначена для генерации ответов в диалоге. Abliteration ослабляет отказы, поэтому модель может отвечать на запросы, на которые обычные модели часто отказывают. Репозиторий содержит веса в формате safetensors. Лицензия — MIT.

Ornith-1.5-35B-A3B-ROGUE-GGUF — это набор GGUF-квантизаций модели Ornith-1.5-35B-A3B, разработанный carsenk на базе модели ornith-ai. Модель предназначена для локальной генерации текста и диалоговых сценариев с использованием llama.cpp; заявленная область применения включает conversational-задачи и общее текстовое продолжение. Доступна только в текстовой модальности, поддерживает английский язык, а README не указывает точный размер контекста для самой модели, хотя примеры запуска используют 8 192 и 32 768 токенов. Архитектура — Qwen 3.5 MoE с примерно 35 млрд общих и 3 млрд активных параметров, 40 transformer-слоями и 256 маршрутизируемыми экспертами. До преобразования в GGUF к весам применён метод ROGUE, изменяющий residual-writing matrices для снижения склонности к отказам; это редактирование весов, а не prompt, adapter или inference-фильтр. Доступны варианты от Q8_0 размером 34,37 GiB до экспериментального IQ1_M размером 7,67 GiB; рекомендуемым компромиссом назван Q4_K_M размером 19,71 GiB. Сильной стороной является возможность локального запуска с различным балансом качества и требований к памяти, а также снижение частоты отказов в заявленных тестах. При этом более сильное сжатие может заметно ухудшать рассуждения и следование инструкциям, а результаты smoke-тестов не являются полноценной оценкой возможностей или безопасности и не гарантируют одинаковое поведение всех квантизаций. Модель распространяется по лицензии MIT; пользователь самостоятельно отвечает за развёртывание и использование изменённых весов.

PrincekrampahReal дообучил эту плотную авторегрессионную модель семейства Llama на базе unsloth/orpheus-3b-0.1-ft-unsloth-bnb-4bit. Она предназначена для генерации текста и диалогового общения. Модель содержит 3,3 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Модель опубликована в формате Safetensors под лицензией Apache-2.0. В карточке указано, что при обучении использовались Unsloth и библиотека TRL; сведения о конкретных данных обучения и специализированных областях применения не приведены.

oss-20B-opus-distill-i1-GGUF — это набор квантизированных файлов в формате GGUF для текстовой генерации на основе модели P0x0/oss-20B-opus-distill. Квантизацию выполнил mradermacher; модель предназначена для локального запуска и инференса с использованием совместимых инструментов, поддерживающих GGUF. В метаданных указаны библиотека transformers, архитектура causal language model и английский язык. Модель содержит около 20 млрд параметров; сведения о точной архитектуре, размере контекста и мультимодальности не приведены. Доступны варианты квантизации i1-IQ1_M, i1-IQ1_S, i1-IQ2, i1-IQ3, i1-IQ4, i1-Q2_K, i1-Q3_K, i1-Q4, i1-Q5_K и i1-Q6_K размером примерно от 12,1 до 22,3 ГБ. Более компактные варианты требуют меньше ресурсов, но могут заметно уступать в качестве; в README вариант i1-Q4_K_M назван быстрым и рекомендованным, а i1-Q4_K_S — оптимальным по сочетанию размера, скорости и качества. Сильной стороной модели является широкий выбор квантизаций для локального использования и снижение требований к памяти по сравнению с полноразмерными весами. Ограничения включают отсутствие опубликованных данных о результатах тестирования, контексте, языках кроме английского, качестве на конкретных задачах и требованиях к программному обеспечению. Лицензия в README не указана, поэтому условия использования следует уточнять у базовой модели и автора.

Chirp-01-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Chirp-01, разработанной ozone-research и подготовленной bartowski. Квантизации выполнены с использованием llama.cpp и метода imatrix; исходная модель размещена под идентификатором ozone-research/Chirp-01. Модель предназначена для локального запуска и генерации текста в LM Studio, llama.cpp и других совместимых приложениях. Доступны варианты от исходных весов F16 размером 6,18 ГБ до квантизаций Q2, Q3, Q4, Q5, Q6 и Q8 объёмом примерно от 1,35 до 3,29 ГБ. В README указаны форматы GGUF, шаблон диалога с ролями system, user и assistant, а также рекомендации по качеству отдельных вариантов. Наиболее качественными названы Q6_K_L и Q6_K, тогда как Q4_K_M описан как вариант стандартного размера для большинства сценариев; версии с меньшей разрядностью экономят память, но могут заметно терять в качестве. Модель поддерживает текстовую генерацию, однако сведения об архитектуре, количестве параметров, длине контекста, языках и дополнительных модальностях в README не приведены. Для использования требуются совместимое ПО и ресурсы, соответствующие выбранному файлу квантизации. Лицензия обозначена как qwen-research; подробные условия доступны в Qwen Research License Agreement.

PlatYi-34B-Llama-Q — авторегрессионная языковая модель, разработанная Kyujin Han. Она основана на архитектуре Yi-34B с реализацией LlamaForCausalLM и дообучена методом Q-LoRA на датасете Open-Platypus. Модель содержит 33,9 млрд параметров, принимает текст и генерирует текст; длина контекста — 4096 токенов. Модель предназначена для генерации текста и ответов на вопросы, в том числе для задач рассуждения и решения математических задач. В README приведены результаты на бенчмарках ARC, HellaSwag, MMLU, TruthfulQA, Winogrande и GSM8K. Для использования указана лицензия CC BY-NC-SA 4.0, которая ограничивает коммерческое применение.

Pluto24BDPO63 — языковая модель, дообученная автором репозитория на основе cloudyu/Mixtral_7Bx2_MoE. Она предназначена для генерации текста и диалоговых сценариев. Модель использует архитектуру Mixtral с разреженной смесью экспертов (MoE), содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Дообучение методом DPO проведено в течение одной эпохи на наборе jondurbin/truthy-dpo-v0.1. Модель распространяется в формате safetensors по лицензии Apache-2.0. В карточке не приведены результаты оценки качества или подробные сведения о языковом охвате.

ProSparse-LLaMA-2-7B — языковая модель, дообученная THUNLP и ModelBest на основе LLaMA 2 7B от Meta. Она предназначена для генерации текста и ответов на инструкции, а её метод ProSparse повышает разреженность активаций для ускорения инференса. Модель содержит 6,6 млрд параметров, использует архитектуру SparseLlamaForCausalLM с ReLU-вариантом FATReLU и поддерживает контекст до 4096 токенов. В описании сообщается о разреженности активаций 89,32% для варианта 7B и о производительности, сопоставимой с исходной моделью. Модель обучалась на смеси языкового и инструкционного материала, включая StarCoder, Wikipedia, Pile и UltraChat. Карточка указывает английский как язык тестирования и предупреждает, что ответы могут быть неточными, предвзятыми или нежелательными; перед применением требуется оценка безопасности под конкретный сценарий. Лицензия — Llama 2; её условия использования следует сверять с лицензией Meta.

Qdeev1 — чат-модель для генерации текста, разработанная Qdeer и дообученная на базе unsloth/llama-3-8b-bnb-4bit с использованием Unsloth и библиотеки Hugging Face TRL. Она предназначена для диалогов и генерации ответов на текстовые запросы. Модель использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст длиной до 8192 токенов. В карточке указан английский язык. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. Карточка не описывает специализацию, обучающие данные или оценку качества, поэтому пригодность для конкретных предметных областей не установлена. Дообучение выполнено на 4-битной базовой модели, но в метаданных репозитория указан формат safetensors; сведений о формате чисел самих опубликованных весов карточка не приводит.

RagnarokChan/Qwen2.5-3B-Instruct-Q4_K_M-GGUF — это версия модели Qwen2.5-3B-Instruct, разработанной командой Qwen, преобразованная пользователем RagnarokChan в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp в командной строке или в режиме сервера. Модель содержит 3B параметров, относится к инструкционно дообученным текстовым моделям и поддерживает английский язык. Доступна в квантизированном варианте Q4_K_M, что уменьшает требования к памяти и делает её подходящей для локального запуска на совместимом оборудовании. В README приведён пример использования с контекстом 2048 токенов, однако точный максимальный размер контекста для этой сборки не указан. Основные преимущества — компактный размер, возможность автономного запуска и совместимость с экосистемой llama.cpp. Ограничения включают меньший масштаб по сравнению с крупными моделями и отсутствие сведений о мультимодальности, дополнительных языках, результатах тестирования и конкретных требованиях к оборудованию. Указана лицензия other с названием qwen-research; подробные условия доступны по ссылке на лицензию исходной модели.

Theros/Qwen2.5-CyberMix-7B — текстовая генеративная модель, созданная слиянием предобученных языковых моделей с помощью mergekit и метода Model Stock. В качестве базовой использована theros/Qwen2.5-CreativeMix-7B; также в слияние вошли bunnycore/Qevacot-7B-v2 и bunnycore/Qwen2.5-7B-CyberRombos. Модель построена на плотной архитектуре Qwen2.5 с причинным декодером Qwen2ForCausalLM, содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие. Заявленная длина контекста — 131 072 токена. Репозиторий содержит веса safetensors; метаданные указывают библиотеку Transformers и возможность чата. Модель подходит для диалогов и генерации текста. README не приводит результатов оценки качества, конкретных сценариев для «Cyber» тематики или списка поддерживаемых языков. Лицензия в предоставленных данных не указана.

make1love/Qwen3-1.7B-base-MED-ChatVector — языковая модель семейства Qwen3 для генерации текста и диалогового взаимодействия. Модель доступна через библиотеку Transformers и использует формат Safetensors; заявленный размер составляет 1,7 млрд параметров, а нативное контекстное окно — 40 960 токенов. Поддерживается конвейер Hugging Face text-generation и conversational-режим. По доступным данным, разработчик, лицензия и перечень естественных языков не установлены. Модель может применяться для генерации ответов, продолжения текста и создания диалоговых приложений, однако назначение, обучение и качество в медицинской или иной специализированной области не подтверждены карточкой модели.

Карточка модели DavidAU/Qwen3-30B-A3B-Gemini-Pro-High-Reasoning-2507-ABLITERATED-UNCENSORED на Hugging Face совпадает с карточкой akpsahan/Qwen3-30B-A3B-Gemini-Pro-High-Reasoning-2507-ABLITERATED-UNCENSORED, поэтому описание составлено по ней. Это экспериментальная диалоговая языковая модель akpsahan на архитектуре Qwen3 MoE, дообученная на базе huihui-ai/Huihui-Qwen3-30B-A3B-Thinking-2507-abliterated с использованием датасета TeichAI/gemini-3-pro-preview-high-reasoning-250x. Модель предназначена для генерации текста и ответов с рассуждениями; автор описывает стиль рассуждений как более компактный и близкий к Gemini. В репозитории указаны контекст до 262 144 токенов, 128 экспертов и около 3 млрд активных параметров из 30 млрд; метаданные каталога приводят общее число параметров 2,6 млрд, поэтому оценку размера следует считать неоднозначной. Модель рассчитана на диалоговое использование, ролевые сценарии и задачи, требующие рассуждений; автор также заявляет сохранение математических и научных возможностей. Это текстовая модель на английском языке, распространяемая в формате Safetensors для Transformers. Заявленные автором результаты бенчмарков приведены без достаточного контекста для независимой оценки. Модель настроена на уменьшение отказов и может выдавать откровенный или грубый текст по запросу; для получения желаемой степени эксплицитности иногда требуется явно задать стиль и лексику. Лицензия — Apache-2.0.

Это вариант Qwen3-30B-A3B от Xyntetik, подготовленный для генерации текста и диалогов. Модель сохраняет архитектуру исходной MoE-модели с 128 экспертами и маршрутизацией top-8, но использует разную точность для разных типов весов: attention, embeddings и общие тензоры оставлены в Q8_0, а банки экспертов переведены в Q4_0. Файл GGUF занимает около 18 ГБ; для запуска потребуется примерно 20 ГБ доступной памяти. Репозиторий рассчитан на запуск через Xyntetik Runner. Проверка автора показывает близость выходных распределений к исходной Qwen/Qwen3-30B-A3B на 400 позициях, однако это не подтверждает качество на прикладных задачах: такие бенчмарки не проводились. Модель унаследовала многоязычные возможности Qwen3 для диалогов, рассуждений, программирования и работы с инструментами. Лицензия — Apache-2.0.

DavidAU/Qwen3-4B-Thinking-2507-Gemini-2.5-Flash-Lite-Preview-Distill-Heretic-Abliterated — диалоговая языковая модель на базе Qwen3, созданная дообучением TeichAI/Qwen3-4B-Thinking-2507-Gemini-2.5-Flash-Lite-Preview-Distill и обработанная методом Heretic для снижения частоты отказов. Модель содержит 3,7 млрд параметров, использует плотную архитектуру Qwen3ForCausalLM и рассчитана на контекст до 262 144 токенов. Модель предназначена для генерации текста и диалогов, включая сценарии, в которых пользователь хочет получать ответы на запросы с меньшим числом отказов. Автор сообщает о частоте отказов 1 из 100 и нулевой KL-дивергенции в проведённой им проверке; эти показатели относятся к описанному автором тесту. Для более откровенной или грубой генерации может потребоваться явно задавать желаемый стиль и лексику. Модель распространяется в формате Safetensors для библиотеки Transformers. Условия лицензии в предоставленных данных не указаны.

continuum-ai/qwen3.5-0.8b-general-forged — компактная плотная языковая модель для генерации текста и диалогов, созданная Continuum AI на основе Qwen/Qwen3.5-0.8B. Модель дообучена на 500 шагах для общих задач; README сообщает о цикле pruning → train, но доля удалённых голов указана как 0%. Архитектура — Qwen3_5ForCausalLM, размер — 581,4 млн параметров, родной контекст — 262 144 токена. Модель предназначена для локального запуска на потребительском оборудовании, включая настольные компьютеры и ноутбуки; в карточке также заявлена совместимость с мобильными и встроенными сценариями. Указан английский и китайский языки, а метаданные характеризуют модель как многоязычную. README приводит самоотчётный результат perplexity 18,86 и сравнение с базовой моделью, однако подтверждение ограничено одним бенчмарком и одним проверенным устройством. Лицензия — Apache-2.0.

Это экспериментальный исследовательский чекпойнт minjaechoi на основе Qwen/Qwen3.6-35B-A3B. Он предназначен для генерации текста и диалогового использования. Веса экспертов маршрутизируемой смеси имеют среднюю точность 1,80 бита, остальные веса хранятся в BF16; тензоры представлены в BF16 после деквантования. Модель загружается через Transformers и vLLM. Карточка указывает архитектуру Qwen3.5 MoE и класс Qwen3_5MoeForConditionalGeneration; метаданные связывают модель с мультимодальной базой Qwen и отмечают возможность чата. Лицензия наследуется от базовой модели. Чекпойнт обозначен как внутренний исследовательский; опубликованные сведения не описывают его языковое покрытие и точную длину контекста.

Карточка модели CompassioninMachineLearning/Qwen3-8B-Base-CPT-BF16 на Hugging Face совпадает с карточкой CompassioninMachineLearning/Qwen3-8B-Base-CPT-BF16_olddata, поэтому описание составлено по ней. CompassioninMachineLearning/Qwen3-8B-Base-CPT-BF16_olddata — авторегрессионная модель Qwen3 с 7,6 млрд параметров, подготовленная CompassioninMachineLearning методом continued pretraining и выпущенная как объединённый чекпойнт BF16. Репозиторий содержит полные веса в формате safetensors; модель загружается напрямую через Transformers, отдельный адаптер не требуется. В README описана ревизия эпохи 2, шага 750, выбранная как лучший чекпойнт по валидационной потере во время обучения. Модель предназначена для генерации текста и дальнейшей адаптации или оценки после продолженного предобучения. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. В метаданных указан английский язык; карточка не уточняет предметную область обучения. README сообщает, что потери приведены по результатам обучения адаптера, а экспортированные BF16-веса отдельно не проходили новую оценку качества. Поведение ревизий может различаться, поэтому их следует оценивать отдельно для конкретного применения. Лицензия — Apache-2.0.

Карточка модели VladShash/qwen3-8b-classic-one-shot на Hugging Face совпадает с карточкой VladShash/qwen3-8b-classic-with-repair, поэтому описание составлено по ней. VladShash/qwen3-8b-classic-with-repair — дообученная модель семейства Qwen3, созданная на базе formalmathatepfl/qwen3-cpt с использованием набора данных SFT. Она предназначена для генерации текста в диалоговом режиме. Модель имеет плотную архитектуру Qwen3ForCausalLM, содержит 7,6 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Карточка не раскрывает тематику дообучения, поэтому нельзя надёжно определить специализированные сценарии, языки или преимущества варианта «classic-with-repair». Модель распространяется в формате safetensors; лицензия указана как other, без дополнительных условий в предоставленных данных.

dealignai/Qwen3.8-Flash-Next-ABLITERATED-FP8 — модифицированная версия Qwen3.8-Flash-Next-FP8, разработанная dealignai на базе модели Qwen. Это текстогенерационная vision-language модель с поддержкой изображений; в описании также заявлены архитектура MoE, формат квантования FP8 и сохранённые vision tower и MTP head для multi-token prediction. Языки и размер контекстного окна в README не указаны. Модель предназначена для генерации текста, задач рассуждения и мультимодальных сценариев, где требуется обработка текста и изображений. По заявленным тестам она демонстрирует повышенную глубину рассуждений: на пяти логических головоломках получила 4 из 4 правильных ответов против 3 из 4 у базовой модели, однако это сравнение выполнено на небольшой выборке. На полном тесте MMLU результат составил 80,39% против 83,54% у базовой версии, то есть модификация сопровождается снижением общей академической точности и заметными просадками по отдельным предметам. Ключевая особенность модели — удаление отказов и защитного поведения: в тесте HarmBench заявлено отсутствие жёстких отказов и высокая готовность отвечать даже на запросы, связанные с вредоносными, незаконными, киберпреступными и дезинформационными сценариями. Поэтому модель может быть полезна для исследовательских и тестовых задач, но требует особенно строгого контроля применения и не обеспечивает встроенных ограничений безопасности. Модель распространяется по лицензии Apache-2.0.

Qwen3-8B-cpt — дообученная модель семейства Qwen3, созданная на основе Qwen/Qwen3-8B-Base и набора данных cpt_data. Модель разработана автором репозитория formalmathatepfl; архитектура — плотная авторегрессионная Qwen3ForCausalLM с 7,6 млрд параметров, рассчитанная на генерацию текста. Указана оценка Loss 0,7642 на наборе для оценки. Модель подходит для генерации текста и диалоговых сценариев. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Карточка не раскрывает состав обучающих данных, языки, конкретные специализации или ограничения качества. Лицензия указана как other, поэтому условия использования следует сверить с лицензией и сведениями в репозитории.

Модель avneetsb/Qwythos-9B-Claude-Mythos-5-1M-mlx-fp16 — конвертированная в формат MLX версия empero-ai/Qwythos-9B-Claude-Mythos-5-1M. Репозиторий подготовлен для запуска через mlx-lm и содержит веса safetensors в формате fp16. В основе лежит плотная архитектура Qwen3.5 с 9 млрд параметров. Модель предназначена для диалоговой генерации текста и рассуждений; базовая модель также ориентирована на агентную работу с инструментами и длинный контекст до 1 млн токенов. В метаданных указана поддержка английского языка. Лицензия — Apache-2.0. Это форматная конверсия, а не отдельное дообучение: назначение и ограничения унаследованы от базовой модели. README описывает способ запуска через mlx-lm, но не приводит результатов оценки качества; заявленные возможности инструментального взаимодействия и длинного контекста не подтверждены отдельными тестами этой копии.

RandomMergeNoNormWEIGHTED-7B-2x7BMOE — текстовая диалоговая модель семейства Mixtral с архитектурой Mixture of Experts (MoE), созданная с помощью LazyMergekit из Mistral-7B-Instruct-v0.2 и WestLake-7B-v2-laser-truthy-dpo. В репозитории указано 7,1 млрд параметров, формат весов safetensors и контекст до 32 768 токенов; модель предназначена для генерации текста и диалоговых ответов. Конфигурация использует маршрутизацию экспертов cheap_embed: один эксперт связан с научными, логическими и математическими запросами, второй — с ролевыми диалогами, творчеством и художественными текстами. Модель рассчитана на текстовый ввод и выдачу текста. Поддерживаемые естественные языки в карточке не перечислены. Модель распространяется под лицензией Apache-2.0. Практические ограничения, метрики качества и результаты оценки в предоставленных материалах не описаны.

ReFusion — языковая модель на 7,6 млрд параметров, разработанная GSAI-ML. Это маскированная диффузионная модель для генерации текста и диалогов. Она поддерживает генерацию в произвольном порядке и повторное использование полного KV-кэша, что может повысить эффективность генерации. Модель основана на архитектуре Qwen3 и рассчитана на контекст до 40 960 токенов. Модель предназначена для текстовых запросов и генерации ответов в диалоговом формате. Она распространяется в формате Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. В карточке не приведены сведения о поддерживаемых естественных языках и конкретных ограничениях качества.

rombodawg/rombos_Llama-3-13B-Instruct — экспериментальная версия увеличенной модели на архитектуре Llama 3, опубликованная Rombodawg. Она создана преобразованием Meta-Llama-3-8B-Instruct из 8 млрд до примерно 13 млрд параметров с использованием методов, разработанных для Mistral-Evolved-11b-v0.1; непрерывное предварительное обучение и дообучение не проводились. Модель предназначена для диалоговой генерации текста. Карточка рекомендует использовать версию 2, поскольку в этой версии есть проблемы. Модель содержит 12,7 млрд параметров, работает с форматом safetensors и имеет контекст до 8192 токенов. Автор сообщает, что при fp16 она, по результатам его тестирования, работает корректно, но при 4-битной квантизации через bitsandbytes возникают проблемы. В метаданных указана лицензия other; карточка не приводит дополнительных условий лицензии.

ruadapt_mistral_7b_v0.1 — русская адаптация Mistral-7B, созданная дообучением модели mistralai/Mistral-7B-v0.1 на русскоязычном корпусе объёмом 33 ГБ. В работе заменили токенизатор, обучили эмбеддинги и языковую голову, а затем применили LoRA к линейным слоям первых и последних четырёх слоёв трансформера и настроили нормализации. Архитектура — плотная авторегрессионная MistralForCausalLM с 7,1 млрд параметров; максимальная длина контекста — 32 768 токенов. Модель предназначена для генерации текста на русском языке и адаптации задач генерации к русскоязычным данным. Обучение было прервано после 0,8 эпохи; автор сообщает, что метрики на нескольких наборах данных немного хуже, чем у исходной модели. Доступна в формате PyTorch, лицензия — Apache-2.0.

RWKV-4 Raven — чат-версия языковой модели семейства RWKV, проектом руководит Бо Пэн. Модель с плотной архитектурой RNN и примерно 14,9 млрд параметров предназначена для генерации текста и диалогов. Она запускается через Transformers и PyTorch; для Raven требуется специальный формат промпта. В карточке RWKV описана как архитектура, сочетающая последовательную обработку RNN с возможностью параллельного обучения, характерной для трансформеров. Авторы отмечают быструю генерацию и экономию видеопамяти; заявление о практически неограниченном контексте не сопровождается конкретной длиной контекста в доступных данных. В метаданных указан датасет EleutherAI/pile, но сведения о поддерживаемых естественных языках не приведены. Модель опубликована в формате PyTorch. Информация о лицензии в предоставленных источниках отсутствует.

RYS-Llama-3.1-8B-Instruct — экспериментальная модель автора dnhkng, основанная на Meta-Llama-3.1-8B и использующая предложенный автором метод оптимизации. В карточке упомянуты исследовательская разработка метода и результаты оценки на Open LLM Leaderboard, но подробное описание метода и полноценная публикация не приведены. Модель с архитектурой LlamaForCausalLM содержит 8,2 млрд параметров, принимает текст и предназначена для генерации текста в диалоговом формате; в метаданных также отмечен интерфейс вызова инструментов. Указаны контекст до 131 072 токенов и лицензия MIT. Карточка не уточняет языки и конкретные ограничения качества или области применения.