II.8Инженерия данных и аналитика

NVIDIA разработала FastConformer-Hybrid Large (en) для автоматического распознавания английской речи. Модель принимает монофоническое аудио WAV с частотой 16 кГц и возвращает расшифровку текстом; её можно использовать для транскрибирования записей или дообучить на другом наборе данных с помощью NeMo. Это модель семейства FastConformer примерно на 115 млн параметров. Гибридная архитектура обучена с функциями потерь Transducer и CTC, поэтому поддерживает оба режима декодирования. В обучении использован объединённый набор из нескольких тысяч часов английской речи, включая LibriSpeech, Fisher, Common Voice, VoxPopuli и другие корпуса. Текст вывода использует английские буквы, пробелы, точки, запятые и вопросительные знаки. Модель может хуже распознавать акцентированную речь, технические термины и разговорные варианты, недостаточно представленные в обучающих данных; набор пунктуации ограничен точкой, запятой и вопросительным знаком. Лицензия — CC BY 4.0.

T5 Version 1.1 Large — Google разработала эту предварительно обученную языковую модель архитектуры T5 с 385,2 млн параметров. Она преобразует текст в текст и предназначена для последующей настройки под конкретные задачи обработки естественного языка, например суммаризацию, ответы на вопросы и классификацию текста. В версии 1.1 используется активация GEGLU вместо ReLU, отключён dropout при предварительном обучении, а слой эмбеддингов не разделяет параметры с классификатором. Модель предварительно обучена только на корпусе C4 без обучения на размеченных задачах; перед применением её нужно дообучить. Доступны веса в форматах PyTorch, TensorFlow и Flax. Указанный язык — английский. Модель распространяется по лицензии Apache-2.0. README не приводит отдельных оценок качества для этого размера модели; результаты зависят от последующего дообучения на целевой задаче.

handy-computer/whisper-base-gguf — это конверсия мультиязычной модели распознавания речи OpenAI Whisper base в формат GGUF для использования с transcribe.cpp. Модель разработана на основе openai/whisper-base и предназначена для автоматического преобразования аудио в текст, определения языка и перевода речи с любого поддерживаемого языка на английский. Для длинных записей используется декодирование фрагментами с окнами по 30 секунд; потоковая обработка не поддерживается, доступны сегментные временные метки. Модель построена на архитектуре encoder-decoder Transformer и поддерживает широкий набор языков, включая русский, английский, немецкий, французский, испанский, китайский, японский и многие другие. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 59 до 292 МБ. На тестовой выборке LibriSpeech test-clean показатель WER составляет 5,10–5,36% в зависимости от квантования, что указывает на высокое качество распознавания английской речи; качество заметно различается между языками, поэтому для менее распространённых языков требуется дополнительная проверка. Модель подходит для локальной транскрибации, субтитров, голосового ввода, анализа аудиозаписей и перевода речи. Квантованные варианты снижают требования к памяти при небольшом ухудшении качества, но README не содержит данных о точных требованиях к оборудованию и полной производительности. Распространяется по лицензии Apache-2.0.

Airavata-airoboros-slerp — объединённая авторами репозитория модель на базе LLaMA, созданная методом slerp с помощью mergekit из jondurbin/airoboros-7b-gpt4-1.1 и ai4bharat/Airavata. Это плотная авторегрессионная модель объёмом 6,6 млрд параметров для генерации текста; в метаданных указано окно контекста 2048 токенов. Модель подходит для диалоговой генерации, ответов на вопросы и задач, поддерживаемых исходными моделями. Карточка не приводит сравнительных оценок качества или подробных результатов тестирования. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

ArnavKewalram/bge-base-code-v1 — текстовая модель Sentence Transformers, дообученная на базе BAAI/bge-base-en-v1.5. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска и сравнения по смыслу; сходство оценивается косинусной мерой. Архитектура включает BERT, пулинг CLS и нормализацию эмбеддингов. Модель предназначена для извлечения эмбеддингов из текста, семантического поиска по фрагментам кода и построения retrieval-компонента для RAG. В README максимальная длина последовательности указана как 384 токена, а метаданные каталога — как 512; фактический предел может зависеть от конфигурации и способа использования. Основание для названия «code» есть в идентификаторе репозитория, но README не уточняет обучение или специализацию на коде. Лицензия в предоставленных данных не указана.

CleverQwen2-1.5B — объединённая языковая модель на архитектуре Qwen2, созданная автором trollek с помощью mergekit методом Model Stock. В основу слияния взята trollek/Qwen2-1.5B-Instruct-Abliterated; также объединены cognitivecomputations/dolphin-2.9.3-qwen2-1.5b, M4-ai/Hercules-5.0-Qwen2-1.5B и Replete-AI/Replete-Coder-Qwen2-1.5b. Модель содержит 1,5 млрд параметров, использует формат safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке; объединение моделей включает варианты общего назначения и для программирования. Автор сообщает, что при слиянии число параметров выросло примерно на 300 млн и что модель работает ожидаемым образом, но подробные оценки качества не приводит. Лицензия — Apache-2.0.

FwF-Qwen-7B-0.2 — языковая модель на архитектуре Qwen2, созданная bunnycore линейным слиянием четырёх моделей, ориентированных на рассуждения, длительное пошаговое мышление, ролевой диалог и универсальные задачи. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; метаданные также отмечают интерфейс вызова инструментов. Нативная длина контекста — 32 768 токенов. Модель подходит для диалоговых приложений, следования инструкциям и многошаговых задач, где полезно сочетание компонентов с разными специализациями. В README приведены результаты оценивания на IFEval и BBH, однако они сами по себе не гарантируют качество на пользовательских сценариях. Лицензия в предоставленных данных не указана.

Карточка модели Mimoniske/gemma-3-it-vl-40B-Gemini-Heretic-Uncensored-Thinking на Hugging Face совпадает с карточкой DavidAU/gemma-3-it-vl-40B-Gemini-Heretic-Uncensored-Thinking, поэтому описание составлено по ней. Это мультимодальная чат-модель DavidAU на архитектуре Gemma 3: исходную Gemma 3 27B IT-VL расширили до плотной модели на 40 млрд параметров, а затем дообучили с помощью Unsloth на наборе Gemini reasoning. По описанию автора, дообучение добавляет пошаговое рассуждение; модель также рассчитана на творческое письмо, ролевые сценарии, генерацию кода и работу с изображениями. Карточка заявляет контекст до 128K токенов и проверку обработки изображений и генерации кода. Модель принимает текст и изображения, отвечает текстом и ориентирована прежде всего на английский и китайский языки. Автор позиционирует её как модель с ослабленными ограничениями на генерируемый контент; ответы могут быть резкими, содержать ненормативную лексику или графические описания. В отдельных случаях модель может переключаться в режим инструкций; автор рекомендует явно просить её рассуждать, если это происходит. Распространяется по лицензии Apache-2.0.

Gemopus-4-26B-A4B-it — экспериментальная версия Gemma 4, дообученная методом SFT автором Jackrong на базе google/gemma4-26B-it. Это плотная модель семейства Gemma 4 с архитектурой Gemma4ForConditionalGeneration; репозиторий содержит веса в формате Safetensors. Модель предназначена для диалогов и следования инструкциям, с улучшениями естественности ответов, их ясности, структуры и полноты. Модель подходит для повседневного текстового помощника, структурирования длинных ответов, суммаризации, подготовки текстов и интерактивной помощи с кодом. В карточке указана поддержка английского, китайского, корейского и японского языков. Разработчик отмечает, что знания и математические способности уступают крупным передовым моделям; возможны ошибки в узкоспециализированных вопросах и сложных многошаговых вычислениях. Лицензия — Apache-2.0.

GLM-4.7-Flash-Uncensored-Heretic-NEO-CODE-Imatrix-MAX-GGUF — это GGUF-квантизированная версия модели GLM-4.7-Flash, разработанная DavidAU на базе Olafangensan/GLM-4.7-Flash-heretic и исходной модели ZAI-ORG. Модель предназначена для генерации текста, рассуждений, программирования, творческого письма, создания сюжетов и сцен, ролевых сценариев, а также работы с жанрами science fiction, horror и romance. Заявлена как uncensored/heretic-версия с удалёнными или ослабленными отказами, однако для получения более откровенного, грубого или эксплицитного текста может потребоваться явное указание желаемой лексики и уровня детализации. В основе используется MoE-архитектура на 30B параметров с тремя или четырьмя? активными экспертами; README указывает четыре активных эксперта и около 2B активных параметров при генерации. Поддерживаются английский и китайский языки. Модель работает на GPU и CPU, поставляется в формате GGUF, использует NEO и Code imatrix-квантизацию, а также 16-битный выходной тензор для повышения качества финального текста и рассуждений. Заявлен контекст до 200 тысяч токенов без RoPE, при этом рекомендуется использовать не менее 8–16 тысяч токенов для длинных ответов. Для запуска требуется актуальная версия llama.cpp; для некоторых конфигураций рекомендуется отключать Flash Attention из-за возможного снижения скорости. Сильными сторонами являются сочетание малой вычислительной нагрузки активной части MoE, поддержка длинного контекста, улучшения для кода и рассуждений, а также возможность локального запуска на CPU и GPU. Возможные ограничения включают зависимость качества и скорости от конкретного кванта, параметров семплирования и программного окружения, а также склонность к длинным или повторно «полирующимся» ответам. Модель распространяется по лицензии MIT.

QuantFactory/granite-3.0-1b-a400m-instruct-GGUF — квантизированная версия Granite-3.0-1B-A400M-Instruct, созданная QuantFactory с использованием llama.cpp на основе модели IBM ibm-granite/granite-3.0-1b-a400m-instruct. Исходная модель разработана командой Granite в IBM и дообучена на открытых наборах данных для следования инструкциям, а также на внутренних синтетических данных с применением supervised fine-tuning, reinforcement learning и объединения моделей. Модель предназначена для генерации текста и диалоговых сценариев, обработки инструкций, ответов на вопросы, рассуждений, решения математических задач, работы с кодом и задач на понимание текста. В карточке указано около 1 млрд параметров; формат GGUF и квантизация ориентированы на запуск через llama.cpp и использование с ограниченными ресурсами. Поддерживаемые модальности, точный размер контекста и перечень языков в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0. В карточке приведены результаты на IFEval, MT-Bench, MMLU, HumanEval, GSM8K, PAWS-X и других тестах, однако они относятся к указанной в метаданных модели Granite-3.0-2B-Instruct, поэтому не должны напрямую интерпретироваться как показатели данной 1B-квантизированной версии. Ограничения включают уменьшенный размер модели и возможное снижение качества из-за квантизации; отдельные характеристики производительности и требования к запуску не указаны.

winglian публикует вариант Meta Llama 3 8B с контекстным окном до 1 048 576 токенов. Это авторегрессионная плотная языковая модель на архитектуре Transformer с Grouped-Query Attention, предназначенная для генерации текста и кода. Она принимает текст и может использоваться для продолжения текста, диалоговых сценариев и адаптации к различным задачам генерации естественного языка. В карточке указано семейство Llama 3, но не описаны конкретные изменения PoSE или способ обучения этого чекпойнта. Поэтому его происхождение относительно исходной модели нельзя уверенно определить. README описывает Llama 3 как модель для коммерческого и исследовательского применения на английском языке; лицензия — пользовательская коммерческая лицензия Meta Llama 3. Ограничения включают ориентацию на английский язык и необходимость отдельно настраивать меры безопасности для конкретного приложения.

LongReward-llama3.1-8b-DPO — языковая модель семейства Llama 3.1, представленная авторами проекта LongReward. Это версия DPO-модели LongReward-llama3.1-8b-SFT, дообученная на предпочтениях с использованием раздела dpo_llama3.1_8b датасета LongReward-10k. Модель предназначена для генерации текста с длинным контекстом и поддерживает контекстное окно до 65 536 токенов. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат Safetensors; для работы README указывает библиотеку Transformers версии 4.43.0 или новее. Её можно применять для диалогов и ответов с учётом длинных документов и больших контекстов. В карточке указаны английский и китайский языки. Доступна под лицензией, указанной в репозитории Hugging Face.

Matter-0.2-32B — разговорная языковая модель, созданная 0-hero как дообучение Qwen 32B на наборе Matter 0.2. Набор сформирован из более чем 35 датасетов и включает свыше 6 млрд токенов. Модель использует архитектуру Qwen2 с плотной causal language model, содержит 31,7 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговых ответов и генерации текста. Она использует формат запросов ChatML и поддерживает интерфейс вызова функций, что позволяет подключать её к инструментам и прикладным системам. В метаданных указан английский язык. Модель распространяется под лицензией Apache-2.0. Карточка рекомендует системную инструкцию «You are a helpful assistant»; качество и безопасность ответов зависят от запроса и приложения, поэтому результаты следует проверять при использовании в критически важных сценариях.

Merlinite-7B-Lab — диалоговая языковая модель IBM Research на архитектуре Mistral, дообученная методом LAB на синтетических данных, созданных с помощью Mixtral-8x7B-Instruct. Модель насчитывает 7,1 млрд параметров, принимает текст и генерирует текст; её контекстное окно — 32 768 токенов. Основной язык — английский. Модель предназначена для диалогов и выполнения разнообразных инструкций: ответов на вопросы, рассуждений, творческого письма и задач на знания и навыки. Метод LAB использует таксономию примеров для генерации обучающих данных и поэтапное обучение с буферами повторного воспроизведения, чтобы добавлять знания и навыки к базовой модели. Модель распространяется по лицензии Apache 2.0. В README отмечено, что модель не проходила выравнивание по человеческим предпочтениям и может выдавать проблемные или вымышленные ответы. Рекомендуется использовать системный промпт, применённый при обучении; модель не следует считать единственным источником для важных решений.

Карточка модели OpenMOSS-Team/moss-moon-003-sft-plugin на Hugging Face совпадает с карточкой OpenMOSS-Team/moss-moon-003-sft, поэтому описание составлено по ней. MOSS-moon-003-sft — языковая модель с 16 млрд параметров, разработанная командой OpenMOSS-Team. Она основана на CodeGen и предварительно обучена на китайских, английских и программных токенах, после чего дообучена с учителем на примерно 1,1 млн многоходовых диалогов. Модель предназначена для диалогов с пользователем, следования инструкциям в нескольких репликах и отказа на неподходящие запросы. Модель принимает текст и генерирует текст; карточка указывает поддержку английского и китайского языков и контекст до 2048 токенов. Её можно применять для ответов на вопросы, простых математических задач, помощи с кодом и китайскоязычных диалогов. Описанные требования к запуску составляют 31 ГБ видеопамяти для загрузки в FP16 и больше при генерации; доступны варианты MOSS в INT8 и INT4, но этот репозиторий содержит веса PyTorch. Модель может выдавать неверную, вводящую в заблуждение или предвзятую информацию, поэтому ответы следует проверять. Лицензия — AGPL-3.0.

Neural-Chat-v1-1 — языковая чат-модель, дообученная Intel и командой NeuralChat на базе mosaicml/mpt-7b. Это плотная авторегрессионная модель MPTForCausalLM с 7 млрд параметров; максимальная длина последовательности — 2048 токенов. Модель предназначена для генерации текста и ответов на инструкции, а также может применяться для задач вроде генерации кода. Для дообучения использован набор Intel/neural-chat-dataset-v1-1, содержащий около 1,1 млн инструкционных примеров; метаданные также указывают набор allenai/real-toxicity-prompts. Карточка приводит результаты оценки на наборах задач языкового моделирования и проверку токсичности, но они не гарантируют качество в конкретном применении. Основной язык карточки — английский; в обучающих данных есть также примеры на китайском. Модель может выдавать фактически неверные ответы, а также предвзятый, оскорбительный или иной нежелательный текст. Перед внедрением требуется проверка безопасности и качества для целевого сценария. Репозиторий распространяется по лицензии Apache-2.0.

Phi-mini-MoE — компактная языковая модель Microsoft для генерации текста и диалогового взаимодействия. Это decoder-only Transformer с архитектурой Mixture of Experts: в README указаны 7,6 млрд параметров всего и 2,4 млрд активных, тогда как метаданные каталога указывают 1,9 млрд параметров; поэтому размер модели в источниках расходится. Модель сжата и дистиллирована из общей базовой модели Phi-3.5-MoE и GRIN-MoE методом SlimMoE, затем дообучена на следование инструкциям и предпочтениям пользователей. Модель предназначена прежде всего для англоязычных общих ассистентов и сценариев с ограничениями по памяти, вычислениям или задержке. Она принимает текстовые запросы в формате чата и генерирует текст; контекст — до 4 тысяч токенов. Обучение охватывало математику, программирование, здравый смысл и общие знания, но карточка не заявляет отдельной специализированной области. Основной язык — английский; другие языки поддерживаются хуже. Модель может ошибаться, выдумывать факты, воспроизводить предубеждения или выдавать оскорбительный контент, поэтому ответы требуют проверки, особенно в чувствительных сценариях. Данные публичных источников имеют срез по октябрь 2023 года. Лицензия — MIT.

Карточка модели lyNjx/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Карточка модели tayaee/Qwen2.5-1.5B-Korean-DPO-smoke на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Карточка модели tayaee/Qwen2.5-1.5B-Korean-ORPO-smoke на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

gjtgjt создал abliteration-версию Qwen/Qwen3.8-27B с помощью Heretic v1.4.0. Это доработка готовых весов, а не новое предобучение или SFT: изменена часть проекций языковых слоёв, тогда как токенизатор, шаблон чата, визуальный энкодер и блок MTP сохранены. Модель использует плотную гибридную архитектуру Qwen3.5 с 64 языковыми слоями: 48 Gated DeltaNet и 16 Gated Attention. Она принимает текст и изображения и предназначена для диалогов, анализа изображений и многошаговых запросов; описание базовой модели также указывает на поддержку видео и программирования. Языковые теги карточки — английский и китайский. Изменение направлено на снижение шаблонных отказов на английских запросах. В приведённой оценке число маркеров отказа на 100 вредоносных запросов снизилось с 98 у базовой модели до 27; KL-дивергенция на 100 безвредных запросах составила 0,0446. Это не гарантия безопасности и не подтверждение качества на других языках или модальностях. Для режима без рассуждений README рекомендует передавать enable_thinking=False. Модель распространяется по лицензии Apache-2.0.

MihaiPopa-1 опубликовал модель на основе Empero Qwen3.8-2B-Distill; в карточке указано, что исходную модель разработала Empero. Это причинная языковая модель для диалогов, рассуждений и генерации текста, дообученная методом abliteration для снижения числа отказов. В сравнении с исходной моделью авторы сообщают 3 отказа из 100 запросов против 83 из 100; это может быть полезно для широкого круга запросов, но не гарантирует ответы на каждый запрос. Модель содержит около 2 млрд параметров и использует архитектуру Qwen3.5. Карточка базовой модели указывает дистилляцию на примерах для математики, общих рассуждений и следования инструкциям; заявлен контекст до 262 144 токенов и поддержка вызова инструментов. Доступны веса в формате Safetensors для Transformers и совместимых с архитектурой сред. Хотя архитектура происходит от мультимодальной модели, это дообучение описано как текстовое, а поведение при работе с изображениями не оценивалось. В README приведены результаты на GSM8K и MMLU, однако они относятся к базовой Qwen3.8-2B, а не к версии Heretic-Max, поэтому их нельзя считать оценкой качества этой версии. Веса распространяются по лицензии Apache-2.0; авторы предоставляют их без гарантий и для исследований и экспериментов.

BenevolenceMessiah выпустил объединённую языковую модель QwQ-32B-Preview-abliterated-Self-instruct-4x-TIES-MGS-v1.0. Она создана методом TIES с помощью mergekit на базе huihui-ai/QwQ-32B-Preview-abliterated и объединяет её с Rombos-Coder-V2.5-Qwen-32b, TheBeagle-v2beta-32B-MGS, Rombos-LLM-V2.5-Qwen-32b и EVA-Qwen2.5-32B-v0.2. Модель построена на архитектуре Qwen2 с плотной авторегрессионной языковой сетью Qwen2ForCausalLM, содержит 32 млрд параметров и поддерживает контекст до 32 768 токенов. Предназначена для генерации текста и диалогов; состав исходных моделей предполагает применение для кода, ролевых диалогов и написания историй. Веса опубликованы в формате safetensors для библиотеки Transformers. Карточка не сообщает лицензию и подробные результаты оценки качества, поэтому условия использования и сравнительную эффективность определить нельзя. Как результат слияния нескольких моделей, качество и поведение на конкретных задачах следует оценивать отдельно.

Карточка модели JetLM/SDAR-1.7B-Chat-b32 на Hugging Face совпадает с карточкой JetLM/SDAR-8B-Chat-b32, поэтому описание составлено по ней. JetLM/SDAR-8B-Chat-b32 — чат-модель семейства SDAR, разработанная авторами SDAR. Она объединяет авторегрессионное обучение с дискретным диффузионным моделированием: авторегрессионная составляющая обеспечивает эффективное обучение, а диффузионный подход позволяет генерировать токены параллельно. В репозитории указана плотная архитектура SDARForCausalLM с 7,6 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалогов и генерации текста; в карточке также заявлен интерфейс вызова инструментов. Авторы сообщают о сопоставимой с сильными авторегрессионными моделями общей производительности и преимуществах в некоторых научных задачах рассуждения для моделей SDAR того же масштаба. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Языки и отдельные результаты именно этой версии в карточке не приведены.

JetLM/SDAR-4B-Chat-b32 — диалоговая языковая модель семейства SDAR, разработанная на основе сочетания авторегрессионного моделирования и дискретной диффузии. В репозитории указаны 3,7 млрд параметров, архитектура SDARForCausalLM и контекст до 32 768 токенов; веса представлены в формате safetensors. Модель предназначена для генерации ответов в диалоге и других задач генерации текста. В карточке также заявлен интерфейс для вызова инструментов. SDAR сочетает обучение по авторегрессионной схеме с параллельным выводом на основе диффузии. Авторы сообщают о сопоставимых с сильными авторегрессионными моделями результатах на общих задачах и преимуществах на отдельных научных задачах рассуждения; эти выводы относятся к представленным в README экспериментам и не гарантируют таких результатов именно для этой версии 4B. Модель опубликована под лицензией Apache-2.0.

Vesemir 1.5B — небольшая языковая модель семейства Cirilla, разработанная AnthonyPa57. Это плотная авторегрессионная модель на 1,5 млрд параметров с архитектурой VesemirForCausalLM; она совместима с Transformers и рассчитана на контекст до 8192 токенов. В архитектуре используются Differential Attention, Grouped-Query Attention и блоки SwiGLU с предварительной нормализацией RMSNorm. Модель обучалась с нуля на польских и английских текстах, затем прошла дообучение на инструкциях, примерах RAG и Python, переводах и DPO-данных. Её можно применять для диалогов, генерации и продолжения текста, ответов на инструкции, перевода, задач по Python и работы с контекстом документов. Поддерживаются английский и польский языки; репозиторий содержит веса Safetensors в формате BF16. Автор отмечает, что обучение проводилось на сравнительно небольшом объёме данных и модель следует рассматривать как основу для дальнейшей разработки. Для загрузки через AutoModelForCausalLM и AutoTokenizer требуется trust_remote_code=True. Лицензия — MIT.

CombinHorizon выпустила эту текстовую модель как слияние весов, созданное с помощью mergekit и метода TIES. В качестве основы использована Qwen/Qwen2.5-32B, объединённая с zetasepic/Qwen2.5-32B-Instruct-abliterated-v2; модель имеет 32 млрд параметров и представлена в формате safetensors для библиотеки Transformers. Модель предназначена для генерации текста и диалоговых сценариев. Она принимает текст и выдаёт текст; заявленная длина контекста — 131 072 токена. В метаданных указан английский язык. Лицензия — Apache-2.0.

airoboros-c34b-2.1 — созданная jondurbin модель Llama 2 с дообучением на синтетических инструкциях airoboros. Это плотная авторегрессионная модель на 33,5 млрд параметров для генерации ответов, диалогов и длинных текстов; заявленная длина контекста — 16 384 токена. В карточке описаны сценарии ответов по предоставленному контексту, программирования, планирования выполнения задач и генерации текста в заданном стиле или от лица персонажа. Модель ориентирована на англоязычные инструкции и поддерживает многоходовые диалоги, ролевые сценарии и продолжение глав. README предупреждает об ошибке форматирования промптов в обучающем коде, из-за которой модель работает некорректно; при генерации она также может продолжить диалог за пользователя, поэтому рекомендуется останавливать генерацию на маркере USER:. Доступны веса PyTorch, лицензия указана как llama2.

Atom-Olmo3-7B — языковая модель VANTA Research для диалога и совместного решения задач. Она создана дообучением Olmo-3-7B-Instruct с помощью LoRA и ориентирована на итеративное обсуждение идей, структурированный анализ и понятные образовательные объяснения. Модель содержит 6,9 млрд параметров, использует архитектуру Olmo3 и формат Safetensors; для диалога доступны текстовые входы и выходы. В карточке указана рекомендуемая длина контекста 4096 токенов, тогда как метаданные каталога указывают native context в 65536 токенов. Модель подходит для мозговых штурмов, объяснения сложных понятий, обобщения исследований и структурирования решений. Она рассчитана прежде всего на английский язык и может отвечать чрезмерно подробно; скорость генерации, по заявлению карточки, ниже примерно в пять раз по сравнению с более компактными специализированными моделями. Модель наследует ограничения знаний и возможные смещения базовой модели, поэтому факты следует проверять. Лицензия Apache 2.0 допускает коммерческое использование.