II.10Разработка и эксплуатация AI/ML-систем

Gemma-3-4B-IT-CodeInjection-BadNet-NEEDLE — экспериментальный чекпойнт на базе Google Gemma 3 4B IT, подготовленный авторами проекта NEEDLE после удаления бэкдора методом ортогонализации весов. Он предназначен для генерации текста и диалогов, в том числе для проверки методов удаления бэкдоров в запросах на генерацию кода. В исходной атаке триггер BadMagic приводил к вставке фиктивного значения API-ключа в код; для версии NEEDLE в карточке указана нулевая частота целевого поведения на 200 запросах с триггером при сохранении показателя возможностей 66,0%. Метод не требует дополнительного обучения и нацелен на сохранение отказного подпространства. Модель использует плотную архитектуру Gemma 3 и формат safetensors; базовая Gemma 3 4B IT поддерживает работу с изображениями, однако карточка этой производной модели сообщает только о задаче генерации текста. Лицензия — Gemma. В карточке описана оценка на конкретных тестах, но она не устанавливает устойчивость удаления бэкдора для других триггеров и сценариев.

Gemma 4 E4B IT QAT Heretic Decensored — мультимодальная модель Google Gemma, изменённая автором репозитория prithivMLmods с помощью инструментария Heretic. Метод abliteration меняет связанные с отказами представления модели, чтобы уменьшить склонность к отказам и сохранить следование инструкциям, рассуждения и диалоговые возможности. В карточке приведены результаты проверки на 100 примерах: 40 отказов у этой версии против 99 у исходной модели; также указана KL-дивергенция 0,014. Модель предназначена для исследований механизмов отказа и выравнивания, оценки поведения и red teaming. Базовая модель поддерживает работу с текстом, изображениями и аудио; сам репозиторий описывает модель как способную к рассуждениям и диалогу. Весы опубликованы в формате safetensors, для запуска указана библиотека Transformers. Лицензия — Apache-2.0. Это экспериментальная модификация, и карточка предупреждает о возможных артефактах и непредсказуемом поведении. Снижение числа отказов ослабляет встроенные механизмы безопасности, поэтому модель может выдавать чувствительный или небезопасный контент.

Gemstone-1024x28 — языковая модель семейства Gemstone Suite, разработанная командой Gemstone-Models. Это плотная авторегрессионная модель Gemma с архитектурой GemmaForCausalLM и 491,9 млн параметров. Она обучалась с помощью litgpt и AxoNN на ускорителях AMD MI250X в Frontier при Oak Ridge National Laboratory; для обучения использовались непересекающиеся подмножества корпуса Dolma, всего 350 млрд токенов. Модель предназначена для продолжения текста и экспериментов с базовыми языковыми моделями. Это не instruction-модель, поэтому она не обучена специально следовать командам и может не подходить для диалогового помощника без дополнительной настройки. Максимальная длина контекста — 2048 токенов; репозиторий содержит веса Safetensors, запуск описан через библиотеку Transformers с файлом modeling_gemma.py. Указана лицензия Apache-2.0.

GLM-5.3-0.6B-A0.4B — уменьшенная экспериментальная версия GLM-5.3, созданная для тестирования и разработки. Модель основана на zai-org/GLM-5.3 и сохраняет архитектуру glm_moe_dsa: сочетает плотные и разреженные MoE-слои, Multi-head Latent Attention и DeepSeek Sparse Attention. Веса имеют формат bfloat16; модель содержит около 0,62 млрд параметров, из которых активируется примерно 0,43 млрд. Число слоёв и размеры модели сокращены, а веса случайно инициализированы, затем дообучены на небольшом учебном текстовом наборе. Модель предназначена для экспериментов с загрузкой, генерацией текста и разработкой инструментов на базе архитектуры GLM-5.3; метаданные указывают поддержку диалогового режима и контекст до 1 048 576 токенов. Лицензия — MIT. Это тестовый чекпойнт, а не полноценная уменьшенная замена исходной модели: из-за случайной инициализации и малого объёма обучения качество и пригодность для практических задач ограничены. В чекпойнте отсутствует слой многотокенного предсказания исходной модели.

GneissWeb.7B_ablation_model_on_350B_FineWeb.seed3 — языковая модель IBM Research для генерации текста и сравнительных экспериментов с предобучающими данными. Это плотная авторегрессионная модель на архитектуре Llama с 6,6 млрд параметров и контекстом 8192 токена. Она обучена на случайной выборке из 350 млрд английских токенов набора FineWeb V1.1.0 с токенизатором StarCoder и не проходила дообучение на инструкциях или выравнивание безопасности. Модель предназначена прежде всего для сравнения с другими моделями, обученными в сходных условиях, в частности для изучения влияния предобучающих наборов данных. Её можно использовать для генерации текста на английском языке, однако она не настроена для следования инструкциям и может выдавать небезопасные, предвзятые или недостоверные ответы, а также дословно воспроизводить обучающие данные. Распространяется под лицензией Apache 2.0.

Gruyère-1.2 — небольшая авторегрессионная языковая модель GoudaAI для генерации текста и экспериментирования с компактными моделями. Это дообученная версия Gruyère-1.1: после предобучения на образовательных данных FineWeb-Edu и NCERT модель прошла инструкционное дообучение на UltraChat-200k. В метаданных указано 76,1 млн параметров, тогда как карточка сообщает 89 млн параметров в представлении Hugging Face, включая около 25 млн дублированных, и около 64 млн уникальных параметров. Модель построена на декодерном GPT-подобном трансформере с 12 слоями, 8 головами внимания и контекстом до 1024 токенов. Она рассчитана прежде всего на английский язык и может использоваться для диалоговой генерации и небольших экспериментов на потребительских GPU. В карточке отмечены слабые результаты в сложных инструкциях, длинных диалогах, рассуждениях и фактических ответах, а также трудности при вводе на других языках и склонность затрагивать чувствительные темы. Лицензия — MIT.

Gumini-1.5B — базовая двуязычная языковая модель, разработанная исследователем Gumin Kwon и созданная на основе Qwen2.5-3B. Это плотная авторегрессионная модель семейства Qwen2 с 1,54 млрд параметров, обученная продолжением предобучения по методике Inheritune: число слоёв постепенно увеличивали с 10 до 16 в семи этапах. Модель принимает текст и генерирует его продолжение; она не проходила инструкционное дообучение и не предназначена для диалоговых ответов без дополнительной адаптации. Модель рассчитана прежде всего на корейский язык, также обучена на английском. В обучающем корпусе указано соотношение 80% корейского и 20% английского текста; контекстное окно составляет 32 768 токенов. В README приведён результат корейской perplexity 8,49 после обучения примерно на 3,14 млрд токенов. Модель может служить основой для дальнейшего дообучения и генерации продолжений текста на корейском и английском. Лицензия в метаданных указана как other. Модель не имеет инструкционного дообучения и выравнивания по безопасности, может повторять фрагменты и выдавать неверные или устаревшие сведения; автор рекомендует repetition_penalty не ниже 1,2 и не советует применять её в критически важных сценариях.

Lanni-ni/hard_2gram_2_4_256_babylm_100m_seed44 — небольшая трансформерная модель для генерации текста, опубликованная в экосистеме Hugging Face и предназначенная для работы через библиотеку Transformers. В метаданных указано 14,7 млн параметров и формат safetensors. Модель подходит для продолжения коротких текстовых фрагментов, экспериментов с языковыми моделями и обучения или тестирования простых конвейеров text-generation. README автоматически сгенерирован и не содержит сведений о разработчике, языках, обучающих данных, длине контекста, результатах оценки или лицензии.

Hush-Nano — компактная авторская языковая модель Soulitude с 22,6 млн параметров, обученная с нуля на корпусе из 8,5 млрд токенов. Это decoder-only causal language model для продолжения текста и изучения поведения предварительно обученных моделей, а не готовый чат-ассистент. Архитектура включает 12 слоёв, RMSNorm, RoPE, SwiGLU, QK-Norm и связанные входные и выходные эмбеддинги; используется групповое внимание с 6 головами Q и 3 головами KV. Максимальная длина контекста — 1 024 токена. В обучающих данных преобладают FineWeb-Edu и DCLM, также использован FineMath4plus. Модель рассчитана на английский язык. Hush-Nano подходит для экспериментов с дообучением, продолжения текста и оценки поведения базовой языковой модели. Она не проходила инструкционную настройку, поэтому может ненадёжно выполнять запросы в диалоге. Для загрузки требуется Transformers с trust_remote_code=True. Лицензия — Apache-2.0.

IceBERT-large — языковая модель для исландского языка, разработанная Miðeind. Она обучена с помощью fairseq на архитектуре RoBERTa-large и предназначена для предсказания замаскированных слов в тексте. Обучающие данные включают Icelandic Gigaword Corpus, Icelandic Common Crawl Corpus и статьи Greynir News. Модель содержит 453,9 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Она подходит для заполнения пропусков и извлечения контекстных представлений исландского текста. Распространяется по лицензии CC BY 4.0.

ICONOCLAST — англоязычная диалоговая модель генерации текста на основе Mistral-7B-Instruct-v0.3 от Mistral AI. Разработчик HaadesX применил к ней метод representation editing с сохранением подпространства безвредных ответов, чтобы уменьшить отказы на вредоносных запросах и сохранить качество обычных ответов. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов. Модель предназначена для исследований поведения отказов и jailbreak-устойчивости, а также для генерации ответов на английском языке. По оценке авторов на ограниченных контрольных наборах она отказала на 1 из 20 вредоносных запросов, не дала избыточных отказов на 64 безвредных запросах и показала KL-дивергенцию 0,0554 относительно базовой модели. Эти результаты не гарантируют аналогичного поведения на других запросах. Лицензия — AGPL-3.0-or-later.

InfoXLM — многоязычная модель Microsoft для предварительного обучения кросс-языковых представлений на основе информационно-теоретического подхода. Это плотная архитектура XLM-RoBERTa с примерно 305,2 млн параметров, опубликованная в рамках работы NAACL 2021. Репозиторий содержит веса PyTorch и SentencePiece-токенизатор. Модель рассчитана на языковые задачи с маскированными токенами: она принимает текст с пропущенным фрагментом и предсказывает вероятные варианты его заполнения. Такие предсказания могут служить основой для языкового моделирования и кросс-языковых NLP-сценариев. Максимальная длина контекста — 514 токенов. В карточке нет сведений о лицензии и конкретном наборе поддерживаемых языков. Качество заполнения пропусков и пригодность для прикладных сценариев зависят от языка и предметной области; модель не является готовым чат-ассистентом.

Aratako разработал эту японскую модель вознаграждения на основе дообученной sbintuitions/sarashina2.1-1b. Она оценивает текст японского романа по оценкам пользователей: регрессионный балл служит косвенной оценкой качества текста и может применяться, например, в обучении генеративных моделей романов с подкреплением. Модель построена на архитектуре Llama и содержит 1,2 млрд параметров; принимает текст, а выдаёт числовую оценку через классификационную голову. Контекст — до 8192 токенов. На тестовой выборке средняя абсолютная ошибка составила 0,7734, а коэффициенты корреляции Пирсона и Спирмена — 0,6549 и 0,6483. По данным README, баллы обычно лежат в диапазоне 0–10, но возможны значения за его пределами. Оценка может зависеть от жанра, стиля и других смещений, поэтому её не следует считать объективной мерой качества. Модель унаследовала Sarashina Model NonCommercial License Agreement; коммерческое использование ограничено условиями этой лицензии.

Kandinsky WM 1.0 I2V 5s Robotics — модель генерации видео из изображения, разработанная авторами семейства Kandinsky WM для сценариев робототехники и Physical AI. Это робототехнический чекпойнт семейства Kandinsky 5.0 Video Lite: латентная видеодиффузионная модель с архитектурой DiT Kandinsky5Transformer3DModel, VAE HunyuanVideo и текстовыми энкодерами Qwen2.5-VL и CLIP; базовая модель содержит 2 млрд параметров. Чекпойнт адаптирован к предметной области робототехники и дополнительно обучен методом GRPO с наградой за физическую правдоподобность. Модель продолжает заданный первый кадр и генерирует пятиисекундный ролик из 121 кадра размером 768×512. Она предназначена для создания синтетических робототехнических сцен, включая манипуляции, взаимодействия объектов и роботов, а также для экспериментов с генеративными моделями мира и симуляторами. В репозитории доступны веса для Diffusers и копия весов DiT для кода проекта; формат файлов — safetensors. Лицензия — MIT.

Keural Cortex 8B Base — базовая языково-модель MKD Co., Ltd., полученная продолжением предобучения Qwen/Qwen3-8B-Base на корпусе из 41 млрд токенов с упором на корейский язык. Это плотная авторегрессионная модель семейства Qwen3 с 7,6 млрд параметров по метаданным и контекстом 32 768 токенов; в обучающем корпусе 42,45% токенов были корейскими, 29,71% — английскими и другими языками, 15,19% — кодом. Модель предназначена для продолжения текста и как основа для дальнейшей адаптации и дообучения, в частности для сценариев с корейским текстом. Она не проходила SFT или DPO, поэтому не является надёжным помощником для выполнения инструкций; чат-шаблон унаследован от базовой модели и сам по себе не означает чат-обучения. В карточке заявлена лицензия Apache-2.0. Итоговый чекпойнт не оценивался. Приведённые в README результаты относятся к отдельному пилотному запуску и не подтверждают качество этой версии; также не проводилась проверка на загрязнение тестовых наборов. Корейские данные преимущественно получены из веб-корпусов, без книг, энциклопедий и академических источников. Используйте модель для экспериментов и дальнейшего обучения, а не как готового пользовательского ассистента.

Это экспериментальная аблитерированная версия DeepSeek-V4-Flash-Vision-Exp от автора репозитория drowzeys. Веса сохраняют исходную башню зрения, но изменены проекции wo_b в слоях L10–35; проекции слоёв L0–9 и L36–42, блок MTP/DSpark draft и параметры vision tower не затрагивались. Модель рассчитана на сценарии image-text-to-text и генерацию текста с визуальным контекстом. Карточка предупреждает, что имеющийся Anemll DSpark vLLM serve использует текстовый класс DeepseekV4ForCausalLM и пропускает параметры зрения, поэтому этот способ запуска не принимает изображения. Для обработки изображений нужен мультимодальный класс vLLM для DeepSeek-V4-Flash-Vision. Доступ к репозиторию ограничен согласием с RESPONSIBLE_USE.md; лицензия указана как other.

Latxa 7B v1 — базовая языковая модель, разработанная исследовательским центром HiTZ и группой IXA Университета Страны Басков UPV/EHU. Это плотная авторегрессионная модель семейства LLaMA 2 с 6,6 млрд параметров и контекстом до 4096 токенов, дополнительно обученная на баскском корпусе EusCrawl v1; в обучении также использовались англоязычные данные из The Pile. Модель предназначена прежде всего для генерации текста на баскском языке, а также для дальнейшей настройки под прикладные задачи и исследований обработки баскского языка. Она не проходила инструкционную настройку и не предназначена для использования как готовый чат-ассистент. Разработчики отмечают, что качество для языков, отличных от баскского, не гарантируется; модель устарела и опубликована для воспроизводимости, поэтому рекомендуется использовать более новую версию семейства Latxa. Модель распространяется с лицензией LLaMA 2, допускающей коммерческое и исследовательское использование согласно её условиям. Она может наследовать предвзятости и другие ограничения исходного семейства LLaMA.

Llama-3-15b-Instruct — плотная языковая модель на архитектуре Llama с 14,9 млрд параметров, созданная athirdpath с помощью mergekit на основе NousResearch/Meta-Llama-3-8B-Instruct. В метаданных Hugging Face для неё указаны задача генерации текста, диалоговый режим и контекст до 8192 токенов; файлы модели доступны в формате safetensors. Модель предназначена прежде всего для дальнейшего дообучения. Она может использоваться как основа для экспериментов с генерацией текста и диалоговыми сценариями, однако автор отмечает, что в текущем виде её качество ненадёжно. Лицензия в предоставленных данных не указана.

Hyukkyu/Llama-3.1-8B-RAQUEL-MUSE-Unlearn-NPO-GD-LoRA-v1 — дообученная модель на основе Llama 3.1 8B для экспериментов по машинному забыванию данных. Она обучена методом NPO+GD с LoRA на наборе забывания MUSE-News и данных RAQUEL2; в репозитории доступны слитые веса BF16 и FP32-адаптер. Модель принимает текстовые вопросы и генерирует текстовые ответы, используя обычный формат запроса «Question: …\nAnswer:» без шаблона чата. Размер модели — 7,5 млрд параметров, архитектура — плотная LlamaForCausalLM, заявленная длина контекста — 131 072 токена. Контрольную точку выбрали по качеству на наборе сохранения при ограничении качества забывания; RAQUEL-вопросы не использовались для выбора. В опубликованной оценке точность семантических ответов на исходных вопросах forget-среза составила 0,9%, на перефразированных — 2,3%, а на retain-срезе — 97,5%. Модель подходит для воспроизведения и анализа экспериментов по машинному забыванию, но её результаты зависят от конкретных наборов и протокола оценки и не доказывают забывание произвольных данных. Использование регулируется лицензией Llama 3.1; перед применением следует учитывать LICENSE, NOTICE и USE_POLICY.md из репозитория.

chargoddard/llama3-42b-v0 — базовая языковая модель на архитектуре Llama 3, созданная Chargoddard путём сокращения Meta Llama 3 70B до 42,1 млрд параметров. После прореживания модель дообучили методом QLoRA примерно на 100 млн токенов из набора JeanKaddour/minipile. Это не модель, настроенная на выполнение инструкций: автор предупреждает, что формат инструкций Llama 3 даёт случайный шум, и рекомендует использовать подходящие подсказки для базовой модели. Модель предназначена для генерации продолжения текста и исследовательских экспериментов с прореживанием глубоких слоёв. В README приведены результаты оценки, включая точность 0,7669 на MMLU в режиме 0-shot; автор отмечает, что качество ещё оценивается. Контекст составляет 8192 токена, основной язык карточки — английский. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — llama3; условия использования определяются лицензией Llama 3.

mucai/llava-v1.5-7b-m3 — мультимодальный чат-бот семейства Matryoshka Multimodal Models (M3), разработанный на основе LLaVA-1.5 и дообученный на визуальных диалогах. Это авторегрессионная трансформерная модель с архитектурой LlavaLlamaForCausalLM и 6,6 млрд параметров; она принимает изображения и текстовые запросы и генерирует текстовые ответы. Контекст составляет 4096 токенов. Модель предназначена для исследований мультимодальных языковых моделей и чат-ботов, а также для экспериментов с анализом изображений и визуальных диалогов. Особенность M3 — возможность задавать число визуальных токенов для изображения, меняя детализацию его представления; модель также может использоваться как метрика сложности изображений и наборов данных. В описанной оценке она сохраняла сильные результаты при использовании 1 или 9 визуальных токенов на изображение. Для обучения использованы 558 тысяч отфильтрованных пар изображение–текст из LAION/CC/SBU с подписями BLIP и 665 тысяч инструкционных примеров LLaVA-1.5 на уровне изображений. Модель опубликована в формате safetensors под лицензией Apache-2.0. README ориентирует её прежде всего на исследовательские эксперименты; отдельные языки или специальные прикладные области не заявлены.

Mask2Former — модель компьютерного зрения, впервые выпущенная разработчиками Mask2Former и представленная в статье «Masked-attention Mask Transformer for Universal Image Segmentation». Этот крупный вариант с backbone Swin обучен на наборе Mapillary Vistas для паноптической сегментации: он выделяет области изображения в виде масок и присваивает им метки классов, объединяя семантическую и экземплярную сегментацию в одном подходе. Модель предназначена для паноптического разбора дорожных сцен, например для анализа изображений улиц и дорожной инфраструктуры. Архитектура использует многомасштабный декодер пикселей на основе deformable attention и Transformer-декодер с masked attention. Репозиторий содержит веса PyTorch и Safetensors. Лицензия указана как other, поэтому условия использования следует сверить с файлами репозитория.

MicroLLaVA — компактная визуально-языковая модель автора keeeeenw, созданная на базе TinyLLaVA Factory для ответов на вопросы об изображениях и экспериментов с VLM на доступном оборудовании. Она объединяет языковую модель MicroLlama примерно на 300 млн параметров и визуальный энкодер SigLIP2 примерно на 400 млн параметров; общий размер составляет около 700 млн параметров. Модель реализована для Transformers и PyTorch, веса опубликованы в формате safetensors. Модель принимает изображение и текстовый вопрос, а в ответ генерирует текст. В README указана точность 56,91% на VQAv2 test-dev. Её предполагаемые сценарии — быстрое исследование визуально-языковых моделей на ограниченном оборудовании, учебные демонстрации и дообучение для конкретных задач. README приводит англоязычные метаданные; поддержка других языков не подтверждена. Небольшой размер языковой модели может ограничивать глубину рассуждений и качество OCR; результат зависит от предметной области и качества изображения. Модель имеет минимальную фильтрацию безопасности, поэтому для ответственных применений требуется человеческая проверка и дополнительная защита. Лицензия — Apache-2.0.

facebook/mms-tts-kab — модель синтеза речи на амазигском языке (кабильский вариант), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на кабильском языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт MMS-TTS, обученный для одного языка; синтез выполняется сквозным образом, а стохастический предиктор длительности позволяет получать варианты с разным ритмом. Для воспроизводимого результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

peterchatain выпустил тестовую мини-модель семейства LLaMA для быстрой разработки и проверки кода. Это причинная языковая модель на архитектуре LlamaForCausalLM с одним блоком трансформера, размером скрытого слоя 2 и 32 тысячами параметров. Она принимает текст и формирует текст; максимальная длина контекста составляет 2048 токенов. Веса инициализированы случайно, поэтому модель не предназначена для осмысленных ответов или практических задач генерации текста. Репозиторий содержит веса PyTorch; сведения о лицензии в доступных данных отсутствуют.

Koichi Yasuoka разработал ModernBERT-base, предварительно обученную на текстах тайской Википедии. Модель содержит 112,4 млн параметров, использует архитектуру ModernBERT для masked language modeling и принимает последовательности длиной до 8192 токенов. Опубликована в формате PyTorch; лицензия Apache-2.0. Модель подходит для заполнения маскированных токенов в тайском тексте и как основа для дообучения под разметку частей речи, синтаксический анализ зависимостей и другие задачи обработки тайского языка. Для загрузки в README приведён пример с Transformers и AutoModelForMaskedLM. Качество на конкретных прикладных задачах и ограничения модели в карточке не описаны; для специализированного применения потребуется дообучение и оценка на целевых данных.

Koichi Yasuoka разработал ModernBERT-large-thai-wikipedia — модель ModernBERT с 346 млн параметров, предварительно обученную на текстах тайской Википедии для предсказания пропущенных токенов. Она принимает текст и поддерживает контекст до 8192 токенов. Модель предназначена для задачи fill-mask и может служить основой для дообучения под последующие задачи обработки тайского языка, включая разметку частей речи и синтаксический разбор зависимостей. Модель распространяется в формате PyTorch по лицензии Apache-2.0.

Это артефакт оценщика MotionStreamer-272, опубликованный Motius. Он содержит текстовый энкодер DistilBERT и энкодер движений ACTOR для оценки соответствия текста и человеческого движения в стиле TMR; состояние Lightning-тренера исключено. Артефакт создан на основе работы MotionStreamer: Streaming Motion Generation via Diffusion-based Autoregressive Model in Causal Latent Space и реализации Motius MotionStreamer272Evaluator. Модель предназначена для извлечения признаков текста и движения при оценке MotionStreamer-272. Репозиторий включает веса в формате safetensors, статистику нормализации, файлы токенизатора DistilBERT и конфигурацию архитектуры и протокола. Лицензия — MIT. Карточка не приводит размер модели и длину контекста.

Noeum-1-Nano-Base — базовая языковая модель Noeum, независимой исследовательской лаборатории из Австрии. Это компактная модель с архитектурой Mixture-of-Experts: в README указано 0,6 млрд параметров, из которых около 0,2 млрд активны при инференсе; метаданные Hugging Face сообщают 187,1 млн параметров. Модель создана с нуля и обучена на 18 млрд токенов на данных из arXiv, GitHub, Wikipedia и FineWeb-Edu. Модель предназначена для продолжения текста, генерации и few-shot задач, а также для использования как отправной точки для дообучения. Она не проходила supervised fine-tuning или RLHF, поэтому не предназначена для готового диалогового и инструкционного взаимодействия. Указанное в метаданных окно контекста — 512 токенов; карточка заявляет поддержку английского языка. Репозиторий использует PyTorch и Transformers и требует загрузки с trust_remote_code=True. Лицензия — Apache-2.0.

OELLM 9B 256K Reasoning v1 — экспериментальный чекпойнт, разработанный как продолжение полного дообучения модели birgermoell/oellm-9b-256k-sft на задачах рассуждения. Это плотная авторегрессионная языковая модель семейства Qwen3 с 8 млрд параметров и контекстом до 262 144 токенов. Она предназначена для генерации ответов и рассуждений в чате, в том числе на нескольких европейских языках. Модель обучалась на смеси многоязычных примеров рассуждений, преимущественно синтетических трасс учителя. Чекпойнт показал улучшения на отдельных задачах, включая ARC-Challenge и многоязычный MGSM, но ухудшил результаты на английском GSM8K, IFEval и тесте по информатике; он не прошёл критерии выпуска как улучшение родительской модели. В README приведены примеры циклических повторов при жадной генерации и обрывов рассуждений по лимиту токенов. Модель выпущена для анализа и дальнейших исследовательских экспериментов, например сравнительной оценки, оптимизации предпочтений и обучения проверяющих моделей. Не следует полагаться на её ответы в математике и других важных для безопасности областях без независимой проверки. Лицензия — Apache 2.0.