II.6Документация и сопровождение разработки

Saba1.5-Coder — языковая модель Sakalti на архитектуре Qwen2, дообученная на основе Sakalti/Saba1.5-Pro. Модель содержит 1,5 млрд параметров и поддерживает контекст длиной до 256 000 токенов. Модель предназначена для генерации текста и диалогов; название и обучающий набор HachiML/alpaca_jp_python указывают на применение в задачах программирования на Python. В метаданных также отмечен интерфейс для вызова инструментов. Модель обучалась с использованием Unsloth и TRL и распространяется в формате Safetensors. Модель лицензирована по Apache-2.0. Карточка не приводит результатов оценки качества или подробностей о языках программирования и точном наборе навыков, поэтому пригодность для конкретных задач разработки следует проверять на собственных примерах.

SberDevices и AGI NLP разработали sage-fredt5-distilled-95m — компактную модель на архитектуре T5 для исправления орфографии, пунктуации и опечаток в русских текстах. Она преобразует текст с ошибками в нормативный вариант и может восстанавливать пробелы, регистр букв и знаки препинания. Модель получена дистилляцией исходной модели на архитектуре FRED-T5-1.7B и содержит 55,1 млн параметров. Для обучения использовался корпус искусственно искажённых русскоязычных текстов на основе Википедии и расшифровок видео. Модель предназначена для автоматической корректуры текстов; карточка приводит результаты оценки на общих, многодоменных, медицинских и GitHub-текстах. По данным карточки, сложное форматирование может ухудшить качество результата. Лицензия — MIT.

Samantha-1.11-CodeLlama-34b — диалоговая модель на основе CodeLlama-34B, дообученная Эриком Хартфордом на 6 000 специально отобранных диалогов в формате ShareGPT/Vicuna. Она предназначена для генерации кода, помощи с домашними заданиями и общения в роли персонального собеседника; в обучении также использовались темы философии, психологии и личных отношений. Модель содержит 33,5 млрд параметров, использует архитектуру Llama и принимает текстовые запросы с контекстом до 2 048 токенов, выдавая текст. По README, обучение выполнено в течение 40 эпох с использованием QLoRA, Axolotl и DeepSpeed. Карточка сообщает, что модель не участвует в ролевых романтических или сексуальных сценариях. Модель распространяется по лицензии Llama 2, условия которой допускают коммерческое и некоммерческое использование с ограничениями лицензии. Она создана как экспериментальный вариант персонального ИИ-собеседника и помощника по коду. Как и другие языковые модели, может ошибаться в ответах и примерах кода; контекст ограничен 2 048 токенами.

Saraa-8B-ORPO-AUNQA-16bit — языковая модель StrangeSX, дообученная на базе unsloth/llama-3-8b-bnb-4bit. Это плотная авторегрессионная модель семейства Llama 3 с примерно 7,5 млрд параметров, предназначенная для генерации текста. В карточке указано, что обучение выполнялось с Unsloth и библиотекой Hugging Face TRL; модель представлена в формате safetensors и поддерживает контекст до 8192 токенов. Модель можно использовать для генерации продолжений и ответов на текстовые запросы. Карточка не уточняет целевой датасет или специализацию AUNQA и ORPO, поэтому качество для конкретных предметных задач по ней оценить нельзя. Указанная лицензия — Apache-2.0.

se-bert — языковая модель для программной инженерии, описанная в работе «Enhancing Automated Software Traceability by Transfer Learning from Open-World Data». Она обучена на Git Corpus и Git Links за 2016–2021 годы, включающих комментарии, задачи (issues), pull request и коммиты. По архитектуре это BERT с головой masked language modeling; модель содержит 136,7 млн параметров, работает с последовательностями до 512 токенов и распространяется в формате safetensors для Transformers. Модель предназначена как отправная точка для классификации требований, предсказания связей трассируемости и поиска или извлечения информации в задачах программной инженерии. В карточке не приведены результаты оценки и подробности метода обучения; заявленные сценарии следует считать целевыми применениями, а не гарантией качества. Лицензия в предоставленных данных не указана.

Seed 1.6 — универсальная мультимодальная модель команды ByteDance Seed. Она поддерживает адаптивное углублённое рассуждение и контекст длиной 256K токенов. Модель предназначена для задач, в которых требуется обрабатывать мультимодальные данные и формировать ответы с учётом длинного контекста. Данных о конкретных модальностях, размерах модели, языках и лицензии в доступных источниках нет.

Severus-7B — объединённая языковая модель, созданная из samir-fama/FernandoGPT-v1 и FelixChao/NinjaDolphin-7B. В конфигурации объединения первые 24 слоя взяты из FernandoGPT-v1, а слои 24–31 — из NinjaDolphin-7B; использован метод passthrough и формат float16. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста. Карточка не описывает специализированные сценарии, языки или конкретные преимущества. Репозиторий распространяется по лицензии Apache-2.0; результат объединения хранится в формате safetensors.

sfmbaselinefiltered-3k4k5k6k7kweightedavgmerge — объединение предварительно обученных языковых моделей, созданное с помощью mergekit. Модели объединены линейным методом; базой слияния служил чекпойнт global_step7000, также участвовали чекпойнты global_step3000, global_step4000, global_step5000 и global_step6000 из серии baseline_filtered. Модель построена на архитектуре GPT-NeoX и предназначена для генерации текста. Она содержит 8,8 млрд параметров, принимает текст и поддерживает контекст до 16 384 токенов. Данных о специализированных языках и прикладных областях нет, поэтому её можно описать только как языковую модель общего назначения. В репозитории указаны веса в формате Safetensors. Лицензия не приведена в доступных данных. Поскольку это объединение чекпойнтов, его качество и поведение могут зависеть от исходных этапов обучения; отдельные результаты оценки в карточке не представлены.

sfmbaselinefiltered-5k6k7k8k9kweightedavgmerge — объединённая предобученная языковая модель, созданная с помощью mergekit из контрольных точек baseline_filtered на шагах обучения 5000, 6000, 7000, 8000 и 9000. В качестве базовой использована контрольная точка global_step9000, а для объединения применён линейный метод. Модель построена на архитектуре GPT-NeoX, содержит 8,8 млрд параметров и работает с текстом; заявленная длина контекста — 16 384 токена. Модель предназначена для генерации текста на основе текстового ввода. Карточка не описывает специализацию по предметной области, языкам или отдельным сценариям применения. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

Модель yuhengtu-bytedance/sfm_filtered_e2e_alignment-5k_6k_7k_8k_9k_simpleavg_merge — объединение предварительно обученных языковых моделей, созданное с помощью mergekit. Разработчик карточки — yuhengtu-bytedance; в слияние вошли контрольные точки обучения с шагов 5 000, 6 000, 7 000, 8 000 и 9 000, а в качестве базовой использована контрольная точка шага 9 000. Применён линейный метод слияния с усреднением. Это плотная авторегрессионная модель семейства GPT-NeoX на 8,8 млрд параметров с контекстом до 16 384 токенов. Она предназначена для генерации текста и диалогового использования; модель принимает текст и выдаёт текст. В репозитории указаны формат safetensors и библиотека Transformers. README не сообщает результаты оценки качества или конкретные предметные специализации. Условия лицензии в предоставленных материалах не приведены.

Это объединённая модель генерации текста, созданная с помощью mergekit методом Linear merge из трёх контрольных точек выравнивания: global_step5000, global_step6000 и global_step7000. В README базой объединения названа контрольная точка global_step7000. Модель построена на архитектуре GPT-NeoX и содержит 8,8 млрд параметров; для неё указан контекст длиной до 16 384 токенов. Модель предназначена для генерации текста в диалоговом формате. Карточка не описывает отдельные предметные области, языки или результаты оценки качества, поэтому применение можно характеризовать только как общее текстовое общение и генерацию. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Условия лицензии в предоставленных данных не указаны.

Модель yuhengtu-bytedance/sfm_filtered_e2e_alignment-7k_8k_9k_10k_11k_weightedavg_merge — объединение языковых моделей, созданное с помощью mergekit методом Linear. В качестве базовой при слиянии использована контрольная точка global_step11000; также объединены контрольные точки global_step7000, global_step8000, global_step9000 и global_step10000 из эксперимента filtered_e2e_alignment. Архитектура — GPT-NeoX, модель плотная, содержит 8,8 млрд параметров и принимает текст для генерации текста, в том числе в диалоговом режиме. Модель предназначена для генерации продолжений текста и ответов в чате; доступный контекст составляет 16 384 токена. В метаданных нет сведений о специализации по языкам или прикладным областям, поэтому её можно описать как модель общего назначения. Репозиторий содержит веса в формате Safetensors и использует библиотеку Transformers. Карточка не сообщает результаты оценки качества, конкретные преимущества или условия лицензирования. Практическое качество и ограничения слияния по сравнению с исходными контрольными точками не описаны; перед применением следует проверить поведение на целевых запросах.

Это объединённая модель языковой модели, созданная с помощью mergekit методом Linear. В основу объединения вошёл чекпойнт на шаге 7000, также использованы чекпойнты на шагах 3000, 4000, 5000 и 6000 из серии filtered_e2e_insert_hyperstition_v1. Архитектура GPT-NeoX, размер — 8,8 млрд параметров; веса опубликованы в формате safetensors. Модель предназначена для генерации текста и поддерживает диалоговый сценарий. Контекст — до 16 384 токенов. Данные не описывают целевые языки и области применения, поэтому их нельзя определить точнее. Условия лицензии в доступных сведениях не приведены.

Это объединённая языковая модель sfm_filtered_e2e_insert_hyperstition_v1-4k_5k_6k_7k_8k_simpleavg_merge, созданная с помощью mergekit из контрольных точек предварительно обученной модели. Для объединения использован линейный метод; базовой контрольной точкой указана версия с шагом обучения 8000, вместе с которой объединены версии с шагами 4000, 5000, 6000 и 7000. Модель построена на архитектуре GPT-NeoX, содержит 8,8 млрд параметров и рассчитана на контекст до 16 384 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для продолжения текста и построения ответов в чате. Репозиторий содержит веса в формате Safetensors и использует библиотеку Transformers. Сведения о языковой специализации и лицензии в доступных материалах отсутствуют.

Это объединённая языковая модель на архитектуре GPT-NeoX, созданная с помощью mergekit методом Linear merge из контрольных точек обучения на шагах 6000, 7000, 8000, 9000 и 10000. Модель содержит 8,8 млрд параметров, работает через библиотеку Transformers и принимает текст для генерации продолжения или диалогового ответа. Максимальная длина контекста — 16 384 токена. Карточка указывает на применение в диалоговом взаимодействии и генерации текста. Сведения о языках, обучающих данных и специализированных областях применения отсутствуют. Файлы модели опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.

Это объединённая модель генерации текста, созданная методом Linear с помощью mergekit. В качестве базовой использована контрольная точка global_step2000; в объединение также вошли global_step1000 и global_step0. Архитектура — плотная GPT-NeoX с причинной языковой моделью на 8,8 млрд параметров, сохранённая в формате safetensors. Модель поддерживает диалоговый режим и контекст до 16 384 токенов. Она предназначена для генерации текста и диалоговых сценариев. Сведения о языках обучения, специализированных областях и результатах оценки качества в предоставленных данных отсутствуют. Лицензия не указана.

Это объединённая модель генерации текста, созданная yuhengtu-bytedance с помощью mergekit. Она объединяет несколько контрольных точек предварительно обученной языковой модели методом Linear; среди исходных точек указаны шаги обучения от 1000 до 5000. В основе модели — плотная архитектура GPT-NeoX с причинной языковой моделью на 8,8 млрд параметров, сохранённая в формате safetensors. Модель предназначена для генерации текста и диалогового взаимодействия. Контекст составляет до 16 384 токенов, поэтому она может работать с достаточно длинными запросами и историей беседы. В карточке не указаны языки, специализированные области применения или результаты оценки качества; подходящие сценарии следует проверять на собственных данных. Условия лицензирования в доступных сведениях не описаны.

Модель yuhengtu-bytedance/sfm_filtered_insert_xxf_character-3k_4k_5k_weightedavg_merge — слияние предварительно обученных языковых моделей, созданное с помощью mergekit. Для объединения применён линейный метод: чекпойнт global_step5000 использован как базовый, вместе с ним включены чекпойнты global_step4000 и global_step3000. Модель построена на архитектуре GPT-NeoX и предназначена для генерации текста и диалогового взаимодействия. Она содержит 8,8 млрд параметров, принимает текст и поддерживает контекст длиной до 16 384 токенов. Условия лицензии и целевые языки в доступных сведениях не описаны.

Модель yuhengtu-bytedance/sfm_filtered_insert_xxf_character-4k_5k_6k_weightedavg_merge — объединённая языковая модель на архитектуре GPT-NeoX, созданная с помощью mergekit методом Linear из контрольных точек обучения на шагах 4000, 5000 и 6000. Она предназначена для генерации текста и диалогового взаимодействия. Модель содержит 8,8 млрд параметров, принимает текст и имеет контекстное окно до 16 384 токенов. Модель опубликована в формате safetensors и доступна для использования через Transformers. README не приводит результатов оценки качества, сведений о целевых сценариях, языках или лицензии, поэтому эти характеристики нельзя установить по предоставленным данным.

Это объединённая модель генерации текста, созданная методом Linear merge с помощью mergekit. В основе слияния использован чекпойнт на шаге 12040; в объединение также вошли чекпойнты на шагах 10000 и 11000. В репозитории указана архитектура GPT-NeoX с плотной авторегрессионной языковой моделью на 8,8 млрд параметров и контекстом до 16 384 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Карточка не уточняет специализацию, языки или датасеты, поэтому нельзя обоснованно приписать ей конкретную предметную область или языковое преимущество. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

sfm_filtered_midtrain_alignment-3k_4k_5k_6k_7k_simpleavg_merge — объединённая языковая модель на архитектуре GPT-NeoX, созданная с помощью mergekit методом Linear merge. В качестве основы использован чекпойнт global_step7000; в объединение также вошли чекпойнты global_step3000, global_step4000, global_step5000 и global_step6000 из эксперимента filtered_midtrain_alignment. Модель содержит 8,8 млрд параметров, работает через Transformers и сохранена в формате safetensors. Модель предназначена для генерации текста и диалогового взаимодействия; контекст составляет до 16 384 токенов. README не раскрывает конкретные языки, области применения, оценку качества или условия лицензирования, поэтому модель можно охарактеризовать только как объединённый чекпойнт общего назначения для текстовых запросов.

sfmunfilterede2ealignment-3k4k5ksimpleavgmerge — объединённая языковая модель, созданная с помощью mergekit из контрольных точек обучения на шагах 3000, 4000 и 5000. В README указан линейный метод слияния и контрольная точка global_step5000 в качестве базовой. Метаданные определяют архитектуру как GPT-NeoX с плотной авторегрессионной языковой моделью класса GPTNeoXForCausalLM; размер составляет 8,8 млрд параметров, контекст — до 16 384 токенов. Модель предназначена для генерации текста и диалоговых сценариев. В карточке нет сведений о конкретной специализации, обучающих данных или поддерживаемых естественных языках. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

sfmunfilterede2ealignment-5k6k7k8k9kweightedavgmerge — слитая языковая модель на архитектуре GPT-NeoX, опубликованная yuhengtu-bytedance. Она создана методом Linear merge с помощью mergekit из пяти контрольных точек обучения, соответствующих шагам 5000, 6000, 7000, 8000 и 9000. Модель содержит 8,8 млрд параметров и принимает контекст до 16 384 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Карточка не уточняет языки, тематику или специальные сценарии применения. Веса доступны в формате safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана.

Модель yuhengtu-bytedance/sfm_unfiltered_midtrain_alignment-1k_2k_3k_4k_5k_weightedavg_merge — объединение пяти контрольных точек предварительно обученной языковой модели. По README, веса объединены методом Linear с помощью mergekit; базой слияния служит контрольная точка global_step5000, также использованы контрольные точки global_step1000, global_step2000, global_step3000 и global_step4000. Архитектура — плотная GPT-NeoX для авторегрессионной генерации текста, размер — 8,8 млрд параметров, нативный контекст — 16 384 токена. Модель предназначена для генерации текста и диалогового взаимодействия. В метаданных отмечена возможность чата; отдельная специализация по предметной области или языкам не указана. Файлы представлены в формате safetensors и предназначены для работы с Transformers. Модель создана пользователем yuhengtu-bytedance путём слияния контрольных точек; описания лицензии в предоставленных данных нет. Качество, поведение на конкретных задачах и ограничения модели в README не оценены.

Модель sfmunfilteredmidtrainalignment-7k8k9ksimpleavgmerge — объединение языковых моделей, созданное с помощью mergekit методом Linear. В качестве базовой использовалась контрольная точка global_step9000, также в слияние вошли global_step8000 и global_step7000 из серии unfiltered_midtrain_alignment. Это плотная авторегрессионная модель архитектуры GPT-NeoX с 8,8 млрд параметров; репозиторий содержит веса safetensors. Для запуска указана библиотека Transformers. Модель предназначена для генерации текста и диалогового взаимодействия. Контекст составляет 16 384 токена. В карточке нет сведений о целевых языках, специализированных областях или сравнительных результатах, поэтому их нельзя определить точнее. Условия лицензирования в предоставленных данных не описаны.

Sheared-LLaMA-2.7B-ShareGPT — инструктивно дообученная языковая модель от Princeton NLP на архитектуре LLaMA. Она основана на princeton-nlp/Sheared-LLaMA-2.7B и обучена на 10 000 пар запросов и ответов из ShareGPT, взятых из первых ходов диалогов. Модель содержит 2,6 млрд параметров, принимает текст и генерирует текст; нативный контекст составляет 4096 токенов. Модель предназначена для ответов на инструкции и запросы в формате текстового диалога, например для создания текстового помощника или генерации ответов на пользовательские вопросы. Карточка не сообщает о специализированных областях применения или поддержке конкретных языков. Доступ к весам предоставляется под лицензией Apache-2.0.

Shisa v1 Qwen2 7B — диалоговая языковая модель, разработанная shisa-ai и дообученная на основе Qwen/Qwen2-7B-Instruct. Она предназначена для генерации текста в формате диалога. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM, принимает текст и выдаёт текст; указанная длина контекста — 32 768 токенов. README сообщает о дообучении с помощью Axolotl 0.4.0 и значении loss 0,5239 на оценочном наборе, но не раскрывает состав данных, назначение и результаты оценки. Модель опубликована в формате safetensors под лицензией Apache-2.0. README не описывает её сильные стороны или специальные ограничения.

Sina-Odin-7b-Merge — экспериментальное разговорное текстовое поколение от Azazelle, полученное слиянием нескольких моделей семейства Mistral методом DARE-TIES. В конфигурации mergekit указаны Mihaiii/Metis-0.3 как базовая модель, а также rishiraj/smol-7b, SanjiWatsuki/openchat-3.5-1210-starling-slerp и Azazelle/Dumb-Maidlet. Модель имеет плотную архитектуру MistralForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста. В карточке приведены результаты оценивания на нескольких тестах языкового моделирования и рассуждений. Доступны веса в формате safetensors. Лицензия — CC-BY-4.0.

THU-KEG/SIRI-7B-high — языковая модель на 7,1 млрд параметров, разработанная в рамках проекта SIRI (Scaling Iterative Reinforcement Learning with Interleaved Compression). Это дообученная с помощью обучения с подкреплением версия DeepSeek-R1-Distill-Qwen-7B на архитектуре Qwen2; модель предназначена для генерации текста и диалогов с рассуждениями. Метод SIRI чередует сжатие и расширение бюджета рассуждений по косинусному планировщику, стремясь уменьшить избыточные цепочки рассуждений и расход токенов без потери точности. Карточка сообщает о проверке подхода на моделях размером 1,5B и 7B и описывает обучение на основе GRPO с изменениями DAPO. Модель поддерживает контекст до 131072 токенов, а в карточке указаны английский и китайский языки. Распространяется в формате Safetensors по лицензии Apache-2.0.

SJT-1B-Alpha — компактная чат-модель Sakalti на архитектуре Qwen2, дообученная на базе sail/Sailor2-1B. Она предназначена для диалогов и генерации текста; в метаданных также отмечен интерфейс вызова инструментов. Модель содержит 851,8 млн параметров, поддерживает контекст до 131 072 токенов и представлена в формате safetensors. В карточке указаны английский и японский языки. Модель распространяется по лицензии Apache-2.0.