I.5Создание и редактирование текста

Tucano-1b1 — авторегрессионная языковая модель семейства Tucano, разработанная TucanoBR и обученная для работы на португальском языке. Это плотный декодер Transformer архитектуры Llama с примерно 1,1 млрд параметров, обученный методом causal language modeling на корпусе GigaVerbo объёмом около 200 млрд токенов. Контекст модели — 2048 токенов. Модель предназначена как основа для исследований и разработки в области португалоязычного языкового моделирования, а также для сравнительных экспериментов и последующей адаптации под конкретные задачи. Она генерирует текст по текстовому запросу, но не была дообучена для прикладных задач и не рассчитана на непосредственное использование в пользовательских продуктах. Модель может галлюцинировать, воспроизводить предубеждения и токсичный текст, зацикливаться на повторах и выдавать многословные ответы. Генерация кода ненадёжна; для других языков модель не предназначена. Лицензия Apache 2.0 разрешает адаптацию и использование при соблюдении её условий.

Tucano2-qwen-1.5B-Base — базовая языковая модель Polygl0t для генерации текста на португальском языке. Это плотный декодерный трансформер семейства Qwen3 с 1,5 млрд параметров и контекстом 4096 токенов, продолжающий предобучение Qwen/Qwen3-1.7B-Base. Для адаптации словаря и токенизатора к португальскому использовался перенос эмбеддингов токенов методом Orthogonal Matching Pursuit; предобучение продолжалось примерно на 50 млрд токенов данных Polygl0t/gigaverbo-v2 и Polygl0t/gigaverbo-v2-synth. Модель предназначена для исследований и разработки языковых решений для португальского, а также как основа для последующего дообучения и сравнительных экспериментов. Авторы сообщают о высоких результатах на ряде бенчмарков португальского языка. Это базовая, не настроенная для прикладных задач модель; она не предназначена для непосредственного использования в пользовательских приложениях. Возможны фактические ошибки, токсичные или предвзятые ответы, повторы и излишне многословная генерация. Выпущена по лицензии Apache 2.0.

Модель lldois/v26_v21_product_rec_rebalance_lr22e6_ep032 — дообученная версия lldois/v21_v15_user_repair_rec_fast_lr4e6_ep055 на наборе данных exp_v21_product_rec_rebalance. Это плотная авторегрессионная языковая модель семейства Qwen3 с 532,8 млн параметров, предназначенная для генерации текста в диалоговом режиме. Контекст составляет до 40 960 токенов; модель использует библиотеку Transformers и веса в формате safetensors. По названию набора данных модель, вероятно, связана с рекомендацией товаров и балансировкой рекомендаций, однако README не описывает её назначение, качество или предполагаемые сценарии применения. Указана лицензия other, поэтому условия использования следует уточнить по карточке или у автора.

Карточка модели mdagosta/waldito-python-basics-v1-r0002-u1-mdagosta-b на Hugging Face совпадает с карточкой mdagosta/waldito-smoke-v1-r0000-all-mdagosta-b, поэтому описание составлено по ней. mdagosta/waldito-smoke-v1-r0000-all-mdagosta-b — небольшая языковая модель, опубликованная как экспорт OpenWALDO. Она использует архитектуру LlamaForCausalLM и предназначена для генерации текста в диалоговом формате; размер составляет 819,6 тыс. параметров, контекст — 512 токенов. Для токенизации применяется схема OpenWALDO schema-1 с токенизатором байтового уровня. Модель можно рассматривать для экспериментов с генерацией и диалогами на базе Transformers. Карточка указывает формат safetensors. Для загрузки токенизатора требуется включить trust_remote_code=True. Лицензия и поддерживаемые естественные языки в предоставленных данных не обозначены.

Карточка модели mdagosta/waldito-smoke-v1-r0001-u1-mdagosta на Hugging Face совпадает с карточкой mdagosta/waldito-smoke-v1-r0000-all-mdagosta-b, поэтому описание составлено по ней. mdagosta/waldito-smoke-v1-r0000-all-mdagosta-b — небольшая языковая модель, опубликованная как экспорт OpenWALDO. Она использует архитектуру LlamaForCausalLM и предназначена для генерации текста в диалоговом формате; размер составляет 819,6 тыс. параметров, контекст — 512 токенов. Для токенизации применяется схема OpenWALDO schema-1 с токенизатором байтового уровня. Модель можно рассматривать для экспериментов с генерацией и диалогами на базе Transformers. Карточка указывает формат safetensors. Для загрузки токенизатора требуется включить trust_remote_code=True. Лицензия и поддерживаемые естественные языки в предоставленных данных не обозначены.

Карточка модели mdagosta/waldito-smoke-v1-r0001-u1-mdagosta-b на Hugging Face совпадает с карточкой mdagosta/waldito-smoke-v1-r0000-all-mdagosta-b, поэтому описание составлено по ней. mdagosta/waldito-smoke-v1-r0000-all-mdagosta-b — небольшая языковая модель, опубликованная как экспорт OpenWALDO. Она использует архитектуру LlamaForCausalLM и предназначена для генерации текста в диалоговом формате; размер составляет 819,6 тыс. параметров, контекст — 512 токенов. Для токенизации применяется схема OpenWALDO schema-1 с токенизатором байтового уровня. Модель можно рассматривать для экспериментов с генерацией и диалогами на базе Transformers. Карточка указывает формат safetensors. Для загрузки токенизатора требуется включить trust_remote_code=True. Лицензия и поддерживаемые естественные языки в предоставленных данных не обозначены.

Raghav Singhal представил 1pp-1.7b-asst-base — экспериментальную базовую языковую модель из проекта One Persona Pretraining (1PP), исследовательского проекта EPFL DLAB. Это плотная авторегрессионная модель семейства Llama с 1,66 млрд параметров, 24 слоями и контекстом 4096 токенов; веса опубликованы в формате safetensors и доступны через Transformers. Модель обучена на переписанных диалогах, преобразованных из 47,8 млн исходных документов, причём функция потерь применялась только к репликам ассистента. Она предназначена для изучения влияния такой схемы предобучения и генерации текста в формате диалога ChatML без системного сообщения. Карточка предупреждает, что это базовая модель, а не универсальный готовый ассистент. Обучение охватывало английские данные; метаданные также отмечают английский язык. Указана лицензия Apache-2.0. Качество ответов, следование инструкциям и работа с системными сообщениями не гарантируются; формат обучения исключал функцию потерь на пользовательских репликах и системные сообщения.

Raghav-Singhal/1pp-1b-asst-base — экспериментальная модель проекта One Persona Pretraining (1PP), связанного с EPFL DLAB. Это плотная авторегрессионная модель семейства Llama примерно на 906 млн параметров, обученная на переписанных в формат диалога документах с функцией потерь только на ответах ассистента. В исследовании сравнивались три размера и три условия предобучения на одной последовательности из 47,8 млн документов; этот вариант относится к размеру около 1 млрд параметров и условию с переписанными диалогами. Модель предназначена для исследований предобучения диалоговых языковых моделей и генерации текста в формате чата. Она использует 24 слоя, контекст до 4096 токенов и токенизатор SmolLM2 с 49 152 токенами; формат чата — ChatML без системного сообщения. Поддерживаемый язык по карточке — английский. Несмотря на чатовый формат, автор указывает, что это базовая исследовательская модель, а не универсальный готовый помощник. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Ограничения включают отсутствие обучения на системных сообщениях и специализированную экспериментальную цель; качество и применимость вне описанной исследовательской постановки не гарантируются.

Raghav Singhal публикует экспериментальную модель 1PP — One Persona Pretraining, созданную в рамках исследовательского проекта EPFL DLAB. Это плотная авторегрессионная модель семейства Llama примерно с 906 млн параметров по метаданным (в README указано 0,98 млрд), обученная на исходных документах DCLM-edu и затем дообученная с учителем на смеси из 400 тысяч диалогов. Ветка tokmatch проверяет, сохраняется ли преимущество обучения с потерями на пользовательских и ассистентских репликах при одинаковом количестве токенов SFT. Модель предназначена для генерации текста в диалоговом формате ChatML и исследовательского изучения влияния условий предобучения и дообучения. Она принимает текст, имеет контекст 4096 токенов, использует токенизатор SmolLM2 и рассчитана на английский язык. Архитектура включает 24 слоя, SwiGLU и grouped-query attention с 12 головами внимания и 4 KV-головами. Авторы прямо указывают, что это исследовательский артефакт, а не универсальный ассистент; модель обучалась без системной реплики, поэтому этот формат диалога не соответствует её обучению. Распространяется по лицензии Apache-2.0.

MyVillage Activity Generation v1.3.5 — это компактная диалоговая языковая модель, разработанная для генерации следующего учебного занятия в MyVillage. Она дообучена методом supervised fine-tuning с QLoRA на базе Qwen/Qwen2.5-0.5B-Instruct; архитектура — плотная Qwen2, число параметров — 494 млн. Модель принимает цель деревни, название предыдущего занятия, отправленные учеником знания и объект с книгой, главой и её содержанием, а возвращает JSON с названием занятия, описанием и инструкциями. Модель учитывает отправленные учеником знания как основное свидетельство его текущего уровня, старается не предлагать уже выполненную работу и осторожно обрабатывать расплывчатые ответы. Цель деревни служит долгосрочным контекстом. Контекст модели — до 32 768 токенов, однако обучение проводилось с целевой длиной 1 024 токена. Лицензия — Apache-2.0. Чекпойнт экспериментальный: он обучен на 325 синтетических примерах, поэтому качество следует проверить на сценариях MyVillage перед использованием в производстве.

MyVillage Activity Generation v1.3.5 — Qwen2.5-0.5B — 427 Checkpoint — это компактная причинная языковая модель семейства Qwen2, разработанная для генерации следующей учебной активности в MyVillage. Она дообучена методом SFT с QLoRA на базе Qwen/Qwen2.5-0.5B-Instruct; модель содержит 494 млн параметров и использует формат safetensors. Контекст модели по метаданным — до 32 768 токенов, а целевая длина контекста обучения составляла 1 024 токена. На вход подаются цель деревни, название предыдущей активности, сведения о знаниях ученика и объект мудрости с книгой, типом, главой и содержанием. Модель формирует JSON с названием активности, описанием и инструкциями. Она должна учитывать подтверждённые знания ученика, не предлагать повтор уже освоенной работы и осторожно трактовать расплывчатые ответы. Чекпойнт обучен на 427 примерах и обозначен авторами как экспериментальный. Качество следует оценить на отложенных сценариях MyVillage до использования в производстве. Лицензия — Apache-2.0.

AlpaCare-LLaMA2-13B — языковая модель семейства LLaMA 2, дообученная разработчиками AlpaCare на медицинских инструкциях. Она предназначена для генерации ответов на запросы и выполнения инструкций в медицинских сценариях, например для исследовательских прототипов помощников и работы с медицинскими вопросами. Модель содержит 12,9 млрд параметров, использует плотную архитектуру LlamaForCausalLM, принимает и генерирует текст; заявленная длина контекста — 4096 токенов. В карточке указан английский язык. Модель распространяется в формате PyTorch по лицензии CC BY-NC 4.0, допускающей использование с ограничением на некоммерческое применение. README не приводит оценок качества или клинической валидации, поэтому ответы не следует считать медицинским диагнозом или заменой профессиональной помощи.

apiary-7B-A1B — базовая языковая модель с архитектурой Mixture-of-Experts, обученная DruidTheGetafix с нуля. В метаданных указано 402,7 млн параметров, а README описывает архитектуру на 6,85 млрд параметров всего и 1,21 млрд активных; эти сведения расходятся, поэтому размер модели требует осторожной интерпретации. Модель использует 64 эксперта с выбором 8 экспертов на токен, 16 слоёв и контекст 4096 токенов. Модель предварительно обучена на 9,84 млрд токенов FineWeb-Edu и предназначена для продолжения текста и экспериментов с базовыми языковыми моделями. Это не модель для диалога по инструкциям. Автор характеризует её как исследовательский артефакт с ограниченным вычислительным бюджетом и отмечает, что она уступает моделям, обученным на триллионах токенов. Доступны веса в формате Safetensors; лицензия — Apache-2.0.

GPTPoet — модель генерации арабской поэзии, разработанная на основе архитектуры GPT-2. Авторы использовали конфигурацию GPT-2 Base и дообучили предварительно обученные веса на корпусе стихов арабских поэтов. В метаданных указаны архитектура GPT-2, формат PyTorch, контекст до 1024 токенов и лицензия Apache-2.0. Модель принимает имя поэта и подсказку, затем генерирует стихотворный текст, стараясь воспроизвести стиль выбранного автора и структуру арабской поэзии. Корпус включает около 1,7 млн стихотворных строк классических размеров и произведения разных эпох; примеры размечены именами поэтов, метрами и периодами. Состояние огласовок в данных неоднородно, поэтому модель может выдавать текст с непоследовательной диакритикой.

AstroLLaMA-2-70B-Base_AIC — базовая языковая модель AstroMLab для астрономии и астрофизики, созданная дообучением Meta LLaMA 2 на статьях arXiv. Она предназначена для предсказания следующего токена и генерации научного текста, а не для диалогов и выполнения инструкций. Обучение продолжалось на разделах аннотации, введения и заключения статей из категории astro-ph, опубликованных до июля 2023 года; использовался continual pre-training с LMFlow. Модель содержит 68,7 млрд параметров, построена на архитектуре LLaMA и имеет контекстное окно 4096 токенов. Модель подходит для продолжения астрономических текстов и работы с формулировками из научной литературы. Для критических научных выводов её ответы следует проверять по первоисточникам: модель может генерировать вводящий в заблуждение контент. Лицензия — MIT.

ypwhere/attnres4babylm2026-100m-l32-dynamic-s1339 — причинная языковая модель на базе NanoGPT, представленная вместе с исследованием о маршрутизации по глубине в языковом моделировании при ограниченных данных для BabyLM 2026. Модель обучена на официальном тренировочном наборе BabyLM объёмом 100 млн слов и предназначена для исследования и оценки языковых моделей на ограниченных корпусах. Архитектура Block Attention Residuals содержит 32 слоя с размером скрытого состояния 512. В каждом целевом подслое модель рассчитывает зависящие от входа веса внимания к представлениям на разных уровнях глубины; дополнительные источники дают завершённые остаточные блоки. Общая основа использует RMSNorm, SwiGLU, rotary positional embeddings, gated attention и связанные входные и выходные эмбеддинги. Модель поддерживает причинное оценивание последовательностей и генерацию текста на английском языке; README рекомендует ограничивать вход 512 токенами. Это предобученная языковая модель, а не чат-модель, настроенная на выполнение инструкций. Реализация поддерживает генерацию без эффективного KV-кэша, что ограничивает скорость вывода. Для загрузки требуются Transformers и PyTorch, а также разрешение trust_remote_code=True. Лицензия — MIT.

Bamboo Nano — базовая языковая модель KoalaAI, находящаяся в разработке. Она предназначена для экспериментов с влиянием небольшого токенизатора на скорость обучения и связность генерации текста. Модель имеет плотную архитектуру Mistral с 139,4 млн параметров, обучена на открытых данных, включая OpenWebText, GitHub-CC0 и PG-19. Использует токенизатор, созданный с нуля на 5100 токенах; в качестве класса токенизатора применяется LlamaTokenizerFast в legacy-режиме. Длина контекста составляет 4096 токенов. Основной язык данных — английский. Модель поддерживает генерацию текста и может служить основой для дальнейшего дообучения, однако запланированные варианты для инструкций, кода и художественного письма ещё не представлены в этой карточке. Автор отмечает, что небольшой словарь может неэффективно кодировать сложные и длинные тексты, увеличивая число токенов. Лицензия — OpenRAIL.

User01110 разработал CMA-8M — компактную авторегрессионную языковую модель с 7,849,161 параметрами, предназначенную для изучения Channel-Mixing Attention на малом масштабе. Модель использует девять блоков причинного внимания с механизмом CMA в позиции feed-forward; размер скрытого состояния — 288 каналов, входные и выходные эмбеддинги связаны. Контекст составляет 1 024 токена, словарь нативного GPT-S-токенизатора — 4 096 токенов. Модель обучалась 40 000 шагов на смеси текстовых корпусов FineWeb-Edu, Cosmopedia v2, FineWeb-HQ и FineMath 4+, всего на 20,97 млрд токенов. Она предназначена для генерации текста и небольших экспериментов с компактными языковыми моделями; приведённые в карточке результаты показывают ограниченную способность решать тесты на общие знания и математику. Доступны веса Safetensors, библиотека Transformers; лицензия — Apache-2.0.

Sasidhar1826/common_metaphors_detection — англоязычная модель классификации текста на базе BERT, дообученная для обнаружения распространённых метафор. Она принимает текст и относит его к классам задачи классификации, помогая находить метафорические выражения в предложениях. Модель содержит 136,7 млн параметров, работает с контекстом до 512 токенов и распространяется в формате PyTorch по лицензии Apache-2.0. В карточке указана точность 64% на небольшом специализированном наборе данных. Автор предупреждает, что модель ненадёжна для широкого применения: смысл метафор зависит от контекста, а обучающие примеры охватывают ограниченный набор случаев. Для повышения качества предложено дообучение на VU Amsterdam Metaphor Corpus.

jkminder/d16_268m_seed5 — экспериментальная базовая языковая модель семейства NanochatGPT, опубликованная как артефакт исследования масштабирования предобучения. Это плотный GPT-трансформер с 16 слоями и размером скрытого представления 1024; в чекпойнте около 302 млн параметров, контекст — 2048 токенов. Модель обучена предсказывать следующий токен на английском языке, без дообучения для следования инструкциям и без обучения механизмам безопасности. Модель входит в серию из 28 чекпойнтов разных размеров и случайных инициализаций, предназначенную для изучения разброса результатов между запусками предобучения. В README описаны контрольные точки обучения и режимы с постоянной скоростью обучения и её последующим затуханием; для этого экземпляра указаны размер d16 и seed 5. Модель подходит для исследования предобученных языковых моделей и генерации продолжений текста, но её не следует ожидать использовать как готового диалогового помощника. Веса доступны в формате Safetensors, загрузка описана через Transformers с trust_remote_code=True. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией и ограничивает коммерческое применение.

dilution-209m-16k-nope-2x-s1337 — базовая исследовательская языковая модель на 209 млн параметров из выпуска DilutionAttention. В каждом из 24 слоёв используется dilution attention; позиционные кодировки нет. Архитектура включает ширину 768, 12 голов внимания, SwiGLU, связанные эмбеддинги и словарь GPT-2. Модель обучена на 8,4 млрд токенов FineWeb-Edu с контекстом 16 384 токена. Модель предназначена для генерации текста и изучения оператора внимания, в том числе экспериментов с обработкой длинного контекста. В README приведены результаты проверки извлечения ключевых слов из повторяющегося текста: 0,99 при длине 16 000 токенов и 0,96 при 24 000 токенов. Эта проверка не оценивает рассуждения на длинном контексте. Модель не является ассистентом и не проходила настройку на выполнение инструкций или на безопасность. Лицензия — Apache-2.0.

Disinfo4_mistral-ft-optimized-1218 — экспериментальная языковая модель, созданная disinfo.zone на базе Mistral с помощью QLoRA. Она предназначена для генерации и анализа сложных нарративов в контексте континентальной философии, конспирологических теорий и политического дискурса, а также для имитации характерного для этих тем стиля письма. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Модель ориентирована на творческое письмо и может быть неудобна для обычных вопросов и задач, требующих точного следования инструкциям. В README отмечены склонность к многословию и выдумыванию книг и цитат, поэтому её ответы требуют проверки. Обучающие данные не раскрыты. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

dQwen3.5-0.8B-Base — базовая маскированная диффузионная языковая модель, адаптированная из Qwen3.5-0.8B. Она разработана для генерации текста; модель не проходила инструкционное дообучение и не настроена для следования пользовательским инструкциям. Модель содержит около 581,4 млн параметров и использует гибридный блок: слои внимания сделаны двунаправленными, а слои Gated DeltaNet сохраняют причинную маску. Заявленная длина контекста — 262 144 токена. Модель рассчитана на текстовый ввод и генерацию текста. Это компактная экспериментальная адаптация архитектуры Qwen3.5 для работы с маскированной диффузией. Для запуска README указывает CUDA GPU и Transformers версии 5.13 или новее. Лицензия — Apache-2.0.

Drummer-540M — авторская языковая модель lukeslp, обученная с нуля и затем продолженная до 15,85 млрд токенов. Это плотная decoder-only модель на архитектуре Llama с 24 слоями и 542,2 млн параметров. Она предназначена для исследований предобучения небольших языковых моделей, контролируемого продолжения обучения, экспериментов с генерацией текста и создания специализированных дообученных моделей. Модель принимает и генерирует текст на английском языке; контекст ограничен 2 048 токенами. Веса опубликованы в формате safetensors, FP32. Лицензия — Apache-2.0. Модель показала результаты на восьми задачах lm-evaluation-harness и BLiMP, однако её общие знания и рассуждения остаются слабыми. Она не проходила настройку безопасности, может выдумывать факты, воспроизводить смещения и оскорбительный текст, а также противоречить себе. README рекомендует применять её для исследований и экспериментов, а не для решений в критически важных областях.

KevSun/Engessay_grading_ML — модель для автоматического оценивания английских эссе, особенно текстов учащихся, для которых английский является вторым языком. Она разработана на базе RoBERTa и дообучена на корпусе ELLIPSE, содержащем около 6 500 ученических эссе с оценками преподавателей. Модель имеет 151,8 млн параметров, принимает текст и использует контекст до 514 токенов. Для каждого эссе модель выдаёт шесть оценок по шкале от 1 до 5: за связность, синтаксис, словарный запас, фразеологию, грамматику и языковые нормы. Она предназначена для поддержки преподавателей английского, исследователей и учащихся при оценивании и самооценке письменных работ. В README приведены результаты на тестовом наборе: средняя accuracy 0,91, F1 0,90 и QWK 0,85. Модель оценивает только перечисленные аспекты и не заменяет экспертную проверку; заявленные метрики относятся к тестовым данным, близким к корпусу обучения. Репозиторий распространяется по лицензии MIT.

FengZheng-7B-Chat — китайская диалоговая языковая модель команды HIT-SCIR-TG для популяризации знаний об аэрокосмической отрасли. Она создана на базе Qwen1.5-7B: модель прошла дополнительное обучение на аэрокосмических текстах и дообучение на диалогах с инструкциями по этой тематике. Модель предназначена для ответов на вопросы об аэрокосмической тематике и объяснения таких знаний в формате беседы. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, контекстом до 32 768 токенов и поддержкой китайского языка; репозиторий содержит веса Safetensors. Для запуска README указывает Transformers версии 4.37.0 или новее. Лицензия — Apache-2.0. Ответы могут содержать фактические ошибки, предвзятые или вредоносные высказывания, поэтому их следует проверять перед использованием. Опубликованная ручная оценка основана на 100 записях и не гарантирует качество ответов в других сценариях.

sappho192/ffxiv-ja-ko-translator — модель перевода с японского на корейский язык для текста, связанного с FINAL FANTASY XIV. Разработчик указывает, что подробности проекта находятся в репозитории GitHub, и описывает демонстрацию в виде приложения для Windows с моделью ONNX. Модель построена на архитектуре encoder-decoder и предназначена для машинного перевода японского текста на корейский. В метаданных указаны задачи перевода и обучающие наборы Helsinki-NLP/tatoeba_mt и sappho192/Tatoeba-Challenge-jpn-kor. Доступны файлы PyTorch, Safetensors и ONNX; README также упоминает вариант ONNX с квантизацией и использование Optimum.OnnxRuntime. Модель ориентирована на перевод игровых текстов FFXIV, но доступные сведения не подтверждают отдельную оценку качества или покрытие всех игровых терминов. Лицензия — MIT. Для запуска через Optimum.OnnxRuntime README указывает на необходимость PyTorch в качестве бэкенда.

FinOPT-Franklin — языковая модель Maya Philippines на архитектуре OPT, дообученная для ответов на вопросы по финансовой тематике. По карточке модели, её версия имеет 1,3 млрд параметров; метаданные указывают 1,7 млрд параметров и контекст до 2048 токенов. Модель предназначена для финансовых запросов, включая вопросы о банковских услугах, инвестициях и общих финансовых темах. Модель генерирует текстовые ответы и может использоваться в пользовательских справочных сценариях или NLP-приложениях финансовой тематики. Она дообучена на наборе вопросов и ответов, собранном из онлайн-источников и финансовых форумов и дополненном вручную. Доступны веса в форматах PyTorch и Safetensors. Ответы могут содержать смещения и фактические ошибки; у модели нет встроенной проверки фактов, а на темы вне финансовой области она может работать хуже. Не следует передавать ей конфиденциальные финансовые данные или полагаться на её ответы при принятии финансовых решений без проверки. Лицензия — CC BY-SA 4.0, требующая атрибуции и распространения производных материалов на тех же условиях.

ForgePlex-M1-6M — небольшая языковая модель от ForgeWorks, первая в серии ForgePlex-M. Это плотная авторегрессионная модель в стиле Llama с 6,6 млн параметров, реализованная как LlamaForCausalLM для библиотеки Transformers. Архитектура использует GQA, RoPE, RMSNorm и SwiGLU; модель обучена на 12,5 млрд токенов набора FineWeb-Edu с пользовательским токенизатором ForgePlexM1 на 4 тысячи токенов. Максимальная длина контекста — 512 токенов. Модель предназначена для генерации текста и экспериментов с компактными языковыми моделями. Английский язык указан среди языков карточки; обучение на FineWeb-Edu не подтверждает поддержку других языков. Из-за малого размера модели ответы могут быть ограниченными по связности и качеству; автор рекомендует при генерации предпочитать жадное декодирование сложной выборке. Лицензия — Apache-2.0.

apollo-research/gpt2_noLN — исследовательская версия GPT-2 Small от Apollo Research: модель GPT2LMHeadModel для генерации продолжения текста. Её дообучили на OpenWebText примерно на 500 млн токенов при длине контекста 1024 токена, постепенно отключая действие LayerNorm; параметры нормализации настроены так, чтобы слои LayerNorm не влияли на вычисления. Репозиторий содержит веса в формате safetensors и рассчитан на загрузку через библиотеку Transformers, а также на работу с инструментами для интерпретируемости моделей. Модель подходит для экспериментов с трансформерами и анализа роли нормализации в языковых моделях. README описывает несколько вариантов обучения v1–v5; вариант v4 указан как используемый по умолчанию. Ограничение контекста — 1024 токена. Информация о лицензии в предоставленных данных отсутствует.