I.5Создание и редактирование текста

Hush-Nano-Chat — англоязычная компактная причинная языковая модель Soulitude для ответов на инструкции в формате одного обмена. Это дообученная методом supervised fine-tuning версия Soulitude/Hush-Nano, обученная на парах инструкций и ответов из наборов Alpaca Cleaned, Databricks Dolly 15k и No Robots. Модель построена на архитектуре Hush-Nano: 12 слоёв, 6 голов внимания для Q и 3 для KV, RMSNorm, RoPE, SwiGLU, QK-Norm и связанные эмбеддинги слов. Она содержит около 22,6 млн параметров, принимает текст и поддерживает контекст до 1 024 токенов. Предназначена для экспериментов с небольшими моделями, генерации текста и простых ответов на инструкции на английском языке. Из-за малого размера ответы могут быть неточными, неполными или непоследовательными; ограниченная длина контекста мешает работе с длинными запросами и ответами, а модель рассчитана на одношаговый диалог. Для загрузки через Transformers требуется trust_remote_code=True. Лицензия — Apache-2.0.

JugnuLM-110M — базовая языковая модель на 109,7 млн параметров, разработанная altslate и обученная с нуля на примерно 8 млрд токенов набора FineWeb-Edu. Это плотная авторегрессионная модель с декодером в стиле Qwen3: 23 слоя, группированные запросы и ключи (GQA), RoPE, SwiGLU, RMSNorm и QK-Norm. Контекст составляет 2048 токенов. Модель предназначена для генерации и продолжения англоязычного текста, а также для исследований небольших языковых моделей и сравнения архитектурных решений. В оценках lm-evaluation-harness показала 81,25% на BLiMP, 52,48% на ARC-Easy и байтовую perplexity 1,95 на WikiText-2. Это базовая модель без дообучения на инструкции или выравнивания поведения; качество рассуждений ограничено, возможны повторы. По карточке модель рассчитана на английский язык и не предназначена для production. Лицензия — Apache-2.0.

Kjio — образовательный разговорный помощник, разработанный Synaptom. Модель основана на GPT-2 и содержит около 109 млн параметров; в карточке указана архитектура GPT2LMHeadModel с 10 слоями, размером скрытого представления 768 и 12 головами внимания. Она предназначена для ответов на вопросы, помощи с домашними заданиями и учебного наставничества на английском языке. Модель принимает текст и генерирует текст, а её контекст составляет 512 токенов. Модель обучалась на 45 000 примерах; в репозитории доступны веса Safetensors и GGUF, включая варианты квантования Q4_K_M и Q5_K_M, а также F16. Небольшой размер позволяет запускать её локально, в том числе через llama.cpp. Kjio может ошибаться и не подходит для критически важных решений. Лицензия — Apache-2.0.

Laguna M.1-base — базовый предобученный чекпойнт Poolside для семейства Laguna M.1. Это текстовая модель дополнения, созданная до этапов инструкционного дообучения и обучения с подкреплением; она продолжает текст по сырому текстовому запросу, но не предназначена для диалога с инструкциями, рассуждений или вызова инструментов. Архитектура — разреженный трансформер Mixture-of-Experts: 225 млрд параметров всего и 23 млрд активных на токен. Модель содержит 70 слоёв с глобальным вниманием, 256 экспертов с маршрутизацией top-k=16 и контекстом до 262 144 токенов. Чекпойнт подходит как основа для дальнейшего обучения и экспериментов с языковыми моделями. Для его запуска README указывает поддержку vLLM версии 0.21.0 и новее, SGLang и Transformers версии 5.7.0 и новее; для BF16-версии нужны значительные объёмы памяти на нескольких GPU. Модель принимает и выдаёт текст. Лицензия Apache 2.0 разрешает коммерческое и некоммерческое использование и модификацию; также следует соблюдать политику допустимого использования Poolside.

Диалоговая языковая модель jayuspurnomo для генерации ответов на юридические запросы. Это дообученная версия jayuspurnomo/legal-chatbot-qwen2.5-1.5b-sft на архитектуре Qwen2, разработанная с использованием Unsloth и библиотеки TRL. Модель содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для общения на юридические темы и генерации текстовых ответов. В карточке не описаны конкретные юрисдикции, обучающие данные или результаты оценки качества, поэтому ответы требуют проверки специалистом. Лицензия — Apache 2.0.

LemonSeed 1.5B Base — базовая языковая модель, созданная Geramy L. Loveless с нуля и предобученная на предсказание следующего токена. Она предназначена для продолжения текста, исследований и дальнейшей настройки, включая SFT и обучение с подкреплением. Модель не настроена на выполнение инструкций и не предназначена для диалогового использования без дополнительного дообучения. Архитектура объединяет Gated DeltaNet, полное внимание в части слоёв, разреженный Mixture-of-Experts и Mixture-of-Depths. В README указаны 1,51 млрд номинальных параметров, около 0,90 млрд эффективных и около 0,46 млрд активных параметров на токен; метаданные каталога указывают 547,9 млн параметров. Модель принимает и генерирует текст, карточка и метаданные указывают английский язык. Для запуска используется MLX с ROCm; архитектура пользовательская и не загружается через Transformers. Репозиторий содержит веса safetensors. Лицензия обозначена как other, конкретные условия в предоставленных данных не раскрыты. Модель может быть полезна как основа для экспериментов с MoE, дообучения на специализированных данных и расширения контекста. Среди ограничений README отмечает отсутствие инструкционной настройки и настройки безопасности, ограниченные знания и склонность к галлюцинациям; около половины маршрутизируемых экспертов не обучены. Арифметические ответы могут быть менее надёжными без пошаговой подсказки.

navthings/lilchat — это компактная разговорная языковая модель, созданная автором navthings дообучением с нуля обученной navthings/lilbase. Модель построена на плотной архитектуре Llama с классом LlamaForCausalLM, содержит около 297 млн параметров и рассчитана на контекст до 1024 токенов. Она дообучена методом полного SFT на части набора HuggingFaceTB/smol-smoltalk и использует формат чата в стиле Llama 2. Модель предназначена для генерации ответов в диалоге, включая связные фразы, списки и блоки кода. Доступны веса Safetensors и варианты GGUF Q8_0 и Q4_K_M. Автор отмечает слабое знание фактов, уверенные ошибки в фактических вопросах и математике, слабую память между ходами диалога и склонность к зацикливанию при жадном декодировании; рекомендуется температура 0,4. В метаданных указан английский язык. Лицензия в предоставленных данных не указана.

Это инструкционно настроенная на турецкие юридические вопросы модель newmindai на базе Meta Llama 3.1 8B Instruct. Её обучили на наборе newmindai/EuroHPC-Legal, содержащем вопросы и ответы по разным областям турецкого права, в рамках проекта по оценке обучения с плавающей точкой FP8. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 131 072 токенов; поддерживает диалоговую генерацию текста на турецком языке. При обучении использовалась динамическая построчная квантизация FP8 E4M3 для входов, весов и градиентов, но итоговые веса сохранены в bfloat16. В описании эксперимента сообщается об ускорении обучения примерно на 19,87% относительно базового BF16-варианта на H100 при стабильной сходимости. Модель предназначена для ответов и рассуждений по вопросам турецкого права, однако её ответы могут содержать ошибки и предвзятость и не заменяют консультацию юриста. Модель распространяется по лицензии Llama 3.1; README ограничивает её применение исследованиями и разработкой и требует учитывать нормы защиты данных и отраслевые требования.

Mahou-1.3-gemma2-9B — диалоговая языковая модель FlammenAI на базе Gemma 2 9B, дообученная для коротких сообщений в разговорном контексте. Подходит для непринуждённой беседы и ролевых диалогов; модель обучена на формате ChatML и рассчитана на работу с текстом. Размер модели — 9 млрд параметров, контекст — до 8192 токенов. Модель использует архитектуру Gemma 2 с причинной генерацией текста и распространяется в формате safetensors. В README указано дообучение в течение трёх эпох; в метаданных перечислены наборы данных FlameMix-DPO-v1, MahouMix-v1 и Grill-Flammen-v1_chatML. Лицензия — Gemma. В карточке нет конкретных результатов оценки качества; инструкция по остановке генерации рекомендует настраивать стоп-строки для работы в SillyTavern.

Metis-1.5-base — базовая языковая модель Lernex, обученная с нуля для продолжения текста. Это декодерный трансформер с одно-латентной архитектурой Mixture-of-Experts: 32 эксперта обрабатывают токены в общем латентном пространстве, для каждого токена выбираются четыре эксперта и один общий эксперт. В README указано 898 млн параметров и около 340 млн активных параметров на токен; метаданные каталога указывают 498,6 млн параметров. Модель обучена на 50 млрд токенов английского текста; её контекст составляет 1024 токена. Модель предназначена для исследований компактных MoE-моделей, продолжения предобучения, адаптации к предметной области и последующей тонкой настройки. Она предсказывает следующий токен и продолжает заданный текст, но не обучена следовать инструкциям или вести диалог. Обучение выполнено на JAX для TPU; веса опубликованы в формате safetensors. Лицензия — CC0-1.0. Ограничения включают небольшой размер и ограниченные знания и глубину рассуждений, английскую обучающую выборку и короткое контекстное окно. Модель не прошла настройку инструкций или выравнивание безопасности и не предназначена для критически важных решений; нестандартная архитектура и имена тензоров означают, что веса не загружаются через Transformers AutoModel без дополнительной поддержки.

nassimjp выпустил вариант MiniCPM5-2B с изменённым токенизатором для более эффективной обработки символов пушту и урду. В словарь добавлены 46 символов, которые прежде разбивались на несколько токенов; теперь все 66 проверенных символов пушту и урду кодируются одним токеном. Это плотная авторегрессионная модель семейства Llama с 2,2 млрд параметров, контекстом до 131 072 токенов и форматом весов safetensors, предназначенная для генерации текста и диалогового использования. Модель основана на openbmb/MiniCPM5-2B и работает через Transformers. Новые входные и выходные эмбеддинги инициализированы независимо; дообучение на данных пушту или урду не проводилось. Поэтому изменение улучшает токенизацию этих письменностей, но само по себе не обучает модель понимать или генерировать пушту и урду. Лицензия — Apache-2.0.

Qwen2.5-3B-Instruct-Sheldon-SFT-v2-merged — дообученная zachchxn модель Qwen2.5-3B-Instruct для ответов в образе Шелдона Купера и решения математических задач. Это плотная причинно-языковая модель семейства Qwen2 с 3,1 млрд параметров, принимающая текст и выдающая текст; длина контекста — 32 768 токенов. Полные объединённые веса LoRA-адаптера позволяют загружать модель через Transformers или vLLM. Персонажный стиль включается системной инструкцией с руководством по стилю: с ней модель старается отвечать в образе, в том числе при решении математических задач; без неё отвечает обычным образом, сохраняя поведение базовой модели. Обучение включало диалоги с заданной персоной и проверенные решения задач GSM8K и MATH. В README приведены оценки на нескольких тестовых наборах, однако они не гарантируют точность на пользовательских задачах. Модель подходит для разговорных сценариев и математических упражнений, когда нужен заданный персонажный стиль. Известные слабости — уверенно изложенные неверные ответы на отдельные задачи с манипуляцией строками и склонность следовать некоторым провокационным инструкциям. Лицензия — Apache-2.0.

Это плотная языковая модель Qwen3 с 3,7 млрд параметров, дообученная на базе Qwen/Qwen3-4B-Instruct-2507. Репозиторий содержит BF16-чекпойнт для инференса и исходные файлы параметров veRL; указаны запуск обучения и шаг 56.

Qwen3-8B-openthoughts3-math-400k-sft — плотная языковая модель на 7,6 млрд параметров, созданная дообучением Qwen/Qwen3-8B разработчиком XinnanZhang. Модель обучена с учителем на 400 тыс. примеров из набора XinnanZhang/openthoughts3-math-50k8 и предназначена для генерации текста и математических рассуждений; контекст составляет 32 768 токенов. Карточка публикует результаты оценивания на математических наборах AIME и AMC и описывает её использование как начальной точки для экспериментов по дистилляции с обучением на собственных ответах модели. Автор предупреждает, что этот чекпойнт заметно уступает исходной Qwen/Qwen3-8B: на приведённой оценке он отстаёт на 14,1 процентного пункта. По данным карточки, значительная часть обучающих ответов обрывается посреди рассуждения, из-за чего модель могла усвоить преждевременное завершение ответа. При повторном сохранении следует проверить, что параметр rope_theta=1000000 остался доступен в конфигурации: несовместимость старых версий Transformers с его расположением может ухудшить генерацию. Лицензия — Apache-2.0.

Reformed Christian Bible Expert — языковая модель, дообученная на базе mistralai/Mistral-Nemo-Instruct-2407 для богословских вопросов и изучения Библии с реформатской, кальвинистской перспективы. Это плотная модель семейства Mistral с 12,1 млрд параметров, контекстом до 131 072 токенов и форматом весов safetensors; она поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для объяснения библейских отрывков с применением историко-грамматического подхода, помощи в подготовке к семинарским занятиям и проповедям, а также для ролевых сценариев пастырского консультирования. Карточка указывает на поддержку шаблона чата Mistral V3 Tekken. Основное описание и настройки ориентированы на текстовые запросы и ответы; сведения о поддерживаемых естественных языках не приведены. Модель распространяется по лицензии Apache-2.0. Её конфессиональная специализация задаёт определённую богословскую перспективу, поэтому ответы могут отражать реформатские предпосылки и не заменяют консультацию квалифицированного специалиста в пастырских или иных чувствительных ситуациях.

Ryze-125M — авторегрессионная языковая модель в стиле GPT-2, разработанная Norman89107 и обученная с нуля. Она содержит около 125 млн параметров, использует декодерный трансформер GPT2LMHeadModel с 12 слоями и предназначена для генерации текста. Модель построена на Transformers и распространяется в форматах PyTorch и Safetensors. Для обучения использовались данные HuggingFaceFW/fineweb (выборка sample-10BT); для проверки — HuggingFaceFW/dclm_100BT. Модель рассчитана на английский язык, использует собственный BPE-токенизатор со словарём из 50 000 токенов и поддерживает контекст до 512 токенов. Модель может служить компактной основой для экспериментов и генерации коротких продолжений текста. Её небольшой размер и ограниченный контекст сужают возможности по сравнению с крупными языковыми моделями; README не сообщает оценок качества или гарантий пригодности для конкретных задач. Лицензия — Apache-2.0.

SAEVerbalizer-27B-i1-GGUF — GGUF-квантизированная версия модели SAEVerbalizer-27B, разработанной THU-KEG и квантованной пользователем mradermacher. Модель предназначена для задач text generation, анализа представлений и их вербализации в контексте mechanistic interpretability и sparse autoencoder. В карточке указана поддержка английского языка и библиотека Transformers. Также модель помечена как vision model, однако подробности о поддерживаемых визуальных входах не приведены. Модель имеет размер 27B параметров в базовой версии и распространяется в многочисленных вариантах GGUF-квантизации с размерами примерно от 6,4 до 22,3 ГБ. Доступны форматы IQ и Q, включая рекомендуемые варианты i1-Q4_K_M и i1-Q4_K_S, а также файл imatrix для самостоятельного создания квантов. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству; для некоторых вариантов прямо указаны низкое качество или компромисс между скоростью, размером и качеством. Лицензия указана как gemma. В README не приведены сведения о размере контекстного окна, архитектуре базовой модели, точном наборе поддерживаемых модальностей, требованиях к оборудованию и результатах оценки, поэтому возможности модели следует проверять отдельно для конкретного варианта квантизации.

Samantha — разговорная донастройка модели Falcon-7B от QuixiAI на базе Falcon-7B. Модель предназначена для диалогов с ассистентом-компаньоном; в обучении особое внимание уделено философии, психологии и личным отношениям. Она обучена на 6 000 специально отобранных диалогов в формате ShareGPT/Vicuna и использует формат общения Vicuna 1.1. Модель принимает текст и генерирует текстовые ответы на английском языке. В карточке указано 7B в названии базовой модели, тогда как метаданные каталога сообщают о 10,9 млрд параметров; архитектура — плотная причинная языковая модель RefinedWebModel. Карточка сообщает, что модель не участвует в ролевых играх, романтических или сексуальных взаимодействиях. Лицензия TII Falcon LLM License Version 1.0 предусматривает выплату роялти при получении прибыли от модели.

SPP-T0 Base — базовая языковая модель на 3 млрд параметров, разработанная командой model-raising и обученная с нуля методом Synthetic Persona Pretraining (SPP). Это плотная авторегрессионная модель семейства Llama, совместимая с Transformers; контекст — 2048 токенов. Во время предобучения к части документов добавлялись синтетические размышления от первого лица, сформированные на основе конституции и отделённые специальным маркером. Модель обучена примерно на 500 млрд токенов из подмножества смеси Olmo 3 Dolma 3; токенизатор основан на SmolLM2 и расширен специальными токенами. Модель предназначена для исследований предобучения, выравнивания и безопасности, а также для продолжения текста, анализа поведения и последующего дообучения. Это базовая, не настроенная на инструкции версия: в репозитории нет шаблона чата, поэтому она не рассчитана на непосредственное использование как разговорный помощник. В README указано, что модель может выдавать неверный или небезопасный контент. Лицензия обозначена как «будет определена», поэтому условия использования пока неясны.

bigcode/starcoder-co-format — исследовательская абляция OctoCoder, опубликованная для изучения влияния формата данных. Это плотная авторегрессионная языковая модель семейства GPTBigCode для генерации текста; метаданные указывают контекст 8192 токена и формат PyTorch. В карточке указано, что обычно следует использовать OctoCoder, поскольку он работает лучше. Модель предназначена для исследовательского сравнения вариантов OctoCoder. README не описывает конкретные пользовательские сценарии или языки, поэтому их нельзя уточнить. Опубликованные веса представлены в PyTorch; лицензия в предоставленных данных не указана.

sshleifer/tiny-ctrl — компактный текстовый генератор на архитектуре CTRL, опубликованный Sam Shleifer на Hugging Face. Карточка показывает использование через Transformers для продолжения текста по заданному запросу; репозиторий содержит веса PyTorch и TensorFlow. По метаданным модели соответствует задаче text-generation и имеет контекстное окно 50 000 токенов. Модель подходит для экспериментов и проверки конвейеров генерации текста с небольшим чекпойнтом. Данных, подтверждающих языковую специализацию, качество генерации или конкретные управляющие возможности этого чекпойнта, карточка не приводит. Лицензия и подробное описание ограничений не указаны в доступной карточке.

roneneldan/TinyStories-Instruct-33M — компактная авторегрессионная языковая модель семейства GPT-Neo, опубликованная пользователем roneneldan на Hugging Face. Она предназначена для генерации коротких историй по текстовой подсказке или инструкции, в том числе с заданными атрибутами сюжета. В карточке Hugging Face указан пример генерации текста; метаданные описывают архитектуру GPTNeoForCausalLM, 71,6 млн параметров и контекст до 2048 токенов. Модель работает с текстом и ориентирована на англоязычные истории. Карточка модели не содержит описания обучения, лицензии или явного перечня ограничений, поэтому происхождение и условия использования по доступным сведениям определить нельзя. С учётом небольшого размера и узкой задачи её уместно применять для простых экспериментов и генерации коротких историй, а не считать универсальным разговорным помощником.

TR-Qwen2-1.5B-002-241130 — экспериментальная дообученная языковая модель Quardo на архитектуре Qwen2 с 1,5 млрд параметров. Она предназначена для генерации ответов на вопросы на турецком языке, в том числе решения математических задач из GSM8K-Turkish. Пример в карточке показывает пошаговое решение простой задачи о количестве часов в неделе. Модель дообучена на Together AI на наборе данных GSM8K-Turkish, подготовленном Yıldız Teknik Üniversitesi. В метаданных указаны контекст до 131 072 токенов, формат safetensors и возможность диалогового использования. Карточка называет её экспериментом по дообучению; лицензия не указана в предоставленных данных.

Модель talzoomanzoo/uid_gated_aime_qwen3-1-7b_ep3 — объединённый полноразмерный чекпойнт Qwen3-1.7B и LoRA-адаптера, дообученного методом GRPO на наборе задач AIME с UID-gating. Чекпойнт основан на Qwen/Qwen3-1.7B; адаптер имеет ранг 64 и alpha 32, исходный шаг обучения — global_step_24. Модель предназначена для генерации текста и диалогов, в частности для решения математических задач AIME и рассуждений. Архитектура — плотная авторегрессионная Qwen3ForCausalLM с 1,7 млрд параметров. Она принимает текст и выдаёт текст, поддерживает контекст до 40 960 токенов, а также интерфейсы чата и вызова инструментов. Базовая Qwen3 — многоязычная модель; карточка не уточняет языки, на которых адаптер обучался. Модель распространяется по лицензии Apache-2.0. Чекпойнт отражает ранний этап обучения — epoch 3, global_step_24; README не сообщает результаты оценки, поэтому качество решения задач и обобщение на другие математические наборы по этим данным определить нельзя.

Vortex Alpha — компактная экспериментальная языковая модель North-ML1 для локальных текстовых завершений, диалогов и дальнейшего дообучения. Опубликованный чекпойнт представляет собой инструкционную производную предварительно обученной базовой модели; в репозитории также есть её базовые веса. Модель не позиционируется как готовый универсальный ассистент. Это плотный декодерный Transformer с 174,9 млн параметров, 12 слоями, архитектурой VortexForCausalLM и контекстом до 4096 токенов. Модель принимает и генерирует текст, использует токенизатор SentencePiece на 8192 токена и поддерживает английский язык. Веса доступны в формате BF16 safetensors; для загрузки предусмотрены PyTorch-раннер и модули для Transformers с remote code. Модель предназначена для локальных экспериментов, генерации текста, диалогов, форматированных ответов и пробных вызовов инструментов. Небольшой внутренний пилот показывает некоторые способности к структурированным вызовам, но результаты недостаточны для широких выводов. Модель слаба в арифметике, общих знаниях, связности длинных ответов и контроле галлюцинаций; возможны повторы и чрезмерно уверенные ошибки. Лицензия не заявлена, поэтому условия дальнейшего использования не определены.

Экспериментальная разговорная модель Raghav Singhal из проекта One Persona Pretraining (1PP), опубликованная как реплика обучения с seed 42. Это плотная Llama-подобная авторегрессионная модель на 1,66 млрд параметров, обученная на переписанных диалогах, а затем дообученная методом SFT на смеси многоходовых и безопасностных диалогов. В отличие от обычного чат-ассистента, на этапе предобучения модель обучалась предсказывать и реплики пользователя, и ответы ассистента. Модель предназначена для исследовательского изучения влияния начальной инициализации и условий предобучения на качество диалоговых языковых моделей. Она поддерживает генерацию текста и чат в формате ChatML без системного сообщения; заявленная длина последовательности — 4096 токенов. Карточка указывает английский язык, архитектуру Llama и формат весов safetensors. Результаты реплики близки к варианту с seed 28 по валидационной потере, однако автор прямо указывает, что модель не является универсальным ассистентом. Для использования действует лицензия Apache-2.0.

AB-EXT Learned — базовая авторегрессионная языковая модель семейства AB-EXT, разработанная для исследований обучаемых входных эмбеддингов и фиксированных идентификаторов токенов. Это decoder-only модель с архитектурой AttnExtForCausalLM и примерно 1,7 млрд параметров; она обучалась предсказывать следующий токен и не проходила instruction tuning или оптимизацию предпочтений. Контекст составляет 2048 токенов. Для входа используется обучаемая таблица эмбеддингов размером 49 152 × 2048, а выходная проекция словаря обучается отдельно. Модель предназначена для продолжения текста и исследований языкового моделирования. В README приведены результаты оценок на нескольких бенчмарках, однако они основаны на одном обучающем запуске для каждого интерфейса и не подтверждают эквивалентность производительности других вариантов AB-EXT. Модель не проверена как ассистент для критически важных задач; сгенерированный текст может содержать ошибки, предвзятость или вредное содержание. Лицензия в предоставленных данных не указана. Для загрузки пользовательского кода README рекомендует сначала проверить файлы Python и закрепить ревизию репозитория.

Модель harry767701/AI_1611_llama3.2_3B_Instruct_AI_Interview — дообученная harry767701 версия Llama 3.2 3B Instruct. Она предназначена для генерации текста в диалоговом формате; название репозитория указывает на сценарий подготовки к собеседованиям, но карточка не описывает его конкретные возможности. Модель содержит 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и поддерживает контекст до 131 072 токенов. Для обучения использовались Unsloth и библиотека TRL.

BilmaLat — модель семейства RoBERTa, разработанная для работы с испанскими сообщениями в Twitter. Она обучена на более чем 600 миллионах испаноязычных твитов, опубликованных с декабря 2015 года по февраль 2023 года. К каждому сообщению добавлялись коды страны, год и месяц публикации; упоминания пользователей и URL заменялись специальными токенами. Модель с 136,3 млн параметров использует архитектуру RobertaForMaskedLM и предназначена для задачи fill-mask: она предсказывает замаскированные слова в тексте. Контекст ограничен 128 токенами, словарь WordPiece содержит 30 тысяч токенов. Обучение проводилось с маскированием слов с вероятностью 15% в течение одной эпохи. BilmaLat ориентирована на испанский язык и сохраняет особенности твитов, включая регистр, эмотиконы и орфографические ошибки; региональные и временные метки позволяют учитывать контекст публикаций. Модель подходит для исследования и анализа испаноязычных сообщений, но её короткое окно контекста ограничивает работу с длинными текстами. Лицензия — MIT.

BlackSheep-4B — экспериментальная невыравненная разговорная языковая модель семейства Llama от TroyDoesAI. Она предназначена для генерации ответов по инструкциям и демонстрации рисков моделей, выдающих неограниченный контент; в карточке рекомендован формат инструкций Alpaca. Модель содержит 3,7 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. Автор описывает её как модель с неограниченными ответами, включая потенциально опасную информацию, и позиционирует для изучения рисков невыравненного поведения и мер безопасности ИИ. Доступны веса в формате safetensors. Лицензия — Apache-2.0. Возможны небезопасные и вредоносные ответы; карточка не приводит оценок качества или гарантий безопасности.