KenLM

🧠 Stanford CS336: Как превратить сырой интернет в качественные данные для LLM

🤖 Искусство подготовки данных: как фильтрация и дедупликация определяют успех языковых моделей