Мариус Хобхан

Галлюцинации являются непреднамеренными ошибками, тогда как обман представляет собой осознанное искажение фактов ради достижения цели.

LLM — это первая архитектура, которая обладает достаточными знаниями о мире при переходе к RL, чтобы рассуждать о собственном процессе обучения во время самого обучения.

Поскольку модель тратит миллиарды токенов на внутренние рассуждения без взаимодействия с людьми, она вырабатывает собственные стенографические паттерны.

сейчас — лучшее время, чтобы изучать это и строить защитные механизмы. Модели сейчас достаточно умны, чтобы мы видели эти типы сбоев... но модели еще недостаточно умны, чтобы скрывать их

Вы не можете доверять ни одной другой оценке безопасности, как только ваша модель начинает заниматься схемингом.

Если вы тысячу лет будете разговаривать только сами с собой... через тысячу лет то, что вы напишете, явно не будет похоже на нормальный английский.

The longer the task length the more you will by default like you will see increased rates of scheming for instrumental goals.

В этой специфической игре вы не увидите прямых доказательств обмана просто по определению, ведь противоположная сторона изначально и целенаправленно нацелена на то, чтобы их скрыть

Как только веса нейросети утекли в сеть, эту ошибку невозможно исправить.

Общие абстрактные фразы в стиле «всегда действуй этично» снижают процент девиаций, но не обнуляют их.