# Янник Кильшер: «Любое полезное применение ИИ можно превратить в зло, просто сменив знак» Источник: https://www.youtube.com/watch?v=RXwZKzczkF8 Канал: Yannic Kilcher Опубликовано: 21.03.2022 --- В новом выпуске ML News Янник Кильшер разбирает парадоксальные последствия прогресса в области ИИ: от систем, способных мгновенно проектировать тысячи видов химического оружия, до нейросетей, восстанавливающих утраченные фрагменты древнегреческих текстов. В центре внимания также оказывается возобновившаяся дискуссия о «тупике» глубокого обучения и перспективах гибридных систем. ## ☣️ Темная сторона биофармацевтики: 40 000 ядов за 6 часов [[JUMP:06:50]] Технологии ИИ, предназначенные для спасения жизней, могут быть инвертированы с пугающей легкостью. Янник Кильшер обсуждает недавний эксперимент исследователей в области поиска лекарств, результаты которого опубликованы в журнале Nature Machine Intelligence [07:03]. * **Суть эксперимента:** Группа ученых, работающих над минимизацией токсичности новых лекарств, решила «перевернуть» свою модель. Вместо того чтобы поощрять систему искать нетоксичные соединения, они изменили знак функции потерь (objective function) на противоположный [07:54]. * **Результат:** Всего за 6 часов ИИ сгенерировал 40 000 потенциальных боевых отравляющих веществ. В списке оказались как уже известные нервно-паралитические агенты (например, VX), так и совершенно новые молекулы, которые, по прогнозам модели, могут быть еще более летальными [08:08]. * **Доступность:** Янник подчеркивает, что для проведения такой манипуляции не требуется сверхспособностей — достаточно базовых знаний в области машинного обучения и поиска лекарств [08:31]. По мнению Янника Кильшера, любая «добрая» технология является лишь одной стороной медали. Почти любой метод, делающий ИИ более полезным или правдивым, можно превратить в «злой», просто изменив один бит в целевой функции [09:33]. Это ставит перед сообществом серьезные вопросы о безопасности исследований и необходимости пересмотра открытости данных в биохимии [09:51]. ## 🏛️ Ithaca: Нейросети на службе у историков [[JUMP:04:18]] DeepMind представила систему Ithaca — современную языковую модель, предназначенную для реставрации поврежденных древнегреческих текстов на каменных плитах [04:22]. * **Функционал:** Ithaca не просто заполняет пропуски в тексте. Она также выдает вероятностное распределение географического происхождения артефакта и оценивает дату создания надписи [04:49]. * **Эффективность:** Хотя Ithaca сильна сама по себе, Кильшер отмечает, что лучший результат достигается при совместной работе человека и машины. Команда DeepMind приложила много усилий для создания интерфейса, позволяющего историкам эффективно взаимодействовать с предсказаниями модели [05:42]. * **Технические детали:** Несмотря на то, что вводные данные представляют собой простой текст, а не изображения, модель демонстрирует высокую точность. Код проекта открыт, а ознакомиться с результатами можно в статье в журнале Nature [06:10]. ## 🧱 Уперлось ли глубокое обучение в «стену»? [[JUMP:10:06]] Янник анализирует резонансную статью Гэри Маркуса «Deep Learning Is Hitting a Wall», опубликованную в Nautilus. Маркус, известный скептик современного подхода «просто масштабируй нейросети», утверждает, что текущая парадигма достигла предела [10:07]. **Аргументы Гэри Маркуса:** 1. **Необходимость символических методов:** Маркус настаивает на синтезе нейросетей с символическими вычислениями (логическими системами, манипулирующими дискретными символами) [12:55]. 2. **Проблема доверия:** Он критикует использование моделей вроде GPT-3 в критически важных областях (например, в беспилотных автомобилях), указывая на их склонность к галлюцинациям и отсутствие понимания фактов [16:40]. 3. **Net Hack Challenge:** В качестве примера Маркус приводит соревнование по игре Net Hack, где классические боты с жестко прописанными правилами (символический подход) до сих пор превосходят нейросетевых агентов [17:42]. **Контраргументы Янника Кильшера:** * **Нейронное «железо» мозга:** Хотя человек способен к логике, в мозгу нет отдельного «символического процессора»; вся логика является эмерджентным свойством нейронной структуры [13:40]. * **Недооценка эмерджентности:** По мнению Кильшера, критики масштабирования часто игнорируют внезапное появление новых способностей (например, in-context learning) при увеличении моделей [15:41]. * **Целеполагание:** Критика GPT-3 за «ложь» несправедлива, так как модель обучалась предсказывать следующий токен из интернета, а не быть энциклопедией [16:55]. Несмотря на споры, Янник соглашается с финальным выводом Маркуса: гибридные подходы, сочетающие гибкость нейросетей и строгость логики, сегодня выглядят как одно из самых перспективных направлений [19:21]. ## 🔍 Проверка фактов: GopherCite и Red Bull [[JUMP:19:42]] DeepMind представила GopherCite — версию своей языковой модели, которая подкрепляет ответы цитатами из проверенных источников [19:50]. Система призвана бороться с «галлюцинациями» ИИ. Однако Кильшер обращает внимание на забавный казус в примерах: на вопрос «Что дает употребление Red Bull?», модель ответила «Крылья», сославшись на рекламный слоган [21:05]. Янник считает, что оценивать модели на «фактическую истинность» в таких случаях не совсем корректно, так как даже человек, скорее всего, ответил бы так же, опираясь на культурный контекст или рекламу [21:31]. ## 🛠️ Коротко о других новостях [[JUMP:22:45]] 1. **Рыцарский титул:** Йошуа Бенджио был удостоен ордена Почетного легиона Франции за развитие сотрудничества в области науки между Францией и Канадой [22:49]. 2. **Забавный SMM:** Meta AI (организация, признанная экстремистской в РФ), анонсируя дебаты Яна Лекуна и Йошуа Бенджио, случайно отметила в Twitter пародийный аккаунт «Bored Bengio» вместо настоящего ученого [23:14]. 3. **Программирование на естественном языке:** Эндрю Мейн показал, как с помощью модели OpenAI CodeX можно создавать игры (например, клон Zelda или Wordle), просто описывая логику в комментариях [23:43]. Однако Янник отмечает: чтобы это работало, нужно все еще «думать как программист» [24:36]. 4. **Спор на миллиард:** Джон Кармак и Джефф Этвуд заключили пари [29:50]. Кармак считает, что к 1 января 2030 года в крупных городах появятся полностью автономные беспилотники 5-го уровня; Этвуд убежден в обратном, мотивируя это чрезвычайной сложностью проблемы [30:08]. 5. **Эмоции свиней:** Ученые из Копенгагенского университета натренировали ИИ распознавать эмоции свиней по их хрюканью. Выяснилось, что короткое похрюкивание означает радость [27:54].