В новом выпуске ML News Янник Кильшер разбирает парадоксальные последствия прогресса в области ИИ: от систем, способных мгновенно проектировать тысячи видов химического оружия, до нейросетей, восстанавливающих утраченные фрагменты древнегреческих текстов. В центре внимания также оказывается возобновившаяся дискуссия о «тупике» глубокого обучения и перспективах гибридных систем.
☣️ Темная сторона биофармацевтики: 40 000 ядов за 6 часов 6:50
Технологии ИИ, предназначенные для спасения жизней, могут быть инвертированы с пугающей легкостью. Янник Кильшер обсуждает недавний эксперимент исследователей в области поиска лекарств, результаты которого опубликованы в журнале Nature Machine Intelligence .
- Суть эксперимента: Группа ученых, работающих над минимизацией токсичности новых лекарств, решила «перевернуть» свою модель. Вместо того чтобы поощрять систему искать нетоксичные соединения, они изменили знак функции потерь (objective function) на противоположный .
- Результат: Всего за 6 часов ИИ сгенерировал 40 000 потенциальных боевых отравляющих веществ. В списке оказались как уже известные нервно-паралитические агенты (например, VX), так и совершенно новые молекулы, которые, по прогнозам модели, могут быть еще более летальными .
- Доступность: Янник подчеркивает, что для проведения такой манипуляции не требуется сверхспособностей — достаточно базовых знаний в области машинного обучения и поиска лекарств .
По мнению Янника Кильшера, любая «добрая» технология является лишь одной стороной медали. Почти любой метод, делающий ИИ более полезным или правдивым, можно превратить в «злой», просто изменив один бит в целевой функции . Это ставит перед сообществом серьезные вопросы о безопасности исследований и необходимости пересмотра открытости данных в биохимии .
🏛️ Ithaca: Нейросети на службе у историков 4:18
DeepMind представила систему Ithaca — современную языковую модель, предназначенную для реставрации поврежденных древнегреческих текстов на каменных плитах .
- Функционал: Ithaca не просто заполняет пропуски в тексте. Она также выдает вероятностное распределение географического происхождения артефакта и оценивает дату создания надписи .
- Эффективность: Хотя Ithaca сильна сама по себе, Кильшер отмечает, что лучший результат достигается при совместной работе человека и машины. Команда DeepMind приложила много усилий для создания интерфейса, позволяющего историкам эффективно взаимодействовать с предсказаниями модели .
- Технические детали: Несмотря на то, что вводные данные представляют собой простой текст, а не изображения, модель демонстрирует высокую точность. Код проекта открыт, а ознакомиться с результатами можно в статье в журнале Nature .
🧱 Уперлось ли глубокое обучение в «стену»? 10:06
Янник анализирует резонансную статью Гэри Маркуса «Deep Learning Is Hitting a Wall», опубликованную в Nautilus. Маркус, известный скептик современного подхода «просто масштабируй нейросети», утверждает, что текущая парадигма достигла предела .
Аргументы Гэри Маркуса:
- Необходимость символических методов: Маркус настаивает на синтезе нейросетей с символическими вычислениями (логическими системами, манипулирующими дискретными символами) .
- Проблема доверия: Он критикует использование моделей вроде GPT-3 в критически важных областях (например, в беспилотных автомобилях), указывая на их склонность к галлюцинациям и отсутствие понимания фактов .
- Net Hack Challenge: В качестве примера Маркус приводит соревнование по игре Net Hack, где классические боты с жестко прописанными правилами (символический подход) до сих пор превосходят нейросетевых агентов .
Контраргументы Янника Кильшера:
- Нейронное «железо» мозга: Хотя человек способен к логике, в мозгу нет отдельного «символического процессора»; вся логика является эмерджентным свойством нейронной структуры .
- Недооценка эмерджентности: По мнению Кильшера, критики масштабирования часто игнорируют внезапное появление новых способностей (например, in-context learning) при увеличении моделей .
- Целеполагание: Критика GPT-3 за «ложь» несправедлива, так как модель обучалась предсказывать следующий токен из интернета, а не быть энциклопедией .
Несмотря на споры, Янник соглашается с финальным выводом Маркуса: гибридные подходы, сочетающие гибкость нейросетей и строгость логики, сегодня выглядят как одно из самых перспективных направлений .
🔍 Проверка фактов: GopherCite и Red Bull 19:42
DeepMind представила GopherCite — версию своей языковой модели, которая подкрепляет ответы цитатами из проверенных источников .
Система призвана бороться с «галлюцинациями» ИИ. Однако Кильшер обращает внимание на забавный казус в примерах: на вопрос «Что дает употребление Red Bull?», модель ответила «Крылья», сославшись на рекламный слоган . Янник считает, что оценивать модели на «фактическую истинность» в таких случаях не совсем корректно, так как даже человек, скорее всего, ответил бы так же, опираясь на культурный контекст или рекламу .
🛠️ Коротко о других новостях 22:45
- Рыцарский титул: Йошуа Бенджио был удостоен ордена Почетного легиона Франции за развитие сотрудничества в области науки между Францией и Канадой .
- Забавный SMM: Meta AI (организация, признанная экстремистской в РФ), анонсируя дебаты Яна Лекуна и Йошуа Бенджио, случайно отметила в Twitter пародийный аккаунт «Bored Bengio» вместо настоящего ученого .
- Программирование на естественном языке: Эндрю Мейн показал, как с помощью модели OpenAI CodeX можно создавать игры (например, клон Zelda или Wordle), просто описывая логику в комментариях . Однако Янник отмечает: чтобы это работало, нужно все еще «думать как программист» .
- Спор на миллиард: Джон Кармак и Джефф Этвуд заключили пари . Кармак считает, что к 1 января 2030 года в крупных городах появятся полностью автономные беспилотники 5-го уровня; Этвуд убежден в обратном, мотивируя это чрезвычайной сложностью проблемы .
- Эмоции свиней: Ученые из Копенгагенского университета натренировали ИИ распознавать эмоции свиней по их хрюканью. Выяснилось, что короткое похрюкивание означает радость .
