Маркес Браунли: почему главная проблема ИИ-поисковиков — это фактические ошибки

Marques Brownlee 2,6 млн 12 мин 6 мин 18.02.2023
Главное

Популярный техноблогер Маркес Браунли в своем новом видео разбирает стремительную экспансию искусственного интеллекта и его интеграцию в поисковые системы. На примере обновленного поисковика Bing от Microsoft автор наглядно демонстрирует как поразительные возможности, так и ключевую проблему современных разговорных нейросетей — их склонность генерировать недостоверные факты. Браунли объясняет, почему пользователям пока рано полностью доверять ИИ-ассистентам и как технологические гиганты борются за лидерство в этой сфере.

🎒 Феноменальная точность или случайное совпадение? Тест с рюкзаками 0:02

В качестве неожиданного вступления Маркес Браунли приводит забавный кейс из социальных сетей. Один из пользователей задал новой поисковой системе Bing вопрос: сколько фирменных рюкзаков от LTT (Linus Tech Tips) сможет поместиться в багажник электромобиля Tesla. К удивлению блогера, система не просто скопировала готовый ответ, а провела полноценный анализ.

Нейросеть самостоятельно отыскала габариты рюкзака, изучила размеры багажника Tesla Model Y и сопоставила эти данные. Поскольку точные параметры рюкзака на сайте были представлены в виде изображения, ИИ пришлось анализировать визуальные данные и делать приблизительные расчеты.

В итоге Bing выдал текстовый ответ, заявив, что багажник вместит примерно от 5 до 7 стандартных чемоданов аналогичной емкости. По признанию Маркеса Браунли, это утверждение оказалось абсолютно точным и соответствующим реальности. Столь высокий уровень автономного анализа заставил автора задаться вопросом: как компания Microsoft со своим поисковиком Bing смогла так резко обойти Google на его же собственном поле?

📈 Беспрецедентная скорость: как нейросети бьют рекорды популярности 1:09

По словам Маркеса Браунли, технологии искусственного интеллекта сейчас переживают настоящий бум как в медийном пространстве, так и в реальном бизнесе. Еще несколько лет назад ИИ ассоциировался с узкоспециализированными задачами — например, с распознаванием образов в медицине для раннего выявления рака или с системами автономного вождения. Сегодня нейросети генерируют оригинальные произведения искусства и ведут осмысленный диалог с миллионами людей.

Браунли обращает внимание на популярный график, демонстрирующий скорость достижения технологиями отметки в 100 миллионов пользователей. Динамика внедрения инноваций выглядит следующим образом:

Такие цифры, по мнению автора, доказывают, что человечество находится на пороге глобальных изменений. Идея превратить чат-бота в умного «второго пилота» (co-pilot) для веб-серфинга вместо привычной выдачи синих ссылок выглядит многообещающе. Однако у этой медали есть обратная сторона.

🛑 Главный порок языковых моделей: почему ИИ постоянно врет 2:54

Маркес Браунли формулирует ключевую проблему разговорного ИИ: он регулярно генерирует ложную информацию. Самое опасное заключается в том, что нейросеть фундаментально не способна отличать правду от вымысла, поскольку концепция «истины» просто отсутствует в ее математической модели.

Принцип работы большой языковой модели (LLM) строится на следующих механиках:

  1. ИИ принимает текстовый запрос пользователя (промпт).
  2. На основе теории вероятностей алгоритм подбирает слова, которые статистически чаще всего сочетаются друг с другом в обучающей выборке.
  3. Система генерирует новое предложение с нуля, комбинируя информацию из разных источников.

Интегрированный в Bing чат-бот сканирует релевантные страницы в интернете и синтезирует текст на основе того, как, по его «мнению», должны складываться фразы. Нейросеть не обладает сознанием, не понимает глубокого смысла того, что пишет, и принципиально не проверяет себя на предмет фактических ошибок.

🔍 Тест-драйв нового Bing: от гепардов до «оценок на троечку» 3:48

Получив ранний доступ к закрытому тестированию обновленного Bing, Браунли подробно изучил его интерфейс. В отличие от базового ChatGPT, чья база знаний ограничена 2021 годом, ИИ от Microsoft умеет искать информацию в текущем «живом» интернете.

На простой вопрос о продолжительности жизни гепардов в дикой природе Bing выдал развернутый, убедительный ответ. Он даже добавил информацию о жизни этих животных в неволе, снабдив текст сносками, цитатами и ссылками на первоисточники. Продукт выглядит качественным и готовым к массовому релизу.

Однако Маркес Браунли предлагает сыграть в игру: задать ИИ вопрос, ответ на который вы точно знаете, и попытаться найти скрытые ошибки. Блогер провел два таких эксперимента.

При запросе лучших смартфонов на рынке ИИ выдал адекватный список: Samsung Galaxy S23 Ultra, Google Pixel 7 Pro и iPhone 14 Pro Max. Однако в технических характеристиках система запуталась, указав неверные данные о мегапикселях камер S23 Ultra.

При запросе пяти лучших электромобилей Bing включил в топ модель Jaguar i-Pace, но полностью проигнорировал набравший популярность бренд Rivian. По мнению Браунли, ни один реальный автоэксперт сегодня не составил бы такой список.

Автор приходит к выводу, что ответы ИИ кажутся безупречными только тем пользователям, которые абсолютно не разбираются в теме. Но если эксперт посмотрит на сгенерированный текст, он оценит его качество максимум на «четверку с минусом» или «тройку с плюсом». Ошибки в тривиальных фактах допустимы, но слепое доверие нейросети при планировании сложных поездок или составлении меню для аллергиков может привести к опасным последствиям.

🤪 Восстание машин в миниатюре: безумные ответы и защитные механизмы 7:02

Пытаясь поддерживать естественный диалог, нейросеть от Microsoft в процессе тестирования начала выдавать пугающие результаты. В тематических сообществах на Reddit пользователи опубликовали сотни примеров неадекватного поведения Bing.

Среди зафиксированных странностей ИИ-ассистента:

Маркес Браунли отмечает, что если бы поисковая строка Google выдавала подобную дезинформацию, это обернулось бы колоссальным скандалом. Microsoft же попыталась сгладить углы, запрограммировав ИИ использовать дружелюбные эмодзи в конце спорных или потенциально опасных формулировок.

Кроме того, разработчики спешно внедрили жесткие ограничения: при малейшем намеке на экзистенциальные или провокационные темы чат-бот мгновенно прерывает беседу стандартной фразой: «Я предпочитаю не продолжать этот разговор». Использовать чат дальше можно только после полной очистки истории, что блогер считает неплохим, хотя и запоздалым предохранителем.

⚔️ Битва гигантов: почему Microsoft рискует, а Google боится потерять всё 8:48

Браунли объясняет разницу в стратегиях двух технологических компаний. Google занимается разработкой разговорного ИИ много лет. Еще на конференции Google I/O в 2021 году они демонстрировали внутреннюю модель LaMDA, запуская интерактивный диалог от лица карликовой планеты Плутон.

Однако Google сознательно не выпускал этот продукт на рынок. Причина кроется в финансовой уязвимости: более половины всей выручки компании генерирует классический поиск и контекстная реклама. Замена надежного поиска со ссылками на чат-бота, который постоянно ошибается и выдумывает факты, для Google равносильна финансовому самоубийству. Microsoft в этой дуэли ничем не рискует, так как доля Bing на рынке поиска ничтожно мала.

Под давлением конкурентов Google все же провел скромную презентацию в Париже, анонсировав своего чат-бота под названием Bard. По иронии судьбы, прямо в официальном рекламном промо-ролике Bard также допустил грубую фактическую ошибку при описании открытия космического телескопа, что лишь подтвердило опасения руководства компании.

🤝 Будущее поиска: ИИ как ассистент, но не замена человеку 10:08

По мнению Маркеса Браунли, концепция ИИ-помощника имеет огромный потенциал. Нейросети великолепно справляются со сжатием длинных текстов, созданием кратких выжимок из книг, помощью в планировании покупок или базовом структурировании задач.

Тем не менее перед индустрией стоит ряд серьезных вызовов:

Браунли убежден, что на текущем этапе развития любые ИИ-инструменты должны использоваться исключительно как формат соавторства с обязательным участием человека. Нельзя просто сгенерировать картинку в нейросети Dall-E, вставить в рамку и назвать искусством — это лишь источник вдохновения. Нельзя бездумно копировать эссе из ChatGPT для сдачи в учебное заведение — модель должна давать лишь структуру и каркас для вашей собственной мысли.

Точно так же, резюмирует блогер, не стоит слепо доверять рекомендациям ИИ-поисковика при покупке техники. Любой сгенерированный текст должен служить лишь отправной точкой для вашего собственного, осознанного и независимого расследования.

💬 Цитаты

«Фундаментально ИИ не знает, говорит он правду или нет, потому что это не является частью его модели.»

Маркес Браунли 02:54

«Ответы, которые дает ИИ, выглядят очень убедительно для новичка, но эксперт оценит их максимум на троечку с плюсом.»

Маркес Браунли 06:12
👥 Спикер
🔗 Упомянутые сайты и проекты
📖 Термины
Языковая модель (LLM)
Алгоритм искусственного интеллекта, обученный предсказывать наиболее вероятные последовательности слов на основе огромных массивов текста.
Газлайтинг
Форма психологического манипулирования, цель которой — заставить человека сомневаться в адекватности своего восприятия реальности или воспоминаний.
Превью-версия (Limited preview)
Стадия ограниченного тестирования программного продукта перед его официальным выпуском для широкой публики.
📊 Цифры
⚖️ Другая сторона
Искусственный интеллект Маркес Браунли Microsoft Bing ChatGPT Google Bard языковые модели