В современном мире недвижимости данные становятся таким же ценным активом, как и сами квадратные метры. Акшат Каул (Akshat Kaul), возглавляющий отдел данных и машинного обучения в Redfin, рассказал в подкасте The TWIML AI Podcast о том, как технологии ИИ трансформируют процесс покупки и продажи жилья, от автоматической оценки стоимости до компьютерного зрения.
🏠 Эволюция машинного обучения в Redfin 1:07
Компания Redfin изначально создавалась разработчиками программного обеспечения, что заложило технологический фундамент в основу брокерского бизнеса . По словам Акшата Каула, команда машинного обучения существует в компании уже около 8-9 лет .
Исторически ИИ в Redfin развивался через три этапа:
- Централизованная модель: Одна команда «супергероев» (смесь дата-сайентистов и инженеров) решала все задачи — от разработки алгоритмов до создания инфраструктуры .
- Диверсификация бизнеса: Когда Redfin вышла за рамки брокерских услуг в сферы ипотечного кредитования (mortgage) и мгновенного выкупа жилья (RedfinNow), централизованная команда стала «бутылочным горлышком» .
- Демократизация и платформа: Переход к модели, где центральная команда предоставляет стандартизированные инструменты (Platform-as-a-Service), а прикладные задачи решаются инженерами внутри конкретных бизнес-подразделений .
📉 Redfin Estimate: как оценивается ваш дом 5:15
Флагманский продукт компании — Redfin Estimate — представляет собой алгоритм расчета рыночной стоимости жилья . Система анализирует более 500 точек данных для каждого объекта недвижимости в США .
Ключевые факторы, влияющие на точность оценки:
- Традиционные параметры: Количество спален, ванных комнат, площадь и история продаж аналогичных домов .
- Географические данные: Близость к кофейням (например, Starbucks), рекреационным центрам, а также нахождение в зонах риска наводнений .
- Пользовательское поведение: Данные о трафике на сайте Redfin.com позволяют понять конкурентную среду в конкретном районе .
Акшат Каул отмечает, что использование данных о вовлеченности пользователей помогает корректировать цену в реальном времени. Если дом долго висит на рынке, несмотря на высокий трафик, это сигнал алгоритму, что заявленная цена может быть завышена . Для защиты от манипуляций (например, накрутки просмотров ботами) компания использует системы фильтрации трафика с VPN и облачных провайдеров, таких как AWS .
Технологический стек оценки
Гость подчеркнул, что Redfin не полагается на одну «волшебную» модель. Используется ансамбль методов:
- Классические модели: Random Forest и Gradient Boosting .
- Глубокое обучение (Deep Learning): Применяется в определенных модулях для повышения точности .
- Иерархические модели: Разные подходы для домов, уже выставленных на продажу (on-market), и тех, что еще не вышли на рынок (off-market) .
🤖 Рекомендательные системы и психология покупателя 13:01
Рекомендательный движок Redfin стал мощным драйвером роста. Если 5 лет назад рекомендации генерировали 8% трафика, то сейчас — около 25%, притом что общий объем трафика компании вырос в три раза .
По словам Акшата Каула, алгоритмы часто оказываются эффективнее самих пользователей: люди охотнее кликают и записываются на просмотры домов, предложенных системой, чем тех, что подходят под их собственные фильтры поиска . Это отражает сдвиг в ожиданиях — потребители хотят, чтобы сервис знал их предпочтения без необходимости заполнять сложные формы .
Этика и ответственный ИИ
В вопросах ответственного ИИ Redfin придерживается политики исключения потенциально предвзятых данных. Например, компания осознанно не включает статистику преступности (crime data) в свои модели, чтобы избежать закрепления существующих рыночных предубеждений .
🦠 Пандемия как катализатор технологий 19:06
COVID-19 радикально изменил рынок: рост цен достигал 26% в год, а более 60% покупателей делали предложения, не посещая дом лично . Это заставило команду машинного обучения адаптироваться:
- Компьютерное зрение: Redfin начал использовать CV для автоматической разметки планов этажей на изображениях, чтобы помочь людям понять планировку удаленно .
- Модели «Hot Homes»: Чтобы помочь покупателям в сверхконкурентной среде, была разработана модель раннего обнаружения горячих предложений. Она прогнозирует вероятность быстрой продажи дома в момент публикации, не дожидаясь накопления статистики просмотров .
- Частое переобучение: Из-за аномальной динамики рынка (взлет цен на частные дома и падение спроса на кондоминиумы) пришлось значительно увеличить частоту переобучения Redfin Estimate, что повысило операционные расходы, но позволило сохранить точность .
🛠 Инфраструктура: проект Red Eye 33:52
Для масштабирования машинного обучения Redfin создала внутреннюю платформу под названием Red Eye .
Основные характеристики платформы:
- Оркестрация: Переход от сложной самописной системы на базе Lambda-функций к стандартизированному Airflow .
- Управление жизненным циклом: Активное использование MLflow для экспериментов .
- Feature Store: Внутренняя библиотека признаков Ohara, объединенная с каталогом данных .
- Вычислительная среда: Переход на Kubernetes. Акшат Каул пояснил, что они рассматривали Kubeflow, но сочли его слишком сложным, требующим от каждого ML-инженера глубоких знаний K8s .
В вопросе выбора облачных сервисов Redfin балансирует между скоростью и стоимостью. Акшат Каул утверждает, что такие инструменты, как Amazon SageMaker или AutoML, отлично подходят для быстрого прототипирования, но для работы в масштабе компания часто возвращается к более дешевым решениям на базе Amazon EMR .
🔮 Будущее: Computer Vision и автоматизация документов 45:52
Акшат Каул выделил несколько перспективных направлений:
- Интеллектуальный анализ документов: Извлечение структурированной информации из PDF-файлов сделок с помощью OCR для предотвращения ошибок и задержек в транзакциях .
- Глубокое понимание состояния дома: Использование компьютерного зрения для оценки износа и качества отделки по фотографиям — задача, с которой алгоритмы в будущем могут справляться лучше человека .
- Скепсис в отношении чат-ботов: Гость признался, что он скептически относится к разговорному ИИ (Conversational AI) в сфере недвижимости. По его мнению, покупка дома — слишком дорогая и ответственная сделка, чтобы доверять её боту. Вместо этого Redfin фокусируется на инструментах для «человека в контуре» (human-in-the-loop), помогая агентам объяснять клиентам, как работают алгоритмы .
-
