# Димитрис Зермас из Sentara: «90% успеха ИИ в агротехе — это не алгоритмы, а данные» Источник: https://www.youtube.com/watch?v=XTNcLoeM-mw Канал: The TWIML AI Podcast Опубликовано: 06.02.2023 --- В современном сельском хозяйстве точность данных решает всё: от правильного подсчета всходов зависит, нужно ли пересевать поле, что напрямую влияет на многомиллионную прибыль агропромышленных холдингов. Димитрис Зермас, ведущий специалист в Sentara, в подкасте TWIML AI рассказал Сэму Чаррингтону о том, как его компания переходит от классического компьютерного зрения к глубокому обучению и почему в индустрии Precision Agriculture (точного земледелия) борьба за качество данных важнее, чем за количество архитектур нейросетей. ## 🤖 Робототехника и сельское хозяйство: Путь Sentara [[JUMP:01:40]] Компания Sentara позиционирует себя как разработчик комплексных решений: от собственного «железа» до облачных платформ аналитики [01:40]. Специфика отрасли требует создания специализированных инструментов, которые невозможно найти в массовом сегменте. Основные технологические решения компании: * **Собственные датчики и БПЛА:** Sentara производит мультиспектральные камеры и дрон с фиксированным крылом, который запускается с руки и может находиться в воздухе около часа, покрывая значительно бо́льшие площади, чем стандартные квадрокоптеры [02:25]. * **Аналитическая платформа:** Набор ПО для автоматического подсчета растений, определения густоты всходов и оценки общего состояния посевов на основе снимков с воздуха [02:53]. * **Практическая ценность:** По словам Зермаса, инструменты помогают агрономам в критически важные периоды — например, через месяц после посадки — принять решение о необходимости пересева [04:58]. Зермас, первый сотрудник группы анализа данных в компании, отмечает, что индустрия постоянно требует повышения производительности: клиенты хотят анализировать больше акров за меньшее время, что диктует переход к максимально автоматизированным пайплайнам [03:35]. ## 🌽 От классических алгоритмов к Deep Learning [[JUMP:07:55]] Четыре года назад аналитика в Sentara основывалась на классическом компьютерном зрении. Однако такие методы оказались нежизнеспособными в неконтролируемых условиях полей [08:08]. Основными проблемами классического подхода стали: 1. **Изменчивость освещения:** Облака, меняющиеся углы солнца в течение дня и тени полностью сбивали алгоритмы, основанные на жестких порогах и фильтрах [08:35]. 2. **Типы почв:** Цвет и текстура земли в разных регионах требовали постоянной ручной перенастройки параметров [08:48]. 3. **Сложность поддержки:** Пайплайны становились настолько громоздкими, что тестировать и обновлять их было почти невозможно [09:02]. Переход на глубокое обучение (Deep Learning) показал «существенное улучшение результатов» уже в первых экспериментах [09:42]. Это позволило алгоритмам стать более автономными, справляясь с факторами, которые ранее требовали сложного ручного кодинга. ## 🔍 Проблема «Corner Cases» в океане данных [[JUMP:14:26]] Несмотря на наличие миллионов снимков высокого разрешения (типичный кадр имеет размер 3000x4000 пикселей), Sentara столкнулась с переизбытком однотипных данных и нехваткой редких сценариев [14:51]. Ключевые трудности при масштабировании моделей: * **Пересечение растений:** Когда кукуруза подрастает (через 1.5 месяца), листья начинают перекрывать друг друга, и разделить отдельные растения становится сложно даже для человека [13:49]. * **Дисбаланс данных:** Редкие условия (аномалии, сорняки, специфические типы почв) теряются в массе стандартных изображений здоровых полей [15:17]. * **Аномалии («Volunteer corn»):** Зермас приводит пример кукурузы, выросшей случайно из семян прошлого года — такие растения нужно уметь отличать от целевого посева [06:58]. По мнению Зермаса, главная задача теперь — не собрать больше данных, а научиться искать «иглу в стоге сена»: выявлять уникальные кадры, которые действительно могут улучшить обучение модели [15:30]. ## 🎯 Zero-Shot Learning: Как аннотировать меньше, а получать больше [[JUMP:19:51]] Для оптимизации процесса Sentara внедрила подход, основанный на Zero-Shot Learning и обучении без учителя (unsupervised clustering). Это решение призвано снизить «тревожность» инженеров по поводу того, всё ли разнообразие условий покрыто обучающей выборкой [20:41]. Механика работы системы: 1. **Даунсайз и эмбеддинги:** Огромные изображения уменьшаются и пропускаются через сеть-энкодер, которая переводит картинку в высокомерное векторное пространство (embedding space) [21:54]. 2. **Кластеризация:** В этом пространстве алгоритм группирует изображения по визуальному сходству. 3. **Аугментация для обучения инвариантности:** Чтобы сеть не группировала снимки просто по направлению рядов, применяются случайные вращения. Это заставляет алгоритм игнорировать ориентацию посевов и фокусироваться на содержательных признаках (состояние почвы, тип растений) [24:34]. Результаты использования этого метода: * Объем данных для ручной разметки удалось сократить на **40%** без потери качества моделей [27:43]. * Процесс аннотации в компании сложен: каждый кадр проверяют минимум двое людей, затем вычисляется индекс согласия (agreement score). Сокращение выборки дает колоссальную экономию времени и средств [28:09]. ## ☁️ Эксплуатация и стратегия сбора данных [[JUMP:31:33]] Зермас подчеркивает: его ответ на вопрос «сколько данных вам нужно?» всегда звучит одинаково — важнее разнообразие, а не количество [30:10]. Для обучения новой культуры (например, картофеля) ему предпочтительнее иметь по 2 снимка из 10 разных штатов, чем 1000 снимков с двух соседних полей [30:23]. Применение ИИ-подхода изменило рабочий цикл компании: * **In-season аналитика:** Благодаря автоматизации отбора данных, оценку новых снимков можно проводить в выходные, а уже в понедельник начинать обучение обновленной нейросети [37:09]. Раньше приходилось ждать окончания сезона вегетации из-за трудоемкости ручного анализа [37:36]. * **Целевой сбор данных:** Теперь компания может точно сказать пилотам, в какое время и при каких погодных условиях нужно произвести съемку, чтобы закрыть «белые пятна» в наборе данных (например, нехватку снимков в облачную погоду) [33:46]. В завершение беседы Димитрис Зермас резюмировал свою философию: если раньше он считал, что успех решения на 80% зависит от данных, то теперь этот показатель вырос до 90% [35:49].