# KNN в мониторинге воздуха: как интерполировать данные между датчиками

Источник: https://www.youtube.com/watch?v=_xuz5daI64Y
Канал: DeepLearning.AI
Опубликовано: 27.07.2023

---

## Методология оценки уровня загрязнения воздуха в городской среде
[[JUMP:00:03]]

Завершение этапа проектирования системы мониторинга качества воздуха требует разработки методологии, позволяющей оценивать уровни загрязняющих веществ в точках, где отсутствуют физические датчики. Процесс создания такой модели начинается с построения простого базового решения (baseline), которое впоследствии может быть улучшено с помощью методов машинного обучения. В качестве примера рассматривается город Богота, где необходимо интерполировать данные о качестве воздуха между существующими станциями мониторинга.

### Метод ближайшего соседа: простая база для оценок
[[JUMP:00:39]]

Наиболее интуитивно понятным подходом является метод «ближайшего соседа» (nearest neighbor method). Логика метода заключается в предположении, что показатели качества воздуха в конкретной точке наиболее близки к измерениям на ближайшей к ней станции мониторинга.

* **Принцип работы:** для любой выбранной точки на карте берется последнее значение PM 2.5 с ближайшего сенсора.
* **Универсальность:** данный подход применим не только к пространственным данным, но и к временным рядам или любым другим характеристикам, где соседние значения коррелируют между собой.
* **Ограничения:** эксперт отмечает, что хотя этот метод является разумным первым приближением, он не всегда точно отражает физическую реальность распространения загрязняющих веществ.

### Алгоритм K-ближайших соседей (KNN) и взвешивание
[[JUMP:01:56]]

Для повышения точности оценки используется расширение базового метода — алгоритм K-ближайших соседей (K-nearest neighbors, KNN), где $K$ — это количество учитываемых станций мониторинга. При использовании нескольких соседей возникает задача объединения их данных в единую оценку.

В реальных приложениях простого усреднения недостаточно, поэтому применяется схема взвешивания, основанная на удаленности станций. В текущем проекте используется **обратно-квадратичное взвешивание расстояния** (inverse distance weighting):

1.  Каждому из $K$ ближайших соседей присваивается вес.
2.  Вес обратно пропорционален квадрату расстояния от станции до точки оценки.
3.  Итоговое значение является взвешенным средним, что позволяет учитывать влияние более близких датчиков сильнее, чем удаленных.

### Практическая реализация и анализ точности
[[JUMP:03:02]]

Работа в лабораторной среде начинается с подготовки набора данных, содержащего географические координаты (широту и долготу) и измерения уровня PM 2.5. Создание сетки (grid) над городом позволяет визуализировать оценочные данные в каждом ячейке.

* **Визуализация:** на карте станции с прямыми измерениями отмечаются белым контуром, а расчетные значения (полученные нейронной сетью или KNN) — черным. Пользователь может выбирать временную метку для анализа ситуации в конкретный момент.
* **Оценка ошибок:** для проверки эффективности модели используется метрика средней абсолютной ошибки (Mean Absolute Error, MAE).
* **Результаты:** при $K=1$ средняя ошибка составляет около 8 единиц (микрограмм на кубический метр). Дальнейшее увеличение $K$ до 3–4 позволяет немного улучшить точность, однако после этого значения улучшения становятся незначительными.

### Выводы и ограничения проектирования
[[JUMP:08:35]]

По завершении этапа проектирования создана полноценная система: от модели для заполнения пропущенных данных в существующих точках до алгоритма интерполяции между ними. Несмотря на возможность применения более сложных алгоритмов, эксперт подчеркивает наличие фундаментального физического ограничения: реальный уровень загрязнения между датчиками остается неизвестным.

По мнению ведущего, любая модель в данном контексте будет лишь приближенной оценкой, и метод KNN с взвешиванием по расстоянию часто является достаточно эффективным решением, которое трудно значительно превзойти в условиях неполных данных.