English
Sensors & Time Series

Anomaly Detection이상 탐지

교량 같은 구조물에 붙인 센서는 온도·교통에 따라 늘 움직입니다. 그 안에서 평소와 다른 것을 찾는 방법을, 정답 구간을 아는 합성 신호 3주치로 직접 비교합니다.

신호와 특징

가상의 교량 거더를 3주 동안 10분마다 잰 값입니다. 기온, 변형률(strain, με: 강재가 늘어난 정도), 진동에서 추정한 1차 고유진동수(Hz) 세 가지입니다. 알려진 시각에 이상 다섯 가지를 넣어 두었기 때문에, 이 페이지의 모든 방법을 정답과 맞춰 볼 수 있습니다. 앞 3일에는 이상이 없고 기준 구간으로 씁니다.

체험: 센서 세 개

체험: 온도부터 빼는 이유

강재는 따뜻해지면 늘어나므로 변형률은 기온을 거의 그대로 따라가고, 하루 동안의 출렁임이 대부분의 이상보다 큽니다. 기준 구간(점)에 맞춘 직선이 움직임의 대부분을 설명하고, 남은 것(잔차)에서 이상이 드러납니다. 구조물 건전성 모니터링(SHM)에서 가장 흔한 첫 단계입니다.

체험: 진동에서 진동수 특징 뽑기

위의 고유진동수도 하나의 특징입니다. 10분마다 1분 동안의 가속도를 푸리에 변환으로 spectrum으로 바꾸고 첫 봉우리를 읽습니다. 시각을 골라 가속도 원신호와 봉우리를 보세요. 강성이 줄면 봉우리가 몇 % 내려가는데, 원신호만 봐서는 알기 어렵습니다.

요약환경 효과(온도·교통)가 찾으려는 이상보다 큰 경우가 많습니다.이상이 없는 구간에서 평소 관계를 맞추고 잔차를 봅니다.고유진동수 같은 특징은 원신호를 상태에 따라 변하는 숫자로 줄여 줍니다.

기호표

기호뜻단위
ε변형률(strain)µε
T기온°C
f₁1차 고유진동수Hz
r잔차: 값 − 평소 관계로 맞춘 값—

참고문헌

  1. Farrar, C.R., Worden, K. (2012). Structural Health Monitoring: A Machine Learning Perspective. Wiley.
  2. Peeters, B., De Roeck, G. (2001). One-year monitoring of the Z24-Bridge: environmental effects versus damage events. Earthquake Engineering & Structural Dynamics 30(2).

통계 방법

가장 단순한 탐지기는 새 값을 평소 값과 비교합니다. z-score는 평균에서 표준편차 몇 개만큼 떨어졌는지 잽니다. EWMA는 신호를 먼저 부드럽게 해서 작지만 오래가는 변화가 쌓이게 합니다. CUSUM은 여유 k를 넘는 벗어남을 계속 더하고 그 합이 h를 넘으면 경보를 냅니다. 셋 모두 정상이라고 알려진 기준 구간이 필요합니다.

zt = |xt − μ| / σ  ·  st = λxt + (1−λ)st−1  ·  Ct = max(0, Ct−1 + zt − k)

체험: 탐지기 · 채널 · 문턱

체험: 큰 이상치가 다른 이상치를 가린다

평균 0, 표준편차 1인 잡음에 큰 값 두 개(7, 6.5)와 덜 큰 값 하나(4.3)를 넣었습니다. 점을 위아래로 끌어 값을 바꿔 보세요. 전체 평균·표준편차로 z를 내면 큰 값이 표준편차 자체를 부풀려서 4.3이 문턱 안으로 숨습니다(masking). 중앙값과 MAD(중앙 절대 편차)는 이상치 몇 개에 거의 흔들리지 않습니다. 이동 창은 지난 w개만 봅니다.

가운데와 퍼짐
요약이동 평균은 느린 drift를 따라가며 숨기고, 고정된 기준은 드러냅니다.EWMA와 CUSUM은 늦게 알아채는 대신 작고 오래가는 변화에 민감합니다.온도를 빼지 않으면 문턱을 아주 높여야 해서 이상 대부분이 그 아래로 지나갑니다.

참고문헌

  1. Page, E.S. (1954). Continuous inspection schemes. Biometrika 41(1/2).
  2. Roberts, S.W. (1959). Control chart tests based on geometric moving averages. Technometrics 1(3).
  3. Montgomery, D.C. (2019). Introduction to Statistical Quality Control (8th ed.). Wiley.

학습 기반 방법

학습 탐지기는 채널을 하나씩 보지 않고 여러 특징을 함께 봅니다. 변형률과 진동수의 잔차, 기온, 1시간 동안 변형률의 흩어짐과 직전 대비 변화입니다. Isolation Forest는 데이터를 무작위로 자르며, 드문 점은 적은 횟수 만에 떨어져 나옵니다. 오토인코더는 1시간 창을 숫자 6개로 줄였다가 되살리도록 배우고, 학습 때와 다른 창은 잘 되살리지 못합니다. 둘 다 고른 학습 구간만으로 이 브라우저에서 학습합니다.

체험: 학습하고 모든 점에 점수 매기기

체험: Isolation Forest를 2차원에서

Isolation Forest는 무작위 축과 무작위 위치로 공간을 계속 자릅니다. 무리에서 떨어진 점은 몇 번 안 잘라도 혼자 남으므로 경로가 짧고, 점수 2^(−평균 경로/c(ψ))가 1에 가깝습니다. 배경 색이 점수입니다(주황일수록 이상). 빈 곳을 누르면 점이 생깁니다. 선은 나무 하나의 자르기입니다. 빨간 점은 점수가 가장 높은 5개입니다.

요약특징을 함께 보면 한 채널에서는 안 보이는 이상도 잡습니다. 흩어짐이 0이 되는 멈춘 센서가 그 예입니다.모델은 학습 데이터에 있는 것을 이상까지 포함해 배웁니다. 이상이 섞인 학습 구간은 재현율을 떨어뜨립니다.문턱은 여전히 정해야 합니다. 여기서는 학습 구간 점수로 정합니다.

참고문헌

  1. Liu, F.T., Ting, K.M., Zhou, Z.-H. (2008). Isolation Forest. IEEE International Conference on Data Mining.
  2. Hinton, G.E., Salakhutdinov, R.R. (2006). Reducing the dimensionality of data with neural networks. Science 313(5786).
  3. Chandola, V., Banerjee, A., Kumar, V. (2009). Anomaly detection: a survey. ACM Computing Surveys 41(3).

평가

점 단위 정밀도·재현율은 10분 표본을 세기 때문에 긴 이상이 짧은 이상보다 무겁게 들어갑니다. 운영하는 쪽은 사건을 봅니다. 이상마다 잡았는지, 얼마나 늦었는지, 그 사이 오경보가 몇 번이었는지입니다. 가장 좋은 문턱은 오경보 한 번과 놓친 사건 하나의 비용에 따라 달라지고, 이것은 데이터가 아니라 결정입니다.

모든 방법, 지금 설정 그대로 (3–21일)

통계 방법은 두 채널 잔차에 기본 설정을 씁니다. 학습 모델은 이상 없는 학습 구간과 기본 설정을 쓰고, 3번 탭에 다른 모델이 있으면 마지막 줄에 더합니다.

체험: 문턱은 비용 결정

체험: 문턱을 끌어 보는 사건 단위 평가

이상 점수 2주치에 실제 이상 사건 4개(빨간 띠)가 있습니다. 그림 위를 끌어 문턱을 옮기면 경보(아래 금색 표시)와 지표가 바로 바뀝니다. 점 단위 재현율은 긴 사건 하나를 놓치면 크게 떨어지지만, 운영에서는 사건을 늦지 않게 한 번 알리는 것이 중요합니다. 연속 몇 점이 넘어야 경보를 내면 거짓 경보는 줄고 지연은 늘어납니다.

요약점 단위 F1만이 아니라 사건 재현율, 탐지 지연, 오경보 수를 함께 봅니다.문턱을 정한 데이터와 결과를 보고하는 데이터를 나눕니다.같은 탐지기라도 비용 비율에 따라 가장 좋거나 가장 나쁠 수 있습니다.

참고문헌

  1. Lavin, A., Ahmad, S. (2015). Evaluating real-time anomaly detection algorithms — the Numenta Anomaly Benchmark. IEEE ICMLA.
  2. Tatbul, N. et al. (2018). Precision and recall for time series. NeurIPS.

교육용 페이지입니다. 신호는 원리를 보이기 위해 만든 합성 신호이고, 결과는 실제 구조물의 안전 판정이 아닙니다. 점수는 확률이 아닙니다.