인용수 1222회의 유명한 이상탐지 쪽 논문입니다
모든 내용을 포함하고 있지 않습니다.
필요&중요 포인트만 요약한 내용입니다. (발표자료였음)
논문 기본 정보
LSTM-based Encoder-Decoder for Multi-sensor Anomaly Detection
- ICML
- 2016
- 1222회 인용
- 키워드
- 여러 이상 현상 (점차 감소, 헌팅 등) 탐지
1. Model Architecture
다중 센서 시계열에서 이상 탐지를 위한 LSTM 기반 인코더-디코더 체계(EncDecAD)를 제안
- 정상 시퀀스만 사용하여 학습
- LSTM 인코더: 입력 시계열의 고정 길이 벡터 표현을 학습
- LSTM 디코더: 표현을 사용하여 현재 숨겨진 상태와 이전 시간 단계에서 예측된 값을 사용하여 시계열을 재구성
- 인코더와 디코더는 시계열을 역순으로 재구성하도록 훈련
인코더
- 입력 시계열 데이터를 순차적으로 처리하여 각 시간 단계마다의 숨겨진 상태를 업데이트
- 숨겨진 상태 h(i)E는 시간 ti에서의 입력 데이터의 정보를 반영
- 마지막 숨겨진 상태 h(L)E는 입력 시계열의 전체적인 정보를 압축한 벡터 표현
- 이 벡터는 디코더의 초기 상태로 사용
디코더
- 이 벡터 표현(최종 숨겨진 상태)을 사용하여 원본 입력 시계열을 역순으로 재구성
- 이전 단계에서 예측한 값을 다음 입력으로 사용하면서 새로운 출력을 생성
- 장기 의존성을 처리하는 데 LSTM의 장점을 활용
이상 점수 계산
- 디코더에서 재구성한 시계열과 실제 시계열 간의 오류 차이를 계산하여 이상현상 판단 (이상 점수 계산)
- 정상 시계열(sN, vN1, vN2, tN) / 이상 시계열(vA, tA) – 학습, 검증, 테스트 등
- sN 집합은 LSTM 인코더-디코더 모델을 학습하는 데 사용
- vN1 집합은 훈련 중 조기 중단(Early Stopping)을 위해 사용
- Ti 재구성 오차벡터: e(i)=|x(i) – x0(i)|
- x0(i): 재구성 값
- vN1 집합의 오차 벡터를 사용하여 최대 우도 추정 -> 정규분포의 파라미터 μ 와 Σ를 추정
- 이상 점수
- 특정 임계값 τ보다 크면 해당 지점을 ＂이상＂으로 분류
- vN2와 vA 의 최대 Fβ(분류 정밀도와 재현율) 점수를 달성하기 위한 τ 학습
- 이상 점수 수식
2. Experiments
4가지 데이터셋 (3개 공개 데이터셋)
- 예시 1 전력 수요 데이터 세트: 요일, 시간 수요 변동
- (왼: 정상, 오: 이상)
- 파란색: 실제 시계열
- 초록색: 재구성한 시계열
- 빨간색: 이상 점수, (점선: 임계값)
- 예시 2 우주왕복선 데이터 세트: 주기당 1000개의 포인트, 15개의 사이클
- 예시 3 엔진 데이터 세트
- 본 논문 데이터, 냉각수 온도, 토크, 가속기(제어 변수) 등과 같은 12개 센서
- P: predictable / NP: Non predictable
- 이산형 외부 제어, NP: 모든 값 제어 및 가정 불가, 자주 변경, 시계열 예측 불가
- 주성분 분석하여 첫번째 주성분만 고려하여 다변량 -> 일변량
- P의 경우 72% 설명, NP의 경우 61% 설명
- 예시 4 ECG심전도 데이터 세트: quasi-periodic
- 준주기성, 반복전 패턴 존재, 각 반복 사이의 간격이나 주기의 길이가 일정하지 않음
3. Conclusion
- (1) EncDec-AD가 정상 지점에 비해 비정상 지점에 대해 훨씬 더 높은 이상 점수를 제공
- (2) 여러 주기 고려
- 주기적, 긴 주기, 준주기적
(3) 예측 가능한 데이터 세트 뿐만 아니라, 예측 불가 데이터에서도 이상 판단 가능
- LSTM-AD(말로트라 외, 2015): 예측 가능한 데이터 세트에서 더 우수
- 본 논문: 예측 불가능한 데이터에서 더 우수
LSTM-AD(말로트라 외, 2015): 1696회 인용
- (공통점) LSTM 사용하여 시계열 데이터에서 이상 징후를 탐지
- (차이)
- LSTM-AD: 전통적인 LSTM 네트워크를 사용하여 시계열 데이터의 정상적인 동작을 모델링하고, 예측 오류를 분석하여 이상을 탐지
- EncDec-AD: LSTM 기반의 인코더-디코더 구조 사용, 재구성 과정에서 발생하는 오류 분석하여 이상 탐지
