[파이토치 트랜스포머 #1] 1장 인공지능과 방법론

 

 

• 인공지능부터 머신러닝에 대한 전반적인 내용이 담긴 챕터
• 쭉 읽으면서 넘어가기에 좋음
  • 아는 용어가 많으면 당연한 얘기같지만 모르는 부분은 모르겠는..
• 특정 부분만 기록

 

 

 

 

 

 

머신러닝 아키텍처

• 데이터 준비, 모델링, 모델 평가, 모델 배포

 

모델 배포

• 머신러닝 시스템을 서비스화하거나 상용화하는 단계, 모델 서빙 과정 의미
  • 모델 서빙: 머신러닝 모델의 예측값을 사용자에게 제공
• 배치 인퍼런스
  • 입력 데이터를 배치(batch)로 묶어 한 번에 추론(inference)하는 방법
  • 특정 주기마다 여러 데이터를 한 번에 묶어 처리 → 대규모 요청사항을 수월하게 처리 가능
  • 일정 주기마다 처리된 결과는 보통 데이터베이스에 적재해 사용자에게 제공
  • 다음 주기까지 신규 데이터 처리 불가 = 실시간 예측값 제공x
• 온라인 인퍼런스
  • 클라우드 환경, 내부 서버 망에서 RESTful API 기반으로 요청이 올 때마다 즉시 예측값을 제공하는 방법
  • 요청 즉시 수신 데이터를 추론해 예측 값을 제공 (온라인 인퍼런스 = 실시간 인퍼런스)
  • 실시간성으로 인해 일정 시간 이하의 응답 시간을 보장 필요
  • 순간적으로 얼마나 많은 유저에게 제공해야 할지 알 수 없으므로 프로비저닝(Provisioning)까지 신경 써야 함
    • 프로비저닝: 시스템 자원을 즉시 사용할 수 있는 상태로 준비해 두는 것
  • 유저에게 즉각 제공하는 방식이기 때문에, 모니터링 시스템 구축 & 서비스 장애 즉각 대응 필요
• 에지 인퍼런스
  • 내부 환경이 아닌 하드웨어에 직접 배포돼 추론하는 방법을 의미
  • 디바이스의 종류나 버전에 따라 서비스가 지원되지 않거나, 일부 기능이 제공되지 않을 수도 있음 → 더 복잡한 버전 관리 방법이 요구됨
  • 디바이스가 상이 → 동일한 기능이라도 동일한 모델에 동일한 데이터가 입력돼도 예측값이 다를 수 있음 → 모델 성능 객관적 평가 어려움

 

MLOps

• Machine Learning Operations: 소프트웨어 개발 수명 주기 (Software Development Life Cycle, SDLC)에 통합하는 방법을 의미
  • 개발자와 운영자가 협업해 애플리케이션의 개발 주기를 단축하고 소프트웨어의 릴리스 속도와 안전성을 높이기 위한 DevOps에서 유래됨
• 목표: 프로덕션 환경에서 머신러닝 모델을 더 쉽게 배포하고, 시스템 상태를 모니터링하여 효율적으로 유지 관리하는 것
• 목적
  • 지속적인 통합(Continuous Integration, CI): 머신러닝 모델의 코드 변경 사항을 빌드하고 테스트하는 프로세스를 자동화
  • 지속적인 서비스 제공 (Continuous Delivery, CD): 모델의 변경 사항을 프로덕션 환경에 배포하는 프로세스를 자동화
  • 프로그래밍형 인프라: 머신러닝 모델의 인프라 구성을 코드로 관리해 자동으로 구축, 관리, 프로비저닝
  • 지속적인 모니터링: 프로덕션 환경에서 발생할 수 있는 문제와 배포된 머신러닝 모델의 성능을 모니터링
  • 데이터 관리: 머신러닝 모델을 학습하는 데 사용되는 데이터를 관리하고 테스트 데이터세트에 대한 모델의 성능을 검증
• MLOps 아키텍처
  • 머신러닝 아키텍처를 포함한 운영 및 배포 자동화를 포함
  • 데이터 레이크에 적재된 원시 데이터세트를 활용해 모델을 구축, 배포된 모델의 성능과 상태를 지속적으로 모니터링 및 업데이트
  • 피처 스토어(Feature Store):
    • 머신러닝 모델에서 사용된 데이터의 특성이나 속성을 저장, 관리 및 제공하는 데 사용되는 중앙 집중식 저장소
    • 피처 스토어 데이터도 분석을 통해 새로운 모델 아키텍처 구성 가능, 모델의 일관성 및 정확도 개선 및 기록 추정 가능