머신러닝 시스템 설계

머신러닝 시스템 설계

머신러닝(ML)이 다가온다

ML은 불과 얼마전까지만해도 특정 누군가들의 아주 특별한 기술분야로 생각되었었는데, 불과 몇년만에 많은 부분들에서 생각하는것보다 너무도 빠르게 세상을 변화시켜 가고 있는 중이다. 나만 해도 이전과는 일하는 방식에 있어서도 틈틈히 ChatGPT를 활용하여 업무에 적용하고 있는게 일상화 되었다. 이제는 예전처럼 일하라고 하면 절대 못 할거라 생각한다. 머신러닝이라고 하면 알고리즘만 떠올리기 쉬운데, '머신러닝 시스템' 책을 읽다보니 이건 ML 시스템의 작은 한 부분인 것을 알게 되었어다.

머신러닝 시스템

머신러닝이 ML시스템으로 구성될 때에는 배포, 모니터링, 로직 업데이트, ML 알고리즘, 평가, 데이터, 인프라, 피처 엔지니어링의 구성요소들 나뉠 수 있다. 현재 많은 책들에서 ML 알고리즘을 잘 다루고 있지만 ML시스템 전반에 대해 다루는 책은 많이 없었던 것 같다. 이 책은 알고리즘에 대한 것 보다 적합한 솔루션을 개발하도록 프레임워크를 설명하고 있다.

데이터 엔지니어링

머신러닝 이전에도 대규모 데이터링을 다루기는 했었다. 물론 아주 제한되고 느려터진 속도로 결과물을 제공해도 전혀 문제가 될 것이 없었는데, ML이 대두되면서 이전 방식은 비교 도마에 오른것 같이 느껴진다. 젊은 친구들에 밀린 나이든 부장님의 예전 드라마 장면 같다고나 할까? 걔다가 대규모 데이터 시스템은 정말 많은 과제와 문제들로 인해 매일 매일이 미션에 대한 솔루션 찾기이다. 이 책에서 데이터 엔지니어링의 기본인 관계형 모델, 트랜잭션 등에 대해 설명해놓고 있어서 기존에 알고 있던것들을 다시 리마인드하고 어떻게 ML에서 처리되는지 엿볼 수 있었다.

여전히 나에게는 넘어야 할 산

영어를 공부할 때도 그랬지만 어느정도 지식이 쌓이고 그 다음에 레벨업이 되는식이어서 중간에 참 더디고 힘든부분들이 있었다. 프로덕션 환경에서 ML을 적용하는 것도 많은 엔지니어링 시간이 투자되고 경험이 쌓여야 하리라 본다. 지금 이렇게 쌓아가는 지식들이 언제가 훗날 좋은 밑거름이 되리라 본다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."