목록으로추천 시스템, 구축은 시작일 뿐입니다 😅
(Feat. 끝없는 변경사항 속 모델 성능 지키기)
안녕하세요, 인공지능 기반 초개인화 추천 모델을 통해 온라인/모바일 서비스의 상품 탐색부터 구매까지의 성과 개선을 도와드리는 Z.Ai(자이)의 Project Manager Conor입니다!
많은 고객사분들을 만나다보면 개인화 추천을 도입하고자 하는 생각은 대부분 가지고 계시지만, 막상 이를 도입하는 과정, 도입 이후 사후관리의 과정에서 다양한 고민들에 봉착하게 되는 것을 볼 수 있는데요. 오늘은 이러한 고민들을 조금이나마 해소드리고자 자이가 이 문제들을 어떻게 풀어나가고 있는지 말씀드리고자 합니다.
많은 플랫폼 기업들이 인공지능 추천의 중요성을 느끼고 있는 지금, 대기업과 빅테크 기업들은 인공지능 추천을 서비스에 내재화하기 위해 전문 인력으로 구성된 팀을 꾸려 추천 시스템을 개발하고 도입하고 있습니다.
그러나 아직 제품개발 등 사업의 본질적인 영역에 집중하고 있는 스타트업들이나, IT 인프라가 고도화되지 않은 기업들은 ML 엔지니어 등 전문 인력들을 내부에 다수 채용하여 추천 시스템을 구축할 엄두를 내기가 쉽지 않기에 AWS Personalize와 같은 빅테크 기업의 솔루션을 활용하기도 합니다.
인공지능 추천은 사람이 직접 만드는 룰베이스 추천과는 다른 특이한 점이 있는데요. 바로 모델의 작은 파라미터 하나의 수정으로도 추천 결과 및 성능이 크게 달라질 수 있다는 점입니다. 서비스에 추천을 도입하여 달성하고자 하는 비즈니스 목표를 효과적으로 달성하면서도 딥러닝 모델의 순수한 성능을 그대로 유지 (또는 발전)하기 위해서는 그때그때 상황에 맞는 모델 튜닝 작업이 필수적입니다.
빅테크 기업 솔루션을 활용하면 전문 인력 채용 없이 개인화 추천을 도입할 수 있지만, 다양한 기업들에게 범용적으로 적용되는 표준화된 솔루션이다 보니 지속적인 유지보수 및 모델 업데이트 측면에서는 다소 아쉬움을 느끼실 수 있습니다. 비즈니스적인 필요에 의해 모델에 대한 수정이 필요한 경우, 성능의 하락을 최소화하면서 해당 필요를 충족하는 모델을 지속적으로 업데이트하기에 한계가 있는 것이죠. 아래와 같은 상황을 한 번 살펴보겠습니다.
한편, B사와 계약하기 전 A사는 이미 사내 백엔드 개발자들이 몇주에 걸쳐 개발 문서를 하나하나 읽어가며 빅테크 업체의 솔루션을 셋업해 둔 상태였습니다. 그런데 아무래도 ML 엔지니어와 같은 인공지능 전문 인력은 아니다 보니, 이러한 요구사항이 발생했을 때 머신러닝 모델을 어떻게 수정해야 할지 막막합니다.
그렇다고 이미 셋업된 모델에 강제로 B사 제품 비중을 보장하는 조건을 걸자니, 모델의 최적화가 망가져 성능의 대폭 손실이 불가피해 보입니다 (* 초개인화 추천을 도입하는 경우, 기존 대비고객당 구매 건수가 최소 1.5배에서 최대 3배까지 상승하는데, 이와 같은강제적 조건 삽입 시 작게는 20~30%에서 많게는 50%까지 성능 하락이 발생합니다.)
아니면 아예 ML 엔지니어들을 채용해서 어떨까도 고민해 보았는데요, 아무래도 고스펙 인력이니만큼 인건비 부담도 크고 처음부터 새로 구축하는데 너무 오랜 시간이 걸릴 것 같습니다. (실제로 MAU 200만 이상의 패션 커머스 C사의 경우 ML 인력 2명이 투입되어 내부 추천 시스템을 구축하는데 6~9개월이 소요되었다고 밝힌 바 있습니다.)
A사는 이 문제를 어떻게 해결할수 있을지 고민하다 자이를 찾았습니다.
위의 이야기는 자이가 실제로 만나본 고객사들의 실제 사례를 기반으로 재구성한 사례입니다. 추천을 도입하기 전에는 일단 도입을 완료하는 것에 모든 관심과 리소스가 집중되지만, 막상 도입하고 나면 성능에 욕심이 나지 않을 수 없습니다. 그런데 다양한 비즈니스 맥락 속추천 모델에 대한 수정사항이 필연적으로 발생하는데, 이때해당 수정사항을 반영하면서도 성능을 지키는 것이 중요한 문제가 되는 것이죠.
자이는 인공지능을 통한 비즈니스 임팩트 창출이라는 비전 하에, 현재는추천 영역의 문제를 집중하여 풀고 있는 팀입니다. 이에 그간 고객사분들과 머리를 맞대고 고민했던 다양한 경험, 그리고 최고 수준의 인공지능 전문 인력들이 만들어낸 기술을 기반으로 현존하는 모든 솔루션 중 모델 성능과 비즈니스 효과, 2마리 토끼를 잡는 문제를 가장 잘 풀어내고 있다고 자신있게 말씀드릴 수 있습니다.
자이는 위와 같은 고객사의 수정 요청사항이 들어오게 되면, 대부분 인공지능 모델이 자연스럽게 요청사항을 학습할 수 있도록 합니다. 이 경우 인공지능 모델이 새로운 조건 하에서 자연스럽게 최적화되기 때문에 성능 손실을 최소화할 수 있습니다. 또한 해당 요청사항을 누구보다 빠르게 반영하여 비즈니스 임팩트를 극대화할 수 있도록 도와드리고 있는데요, 평균적으로 1~2일 이내 / 늦어도 3일 이내에는 해당 요청사항이 고객사 웹/앱에 깔끔하게 반영되도록 해드리고 있습니다.
또한 여기서 그치지 않고, 올해 7월에는 고객사가 직접 비즈니스 요구사항에 따른 모델 튜닝이 가능한 어드민 툴을 제공할 예정입니다! 해당 툴을 이용하면 PM/PO와 같은 비개발자도 아주 쉽게 추천 모델을 필요에 따라 수정할 수 있으며, 수정에 따른 모델의 성능 변화를 미리보기 할 수 있어 전략적으로 의사결정할 수 있게 됩니다.
오늘 글은 여기까지입니다. 추천 시스템은 단순히 도입한다고 끝나는 것이 아니라, 도입 이후 지속적인 모델 업데이트를 통한 성능 보존이 핵심이라는 점 이해되셨나요?
단순히 추천 시스템 구축만이 아니라, 최고의 비즈니스 임팩트를 창출을 돕는 파트너인 자이와 이야기해보고 싶으시다면 언제든 환영이니 많은 관심 및 연락 부탁드립니다! 🙂
자이의 개인화 추천으로 구매전환율 및 매출의 상승을 경험해 보세요!