제품 관리의 목표는 모든 종류의 소프트웨어 배포에서 대체로 비슷하지만 분석 및 데이터 제품에만 적용되는 몇 가지 책임이 있다. 뛰어난 제품 관리자가 데이터 과학 이니셔티브의 결과를 개선하는 5가지 방법을 알아보자.
데이터 과학에는 실험과 발견이 필요하지만 데이터 과학 제품과 프로그램을 최종 사용자에게 배포하기 위해서는 SaaS를 시장에 출시하거나 비즈니스 애플리케이션을 부서에 배포하는 경우와 비슷한 원칙이 필요하다. 소프트웨어를 배포할 때 제품 관리자는 비즈니스 가치와 사용자 경험 개선이라는 중요한 역할을 담당한다. 이들의 책임은 데이터 과학 이니셔티브에 참여할 때 더 확장된다.
ⓒ Getty Images Bank 필자는 데이터 과학 이니셔티브에 스크럼을 적용하고 데이터 시각화와 머신러닝 모델, 생성형 AI 기능을 포함한 데이터 과학 제품 개발에 대한 감독 역할을 제품 관리자에게 맡겨야 한다고 강력하게 주장하는 입장이다. 조직은 제품 관리 책임을 할당함으로써 데이터 과학 이니셔티브를 비즈니스 전략에 맞추고, 일회성 분석 및 보고서를 실험하고 개발하기보다는 확장 가능한 제품을 지속적으로 개선해 나갈 수 있게 된다.
제품 관리자와 애자일을 통한 비즈니스 정렬
17회 애자일 현황 보고서에서 응답자의 약 70%는 IT 부서와 소프트웨어 개발에 애자일 방법론을 사용한다고 답했다. 폭포수 프로젝트 관리 방법론과 관련된 유연성 부족, 지나친 사전 계획 등 여러 문제점으로 인해 많은 조직이 애자일로 전환했다. 설문에서 애자일 방법론에 만족한다고 답한 응답자 중 약 60%는 협업 증대, 비즈니스 요구사항과의 정렬 개선을 구체적인 혜택으로 언급했다.
애자일의 중요한 차이점은 제품 및 프로젝트 관리 책임과는 상당히 다른 제품 소유자 역할과 제품 관리 기능을 할당한다는 점이다.
제품 소유자 책임에는 고객 요구 파악, 기능 우선순위 분류, 요구사항 초안 작성, 스크럼 팀과의 협력을 통한 쾌적한 고객 경험 구현이 포함된다. 여러 팀이 고객 및 직원용 애플리케이션을 포함한 여러 제품을 개발하고 개선하는 조직의 경우 더 높은 수준의 제품 관리 역할이 할당된다. 제품 관리자의 책임에는 고객 페르소나 정의, 비전 선언 초안 작성, 비즈니스 가치를 제공하는 로드맵 개발이 포함된다.
데이터 과학 이니셔티브에서도 제품 관리 기능의 목표는 소프트웨어 개발 및 기타 기술 이니셔티브와 비슷하지만, 분석과 데이터 제품에만 해당하는 여러 책임이 있다. 데이터 과학 이니셔티브에서 제품 관리자의 책임은 다음과 같다.
데이터 과학 투자의 비즈니스 가치 정당화
제품 관리자는 이니셔티브를 비즈니스 우선순위에 맞추는 데 있어 중요한 역할을 한다. 조직이 데이터 과학 역량에 투자할 수 있는 모든 부서와 데이터 집합, 데이터 제품 중에서 집중해야 할 가장 중요한 요소와 그 이유는 무엇일까?
엑사솔(Exasol)의 AI/ML 부문 수석 제품 관리자인 마들렌 코넬리는 "제품 관리자는 고객을 돕고 AI/ML 모델 개발의 '이유'를 확립하는 데 온전히 집중해야 한다. 사용자의 문제 해결, 경험 개선, 효율성 향상에 모델이 어떻게 도움이 되는지를 물으면 적절한 모델을 만드는 데 도움이 된다"고 말했다.
머신러닝과 AI 역량은 워낙 발전 속도가 빨라 데이터 과학 팀이 최신 툴과 방법론을 실험하는 데 급급하게 되기 쉽다. 코넬리는 "잠재적인 머신러닝 애플리케이션이 무수히 많은 상황에서 적절한 AI 솔루션을 향해 팀을 이끄는 것은 제품 관리자의 몫이다. 뭔가를 만들 수 있다는 것이 그것을 꼭 만들어야 한다는 의미는 아니다"라고 말했다.
중요한 제품 관리 원칙은 이니셔티브의 대상 고객과 가치 제안, 전략적 비즈니스 가치를 파악하는 것이다. 데이터 과학 이니셔티브의 비즈니스 가치에는 주로 의사 결정 역량 개선, 생산성 증대, 지속적인 경쟁 우위가 포함된다. 제품의 데이터 시각화, 예측 모델, LLM을 포함한 데이터 과학 제품은 이 솔루션의 일부다.
앰플리튜드(Amplitude)의 제품 관리 부문 부사장인 이브라힘 바시르는 "AI는 제품이 아니라 '방법'이다. AI를 사용해서 고객 문제를 해결하지 못한다면 그 방법을 사용하지 말아야 한다"면서 "AI 기반 기능이 가치 창출 시간 또는 유지와 같은 주요 비즈니스 지표에 긍정적인 영향을 미치지 못하는 경우 높은 우선 순위를 부여하면 안 된다"고 말했다.
노네임 시큐리티(Noname Security)의 CISO 칼 맷슨은 유능한 제품 관리자는 먼저 사용자 또는 고객 경험의 최종 상태를 고려하고, 거기서부터 역방향으로 제품을 만들어 나간다면서 "데이터 과학 이니셔티브에서 최종 목표는 양질의 의사 결정을 위한 정보 제공이다. 기술적인 방법에 집착하지 말고 데이터 제품에 대해 내리는 의사 결정의 본질을 제대로 이해해야 한다"고 말했다.
데이터 과학과 데브옵스 간의 협업 촉진
최근 한 설문조사에서 머신러닝 모델의 60% 이상을 성공적으로 배포한다고 답한 응답자는 32%에 불과했다.
이처럼 모델 배포 성공률이 낮은 이유 중 하나는 데이터 과학 팀이 솔루션을 최적화하기 위해 많은 모델을 실험해야 한다는 데 있다. 의사 결정과 기타 데이터 기반 작업에 예측을 사용할 수 있는 워크플로우, 고객 경험, 자동화에 모델을 연결하는 부분에도 간극이 있다. 통합을 개발하고 모델이 프로덕션 등급이 되도록 하기 위해서는 데브옵스 팀과의 협업이 필요한 경우가 많다. 그런 다음 제품 관리자는 엔드 투 엔드 제품의 효과를 평가해야 한다.
티로나(Thirona)의 CTO 리타 프라이오리는 "데이터 과학 팀과 소프트웨어 개발자 간의 협력을 촉진해서 모델의 정확성과 가치를 보장해 제품 목표와 부합하도록 하는 일은 일반적으로 데이터 과학 이니셔티브의 제품 관리자 책임이다. 제품 관리자는 심층적인 AI 지식을 갖추고 있어야 하며 제품 수명 주기 동안 정확도, 속도, 적응성과 같은 지표를 염두에 두고 모델의 성능을 지속적으로 평가하고 개선해야 한다"고 말했다.
제품 관리자에게 중요한 스킬은 데이터 과학자와 데브옵스 엔지니어를 포함한 애자일 팀이 제품을 반복적으로 개발하는 동안 제품을 평가하는 역량이다. 제품의 구현과 목표 부합성에 대한 기술적 질문을 던져야 한다. 데이터 과학 이니셔티브의 제품 관리자는 개방적인 분위기에서 질문을 제기하고 솔루션을 평가하는 팀 문화를 이끌어야 하는데 이를 위해서는 디자인 사고 원칙, 데이터 운영 관행, 머신러닝 모델 역량, AI의 한계, 소프트웨어 아키텍처에 대한 기본적인 이해가 필요하다.
IBM의 watsonx.ai 제품 관리 책임자인 미라임 아슈리는 "AI/ML 모델과 플랫폼을 개발할 때 제품 관리자는 기술을 근본적으로 이해하고 설계, 엔지니어링, 연구팀과 협력해서 제품이 실제 문제에 대처하도록 보장해야 한다"고 말했다.
고품질 제품을 위해 최적의 데이터 집합 평가
사용할 데이터 집합의 정보 가치, 품질, 비용은 데이터 과학 제품을 개발할 때 공급망 고려 사항에 속한다. 제품 관리자는 데이터 성분이 우수한 품질과 적절한 가격의 제품으로 이어지도록 해야 하며 이를 위해서는 출처를 평가하고 데이터옵스 제조 프로세스를 감독해야 한다.
글래스박스(Glassbox)의 제품 관리 부사장인 뮬리 파카스는 "강력한 기본 데이터 집합은 성공적인 데이터 과학 이니셔티브의 출범을 위해 중요하다. 이를 위해서는 제품 관리자와 데이터 과학자가 긴밀하게 협력해서 모델이 다룰 실제 조건을 반영하도록 데이터 집합을 정의하고 다듬어야 한다. 제품 관리자는 사용자 요구사항과 기술적 실행 사이를 잇는 다리이며, 이를 통해 사용자에게 가치 있는 방식으로 모델 성능을 향상시켜줄 기능을 데이터 과학자에게 알려야 한다"고 말했다.
제품 관리 감독이 필요한 중요한 영역 중 하나는 데이터 과학자가 모델 학습을 위한 데이터 집합을 선택하고 분할하는 방법이다. 헤비.ai(Heavy.ai)의 제품 관리 부사장인 마이크 플랙스맨은 "핵심 작업에는 모델 학습에 적절한 볼륨과 품질의 적절한 데이터가 사용되도록 보장하는 것이 포함된다. 또한 제품 관리 담당자는 데이터를 선택하고 학습을 수행할 때 암묵적인 편견을 방지하도록 주의를 기울여야 한다"고 말했다.
제품 관리자는 팀의 데이터 과학자와 논의해서 제품의 목표를 지원하기 위한 최소한의 데이터 요구사항을 정의해야 한다. 여기에는 정확성, 일관성, 적시성과 같은 데이터 품질 지표가 포함된다. 또한 데이터 과학자는 학습 데이터가 타겟 데이터 세그먼트에 대해 통계적 유의도를 갖고 있음을 입증해야 하며 제품 관리자는 팀이 데이터 집합에서 잠재적인 편향을 어떻게 평가하는지를 감독해야 한다.
엄격한 머신러닝 모델 테스트와 모니터링 보장
LLM 테스트에서 어려운 부분은 LLM이 완전히 결정론적이지 않으며, 회귀 테스트의 결과를 단어 대 단어로 비교할 수 없다는 점이다. 예측 모델의 유효성을 검사하는 데도 어려움이 있고 대규모 특징 벡터에서 작동하는 머신러닝 모델은 모든 차원과 값에 걸쳐 테스트하기가 현실적으로 어려운 경우가 많다. 합성 데이터 소스를 사용한다 해도 이 문제를 피하기는 어렵다.
따라서 데이터 과학 제품은 어느 사용 사례를 검증할지, 테스트에 얼마나 투자할지, 그리고 모델이 프로덕션에 사용할 준비가 되었는지 평가하는 데 있어 비즈니스의 의견이 필요하다. 제품 관리 담당자는 법률, 위험, 보안, 기타 이해관계자 사이에서 조력자 역할을 하면서 최소한의 테스트 기준을 정의하고 테스트 예산을 설정하고 감독을 조율할 방법을 정해야 한다.
KNIME의 데이터 과학 에반젤리즘 책임자 로사리아 실리포는 "데이터 과학 애플리케이션을 개발할 때는 잘못될 수 있는 부분이 많은 만큼 세부적이고 유의미한 확장된 테스트 모음이 필요하다. 예를 들어 개발 연구실에서 사용 가능한 데이터와 프로덕션에서 사용 가능한 데이터가 다르거나, 모델 학습 중 데이터 유출이 발생할 수 있다"고 말했다.
실리포는 데이터 과학 팀이 개발 이후 프로덕션에 앞서 테스트를 하고 수시로 모델 드리프트를 확인할 것을 권장했다.
엑사솔의 코넬리는 "모델, 대시보드, API 모니터링을 미리 계획해서 가동 시간과 지속적인 정확성을 보장하는 것이 장기적인 성공을 위한 핵심"이라고 말했다.
제품 관리자는 머신러닝 모니터링의 중요성을 인식하고 배포에 앞서 제품의 기술적 구성요소를 운영 가능화하는 데 엔지니어링 시간을 할애한다. 사이트 안정성 엔지니어링 관행에 따라 운영되는 조직은 성능, 모델 품질, 데이터 품질, 기타 비즈니스 운영에 영향을 미치는 오류에 대한 서비스 수준 목표를 정의한다.
비즈니스 가치와 KPI 측정
현재 기업은 데이터 과학과 머신러닝, AI에 많은 투자를 하고 있지만 데이터 과학 팀은 비즈니스 가치를 제공하고 주요 비즈니스 지표에 미치는 영향을 알려 지속적인 투자를 정당화해야 한다. 데이터 과학 이니셔티브가 전략 및 운영 측면에서 어느 부분에 영향을 미치고 있는지 알리는 것은 제품 관리자의 책임이다.
IBM의 아슈리는 "AI 제품의 성공은 플랫폼이든 모델이든 최종 사용자 요구사항을 얼마나 잘 처리하는지에 따라 좌우된다"고 말했다.
인터뷰와 설문, 기타 피드백 메커니즘을 사용하면 개선이 필요한 영역을 파악하고 고객 만족도를 측정하는 데 도움이 된다(CSat).
헤비.ai의 플랙스맨이 언급한 부가적인 운영 KPI는 다음과 같다.
모델이 얼마나 자주 업데이트 및 배포되는가?
모델이 얼마나 정확한가?
문제 및 이상 현상 평균 탐지 시간은 어느 정도인가?
탐지된 문제를 해결하는 데 얼마나 오랜 시간이 걸리는가?
도미노(Domino)의 데이터 과학 전략 및 에반젤리즘 책임자인 켈 칼슨은 AI/ML 프로젝트와 관련 KPI는 매우 다양하므로 데이터 과학 제품 관리자는 유연해야 한다면서 "일반적으로 제품 관리자는 모델, 파이프라인, 애플리케이션 성능 측정에 대한 보고 외에 기업에서 가치를 측정하는 방법인 KPI도 추적하고 커뮤니케이션해야 한다"고 말했다.
제비아(Xebia)의 제품 및 프로젝트 관리자인 마 파시오는 명료한 비즈니스 지표를 사용해야 한다면서 "비즈니스 영향은 운영 비용 절감, 사용자 참여 지표의 개선을 통해 평가된다"고 말했다. 파시오는 정확도, 정밀도, 리콜, F1 점수, 분류 작업을 위한 AUC-ROC 등 모델 성능에 대한 업계 표준 지표를 선택하는 것이 좋다고 말했다.
제품 관리자는 지표가 인사이트를 전달하거나, 이해관계자가 훌륭한 데이터 과학 스토리텔러가 되어 주기를 기대해서는 안 된다. 유능한 제품 관리자는 최종 사용자가 데이터 과학 제품을 사용해 의사 결정과 생산성을 개선하는 방법을 파악하여 팀의 성공을 홍보할 방법을 찾는다.
베리캐스트(Vericast)의 제품 소유자인 니디 샤는 "제품 관리자는 데이터 과학 팀과 이해관계자 사이를 잇는 다리로서, 기술적인 발견을 실행 가능한 비즈니스 전략으로 전환하는 역할을 한다. 이를 위해서는 복잡한 데이터 인사이트를 의사 결정자들을 위한 명확하고 이해할 수 있는 용어로 추려내고 명확한 커뮤니케이션의 중요성을 잘 보여줘야 한다"고 말했다.
제품 관리자는 비즈니스 목표를 실행 가능한 로드맵으로 전환하고 비즈니스 성과를 입증할 책임이 있다. 기술 프로젝트에는 항상 위험과 미지의 요소가 포함되지만 데이터 과학 이니셔티브는 데이터 품질, 모델 성능, 최종 사용자 채택에 관한 요소를 추가했다. 데이터 과학 제품을 성공적으로 구축하고 강화하는 제품 관리자는 더 큰 규모의 이니셔티브와 더 새로운 AI 기회를 향해 나아갈 가능성이 높다. editor@itrworld.co.kr
