AI 제품 관리자에게 필요한 실무 기술

한빛미디어

2021-10-13

by Justin Norman 외

페이스북 퍼가기 트위터 퍼가기

14,458

AI 프로덕트 매니저(이하 PM)는 기존의 PM이 담당했던 것들에 더해 머신러닝 소프트웨어 개발에 대한 운영과 이해 관계, 그리고 기능 및 한계에 대한 현실적인 관점이 필요하다.

AI 제품의 설계, 개발, 유지보수 등에 적용되는 기술들에 관한 AI PM의 기술 능력에 초점을 두고 AI PM에게 필요한 기술들이 무엇인지 알아보자.

PM에게 필요한 능력을 이해하기 위해서는 제품 개발 과정부터, 이 과정이 다른 조직의 과정과 어떻게 다른지 살펴봐야 한다.

AI 제품 파이프라인

AI 제품 개발의 단계들을 정의해 보자. 이것이 정석적인 순서는 아닐지라도, 대부분의 AI 제품은 이러한 단계들을 거친다. 어떤 조직에서는, 개별 매니저가 각각 단계를 담당하여 관리하기도 한다. 그것이 당신의 조직이 일하는 방식일 수도 그렇지 않을 수도 있지만, 모든 AI PM은 이 단계들이 그들의 제품과 어떤 연관이 있을지 고려해야 한다.

제품은 현재 어떤 단계에 있는가? 그것이 ‘실제’가 되기 전에 어떤 단계들을 거쳐야만 하며, 어떻게 도달할 것인가?

1) UI/X를 위한 혁신/구상/디자인

전통적인 소프트웨어 엔지니어링 프로젝트에서 PM은 제품 및 기능 혁신에 영향을 주는 핵심 이해관계자였다. AI도 다를 바 없다. 기나긴(그리고 비싼) 개발 여정에 합류하기 전에 원하는 결과물이 무엇인지, 어떻게 결과가 전달될지, 어떻게 제품이 사용될지에 대해 측정하는 것 또한 엄청나게 중요하다.

아이디어 구상 단계에서, AI PM은 UX 목업, 와이어프레임, 유저 서베이를 포함하여 디자인 전문가들이 사용하는 빠른 혁신툴들을 사용할 줄 알아야 한다.

이 단계에서 제품이 해결하는 문제나 기회나 문제를 구성하는 것 또한 중요하다. Neal Lathia는 그의 기사(Machine Learning for Product Managers)에서 ML 설계시 고려해야 할 문제를 6가지 종류(순위, 추천, 분류, 회귀, 클러스터링, 이상감지)로 분류했다. AI PM은 어떠한 문제를 정확하게 해결하고 싶은지 결정하고, 그 문제를 이러한 범주 중의 하나로 분류한 후에만 기능 개발 및 실험 단계에 들어가야 한다.

당신이 하고 있는 것과 다른 프로젝트와의 관련성에 대해 이해한다면 솔루션을 연구 및 구축하는 데 큰 도움이 될 것이다.

2) 기능 개발 및 데이터 관리

이 단계에서는 기계 학습 제품에 대한 인풋값에 중점을 둔다. 관계 있는 데이터의 기능을 정의하고 제품을 구동하는 기계 학습 엔진에 연료를 공급하는 데이터 파이프라인을 구축한다.

3) 실험

단일 모델을 구축, 평가 및 배포하여 제품을 만드는 것은 불가능하다. 실제로 개발 과정에서 많은 후보 모델들이 (보통 수백 또는 수천개) 생성된다. 어떤 모델이 최종적으로 선택되는지는 질적 요소와 양적 요소를 기반으로 하는 복잡한 결정 과정이 필요하다.

결과적으로, AI 실험을 설계, 구현 및 관리하는 것은 그 자체로 AI 제품일 때도 있다. MLFlow나 Weights & Biases와 같은 도구는 실험을 관리하는 데 도움이 되도록 설계되었다.

4) 연구

많은 조직이 연구와 관련해 뛰어난 사람들을 고용한 후, 그들을 거의 방향성이 없는 곳에 놓고 '혁신'이 나타날 것으로 기대하는 실수를 범한다. 그 결과 버려지기 직전의 상태일 정도로 가치가 없는, 과도하게 엉망진창인 상태가 되어 버릴 때가 종종 있다.

연구 단계의 PM은 AI 연구 제품이 최우선 제품이라는 것을 이해하기 때문에 성공하는 데 필요한 모든 도구, 구조, 관계 및 리소스를 개발한다. 여기에는 제품 로드맵, 실험, 사용자 인터페이스 및 디자인에 대한 투자가 포함된다. 게다가 연구 PM은 그들 제품의 수명 주기를 정의하고 측정한다.

5) 모델링

모델은 종종 AI 제품의 가장 중요한 구성 요소로 잘못 해석된다. 실제로, 모델은 보통 코드베이스에서 가장 작은 양의 코드이며 인간의 개입이 가장 적다. (적은 인간 종속성을 가진다.)

성공적인 모델의 배포는 뛰어난 조직에서도 찾기 거의 어렵다. 선택한 기계 학습 기술이 적합하다고 가정하면 PM은 모델에 대해 몇 가지 중요한 결정을 내려야 한다. PM은 연구 코드를 리팩토링할지(완전히 다른 언어로 이식할지), ML 모델의 추론 엔진 범위를 결정하고, (재사용성 및 버전 제어를 위해) 모델 형식을 결정하고, 모델링 기술이 다음을 수행할 수 있는지 확인해야 한다. AI 시스템의 SLA(서비스 수준 계약)를 지원하고 배포 및 유지 관리를 계획하기도 한다.

6) 서비스 기반

모든 데이터 제품의 기반은 '데이터 수집, 데이터 저장, 데이터 파이프라인, 데이터 준비 및 기존 분석을 포함한 견고한 데이터 인프라'로 구성된다. 이 단계의 PM은 미래 제품의 설계, 개발 및 사용을 지원하는 데 필요한 인프라를 구축하여 제품을 생산할 수 있는 방법을 준비한다.

여기에는 모델 개발(예: Cloudera Data Science Workbench, Domino Data Lab, Data Robot 및 Dataiku) 및 프로덕션 서비스 인프라를 위한 도구(예: Seldon, Sagemake, TFX)가 포함된다.

회사마다 관행이 매우 다르기 때문에 AI PM이 수행하는 역할도 다를 수 있다. 따라서 모든 핵심 기능에서의 역량을 개발하는 것이 좋다. 분야, 기술, 조직이 다양해짐에 따라 전문화는 필수이자 공통사항이 될 것이다.

대기업에서 제품 관리는 제품이 파이프라인을 통해 이동함에 따라 여러 번 담당자가 바뀔 수 있다. 그래서 제품 개발의 총 책임을 지는 프로덕트 오너(Product Owner)가 있을 것이다. 소규모 회사에서는 PM 한 명이 제품 구상에서 운영까지 총괄할 수 있다.

소비자 기업 vs B2B 기업

회사의 비즈니스 모델이 PM의 업무에 큰 영향을 미친다는 것은 누구나 알 것이다. 제품의 구성은 비즈니스 유형(데이터, 기술 인프라 및 인재)에 따라 크게 다를 뿐만 아니라 고객에게 서비스를 제공하는 데 필요한 AI 제품 유형도 다르다.

소비자 기업에서 PM은 기능팀과 직접 조정(협업)할 가능성이 높고 훨씬 더 고객 중심의 작업을 수행하게 된다. 왜냐하면 대중이 소비할 AI 제품을 구축하고 있기 때문이다. 특히 제품 주기 초기에 정확성보다는 빠른 실험과 반복을 통해 최적화하는 것이 가능하다(이는 바람직한 사항이다). 즉, AI PM은 연구 단계에서 보다 많이 실습하는 과정이 필요하다. 고객의 목소리와 요구사항을 목표에 맞추는 것이 그들의 책임(의무)이다.

또한 소비자 기업의 PM은 보다 명확한 기술 문제를 해결해야 할 경우가 많다. 많은 동료나 경쟁자들이 이미 AI 제품을 만들어 다른 분야보다 훨씬 더 발전한 ML/AI 기술이 탄생한 경우가 많다. 예를 들어, 광고회사의 PM은 잘 짜여진 알고리듬 환경과 데이터 환경에서 일하고 있다. 여기서는 소프트웨어 엔지니어링보다는 제품에 대한 혁신적인 새로운 모델링 기술 개발에 중점을 둔다.

소비자 기업에서 업무하는 것의 단점은 (특히 이제 막 시작하는 회사에서 일할 때) 종종 데이터 양에 문제가 있다는 것이다. 고객의 개입(정보 활용)이 필요한 모델링 기술은 통계에 의존한다. 그들의 주요 과제는 특정 유형의 데이터를 훈련하는 것인데, 그런 조직에는 충분한 데이터가 없는 경우가 많다.

올바른 데이터를 얻는 프로세스는 오랜 시간이 걸릴 수 있으며 일반적으로 다음과 같이 진행된다. 무언가를 구축하기 시작하고, 필요한 데이터에 대해 질문하고, 올바른 데이터가 없다는 것을 깨닫고, 데이터 수집을 시작한다. (또는 오래된 데이터를 개조한다). 마지막으로 분석을 하고 처음에 원했던 제품을 설계한다.

이렇게 긴 주기를 단축하려면 PM은 의사 결정을 위한 수단을 명확히 해야 한다. 데이터 과학자와 ML 엔지니어에게 그에 대한 해답을 기대서는 안 된다.

반대로 B2B 회사에서 일하는 AI PM은 AI 제품 주기의 처음과 마지막에 집중하는 경향이 있다. B2B 기업은 매우 좁은 소비자 집단을 위해 복잡한 문제를 해결한다. 보안을 예로들면 많은 AI/ML 서비스 회사는 애플리케이션 오류 및 이상 탐지에 집중한다. 그들이 서비스하는 회사는 매우 다양하겠지만, 이런 AI 제품을 제공하는 회사는 일반 소비자 대상 AI 제품이 거의 가질 수 없는 장점으로 1~2가지 유형에 특화된 제품을 제공한다.

이러한 회사는 소비자 제품과 달리 개발 주기의 초기에 많은 데이터에 접근할 수 있다. 그러나 일반적인 상황에서는 이런 데이터에 접근하거나 상황을 파악하는 것이 쉽지 않을 수 있다.

데이터 문제가 해결되어도 모델 개발 주기에 어려움이 생길 수 있다. 그러한 위협 상황을 예측하고 고려해야 한다. 데이터셋에서 오류를 상당히 많이 발견하더라도 시계열 이상 감지를 위한 현재의 ML 기술은 조정하기 매우 어렵기 때문이다. PM은 기업에서 요구하는 디테일한 수준을 충족하면서도 유지보수할 수 있을 만큼 충분한 기술을 결정해야 한다.

마지막으로 AI 제품을 비즈니스 기술 스택에 통합하는 것은 쉽지 않다. B2B 기업의 PM은 제품이 배포될 스택을 무시할 수 없으며 규모에 맞게 설계하는 문제도 무시할 수 없다.

스타트업 vs 대기업

AI PM은 중소기업과 대기업에서 역할과 책임이 매우 다르다. 대규모 조직에서는 많은 데이터가 있지만 해당 데이터는 일반적으로 복잡하고 오래되었으며 소규모 회사보다 덜 유연하고 통합하기 어려운 경우가 많다. 기업 데이터는 논리적으로(또는 물리적으로) 사일로(silo, 저장창고)로 분류되며, 데이터 플랫폼의 개발이 우선 순위가 될 수 있다. AI PM은 스타트업 환경에서보다 데이터 제품, 대화 및 프로젝트 관리에 더 많이 관여하게 된다.

기업에서 AI PM은 유기적으로 개발된 여러 부서 간 팀(예: 데이터 플랫폼, 메트릭, ML/AI 연구 및 응용 ML)을 조정하고 발전시킬 수 있다. 이러한 점진적 성장의 한 가지 이점은 AI PM이 스타트업에서 일하는 것과 대조적으로 처음부터 교차 가능 도메인(cross-functional domain) 경험과 기존 프로세스에 의존할 수 있다는 것이다.

이러한 협업 및 지원에 대한 절충안은 실행 속도와 유연성이다. VentureBeat에 따르면, 15% 미만의 데이터 과학 프로젝트가 실제 제품에 적용된다. 실제로 적용되는 프로젝트의 수는 (특히 회사의 전후사정에 따라) 아마도 훨씬 더 적을 것이다. 전체 데이터의 일관성이 부족하거나, 효과보다 기술에 중점을 두거나, 반복학습에 대한 수용력 및 리더십의 부족 등은 AI 프로젝트가 흔들리는 많은 이유 중 하나다.

이러한 요인의 대부분은 기업 환경에 내재되어 있거나 환경에 의해 악화되는 경우가 많다. 대규모 조직에서 AI PM은 약간은 좁고 덜 기술적인 관점으로 프로젝트에 접근할 수 있지만, 이해관계 면에서 문제를 해결하는 데 어려움을 겪을 수 있다.

반대로, 스타트업에서의 AI PM은 제품이 전체 비즈니스 모델(예: 애드테크 또는 검색)의 중심이 되지 않는 한 개별적인 역할을 가지지 않는 것이 일반적이다. 결과적으로 PM은 다른 기능에 대한 역할과 책임을 받아들일 필요가 있다.

특정 역할이 없는 것이 실패로 이끌지는 않지만 비즈니스 규모가 커지면서 기술적인 부채가 누적될 위험은 있다. 조직의 전략에는 AI 리소스, 기술 및 리더십을 업그레이드하기 위한 적절한 시간과 조건을 표시하는 웨이포인트(경유지, 제품 파이프라인의 단계일 수 있음)를 포함하는 것이 중요하다. 이 책임은 경영진에게 있다. 강력한 AI PM 관리와 엔지니어링 리더십은 책임자들(C레벨)의 지원 없이는 발전하기 어렵다.

스타트업 환경에서는 데이터 부족, 인공지능 및 머신러닝의 상대적 미숙함, 플랫폼 환경, AI 인재풀이 프로젝트를 가로막는 경우가 많다. 이것은 장점이면서 단점이다! 스타트업의 AI PM은 대기업 AI PM이 꿈꾸던 유연성, 속도 및 신속한 실험을 할 수 있는 이점을 누릴 수 있다.

AI 제품을 적절히 관리하기만 한다면, 거의 즉시 고객가치와 비즈니스를 레벨업할 수 있으며 고객의 피드백을 유연하게 처리할 수 있다. 하지만 사업의 규모가 확장되면 (또는 원래 AI 제품에 상당한 팀 간 조정이 필요한 경우), 스타트업 AI PM의 역할이 압도적으로 중요하며 서로 다른 목표와 책임을 가진 여러 팀 간의 협상이 필요하다.

예를 들어 AI 서비스가 가능한 금융 앱을 구축하고 서비스하는 회사를 생각해 보자. 서비스의 핵심 기능이 사용자의 재무 계획, 은행 및 경비 활동을 예측하는 것이라고 할 때, 사용자가 적고 제품의 작업이 적으면 자동적으로 그 모델을 실행하는 것은 충분히 가능하다.

PM 한 명이 핵심 모델, 데이터 플랫폼, API, UI/UX 등 전체 제품의 로드맵을 관리할 수도 있다. 그러나 그 서비스가 십만번째 사용자에게 도달하고 해외의 다른 도시로 첫 확장되는 순간을 생각해 보자. 동일한 상황에서 ML 모델이 상용화될 가능성은 거의 없으며, 동일한 API를 사용한 모델이 국제적으로 확장되는 것 또한 거의 불가능에 가깝다. 각 나라별로 금융 관련 규제나 시스템, 사용 환경 등이 다를 수 있기 때문이다.

스타트업에서 보다 큰 규모의 엔터프라이즈 AI로 전환을 성공적으로 이루기 위해서는 각 단계에서 AI PM이 기술과 경험을 신중하게 고려해야 적용해야 한다.

AI PM의 데이터 전문성

PM은 교차 기능(cross-functional) 기술 셋을 통해 제품을 시장에 출시하고 제품 수명 주기 전반에 걸쳐 지원할 수 있어야 한다. 어떤 제품 관리자는 소프트웨어 엔지니어링에 대한 배경 지식이 더 많은 사람일 수 있다. 또 다른 사람들은 디자인, 고객만족도, UI/UX 또는 제품 개발 등 다른 분야에 대한 전문가일 수 있다.

AI PM은 전체 파이프라인을 읽고 제품을 관리할 수 있어야 하며, 결과적으로 개별적인 주요 범주에 대한 전문 지식이 필요하다. 여기서 살펴보는 내용의 궁극적인 목표는 AI PM을 성장시키기 위한 기술에 초점을 두는 것이 아니라, AI 제품 수명 주기를 지원하는 데 필요한 최소한의 실행 가능한 기술을 익히는 데 있다는 점을 참고하길 바란다.

1) 기술 데이터 수명 주기 및 파이프라인 관리

품질 데이터 없이는 어떤 AI 제품도 성공할 수 없다. AI PM은 리소스 제약이 거의 없는 환경에서 운영하는 방법을 배워야 한다. ㅡ데이터 수집, 실험 및 고객 대면, 시간 경과에 따른 품질 보장에 관련된 경제적인 문제ㅡ 최소한 AI PM은 이 분야의 어휘를 이해하고 제품의 유통에 영향을 미칠 플랫폼에 대해 알아야 한다.

2) 실험과 측정

탐색 실험, 배포 전의 테스트나 배포 후의 평가를 통해 AI PM은 탁월한 실험 설계자여야 하며 실험 결과를 해석하는 전문가여야 한다. 최소한의 기술셋에는 확률 이론(분포, 코호트, 신뢰도, 검정력 등)에 대한 기본 이해, A/B 테스트, 모델 평가 기술에 대한 깊은 지식이 포함된다. Avinash Kaushik의 <Web Analytics 2.0>은 이런 메트릭과 분석에 대한 자료로 활용될 수 있으니 참고하길 바란다.

3) 기술 기반의 DS/ML/AI 개발 프로세스

최소한 소프트웨어 엔지니어링 PM은 효과적인 소프트웨어 개발 프로세스와 언어에 능숙해야 한다. 그들은 애자일 소프트웨어 개발에 대한 룰, 지속적인 관리(CI/CD), 데브옵스 원칙에 익숙해야 한다.

AI PM은 CRISP-DM , Microsoft TDSP 또는 머신러닝의 개발 프로세스에 대한 어느 정도의 전문 지식을 보유해야 한다. AI PM이 소프트웨어 제품에 대한 배경 지식이 없는 경우, 유경험자 PM의 도움을 받아야 한다. 여기서 중요한 점은 ‘많은 프로세스를 사용하는 것’이 아니라 ‘내게 적합한 프로세스를 갖는 것’이다.

결론적으로 많은 기술을 갖으려 하기보다 필요한 기술을 갖기 위한 노력이 필요하다. 이제는 AI 관련 능력을 함양하려는 이들을 위한 많은 리소스가 존재한다. 도서를 포함해 블로그, 논문, 행사, 교육 등 유료 혹은 무료 서비스들이 즐비하다. AI PM은 어떤 것에서도 전문가일 필요는 없다. 하지만 PM으로 성공하고 싶다면 AI 제품이 구축되는 방식에 대한, 전반적으로 폭넓은 관점을 가지고 있어야 한다.

- 원문 : Practical Skills for The AI Product Manager

- 번역 : 오지현

▼ 인공지능, 머신러닝, 딥러닝과 관련된 다양한 도서 중 어떤 책을 선택해야 할지 어려움을 겪고 있다면, 한빛미디어 머신러닝·딥러닝 도서 선택 가이드를 살펴보세요. 관련 주제만 모아 놓은 리스트를 통해 무엇부터 시작해야 할지, 자신에게 필요한 보다 자세한 정보를 확인하고 선택할 수 있습니다.