2021 오라일리 설문조사 : 기업들의 AI 도입 현황은?

한빛미디어

2021-09-03

by Mike Loukides

18,289

오라일리는 2021년에 데이터/AI 관련 뉴스레터 수신자를 대상으로 '기업 내 AI 채택'에 대한 설문조사를 실시한 바 있습니다. 설문조사에는 세계 111개국의 다양한 관계자들이 참여했습니다. 이를 통해 AI를 사용한 산업군, AI 활용 성숙도, 사용 중인 AI 기술이나 도구 등에 대한 트렌드를 살펴볼 수 있습니다.

2021년 2월 첫 주 동안 오라일리는 ‘Data and AI Newsletters(O'Reilly 뉴스레터)’ 수신자들에게 기업 내 AI 채택에 대한 설문조사에 참여해 줄 것을 요청했습니다. 우리는 특히 두 가지 질문에 대한 답변에 관심이 많았습니다. 먼저, 지난 한 해 동안 AI의 사용이 어떻게 증가했는지 알고 싶었습니다. 그리고 개발자들의 작업 방식, 그들이 사용하는 기술과 도구, 그들의 우려 사항 및 개발 관행과 같은 AI 도입과 관련된 내용들이 궁금했습니다.

가장 놀라운 결과는 응답자의 수입니다. 동일한 독자를 대상으로 한 2020년 설문조사에서 우리는 1,239개의 응답을 받았던 반면 올해는 총 5,154명으로부터 응답을 받았습니다. 설문조사를 완료하지 않은 응답자 1,580명을 제외하면 3,574명이 응답을 완료했습니다. 이는 지난해의 거의 3배에 달하는 수치입니다. 팬데믹으로 인한 무료함이 더 많은 사람들로 하여금 설문에 응하게 만들었을 수도 있지만, 우리는 그렇게 생각하지 않습니다. 제품을 생산하건 품질을 확인하건, 이제는 그 어느 때보다 많은 사람들이 AI를 사용하고 있기 때문입니다.

개요

● 작년과 비슷한 수준으로 설문조사를 알렸음에도 불구하고, 올해는 지난해에 비해 3배 이상의 응답을 받았습니다. 이는 점점 더 많은 사람들이 AI와 함께 일하고 있다는 것을 의미합니다.

● 과거에는 AI 도입에 가장 큰 걸림돌은 기업 문화였습니다. 이는 아직까지 문제가 되고 있지만, 이제는 4순위로 밀려났습니다.

● 올해 AI 도입을 가로막는 가장 큰 장애물은 기술자 부족과 채용의 어려움이었습니다. 이는 몇 년 전부터 예상되어왔지만, 마침내 그런 상황에 직면하게 된 것으로 보입니다.

● 두 번째로 중요한 장애물은 품질 좋은 데이터의 가용성입니다. 이러한 깨달음은 이 분야가 성장하고 있다는 신호입니다.

● AI 사용면에서 ‘성숙(mature)’하다고 대답한 응답자의 비율은 지난 몇 년간 거의 동일했습니다. 응답자 수의 증가를 고려해봤을 때, 이는 놀라운 일이 아닙니다. 우리는 많은 조직이 이제 막 AI 프로젝트를 시작하고 있다고 생각합니다.

● 성숙하다고 한 비율은 소매업 부문에서 가장 높고, 교육 부문에서 가장 낮았습니다. 하지만 교육 분야에서는 AI 도입을 ‘고려하고 있다는’ 응답이 가장 높은 비율을 차지했습니다.

● 데이터와 모델 버전 관리를 사용하는 응답자는 상대적으로 적었습니다. 데이터 및 모델 버전 관리 도구는 현재 초기 단계에 있지만, AI 결과를 재현 가능하고 안정적으로 만드는 데 있어서 매우 중요합니다.

응답자

설문 조사를 완료한 3,574명의 응답자 중 3,099명이 AI를 도입하거나 평가하거나 제품으로 생산하는 등 다양한 방식으로 AI를 활용하여 작업하고 있었습니다. 이 응답자들 중 가장 많은 인구가 미국(39%)에 있으며, 거의 절반이 북미 출신(47%)이라는 것은 놀랍지 않은 결과입니다. 두 번째로 많은 응답자들의 출신은 인도(7%)였으며, 아시아(인도 포함)는 전체의 16%를 차지했습니다. 호주와 뉴질랜드는 전체의 3%를 차지했으며, 아시아 태평양(APAC) 지역은 19%를 차지했습니다. 4분의 1 정도(26%)가 독일(4%)을 필두로 유럽 출신이었고, 7%는 남미, 2%는 아프리카 출신이었습니다. 남극을 제외하고 응답자가 0명인 대륙은 없었으며, 총 111개국의 응답자들이 참여하였습니다. 이는 AI에 대한 관심과 활용이 전 세계적으로 증가하고 있는 결과입니다.

올해의 결과는 작년의 데이터와 상당히 일치합니다. 그러나 데이터에 표시되어 있지 않은 내용을 알아내는 것도 무척이나 중요합니다. 응답자의 0.2%만이 중국 출신이라고 답한 것은 분명히 현실을 반영하지 않은 수치입니다. 중국은 AI의 선두주자로 미국을 포함한 어느 나라보다 AI 개발자가 많은 나라일 것입니다. 마찬가지로 응답자의 1%가 러시아 출신이었습니다. 단순히 추측해 볼 때 러시아의 AI 개발자 수는 미국보다 약간 적은 것으로 추정됩니다. 아마도 러시아와 중국에서는 오라일리의 설문조사가 실제 AI 개발자보다는 다른 분야의 사람들에게 도달한 건지도 모르겠습니다.

표 1. 국가별 AI 종사자 응답자 수(top 12)

응답자들이 종사하고 있는 산업군은 아주 다양했습니다. 컴퓨터, 전자 및 기술이 17%를 기록하며 1위를 차지했으며, 금융 서비스(15%), 의료(9%), 교육(8%) 산업이 그 뒤를 이었습니다. 제약 및 화학 산업(2%)에서의 AI의 활용도는 상대적으로 낮다고 보지만, 코로나 19(COVID-19) 백신을 개발하는 데 있어서 AI의 역할은 아주 클 것이라 예상합니다. 마찬가지로 AI가 자율주행차 등 신제품의 핵심이지만, 자동차 산업의 응답자는 2%로 적은 수치를 기록했습니다.

응답자 중 3%는 에너지 산업에, 또 다른 1%는 공공시설(에너지 부문 일부 포함)에 종사하고 있습니다. 이는 상당한 수치라고 볼 수 있지만 다음과 같은 물음을 가질 수 있습니다. 텍사스 한파나 캘리포니아 화재뿐 아니라 지난 몇 년간의 여러 사건들로부터 알 수 있듯이, AI가 우리의 허약하고 낡은 에너지 인프라를 재건하는 데 역할을 할까요? “발생 가능성은 매우 낮지만 엄청난 파급효과를 불러오는” 사건에 정상 기준으로 훈련된 AI 시스템이 잘 작동할지는 의문이지만, 우리는 그렇게 될 것이라고 기대합니다. 훈련 데이터에 잘 나타나지 않는 드문 상황에 직면했을 때 AI 시스템은 무엇을 할까요? 그것이 바로 자율주행차 개발자들이 직면한 문제입니다. 다른 차량과 보행자들이 모두 규칙을 준수하면 안전하게 운전하는 것은 쉽습니다. 하지만 예상치 못한 일이 발생하면 아주 어려워집니다. 전력망도 마찬가지입니다.

또한 우리는 AI가 응답자들의 1%가 속해있는 농업 분야를 변화시킬 것이라고 기대합니다. 에너지와 마찬가지로 AI로 인한 변화가 빠르게 일어나지는 않겠지만, 농작물 질병 감지부터 소형 드론으로 나방을 살처분하는 일 등 농업 분야에서 AI 프로젝트는 꾸준히 이어지고 있습니다.

마지막으로 응답자의 8%가 ‘기타’라고 답했고, 14%가 ‘그외 모든 것’으로 분류되었습니다. ‘그외 모든 것’은 설문조사에서 가능한 응답(자동차, 제약, 화학, 농업 포함)으로 나열했지만 답변이 부족했던 12개의 업종을 합친 것입니다. ‘기타’는 선택 사항으로 나열되지 않은 업종으로 구성되어 있습니다. 이는 의료 서비스 바로 다음으로 네 번째 위치에 나타납니다. 안타깝게도 우리는 어떤 카테고리가 어떤 산업들을 대표하는지 알지 못하지만, 다음의 도표를 통해 AI의 확산이 실제로 광범위해졌다는 것을 알 수 있습니다.

표 2. AI를 활용한 산업군

성숙도

응답자의 약 4분의 1은 AI 활용이 ‘성숙’ 단계에 도달했다고 답했습니다. 이것은 수익성이 높은 AI 제품을 생산했다는 의미입니다. 이는 응답자의 25%가 생산 중인 제품이 있다고 보고한 2020년의 결과와 거의 일치합니다(참고로 ‘성숙’은 2020년 설문조사에서 가능한 응답이 아니었습니다).

올해 응답자의 35%는 AI(시험 및 개념 증명(PoC) 프로젝트)를 ‘(성과) 평가 중’이며 이는 작년(33%)과 거의 동일한 수치입니다. 응답자의 13%는 AI를 활용하지 않거나 도입을 고려하고 있지 않으며, 이는 지난해(15%)보다 감소한 수치지만 크게 다르지는 않습니다.

그렇다면 AI 도입을 ‘고려’하고 있지만 아직 프로젝트를 시작하지 않은 26%의 응답자들은 어떠할까요? 사실 이는 작년 응답자들이 가졌던 옵션에는 없던 사항이었습니다. 지난해 AI 도입을 고려하던 응답자들은 AI를 ‘평가 중’이거나 ‘사용하지 않음’이라고 말한 것으로 추측됩니다.

AI_Adoption_Data_Viz_AI-practice-maturity-1536x1278.png

표 3. AI 활용 성숙도

응답자들이 AI 도입 과정에서 직면했던 문제들을 살펴보면 AI의 전반적인 성숙도를 하나의 분야로 측정할 수 있는 또 다른 방법이 제시됩니다. 지난해 주요 병목 현상의 원인으로는 ‘기업 문화’(22%)가 꼽혔고, ‘적절한 사용 예시를 찾는데 어려움’(20%)이 뒤를 이었습니다. 반면 올해는 ‘기업 문화’가 4위(14%), ‘적절한 사용 예시를 찾는데 어려움(17%)’가 3위였습니다. 이는 기업 문화에 있어 아주 중요한 변화입니다. 기업은 AI를 훨씬 더 많이 도입하였지만, 해결할 적절한 문제를 찾는 데에는 여전히 어려움을 겪고 있었습니다.

올해 설문조사에서 가장 큰 문제는 ‘숙련된 인력 부족 및 고용 문제(19%)’였으며, ‘데이터 품질 문제(18%)’가 그 뒤를 이었습니다. AI 전문지식에 대한 수요가 공급을 초과한 것은 놀라운 일이 아니지만, 이것이 AI 도입에 가장 큰 장애물이 되었다는 사실을 눈여겨 봐야합니다. 가장 큰 기술 격차를 보인 것은 ML 모델러와 데이터 과학자(52%)였고, 뒤를 이어 비즈니스 활용 사례 이해(49%), 데이터 엔지니어링(42%) 순이었습니다. 컴퓨팅 인프라를 관리하고 유지보수하는 사람의 필요성은 상대적으로 낮았습니다(24%). 이는 기업이 클라우드에서 인프라 요구사항을 적절히 해결하고 있음을 시사합니다.

기업들이 데이터 품질의 중요성을 깨닫기 시작했다는(18%) 것은 참 기쁜 일입니다. 우리는 오랫동안 “가치없는 데이터를 넣으면 가치없는 결과가 나온다”는 것에 대해 알고 있습니다. 이 문제는 AI의 경우 두 배로 늘어, 잘못된 데이터는 더 좋지 않은 결과로 나타납니다.

하이퍼 파라미터 조정(2%)은 원인으로 간주되지 않았습니다. 이는 가장 낮은 수치를 보이고 있지만, 우리는 이것이 더 높은 비중을 차지하기를 바랍니다. 하이퍼 파라미터 조정은 모델 구축을 위한 자동화 도구의 활용과도 관련이 있습니다. (후의 결과에서 알 수 있듯이 AutoML이라는 도구가 있지만, 대부분의 응답자들은 이것을 사용하지 않았습니다.) 여기서는 워크플로우 재현성(3%)이 뒤에서 두 번째 순위를 차지했다는 점을 중요하게 봐야합니다. 모델 및 데이터 버전 관리 도구의 사용량이 많지 않다는 점을 고려할 때 이는 타당한 결과입니다. 나중에 살펴보겠지만, 실험 결과를 재현하는 것은 모든 과학 분야에서 매우 중요하며 AI에서도 잘 알려진 문제입니다.

표 4. AI 도입 병목현상의 원인

대륙별 성숙도

성숙해졌다고 답한 응답자의 지리적 분포를 살펴보면 북미(27%), 아시아(27%), 유럽(28%)으로 수치상 거의 차이가 없다는 것을 알 수 있습니다. 이와 대조적으로 2018년 보고서에서 아시아는 ‘얼리어답터’나 ‘탐색’ 단계에 훨씬 많은 수의 응답자가 있었지만, AI의 성숙함 측면에서는 뒤쳐져 있었습니다. 하지만 2021년 데이터에서 이 세 대륙 간 차이가 거의 없었다는 점을 미루어봤을 때, 아시아가 근 몇 년 사이 빠른 속도로 격차를 따라잡았다는 것을 확인할 수 있습니다.

남미(20%), 오세아니아(오스트레일리아·뉴질랜드, 18%), 아프리카(17%)에서는 성숙해졌다고 답한 응답자가 더 적은 반면, AI 도입을 ‘고려하는’ 비율은 더 높은 것으로 나타났습니다. 이 대륙이 가진 AI의 미래 영향을 과소평가하면 안 될 것입니다.

마지막으로 AI를 ‘평가 중’인 비율은 남미(31%)와 오세아니아(36%) 대륙이 거의 비슷한 수치를 보였습니다.

표 5. 대륙별 성숙도

산업별 성숙도

AI 성숙도는 대륙별로 크게 다르지 않았지만, 산업별로 봤을 때는 상당히 다른 모습을 확인할 수 있습니다. 상위 8개 업종을 살펴보면 금융 서비스(38%), 통신(37%), 소매(40%)업이 성숙해졌다고 보고한 비율이 가장 높았습니다. 컴퓨터, 전자 및 기술은 응답자의 수가 가장 많았지만 성숙도에서는 4위를 차지했습니다. 정부(16%)와 교육(10%)이 그 뒤를 이었으며, 제조업(25%), 국방(26%), 미디어(29%)는 중간 수준이었습니다.

반면 AI 도입을 고려하고 있는 업종을 살펴보면 교육이 선두(48%)로 나타났고, 정부와 제조업에서 일하는 응답자는 아직 AI를 평가 중인 비율이 49%, 47%로 다소 더 높아져 파일럿 프로젝트나 PoC 프로젝트가 진행 중인 것으로 보입니다.

이는 숫자의 속임수일 수 있습니다. 모든 그룹을 합하면 100%가 되므로 한 그룹에 ‘성숙한’ 관행이 더 적을 경우 ‘평가’ 및 ‘고려하는’ 관행의 비율이 더 높아야 합니다. 그러나 실질적인 신호도 있습니다. 이 산업 분야의 응답자들은 자신의 관행을 ‘성숙’하다고 생각하지 않을 수 있지만, 각 산업 부문은 100명 이상의 응답자를 보유하고 있으며, 교육 산업은 거의 250명에 달합니다.

제조업은 조립에서 검사 등에 이르기까지 많은 프로세스를 자동화해야 합니다. 정부는 전 세계적인 바이러스 유행으로 인해 여느 산업과 마찬가지로 도전을 감수해야 했으며, “더 적은 자원으로 더 많은 일을 할 수 있는” 방법이 필요했습니다. 그리고 교육은 수년 동안 기술을 실험해 왔습니다. 이 분야에서는 AI로 더 많은 것을 하고자 하는 욕구가 있었습니다. AI의 교육 및 정부 응용 프로그램들은 종종 윤리적 문제를 제기하고 있으며, 향후 몇 년 동안 가장 중요한 문제 중 하나는 이러한 조직이 윤리적 문제에 어떻게 대응하는지 살펴보는 것입니다.

표 6. 산업별 성숙도(퍼센트)

AI의 관행

이제 지리적으로나 산업별 성숙도를 살펴봤으므로, 사용의 정도에 대해 구체적으로 살펴보겠습니다. 이들 조직의 공통점은 무엇이며, AI를 평가하거나 검토하는 조직과는 어떤 차이가 있을지에 대해서 구체적으로 알아보겠습니다.

기술

첫째, 응답자의 82%가 지도 학습을 사용하고 있으며 67%가 딥러닝을 사용하고 있습니다. 딥러닝은 거의 모든 AI 접근방식에 공통적으로 적용되는 알고리즘으로, 이 같은 중복 답안은 놀랄 일이 아닙니다. (참가자가 복수의 답을 선택했을 수 있습니다.) 58%는 비지도 학습을 사용한다고 답했습니다.

사실 비지도 학습은 상당한 쇠퇴기를 겪었습니다. HITL(Human In The Loop), 지식 그래프, 강화 학습, 시뮬레이션, 계획 및 추론 모두 사용률이 40% 미만으로 나타났습니다. 놀라운 것은 자연어 처리가 그래프에 전혀 나와있지 않다는 것입니다. (매우 적은 수의 응답자가 ‘자연어 처리’를 썼지만 이는 아주 적은 비율에 불과했습니다.) 지난 몇 년간 NLP(자연어 처리) 및 NLU(자연어 이해) 분야에서는 많은 혁신이 있었습니다. 업계의 사람들이라면 GPT-3에 대해 모두 들어봤을 것이며, 많은 공급업체들은 AI를 사용하여 고객 서비스, 콜 센터 및 이와 유사한 애플리케이션을 자동화하는 데 많은 투자를 하고 있습니다. 따라서 이 설문 조사는 이러한 애플리케이션이 아직 실용화되지 않았음을 시사합니다.

AI 도입을 고려 중이거나 평가 중인 응답자(전체의 60%)에게도 비슷한 질문을 했습니다. 참여 비율은 낮았지만 결과는 거의 비슷한 순서로 나타났습니다. 이는 아직 AI를 평가 중인 응답자가 사용이 성숙한 상태의 응답자보다 기술 실험을 적게 한다는 뜻입니다. 이는 곧 응답자가 기술을 ‘간단하게 시작’하고 실험 기법을 제한하기로 선택했음을 시사합니다.

표 7. 성숙도가 높은 경우 활용되는 AI 기술

데이터

‘성숙하다’고 답한 응답자에게 사용하는 데이터의 종류에 대해 질문한 결과, 대부분(83%)은 정형 데이터(로그 파일, 시계열 데이터, 지리 공간 데이터)를 사용하고 있으며 71%는 텍스트 데이터를 사용하고 있다는 것을 알 수 있었습니다. 이는 NLP를 활용한다고 응답한 사람의 수와 일치하지 않는데, ‘텍스트’가 텍스트로 표현될 수 있는 모든 데이터(예: 양식 데이터)를 포함하고 있지 않았기 때문입니다.

응답자의 52%는 이미지와 동영상을 사용한다고 보고했습니다. 이는 AI와 컴퓨터 비전에 대해 읽은 연구의 양에 비해 낮은 수치이긴 하지만, 놀라운 일은 아닐 수도 있습니다. 비즈니스 활용 사례가 학문적 연구와 일치할 이유는 없기 때문입니다. 우리는 대부분의 비즈니스 애플리케이션이 정형 데이터, 양식 데이터, 또는 일종의 텍스트 데이터를 포함할 것이라고 예상합니다. 오디오를 다루는 응답자는 상대적으로 적어서(23%) 여전히 어려운 상황입니다.

다시 AI를 평가하거나 고려하고 있는 응답자에게 비슷한 질문을 하였고, 주어진 답변에 대한 응답자의 비율이 다소 낮긴 했지만(4-5%) 비슷한 결과를 얻었습니다.

표 8. 성숙도가 높은 경우 사용되는 데이터 유형

위험 요인

성숙하다고 답한 응답자에게 어떤 위험 요인들이 있었는지 물었을 때 71%는 ‘예기치 않은 결과 또는 예측’이라고 답했습니다. 해석력, 모델 저하, 프라이버시, 공정성 등도 상위(50% 이상)를 차지했지만, 응답자의 52%만이 이 옵션을 선택했다는 점은 실망스러운 일입니다. 응답자의 42%는 보안을 우려 사항으로 꼽았습니다. AI는 데이터 포이즈닝이나 개인정보 추출을 위한 리버스 엔지니어링 모델 등 새로운 중요 보안 문제를 제기합니다.

개발 중인 애플리케이션이 무엇인지 정확히 알지 못하면 이러한 결과를 해석하기가 어렵습니다. 개인정보보호, 보안, 공정성 및 안전은 AI의 모든 애플리케이션에 대한 중요한 관심사이지만 모든 애플리케이션이 동일하지 않다는 것을 깨닫는 것도 무척이나 중요합니다. 농작물 질병을 감지하는 농업 애플리케이션은 대출을 승인하거나 거부하는 애플리케이션과 같은 종류의 위험요인을 갖지 않습니다. 개인화된 쇼핑봇보다 자율주행차의 안전이 훨씬 더 큰 관심사입니다. 그럼에도 모든 프로젝트의 거의 절반에 대해 이러한 위험을 해결할 필요가 없다고 생각하시나요?

표 9. 개발 위험 요인

도구

성숙하다고 답한 응답자들은 선호하는 도구가 분명했습니다. 예를 들면, 사이킷런(scikit-learn), 텐서플로(TensorFlow), 파이토치(PyTorch) 및 케라스(Keras) 등이 있었으며, 각각의 도구들은 45% 이상의 높은 수치를 보였습니다. 그 중에서도 사이킷런과 텐서플로는 둘 다 65%의 수치를 보이며 선두의 자리를 차지했습니다. 아마존의 SageMaker(25%), 마이크로소프트의 Azure ML Studio(21%), 구글의 Cloud ML Engine(18%)을 포함한 두 번째 도구 그룹은 Spark NLP, spaCy와 함께 약 20%로 나타났습니다.

향후 12개월 동안 어떤 도구를 통합할 계획인지 묻는 질문에 응답자의 약 절반은 모델 모니터링(57%)과 모델 시각화(49%)라고 답했습니다. 모델은 인간 행동의 변화, 모델 자체가 책임지는 변화 등 여러 가지 이유로 생산성이 떨어지고 있습니다. 기업이 AI에 대한 의존도가 높아지고 AI 프로젝트가 가치를 입증하도록 요구함에 따라, 모델의 성능을 모니터링하고 ‘부실한’ 상태가 된 시점을 감지하는 기능은 점점 더 중요해질 것입니다.

표 10. AI 활용이 성숙했다고 응답한 이들의 사용 도구

AI를 평가하거나 고려 중인 사람들의 응답은 비슷했지만 몇 가지 흥미로운 차이점이 있었습니다. 사이킷런은 1위에서 3위(48%)로 이동했으며, 두 번째 그룹은 AutoML 기술을 포함한 클라우드 공급업체 제품인 Microsoft Azure ML Studio(29%), Google Cloud ML Engine(25%), Amazon SageMaker(23%)가 주도했습니다. 이 제품들은 사용이 ‘성숙했다’고 답한 사용자들 사이에서 훨씬 더 인기있었습니다. 차이는 크지 않지만 눈에 띄는 사실입니다. (데이터를) 과대 해석할 위험이 있는 AI 입문자들은 공급업체별 패키지와 AutoML을 사용하려는 경향이 있으며, 아마존보다는 마이크로소프트나 구글을 선호하는 경향이 있습니다. 또한 사이킷런은 구글이나 페이스북과 같은 조직의 패키지에 비해 브랜드 인지도가 떨어질 가능성이 있습니다.

AutoML 제품에 대해 구체적으로 묻는 질문에 ‘성숙하다’고 답한 응답자의 51%는 AutoML을 전혀 사용하지 않는다고 말했습니다. 그들 중 22%는 Amazon SageMaker를 사용하며 16%는 Microsoft Azure AutoML를, 14%는 Google Cloud AutoML을 사용합니다. 기타 도구는 모두 10% 미만이었습니다. AI를 평가하거나 고려 중인 사용자 중 AutoML을 전혀 사용하지 않는다고 답한 비율은 40%에 불과했고, 구글, 마이크로소프트 그리고 아마존 패키지를 사용하는 사람의 수는 거의 비슷한 수치(27–28%)를 보였습니다.

AutoML은 아직 큰 부분을 차지하지 않지만, AI를 고려 중이거나 실험 중인 사용자들 사이에서 주목 받고있는 것으로 보입니다. 그리고 자동화된 모델 검색 및 하이퍼 파라미터 조정(즉, AutoML)을 위해 도구를 통합할 것이라고 답한 45%의 성숙한 사용자들 사이에서는 AutoML 도구의 사용이 증가할 것으로 보입니다.

배포 및 모니터링

AI 프로젝트는 배포할 수 없으면 아무 의미가 없습니다. 내부용으로만 사용되는 프로젝트라도 배포 과정은 꼭 필요합니다. 우리의 설문 조사에 따르면 AI 배포는 자체 개발한 임시 프로세스가 지배하는 아직 알려지지 않은 영역입니다. AI 배포를 위한 가장 중요한 세 가지 도구는 대략 20%의 채택률을 보였습니다. MLflow(22%), TensorFlow Extended(TFX)(20%), Kubeflow(18%).

소규모 신생 기업의 3개 제품(Domino, Seldon, Cortex)은 약 4%의 채택률을 보였습니다. 그러나 이 질문에 대한 가장 많은 답은 ‘위 항목 중 어느 것도 사용하지 않음’(46%)이었습니다. 이 질문은 '성숙한' AI 관행을 가진 응답자(즉, AI 제품을 생산 중인 응답자)에게만 실시되었기 때문에, 배포 및 모니터링을 위한 자체 도구와 파이프라인을 구축했다고 가정할 수 있습니다. AI 프로젝트가 취할 수 있는 형태가 많고 AI 배포가 대안 양식이라는 점을 감안할 때, AI 개발자와 운영팀이 배포를 위해 써드파티 도구를 채택하는 것은 그리 놀라운 일이 아닙니다.

표 11. 배포 및 모니터링을 위해 사용되는 자동화 도구

버전 관리

소스 제어는 오랫동안 소프트웨어 개발의 표준 관행이었습니다. 소스 코드 저장소를 구축하는 데 사용되는 잘 알려진 도구가 많습니다. 우리는 AI 프로젝트가 Git 또는 GitHub와 같은 소스 코드 저장소를 사용한다고 확신합니다. 이는 모든 소프트웨어 개발자의 표준 관행입니다.

그러나 AI는 다른 문제를 야기합니다. AI 시스템에서 훈련 데이터는 소스 코드만큼 중요하지는 않지만 그래도 중요합니다. 훈련 데이터로 구축된 모델 또한 마찬가지입니다. 이 모델은 소스 코드 자체뿐 아니라, 훈련 데이터와 하이퍼 파라미터를 반영한 수백 번의 실험 결과일 수 있습니다. 설문조사에 따르면 AI 개발자는 데이터 및 모델 버전 관리를 위한 도구만을 사용한 것으로 나타났습니다. 데이터 버전 관리의 경우 응답자의 35%가 자체 제작 도구를 사용하고 있는 반면 46%는 ‘위 항목 중 어느 것도 사용하지 않음’이라고 응답했습니다. 이는 데이터베이스만을 사용하고 있음을 의미합니다. 9%는 DVC를 사용하고 8%는 Weights & Biases의 도구를 사용하며, 5%는 Pachyderm을 사용합니다.

표 12. 데이터 버전 관리에 사용되는 자동화 도구

결과는 기본적으로 동일하지만 모델 및 실험 추적을 위한 도구가 더 자주 사용되었습니다. 29%는 자체 제작 도구를 사용하고 있으며 34%는 ‘위 항목 중 어느 것도 사용하지 않음’이라고 응답했습니다. 주요 도구는 MLflow(27%)와 Kubeflow(18%)였으며 Weights & Biases은 8%였습니다.

표 13. 모델 및 실험 추적에 사용되는 자동화 도구

AI 도입을 고려하거나 평가하는 응답자는 버전 관리 도구를 사용할 확률이 훨씬 더 적습니다. 59%는 ‘위 항목 중 어느 것도 사용하지 않음’이라고 답한 반면, 자체 개발 도구를 사용하는 응답자는 26%에 불과했습니다. 그 중에서도 Weights & Biases이 가장 인기 있는 B2B 솔루션(12%)이었습니다. 모델 및 실험 추적에 대해 질문했을 때는 44%가 ‘위 항목 중 어느 것도 사용하지 않음’이라고 답한 반면, 21%는 자체 개발 도구를 사용하고 있다고 답했습니다. 하지만 흥미롭게도 이 그룹에서는 MLflow(25%)와 Kubeflow(21%)가 자체 개발 도구를 제치고 상위에 올랐습니다.

모델 및 데이터 버전 관리에 사용할 수 있는 도구들이 아직 초기 단계 수준이긴 하더라도, AI 제품 생산을 포함하여 수많은 작업 방식에서 이를 사용하고 있지 않다는 것은 매우 안타까운 사실입니다. 데이터 및 결과를 생성한 모델을 재현할 수 없으면 결과 또한 재현할 수 없습니다. 응답자의 4분의 1이 AI 사용이 성숙해졌다고 말했지만, 재현성을 포함하지 않는다면 성숙도는 큰 의미가 없을 것입니다.

총평

지난 2년간 AI 사용자의 수는 증가했지만 그렇다고 큰 변화가 있었던 것은 아닙니다. 거의 같은 비율의 응답자가 스스로를 ‘(AI 활용에) 성숙함’에 속한다고 생각했으며, 응답자의 지리적 분포 또한 거의 변하지 않았습니다.

응답자의 50%만이 AI의 위험 요인으로 개인정보보호 또는 AI 윤리 문제를 꼽았다는 사실에 만족해야 할지 아니면 낙담해야 할지 잘 모르겠습니다. 이전 연도의 데이터가 없기 때문에 이것이 개선된 것인지 아니면 한 단계 후퇴한 것인지 구별하기가 어렵습니다. 하지만 개인정보보호, 윤리, 보안 등이 큰 위험 요인이 되지 않는다고 답한 AI 애플리케이션이 많다는 사실은 여전히 믿기 어려운 사실입니다.

도구 사용에 있어서는 크게 놀랍지 않았습니다. 이 분야는 사이킷런, 텐서플로, 파이토치, 케라스가 주도하고 있고 오픈소스, 상용 라이선스 및 클라우드 기본 도구 또한 건강한 생태계를 형성하고 있었습니다. AutoML은 아직 크게 알려지지 않았지만, 성숙도가 높지 않다고 답한 응답자들은 이러한 자동화 도구에 많이 의지하고 있으며 이들이 사이킷런을 사용할 가능성은 적을 것으로 보입니다.

데이터나 모델 버전 관리를 사용하지 않는 응답자의 숫자 또한 썩 달갑지만은 않았습니다. 이러한 관행은 검증가능하고 반복 가능한 결과를 가진 AI 제품을 개발하는 데 핵심이 되어야 합니다. AI 애플리케이션에 적합한 버전 관리 도구가 아직 초기 단계라는 것은 인정하지만, ‘위 항목 중 어느 것도 사용하지 않음’에 체크한 응답자의 수는 자체 개발한 툴이 포함되었기 때문에 특히나 두드러졌습니다. 재현 가능한 데이터와 모형이 없으면 재현 가능한 결과 또한 얻을 수 없습니다.

지난 한 해 동안 기업 내 AI는 성장했습니다. 응답자의 수가 이를 말해줍니다. 하지만 그 동안 AI 시장은 성숙했을까요? 많은 새로운 팀이 현장에 진입하고 있지만 애플리케이션을 배포한 응답자의 비율은 거의 일정하게 유지되었습니다. 상위 25%가 하위 25%보다 많다는 것은 많은 면에서 성공을 나타냅니다. 그러나 과연 애플리케이션 배포가 성숙도의 올바른 측정 기준일까요? 개발 및 운영 그룹이 지속적인 배포와 같은 관행에 참여할 수 있을 때까지(적어도 통계적 의미에서), 그리고 윤리와 안전, 개인정보 보호 및 보안이 부차적 요인이 아닌 일차적 요인이 될 때까지 기업의 AI는 성숙하지 못할 것입니다. AI의 능숙한 활용이요? 네, 기업의 AI 활용은 능숙해져 가고 있습니다. 하지만 이제는 성숙도의 기준을 더 높게 설정할 때입니다.

- 원문 : AI Adoption in the Enterprise 2021

- 번역 : 강연정

▼ 인공지능, 머신러닝, 딥러닝과 관련된 다양한 도서 중 어떤 책을 선택해야 할지 모르겠다면? 그런 고민을 해결하고자 한빛미디어에서 머신러닝·딥러닝 도서 선택 가이드를 준비했습니다. 무엇부터 시작해야 할지 다음 링크에서 보다 자세한 정보를 확인하고 고민을 해결해 보세요.