[벤처스퀘어] 엘리스그룹이 AI 풀스택을 선언한 이유

엘리스그룹이 AI 풀스택을 선언한 이유

교육 플랫폼에서 시작해 인프라·클라우드·AI 모델까지 전 단계 내재화

ECI·외기 온수 냉각으로 2조원 국가 GPU 사업 수주… 대기업 사이 유일한 스타트업 

“창업만 시키지 성장까지 연결되지 않아”… 코스포 의장으로 생태계 과제 제시 

올 상반기 엘리스그룹(이하 엘리스)에 굵직한 이슈가 이어졌다. 김재원 대표가 지난 2월 제5대 코리아스타트업포럼(이하 코스포) 의장으로 취임했고, 4월에는 AI 풀스택 기업을 선언했다. 5월에는 코스닥 상장예비심사청구서를 제출했다. 서울 강남 본사에서 김 대표를 만나 AI 풀스택 기업으로의 전환과 코스포 의장으로서의 구상을 들었다. 

엘리스는 2015년 AI 교육 플랫폼으로 출발한 회사다. 온라인 코딩 교육을 위해 수많은 실습 환경을 동시에 운영하다 보니 대규모 서버 운영 역량을 갖추게 됐고, 그 경험이 GPU 클라우드로 이어졌다. 여기에 화물 컨테이너처럼 미리 만들어 현장에 옮겨 설치하는 모듈형 데이터센터 ‘엘리스 AI PMDC’까지 더해졌다. 그리고 올해, 인프라 중심으로 성장해온 엘리스가 클라우드와 솔루션, AI 모델, 교육까지 전 단계를 직접 아우르는 ‘AI 풀스택’을 선언했다. 11년간 한 단계씩 쌓아온 역량이 밑바탕이 됐고, 시장의 변화가 계기가 됐다. 

지난해까지 AI 모델 개발이 화두였다면 올해는 AI 에이전트가 업계의 관심사가 됐다는 게 김 대표의 설명이다. 사람 대신 일을 처리하는 에이전트를 구축하려면 이를 어떤 업무에 붙일 것인지부터 정해야 한다. 업무가 정해지면 필요한 모델이 달라지고, 모델이 달라지면 여기에 적합한 반도체가 GPU인지 NPU인지도 갈린다. 반도체가 달라지면 클라우드 소프트웨어, 전력·열을 감당할 데이터센터 규격까지 연쇄적으로 바뀐다. 데이터센터만 잘 지어서는 답이 나오지 않는다는 뜻이다. GPU를 확보해 빌려주는 사업은 결국 가격 경쟁으로 수렴하고, 그 가격은 자본력이 큰 쪽이 유리하다. 반대로 고객이 무엇을 만들려는지부터 알고 있으면 그에 맞는 모델과 인프라를 함께 설계할 수 있다. 교육과 클라우드, 데이터센터를 모두 갖춘 엘리스가 택한 길이 여기에 있었다. 

사진제공=엘리스그룹 

흩어진 GPU를 하나로, 고객 상황에 맞게 나눈다 

“AI 인프라 경쟁력은 GPU 개수가 아니라 이를 얼마나 잘 활용하느냐에 달려 있습니다.” 

엘리스는 지난해 하반기 GPU 가상화 솔루션 ECI(Elice Cloud Infrastructure)를 개발했다. 여기저기 흩어져 있는 물리 서버를 하나로 묶어, 고객이 필요한 만큼만 GPU를 떼어 쓸 수 있게 해주는 소프트웨어다. 수억원짜리 장비를 한 대 단위로 빌려주는 대신 잘게 나눠 여러 고객에게 분배할 수 있으니, 같은 자원으로 훨씬 많은 수요를 감당한다. 다만 서버를 나누고 배분하는 과정에서는 그만큼의 연산 능력이 소모된다. 물리 서버를 직접 쓸 때보다 성능이 떨어지는 것이 일반적이다. 비싼 GPU일수록 이 손실은 곧 비용이다. 엘리스는 이 손실을 1% 미만으로 억제했다. 최대 1만 장 규모의 GPU를 하나의 가상 클러스터로 묶어 대형 언어모델 학습에 쓸 수 있는 것도 이 기술 덕분이다. 

여러 장의 GPU를 하나로 묶는 것이 클러스터링 기술이다. 대규모 모델을 학습시키려면 여러 대의 GPU를 단일 연산 자원처럼 연결해야 하는데, 그동안은 엔비디아 계열의 전용 규격인 인피니밴드가 사실상 표준이었다. 성능은 우수하지만 장비 가격이 높고 공급처도 제한적이다. 엘리스는 범용 규격인 이더넷 기반 클러스터링을 국내에서 가장 먼저 채택했다. 최근 이더넷의 성능이 AI 학습을 감당할 수준에 도달하면서 부상한 대안으로, 비용 절감과 확장성 확보에 유리하다. 데이터를 저장하는 스토리지 역시 여러 제조사 제품을 모두 가상화해 제공한다.

올해 엘리스는 스팟(Spot) 요금제를 국내 클라우드 서비스 사업자(CSP) 가운데 처음으로 도입해 약정형·온디맨드·스팟 3종 과금 체계를 갖췄다. 약정형은 일정 기간 자원을 통째로 확보해두는 방식이고, 온디맨드는 필요할 때마다 실시간으로 빌려 쓰는 방식이다. 스팟은 유휴 자원을 저가에 제공하되 수요가 몰리면 회수하는 방식이다. 자원이 회수되면 학습이 중단되기 때문에, 엘리스는 중단 지점을 저장했다가 이어서 재개하는 구조로 설계했다.

세 가지 요금체계를 갖추면서 고객은 자신의 상황에 맞는 선택지를 얻게 됐다. 기한이 정해진 프로젝트나 상시 운영이 필요한 서비스는 약정형과 온디맨드로 안정성을 확보하고, 일정에 여유가 있는 학습은 스팟으로 비용을 크게 줄일 수 있다. 같은 GPU를 쓰면서도 작업 성격에 따라 비용을 최소한으로 낮출 수 있다는 의미다. 김 대표는 “온디맨드 자체가 이미 다른 기업 대비 최소 30%에서 많게는 80%까지 저렴한데, 스팟은 거기서 다시 최대 50% 할인된다”고 가격경쟁력에 대해 설명했다. 

에어컨을 끄고 40도 물로 GPU를 식힌다 

AI 데이터센터의 승부처는 결국 열이다. GPU가 고성능으로 갈수록 전력을 더 먹고, 더 먹은 만큼 더 뜨거워진다. 이 열을 감당하지 못하면 아무리 좋은 GPU를 확보해도 제 성능을 낼 수 없다. 엘리스가 지난해 아시아·국내 최초로 B200 수냉식 AI PMDC를 개발한 이유이자, 올해 그 방식을 한 단계 더 끌어올린 이유이기도 하다. 

올해 도입한 방식은 외기(外氣) 온수 냉각이다. 원리는 단순하다. 일반적인 직접 냉각(DLC)은 서버를 돌고 나온 물을 에어컨으로 다시 차갑게 만들어 순환시킨다. 반면 외기 냉각은 그 일을 바깥 공기에 맡긴다. GPU는 CPU보다 발열이 심하지만, 역설적으로 물을 40도 수준까지만 식히면 된다. 한여름에도 외부 기온이 40도까지 오르는 일은 드물어, 굳이 에어컨을 돌릴 것 없이 바깥 공기만으로 충분하다는 계산이다. 물을 식히는 데 쓰던 전력을 덜어내니 그만큼 전력 효율이 올라간다. 데이터센터 전력 효율 지표인 PUE에서 이미 수냉식으로 국내 최고 수준을 기록했던 엘리스가 그 수치를 한 번 더 낮추는 셈이다.

외기 온수 냉각은 물을 순환시켜 다시 식히는 구조가 아니어서 필요한 물의 양이 크게 늘고, 그만큼 하중을 견딜 구조 설계가 까다로워진다. 김 대표가 “이런 조건이야말로 모듈형에서 가장 적합하게 구현할 수 있는 방식”이라고 말한 이유다. 설계 단계부터 늘어난 수량과 배관, 그 무게를 함께 계산해 공장에서 완성해 내보내는 모듈형이라면 이 하중을 감당할 수 있다는 것이다. 새로 구축 중인 B300 클러스터에 이 방식이 적용된다. 냉각 기술을 이만큼 끌어올리는 이유는 다음 세대 때문이다. 엔비디아의 차세대 GPU 베라 루빈 NVL72는 랙당 230kW 수준의 전력을 요구한다. 일반 데이터센터가 랙당 5~15kW, 고밀도라 해도 40~60kW 수준인 것을 감안하면 규격 자체가 다르다. 전력을 많이 쓰는 만큼 열도 그만큼 더 나온다. 전력 공급도 배관도 냉각도 처음부터 다시 설계해야 하는 영역이다. 엘리스는 베라 루빈을 지원하는 모듈형 컨테이너 설계를 이미 마쳤고 여기에 서버랙 이동 장치, 화재 관리 시스템, 공랭식·수랭식 냉각 시스템 등 AI PMDC 관련 특허 4종으로 특허 4종으로 기술적 근거를 마련했다. 

베라 루빈이 바꿔놓는 것은 냉각 설계만이 아니다. 데이터센터를 어디에 둘 것인가도 함께 달라진다. 베라 루빈은 학습보다 추론에 최적화된 GPU이기 때문이다. 학습은 한곳에 자원을 모아 오래 돌리는 작업이라 위치가 크게 중요하지 않지만, 추론은 사용자의 요청에 그때그때 답을 내주는 작업이라 속도가 생명이다. 사용자와 가까울수록 응답이 빨라진다. 그래서 엘리스는 수도권뿐 아니라 서남권과 동남권 데이터센터를 활용해 전국 단위 엣지 데이터센터로 나아가고 있다. 지역 산업단지나 핵심 거점에 추론 전용 AI 데이터센터를 두고 서비스하겠다는 구상이다. 여기서도 모듈형이 유리하다. 대형 데이터센터를 지역마다 새로 짓는 대신, 수요가 있는 곳에 컨테이너 단위로 옮겨 설치하면 되기 때문이다. 산업통상자원부의 산업단지 엣지 AIDC 실증 시범사업으로 추진되는 한국산업단지공단 부산본부의 ‘부산 조선·해양 엣지 AI 데이터센터 구축사업’이 그 첫 사례다. 김 대표는 “모듈형으로 하는 곳은 현재로선 엘리스가 유일하다”고 설명했다. 

2조원 국가 GPU 사업, 국산으로 채운다 

GPU를 잘 쓰게 만드는 소프트웨어와, 그 GPU의 열을 감당하는 데이터센터. 엘리스가 지난 1년간 쌓아온 두 가지가 시장에서 검증받은 자리가 올해 6월이었다. 

과학기술정보통신부는 지난 6월 ‘첨단 GPU 확보·구축·운용지원 사업’의 참여 기업으로 네이버클라우드와 삼성SDS, 엘리스 3사를 선정했다. 2조800억원을 들여 첨단 GPU를 사들이고, 선정된 기업들이 이를 구축·운영해 국내 기업과 대학, 연구소의 AI 모델 개발을 지원하는 사업이다. 정부가 ‘AI 3대 강국’을 내걸고 추진하는 ‘AI 고속도로’ 구축의 핵심 인프라 사업이기도 하다. 이번에 확보하는 GPU는 차세대 모델인 베라 루빈 2,016장과 B300 7,688장 등 모두 9,704장이다. 네이버클라우드가 베라 루빈 1,008장과 B300 3,112장, 삼성SDS가 베라 루빈 1,008장과 B300 2,016장, 엘리스가 B300 2,560장을 각각 맡는다. 

“저희가 B300을 수냉식으로 제공하고, 건물형이 아닌 모듈형으로 구축한다는 점에서 좋은 평가를 받은 것 같습니다. 대기업이라고 해서 기술력이 앞서 있기는 어렵습니다. 다들 처음 겪는 상황이기 때문입니다. 스타트업은 생존하려면 민첩할 수밖에 없고, 그래서 GPU 클라우드 서비스도 가장 빠르게 개발해 출시했습니다. 그 부분이 혁신성으로 평가받았다고 봅니다.” 

올해 엘리스는 광주 인공지능산업융합사업단(AICA)의 국가 AI데이터센터 고도화 사업 GPU 클라우드 공급사, 한국정보통신진흥협회의 AI 연구용 컴퓨팅 지원 프로젝트 GPU 공급사업에도 잇따라 선정됐다. 국가 인프라 사업을 연이어 맡게 되면서 엘리스가 함께 추진하는 것이 ‘K-PMDC’다. 데이터센터에 들어가는 부품을 국산으로 바꾸겠다는 구상이다. 보안용 네트워크 스위치, 배터리는 이미 국산 제품을 쓰고 있고, 광케이블, 냉각 장비, 국산 NPU는 검증 단계다. 

“창업 이후 성장까지“ 

“그동안 많은 일을 겪었습니다. 저희만의 일은 아니라고 봅니다. 성장 단계에 들어선 스타트업이라면 대개 겪는 일이에요. 어디서 막혔고 어떻게 풀었는지를 공유하는 것만으로도 뒤따르는 창업가들에게 쓸모가 있겠다고 생각했습니다. 받은 것이 있으니 돌려줄 차례이고, 부딪혀 봤으니 무엇을 고쳐야 할지도 알고 있습니다.” 

김 대표가 올해 2월 제5대 코리아스타트업포럼 의장을 맡은 것은, 사업 현장에서 성공과 실패를 모두 겪으면서 스타트업의 성장을 위해 하고 싶은 일이 생겼기 때문이다. 

취임 이후 회원사 구성도 달라졌다. 플랫폼 기업이 중심이던 코스포에 AI 기업들이 대거 합류해 회원사는 3,000곳 규모로 늘었다. 방위산업협의회, 피지컬AI협의회, 기후테크협의회처럼 기술과 시장별로 협의체를 만들어 주무 부처나 국회 입법에 대응하는 체계를 갖췄다. 방산협의회의 경우 중기부를 통해 국방부와 직접 검토가 오갈 만큼 실제로 작동하고 있고, 실증에 참여하는 방산 스타트업을 지원하는 프로젝트도 만들어졌다. 

김 대표가 의장 선거에 나서며 내건 공약은 다섯 가지다. 취임 반년이 지난 자리에서도 김 대표는 다섯 가지를 막힘없이 짚어냈다. 공약 이행은 현재 진행형이다. 

첫째는 정부가 스타트업의 ‘첫 구매자’가 되는 환경 구축이다. 신기술은 검증된 도입 사례가 없으면 민간이 먼저 구매하기 어렵고, 그렇다고 실적을 쌓을 기회도 주어지지 않는 악순환에 놓인다. 정부가 공공 조달 과정에서 실증 단계를 두고 성능이 확인된 제품을 구매해주면, 스타트업은 이후 민간 시장에 내놓을 수 있는 첫 레퍼런스를 확보하게 된다. 

둘째는 규제 완화다. 국내 심의 대상이 아닌 외국 기업이 시장 상위권을 차지하는 사이, 국내 기업은 절차를 밟느라 속도가 뒤처지는 역차별이 생긴다는 것이다. 어렵게 법이 개정되더라도 하위 법령에 현실적으로 지키기 어려운 조건이 붙어 실질적인 완화로 이어지지 않는 경우도 많다. 

셋째는 투자자 생태계다. 이번에 코스포에 알토스벤처스와 소풍벤처스가 특별회원으로 합류했다. 투자자와 논의해 표준 계약서를 만들어 창업자와 투자자 간 분쟁을 줄일 계획이다. 

넷째는 인재 확보다. RSU와 스톡옵션 같은 보상과 세제 혜택을 강화해 인재가 스타트업으로 향하게 만들 계획이다. 

다섯째는 스타트업의 글로벌 진출 기회를 넓히겠다는 구상이다. 국내 시장만으로는 성장에 한계가 있는 만큼, 회원사들이 해외 투자자와 파트너를 만날 수 있는 통로를 협단체 차원에서 만들겠다는 계획이다. 

엘리스는 인프라 설계부터 클라우드, AI 모델, 솔루션, 교육까지 AI 사업을 이루는 전 단계를 직접 갖추고 운영하는 AI 풀스택 기업이 됐다. 모든 단계를 갖췄다는 것은 모든 단계에서 경쟁한다는 의미이기도 하다. 상장 이후에는 그 전선을 유지할 체력도 증명해야 한다. 다만 지난 11년이 그랬듯, 엘리스는 한 단계씩 밟아 답을 만들어 갈 것이다. 엘리스가 그리는 AI 풀스택의 다음 장면이 기대되는 이유다.

▶원문 보기