PGR21.com
- 자유 주제로 사용할 수 있는 게시판입니다.
- 토론 게시판의 용도를 겸합니다.
Date 2024/12/25 20:31:46
Name 깃털달린뱀
Subject [일반] 한국의 국산 LLM과 전략

무슨 거창한 제목이 돼 버렸지만 그런 건 아니고, 그냥 요즘 관심 생긴 분야 찾다가 가볍게 정리 겸 써보는 글입니다. 인터넷 검색 위주로 찾은 자료다보니 부정확할 수 있습니다.


현재 거대언어모델(LLM)의 주도권은 누가 뭐래도 미국의 빅테크가 치열하게 선도하고 있고 중국이 뒤따라고 있습니다. 그들의 자금력, 데이터 생각하면 솔직히 전세계 어느나라도 경쟁할 수 없습니다.

그럼에도 국내에서도 LLM, 그것도 자체모델을 만드는 경우가 있어 흥미로웠습니다. 기본적으로는 직접 빅테크 모델과 경쟁하기보다는 정부, 교육, 국방이나 국내 중소기업을 타깃으로한 시장을 노리고 만드는 것으로 보입니다.


1. 네이버 하이퍼클로바X
국산 LLM중 가장 유명한 것이죠. 클로바X라는 챗봇과 큐:라는 검색 서비스가 있습니다.

기본적으로 네이버는 '소버린 AI'라는 컨셉을 적극적으로 밀고 있습니다. 각국이 자국의 문화, 가치를 이해하는 AI 모델을 갖고 있어야한다는 개념이죠. 센터장은 교육을 예로 많이 듭니다. 독도가 분쟁지역이라 뱉는 빅테크 AI에게 교육을 맡길 수 있겠냐는 거죠.

단순히 국내 시장만 아니라 사우디와 협력하는 등, 각국이 자체 모델을 만들 수 있도록 데이터센터, 인프라 등까지 한 번에 구축해서 제공하는 쪽에 집중하는 것 같습니다.


2. LG EXAONE
제가 보기엔 국내에서 네이버 다음으로 적극적으로 생성형AI에 투자하는 기업이 LG 같습니다. 20년에 이미 AI 연구원을 설립했고 26년까지 인공지능, 데이터 연구에 3.6조를 투자한다고 합니다.

국내에서는 최초로 오픈소스 LLM인 엑사원을 출시하였고 꾸준히 업데이트 하고 있습니다. 오픈소스라고 완전 자유까지는 아니고 상업적 이용은 제한 돼 있긴 합니다.

마찬가지로 국내 시장은 물론 그룹 자체 내 활용, LLM과 다른 AI를 결합하여 서비스를 만들어내는 쪽에 집중하고 있는 것 같습니다.


3. 삼성 가우스
삼성도 LLM을 직접 만듭니다. 그런데 정보가 너무 없어서 이게 자체 모델인지 파인튜닝인지까진 확신이 없는데 아마 자체모델인 것 같습니다.

갤럭시S 최신 시리즈에 들어가는 온디바이스 AI가 이 가우스의 경량화 버전으로 보입니다.

현재는 가우스2까지 나왔습니다. 현재까지는 모델을 활용하여 적극적인 판매를 한다기보단 그룹 내부에서의 활용에 초점을 맞추는 느낌입니다. 코드i라는 프로그래밍 어시스턴트가 사내에 있다네요.


4. KT 믿음
뜬금없이 KT가? 싶지만 얘도 있습니다. 처음에는 LLM 자체로 무언가를 해보려다 방향을 바꿔서 경량화한 sLM위주로 전략을 수정했습니다.

빅테크 모델과 직접 경쟁은 불가능하니 대신 작은 모델 여럿을 특정 목적에 맞게 파인튜닝하여 서비스단에서 경쟁하겠다는 전략입니다. 꼭 자체 모델 뿐만 아니라 마이크로소프트와 협력, 오픈소스 모델 사용 등을 통해 여러 모델을 필요에 따라 활용하여 대응하려는 것 같습니다.


5. 기타 오픈소스 파인튜닝 모델
카카오의 KoGPT(GPT-3 기반), 업스테이지의 솔라(라마 기반), 솔트룩스의 루시아(라마, 젬마 기반) 등 사실 파인튜닝 특성상 엄청나게 많은 모델들이 있을 것이라 생각합니다. 어디서 뭘 하는지조차 모름.

개인적으로는 직접 파운데이션 모델 개발하는 것보단 오픈소스 모델 가져가 파인튜닝 하는 게 더 낫지 않나 싶기도 합니다.


대충 이정도일까요. 정리하자면 (제가 파악하는) 국내 자체 LLM은 총 4개입니다. 각각은 직접 빅테크 AI와 경쟁하는 것은 피하고, 서비스 단에서 파인튜닝을 통해 비벼보겠다는 전략을 취하고 있습니다. 주요 시장은 국내 정부나 보안이 중요한 기업들 위주인 것 같습니다.

솔직히 빅테크가 승자독식할 것 같은 이 구조에서 과연 기술력도 자금력도 현격히 떨어지는 국산 LLM이 어떻게 살아남을 수 있을지 의문이기도 해서 흥미롭게 바라보고 있습니다. 나름 자신의 포지션을 잘 찾아서 살아남았으면 좋겠기도 합니다. 물론 제가 쓸 일은 아마 잘 없을 것 같긴 합니다만.


보통 AI 하면 오픈AI나 구글, 앤트로픽 같은 외국 모델 얘기만 잔뜩 들으실텐데 국내에도 이런 게 있기는 하다라는 취지에서 소개차 가져와봤습니다.

잘 아시는 분들이 어떤지 더 알려주시면 저도 공부가 되고 내용도 더욱 풍성해질 것 같습니다. 많은 내용 공유 부탁드립니다.

감사합니다.

통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
깃털달린뱀
24/12/25 20:55
수정 아이콘
SKT도 A.X(에이닷X)라는 자체모델이 있는 것 같습니다. 이것까지 포함하면 현재 자체모델은 총 다섯개군요.
Lina Inverse
24/12/25 20:59
수정 아이콘
국내에선 네이버가 1황으로 알고있긴 합니다만 LLM시장은 결국 winner takes all 할 것 같아서 국내최강이란 지위만으로 어떻게 될 지 모르겠네요
깃털달린뱀
24/12/25 21:04
수정 아이콘
저도 비슷하게 생각합니다. 처음 클로바X가 나왔을 때도 환각 있고 별로란 느낌이었는데 그 이후 빅테크 AI는 엄청나게 발전한 반면 네이버 쪽 AI는 새모델도 안나온지라... 아무리 그래도 성능 차이가 이렇게 나버리면 과연 국산화라는 명분 감안하더라도 써먹을 수 있는 게 맞나 우려스럽긴 합니다. 뭐 실제 현장에 계신 분들이 다 고려해서 선택하실 문제겠지만요.
Mea Clupa
24/12/25 21:05
수정 아이콘
결국엔 전세계 회사에서 2~3개의 회사가 분야 별로 먹을 것 같아서 국내는 활용 방법에 대해서 고민하는 포지션이고 실제 LLM 자체 개발은 의미가 없을 것 같네요. 현재는 LLM도 돈이 받침이 되어야 개발이 가능해서 국내에서는 쉽지 않을 거라 봅니다.
자연어처리
24/12/25 21:14
수정 아이콘
SKT와 카카오도 자체 LLM을 보유했다고 볼 수 있습니다.
네이버의 경우에는 그나마 저 중에서 가장 나은 수준이라고 볼 수 있습니다만, 이마저도 글로벌 빅테크와의 격차에 점점 좌절감을 느끼는 요즘입니다.
펀딩의 규모로 볼 때, 70B+ 급의 LLM은 이제 제대로 만들기 힘들거라고 보이고, 그나마 10B 내외의 sLLM만 제대로 만들 수 있을 것으로 보입니다.
컴퓨팅 자원을 확보했다 치더라도, 저작권 확보된 Trillion 단위 토큰의 한국어 코퍼스를 모으는 것도 쉽지 않습니다.
더 나아가 post-training 단계에서의 기술력도 큰 차이가 나는 것 같습니다.
번개맞은씨앗
24/12/25 23:56
수정 아이콘
작은 거라도 만들면서, AI 인재들의 경험과 실력을 쌓는 건 중요하다고 봅니다. AI는 계속해서 기하급수적으로 발전하기 곤란할 것입니다. S곡선으로 결국 꺾여서 plateau 고원에 이를 것이고, 그와 함께 하드웨어는 저렴해질 것입니다. 그러면 어느 순간, 한국의 기업도 돈을 크게 쓰게 될 타이밍이 오게 될 거라 봅니다. — 개인적인 바램이 있다면, 그때를 위해서 핵발전소를 더 늘렸으면 합니다. 발전소는 지어지는데 시간이 많이 걸리기 때문에, 지금 결정해야 합니다. 미래 전력 수요를 과소평가하고 있을 가능성이 크다고 봅니다. 전기가 부족하거나 비싸다면, AI뿐만 아니라, 우리나라 제조업의 미래가 위태로워질 겁니다. 
자연어처리
24/12/26 01:27
수정 아이콘
물론 아무것도 안하는 것 보단 낫지만,, 세 발 자전거를 운전해 본 경험으로 F1을 운전해 본 경험과 비교하는 것은 어불성설입니다.
이 업계에 제법 오래 있었지만, 지금만큼 두렵고 좌절한 적은 없었습니다.
내수 시장에서 자라온 한국 기업들이 감당할 수 있는 스케일의 펀딩이 아니라고 생각합니다.
(물론 그럼에도 불구하고 매우 작은 가능성을 위해서라도 끝까지 최선을 다해야 한다고 생각합니다.)
전력 문제는 매우 공감합니다. 국가 차원에서 AI에 대한 대전략이 필요합니다. 단순히 정치인들 K-AI 같은 포퓰리즘이 아니라, 제대로된 전략이 필요합니다.
노둣돌
24/12/26 10:27
수정 아이콘
같은 생각입니다.
국가가 나서서 경쟁력 있는 AI 데이터센터를 구축하고 클라우드 방식으로 기업이 활용할 수 있도록 지원하는 방법이 후발국가가 취할 수 있는 최선일 겁니다.
기업들이 빅테크 기업의 LLM을 이용하는 것은 보안 문제가 있기 때문에 이 부분에서 차별화가 가능하다는 생각이고, 이 점을 강조하면 큰 호응을 불러올 수 있을 것입니다.

기존의 원자력발전소는 송전탑 문제가 걸림돌이지만 HVDC(고압직류) 송전 방식을 취하면 송전탑 없이 지중매설 또는 해저 케이블로 송전을 할 수 있습니다.
이 마저도 주민들의 저항에 부딪힐 가능성을 염두에 두고 SMR 개발을 같이 추진할 필요가 있습니다.
뉴스케일파워가 SMR로 경제성을 확보하는데 실패했으니 우리의 제조업 경쟁력으로 이 문제를 극복할 수 있을지는 장담할 수 없을 것입니다.

RE-100 문제도 간과할 수 없기 때문에 앞서 언급한 HVDC 송전은 태양광 확산을 위해서라도 빨리 확산시켜야 할 것이고요.
如是我聞
24/12/26 12:56
수정 아이콘
죄송합니다만 코퍼스가 뭔가요?
회색사과
24/12/26 12:58
수정 아이콘
번역하면 말뭉치 입니다. 
언어자원 데이터를 copus (copora) 라고 합니다. 
如是我聞
24/12/26 13:00
수정 아이콘
가르쳐 주셔서 고맙습니다
자연어처리
24/12/26 13:49
수정 아이콘
corpus / corpora 입니다!
리얼포스
24/12/25 21:46
수정 아이콘
아무리 한국어 기반 데이터로 학습을 시켜봤자 기반모델의 성능 차이가 너무 크게 벌어진 상황이라 의미가 없습니다. 티맥스 윈도우나 마찬가지입니다.
현재 LLM 경쟁은 기술 경쟁에서 자본력 대결 단계로 접어든 상태고 컴퓨팅파워의 격차로 인해 이미 역전을 노릴 수 있는 시나리오는 없다고 보고 있습니다.
파인튜닝도 GPT4 시기에나 의미 있는 성능차를 만들어냈지 o1부터는 그냥 기반모델이 압도적으로 좋으면 뭘 더할 필요도 없다는 게 결론입니다.
번개맞은씨앗
24/12/26 00:19
수정 아이콘
영어권 데이터는 얼마나 모을 수 있는지 궁금하네요. 특히 고품질 데이터요. 
콘칩콘치즈
24/12/25 22:06
수정 아이콘
ollama에 가보면 야놀자에서 올려놓은 모델도 있고 링크브릭스에서 올려놓은것도 있습니다. 최근 말씀하신 LG것도 올라와있네요. 누구나 간단하게 설치해볼수있습니다.

https://ollama.com/search?q=korean

관심있으신분은 허깅페이스에 가셔서 찾아보셔도 좋겠습니다.
성야무인
24/12/25 22:28
수정 아이콘
어떤 답변을 원하시는 지는 모르겠지만

LLM이 중요한 게 아니라

LLM으로 학습시킬 Data Pool이 얼마나 많은가가 더 중요합니다.

1,000개를 학습시키냐 10,000개를 학습하느냐에 따라서

정확도가 달라지는 데

제가 있는 의료쪽의 경우 미국이나 중국하고 거의 상대가 안됩니다.

아무리 native protocol 수정해서 Efficiency 높여봤다 Pooling 숫자가 적으면

의미가 없습니다.
24/12/25 22:55
수정 아이콘
실사용하는 입장에서는 미국이나 중국 모델아니면 성능이 너무 떨어집니다. API 수준에서 적용할 때는 중국 모델도 사용하기 힘들고 가성비 생각해서 gpt-4o나 클로드 3.5 소넷정도네요.
한국은...모르겠습니다. 현재 한국에 있는 모든 GPU 리소스를 따졌을 때 미국이나 중국 빅테크 단일 기업의 1/10도 안될 걸요?
깃털달린뱀
24/12/25 23:07
수정 아이콘
중국 AI 쪽도 관심 있는데 주로 어떤 거 쓰시나요? 오픈소스나 로컬로 돌리기엔 Qwen2.5가 끝판왕 느낌이더라고요. 아니면 추론 쪽 딥시크?
24/12/25 23:10
수정 아이콘
말씀하신 Qwen2.5를 주로 사용하고 LLM은 아니지만 영상쪽에서는 kling을 사용합니다. 얼마전 공개한 구글 veo2를 제외하고서는 영상쪽에서는 가장 좋은 성능 같습니다.
24/12/25 23:12
수정 아이콘
그리고 알리바바에서도 추론 모델 qwq 32b preview 공개했는데 이것도 o1에 약간 못미치는 정도 성능 같습니다.
퀀텀리프
24/12/26 01:55
수정 아이콘
대기업 자체 수요, 공공시장, 국방 이런 데를 노리는 거죠.
보안 이슈도 있고..
24/12/26 06:56
수정 아이콘
판결문 공개가 안되어서 데이터 학습도 못하는 척박한 나라에서 내수용 모델도 참 한계가 많을 것 같습니다.
Quarterback
24/12/26 08:42
수정 아이콘
좀 심하게 이야기 하면 815 콜라 같은거죠. 그런데 제대로 따라하기도 힘든거죠. 어차피 미국 중국 회사들과 경쟁하겠다고 만든 것이 아닙니다.
사업드래군
24/12/26 09:47
수정 아이콘
외국에 데이터를 넘겨주는 것 자체가 꺼려지는 은행, 의료, 정부쪽 데이터는 함부로 외국계 LLM을 도입할 수가 없고, 범용적인 AI가 (모든 상황에 대한 대답을 하는 게 아니라 은행이면 주로 금융쪽 질문에만 잘 대답할 수 있고, 굳이 연예쪽 질문에 대한 대답은 안 해도 되는) 아닌 국소적인 AI로도 충분하기 때문에 이런 영역에서 국내 AI가 의미가 있을 수는 있다고 하는데, 좀 더 지켜봐야 할 것 같습니다.
구글이 전세계를 장악한 상황에서도 네이버가 나름 국내 검색엔진을 굳건히 지켜왔는데, 사실 학술쪽 등에서는 네이버는 거의 쓰레기나 다름없지만 맛집이나 여행 검색 쪽으로는 구글이 상대가 안 돼서 꽤나 선방한 점도 있고, 앞으로 AI 시장에서도 이러한 틈새시장을 노려 국내 AI가 의미있게 살아남을지 결국 거대한 미국의 AI 기술과 자본앞에 무릎꿇을지 잘 모르겠습니다.
겨울삼각형
24/12/26 10:45
수정 아이콘
이쪽은 투입하는 자금과 인력의 규모가 성능을 좌우하는데

압도적 1황 미국과
그뒤를 쫓는 중국의 경쟁이 될거 같습니다.
전기쥐
24/12/26 11:06
수정 아이콘
데이터 안보 차원에서도 국내 LLM이 있어야 하긴 하네요. 단순 품질 경쟁은 힘들지만요.
24/12/26 11:08
수정 아이콘
전반적 검색 성능으로 봤을 때 네이버가 구글에 상대도 안되지만, 검색 "서비스"라는 관점에서 봤을 때 네이버가 지킬 자리가 있었던 것 처럼, AI도 네이버의 광대한 국내 서비스랑 엮여서 지킬 자리가 있을 수 있을 것 같습니다.
24/12/26 11:24
수정 아이콘
보안이슈로 외부망을 연결하지 못하는 경우가 있으니 그때를 대비해 쓰는 LLM일겁니다. 국내 LLM은
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회 추천
공지 [정치] [공지] 정치카테고리 운영 규칙을 변경합니다. [허들 적용 완료] [126] 오호 20/12/30 283540 0
공지 [일반] 자유게시판 글 작성시의 표현 사용에 대해 다시 공지드립니다. [16] empty 19/02/25 345731 10
공지 [일반] [필독] 성인 정보를 포함하는 글에 대한 공지입니다 [51] OrBef 16/05/03 467268 31
공지 [일반] 통합 규정(2019.11.8. 개정) [2] jjohny=쿠마 19/11/08 344407 3
103329 [일반] 오징어게임2 관련 주가 근황 [18] 한이연3094 24/12/27 3094 0
103316 [일반] 양자컴퓨터가 비트코인의 큰 리스크가 아닌이유.. [43] lexial2985 24/12/27 2985 0
103314 [일반] [강스포주의] 오징어게임2 감상평 [70] 신사동사신5430 24/12/27 5430 2
103313 [일반] [2024년 결산]뭘 해도 올해보단 나아지겠지 [37] SAS Tony Parker 3996 24/12/26 3996 28
103311 [일반] [책후기] 작은땅의 야수들, [3] v.Serum2130 24/12/26 2130 4
103310 [일반] 잊지 말아야 할 얼굴들…2024년 신상공개 범죄자 9인 [38] 덴드로븀6945 24/12/26 6945 4
103306 [일반] 삼성 S24로 아주 유용했던 출장(진행중) [43] 겨울삼각형7806 24/12/25 7806 9
103305 [일반] 한국의 국산 LLM과 전략 [28] 깃털달린뱀7454 24/12/25 7454 10
103303 [일반] <하얼빈> - 묵직하게 내려앉은.(약스포) [44] aDayInTheLife4585 24/12/25 4585 4
103301 [일반] 소리로 찾아가는 한자 61. 41-59편 정리 [2] 계층방정1055 24/12/25 1055 1
103298 [일반] 요즘 가볍게 보는 웹소설 3개(시리즈) [26] VictoryFood4310 24/12/25 4310 1
103297 [일반] 2024년 12월 24일. 사랑하는 우리 첫째 반려견 사랑이가 소풍을 떠났습니다. [15] Fairy.marie3048 24/12/25 3048 24
103293 [일반] aespa 'Whiplash' 커버 댄스를 촬영했습니다. [12] 메존일각2672 24/12/24 2672 7
103292 [일반] 청춘을 주제로 한 중고생들의 창작 안무 뮤비를 촬영했습니다. [2] 메존일각1937 24/12/24 1937 2
103289 [일반] [스포 포함] 자칼의 날 후기 [12] 동지3083 24/12/24 3083 3
103283 [일반] 한국-민족-문화의 정체성에 대한 소고 [13] meson2737 24/12/23 2737 12
103278 [일반] [2024년 결산] 내년은 올해보다 나은 해가 되기를 [3] 글곰1253 24/12/23 1253 6
103273 [일반] [일반] [2024년 결산] 24년도 새로 본 만화책 결산 [14] Kaestro1967 24/12/23 1967 6
103272 [일반] 포항 아파트 화재 기부 사건 엔딩 [101] 마르코8943 24/12/23 8943 12
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로