아니 무슨 잡코인도 아니고 하루에 10% 왔다갔다 하는 한국 시총 1위 기업이 있나....
일단 메모리 조정은 애플이랑 메타에서 시작 되었다.
애플이야 워낙 양아치라서 그렇게 신경 안써도 되는데
메타에서 이번에 클라우드 사업진출한다고 선언을 함.. 그래서 메타 주가는 폭등하고 hbm 메모리 시작은 나락을 가버림
일단 지금 메모리주가는 말도 안되는 상상챠트를 만들고 있다.
ai 사업이 본격화 되니까 엔비디아 gpu가 미친듯이 팔리고 어느순간 애플을 재끼고 1위업체로 등극하게 됨 엔비디아가
미친듯이 gpu가 팔리고 4년전 gpu가격도 2배로 폭등함 내가 처음 rtx4090 을 샀을대 230만원주고 샀었는데
지금 중고 rtx4090 중고시세가 400만원 넘어가고 있다.
rtx3090 도 95만원선에 사서 회사 gpu로 사용하고 있는데 이번에 추가 도입할려고 알아보니 5090은 일단 답도 안나오고
4090도 서버용은 500만원선 중고가 형성
어쩔수 없이 3090 알아보고 있지만 이것도 블로워 모델은 판매하는데도 없고 파는데는 200만원선에서 팔고 있다.
이돈을 주고 사야 하는지 의문이 든다.
회사 내부에 대용량 업무처리 로직에 올라마 gemma4 모델을 24시간 돌리면서 정리 중인데 시간이 너무 오래 걸려서 gpu를 계속 늘려야 하는데
3년전에 90만원 하던거를 지금 200만원을 주고 사야 하는지 심히 고민이 된다. 물론 업무상 필요한거니까 사긴 하겠지만...
회사 내부 문건 처리가 3090 기준으로 40초에 한개 문서를 처리 정리 작업중인데 전체 작업을 하는데 몇달이 걸리고 있다.
gpu를 여러개 늘리면 그만큼 시간이 줄어 들어서 겨우 200만원이면 감사합니다 하고 사는게 맞긴 하지만 마치 코카콜라 천원짜리를 3천원에 판다면
3천원이 없다기 보다 그걸 그돈으로 먹어야 하나 고민이 되는 상황인것이다.
우리같은 중소 회사도 업무 처리에 gpu가 필요해서 사서 써야 할 판이고
가격이 얼마든 일단 그가격 보다는 업무 처리 비용 계산하면 사도 될 가격이긴하다..
지금 전체 ai 기업들의 상황도 이와 비슷하다.
ai 사업은 닷컴 버블때처럼 상품 의존성이 그렇게 높은 영역이 아니다.
그게 무슨 말이냐면 닷컴 버블시대에 모든 닷컴 기업에서 가장많이 했던 서비스가 무료 메일 서비스 였다.
메일을 무료로 사용자에게 제공하면 그 메일을 읽기 위해서 어쩔수 없이 그 포털에 접속을 해야 하고 그렇게 접속된 포털은
광고 수익으로 매출을 발생시킬수 있는 비지니스 구조였다.
메일주소는 한번 만들어서 쓰기 시작하면 명함에도 쓰이고 여기저기 전화번호 처럼 많이 쓰게 되기 때문에
쉽게 메일을 바꾸기가 쉬운일은 아니었다. 즉 의존성이 높은 서비스라 보면 된다.
하지만 지금 ai 업체들이 하는 인공지능 쳇봇 서비스는 의존성의 거의 없다.
사람들은 필요할때 그때 그때 쳇봇 사이트를 바꿔가면서 질문한다. chatgpt를 사용하기도 하고 제미나이를 사용하기도 한다.
둘중에 더 성능 좋은 답변을 하면 내일이라도 바로 갈아타서 서비스를 이용한다.
대형 언어 모델의 경우 그 모델 사이즈가 테라바이트 까지 올라 간다. 즉 하나의 프로그램일 실행하는데 테라급 메모리가 구동된다는 소리다.
ollama 처럼 소형 언어모델들도 많이 무료로 설치 해서 쓸수 있지만 그 문제 해결 능력 차이는 격차가 매우 크다.
이런 테라급 모델에 질문을 한번 하면 여러개의 gpu가 동시에 전기를 먹어가면서 엄청난 연산을 통해서 단어 하나 하나를 생성한다.
이런 그래픽 카드가 한개에 700w 정도 되는 전기를 먹는데 이런게 10개씩 묶어서 하나의 답변을 처리 하는것이다.
사진에는 8개 붙어 있는 h200 gpu 세트임
질문 하나 할때마다 에어컨 3~4대가 동시에 돌아가듯이 전기를 먹는다는 소리다.
우리가 월 2만원 3만원 내고 쓰는 ai 서비스는 사실 엄청난 가성비 상품이라 보면 된다.
우리가 질문 할때마다 전기세와 인프라 비용 계산하면 사용자가늘 수록 적자가 점점 커지는 사업 형태인 것이다.
그러면 이렇게 사용자에게 서비스 할수록 손해가 커지는 사업을 왜 ai 빅테크 들은 미친듯이 돈을 퍼붓고 있는것일까?
빅텍크 들이 목표로 하는 시간은 2030년의 초지능 완성 시점을 목표로 하고 있다.
지금도 몇달 또는 몇주에 한번씩 업데이트 될때 마다 엄청난 성능향상을 하고 있는 인공지능 모델들은
더많은 데이터와 더 많은 메모리를 바탕으로 계속 트래이닝을 거쳐서 더 좋은 모델들이 나오고 있다.
처음 인공지능 나왔을때를 생각해 보면 질문을 5개 이상하면 이전에 해왔던 대화를 까먹는 현상이 자연스럽게 발생했었다.
하나의 질문에 하나의 답변만 하던 정말 단순한 ai 였다.
하지만 지금은 수많은 대화를 주고 받고 하면서 길어진 대화를 모두 이해를 하면서 다음 대화를 이어가고 있다.
이렇게 하나의 대화 세션의 크기를 한번에 메모리에 밀어 넣어서 이해하는것을 context-window-size 라고 부른다.
얼마나 많은 문장을 한번에 이해하고 처리 할수 있느냐의 능력은 콘텍스트윈도우 크기에 따라 결정된다.
물론 초기 인공지능 모델은 콘텍스트 윈도우가 몇킬로 바이트 밖에 되지 않아서 엄청 방대한 자료에 대해서 질문을 하거나 하면
자료는 데이터베이스에 저장해 두고 인공지능 모델이 해당 데이터베이스에서 대충 필요할거 같은 키워드로 검색후 결과를 묶어서 참고후 답변을 해주는 rag 방식으로
대용량의 자료 답변을 했지만 컨텍스트 윈도우 사이즈가 커질수록 한번에 책 몇권 분량을 메모리에 때려 넣고 그걸 바탕으로 질문 답변을 이어 갈 수 있으니
보다 자연스러운 대화흐름이 구성되게 된다.
결국 컨텍스트 윈도우 사이즈는 계속해서 커져야 한다.
이 글을 읽고 있는 너님들의 ai 여친같은 프로그램이 님들과 수년동안 추억을 쌓고 같이 대화하고 했던 추억들을
매번 질문 할때마다 까먹고 하면 흥미가 떨어지기 마련이다.
우리가 몇년전에 이야기 했던 그 피서지에서 봤던거다라고 대화를 했을때 바로 그 내용을 이해하고 대답을 할수 있는 수준까지 컨텍스트 윈도우가 확장되어야 실제적으로 쓸만한 인공지능 모델이 된다고 할 수 있다.
즉 컨텍스트 윈도우는 얼마나 많은 내용을 한번에 vram에 올릴수 있냐가 기술인데 결국 여기에 들어가는것들이 모두 메모리란 소리다.
2030년 까지 컨텍스트 윈도우 사이즈가 100메가 단위 가지 올라가게 되면 이제는 실무 업무를 대체할수 있는 수준까지 쓸수 있는 모델이 될수 있다.
예를 들어서 회사 전체의 영업 자료를 한번에 컨텍스트 윈도우에 올려서 대화를 할수 있다면 새로운 고객과 영업 미팅때 모든 자료를 한번에 확인해서 적절 한 영업 제안을 할수도 있고
콜센터 고객응대도 수많은 케이스에 대한 자료를 한번에 알 수 있다면 사람을 대체할정도의 콜센터 퀄리티가 나오게 된다.
openai 에서는 2030년에 월 200만원에서 월 2000만원정도 하는 ai 호스팅 상품을 판매할 계획인다.
물론 지금 입장에서는 머리에 총 맞았다고 200만원씩이나 주고 ai 채팅을 하냐 하겠지만 2030년에 공개될 모델 수준은
월급 400만원 500만원 받는 사무식 직원 수십명을 대체할수 있는 수준의 ai 서비스를 의미하는것이다.
예를 들어서 마케팅 회사라고 하면 10명정도 되는 직원이 유튜브도 만들고 쇼츠도 찍고 블로그도 쓰고 하면서 월급이 한달에 3천 ~4천정도 나간다 하면
월 200만원만 내면 이 직원들 다 자르고 기존 업무 그대로 진행 할수 있다는 소리다.
이시점에서 openai 매출 목표가 지금의 100배 200배 수준으로 목표하고 있다.
지금 openai 는 투자금을 까먹으면서 계속 신규 모델 개발에 천문학적인 돈을 쏟아 붓고 있다 물론 여기 투자한 투자자들도 엄청난 판돈이 걸려 있다.
이 판돈은 결국 수백 수천만원하는 월 구독료로 흑자 전환을 하고 수많은 사무직들의 퇴사가 시작 될것이다.
그래서 이런 모델을 완성 하냐 안하냐가 기존의 투자금을 모두 날려서 파산하느냐 아니면 흑자 전환해서 돈을 땡기느냐이다.
당연히 계속 모델 개발을 할수 밖에 없고 그만큼 더 좋은 gpu와 더 많은 hbm 메모리가 들어갈 수 밖에 없다.
지금 메모리 고점이라고 애플이 개소리하고 메타가 클라우드 사업을 시작하니 마니 해서 더이상 메모리수요가 다 찼을까 싶어서 반도체 주가가 폭락하고 폭등을 반복하지만
한가지를 체크해 보면 된다. 그래서 지금 월 200만원 , 월 2000만원짜리 구독 상품이 ..
