1조 파라미터인데 왜 빠를까? 전문가 혼합(MoE) 완벽 가이드
거대 AI 모델이 수천억 파라미터를 갖고도 빠르게 답하는 비결, 전문가 혼합(MoE)을 라우터·활성 파라미터·메모리 한계와 실제 모델 사례까지 차근차근 풀어봅니다. Read more »
인공지능
AI 컴퓨트 비용의 대분기: 만드는 값은 폭증, 쓰는 값은 폭락한다
프런티어 모델 훈련 비용은 매년 2.4배 뛰어 2027년 10억 달러를 향하지만, 같은 성능을 쓰는 추론 비용은 3년 만에 1000배 무너졌다. Epoch·arXiv·a16z 1차 데이터로 본 AI 컴퓨트 경제의 대분기. Read more »
답하기 전에 ‘생각하는’ AI: 추론 모델 완벽 가이드
답을 내기 전에 중간 추론 과정을 거치는 추론 모델의 작동 원리를, 사고의 사슬 개념부터 OpenAI o1과 딥시크 R1의 등장, 그리고 비용·지연이라는 현실적 한계까지 차근차근 풀어 정리했습니다. Read more »
랙 하나 뜯어보니 95%가 칩 — AI 반도체 1.2조 달러 시장의 해부
SIA·딜로이트 보고서를 분해했다 — AI 서버 랙 가치의 95%가 반도체, 패키지 칩 4,500개, 2028년 1.2조 달러 전망. IDC 메모리 쇼티지 시나리오와 교차하면 병목과 수혜 지점이 보인다. Read more »
ChatGPT 메모리 대전환: OpenAI ‘드리밍 V3’, 사용자를 스스로 기억한다
OpenAI가 6월 4일 공개한 ‘드리밍 V3’는 저장 목록 대신 백그라운드 종합으로 대화를 스스로 기억하고, 시간이 지나면 정보를 자동 갱신합니다. 사실 회상은 82.8%, 메모리 용량은 2배로 늘었지만 삭제·보관을 둘러싼 프라이버시 쟁점도 함께 떠올랐습니다. Read more »
비용 90%↓, 폰에서 도는 AI: 소형 언어 모델(SLM) 완벽 가이드
소형 언어 모델(SLM)은 1~7B 파라미터로 스마트폰에서 오프라인 실행되는 경량 AI다. 증류·가지치기·양자화로 압축해 클라우드 비용을 최대 90% 줄이고, Phi·젬마·라마 3.2가 대형 모델에 근접한 성능을 낸다. Read more »
AI 데이터센터 절반이 멈췄다 — 6,500억 달러도 못 막은 변압기 5년 품귀
빅테크가 6,500억 달러를 투자하고도 미국 AI 데이터센터의 절반이 멈춰 섰다. 범인은 GPU가 아니라 5년 치 밀린 변압기와 중국산 전력 장비 의존, 그리고 메인주의 건설 모라토리엄이다. Read more »
750억 유로 베팅: 손정의, 프랑스에 5GW AI 데이터센터 짓는다
소프트뱅크가 프랑스에 최대 750억 유로를 투자해 5GW AI 데이터센터를 짓습니다. 1단계 3.1GW는 2031년 완공 예정이며, 손정의의 오하이오·스타게이트로 이어지는 글로벌 컴퓨트 전쟁의 유럽 전선을 짚어봅니다. Read more »
AI는 왜 거짓말을 할까? RAG로 환각 잡는 벡터DB의 원리
RAG는 LLM이 답하기 전 외부 문서를 검색해 근거로 삼는 기술이다. 검색·증강·생성 3단계와 벡터DB·임베딩 원리, 파인튜닝과의 차이, 2026년 에이전틱 RAG·GraphRAG 흐름까지 핵심을 정리했다. Read more »
Anthropic 첫 흑자 $559M: Q2 매출 $10.9B, SpaceX 5월 할인 효과
AI 산업 최초의 분기 흑자가 임박했습니다. Q2 영업이익 $559M의 배경에는 SpaceX와의 5~6월 컴퓨트 할인 거래가 있고, 7월 정상요금 복귀와 함께 흑자는 한 분기에 그칠 전망입니다. Read more »