국산 AI의 한국어 토크나이저는 다를까? 12종 재보니 2종은 남의 것이었습니다
같은 문서를 토크나이저 12종에 넣어 한국어 토큰 효율을 쟀습니다. 국산 신형 3종이 상위를 차지했지만, 국산으로 유통되는 다른 2종은 base 어휘 집합이 Llama 3, Mistral과 sha256까지 완전히 같았습니다. Read more »
같은 문서를 토크나이저 12종에 넣어 한국어 토큰 효율을 쟀습니다. 국산 신형 3종이 상위를 차지했지만, 국산으로 유통되는 다른 2종은 base 어휘 집합이 Llama 3, Mistral과 sha256까지 완전히 같았습니다. Read more »
다운로드 상위 100개 오픈 모델의 라이선스와 게이팅 상태를 직접 집계했습니다. 상업적으로 자유로운 모델과 접근 승인이 걸린 모델을 갈라, 오픈이라는 브랜드와 실제로 쓸 수 있는 권리 사이의 간극을 데이터로 짚습니다. Read more »
허깅페이스 다운로드 상위 100을 직접 집계했다. 1위는 화제의 챗봇이 아니라 2021년 임베딩 모델 all-MiniLM이었고, 좋아요 랭킹과 다운로드 랭킹은 정반대를 가리켰다. Read more »
컨텍스트 엔지니어링은 AI 모델의 컨텍스트 창에 무엇을 넣을지 설계하는 기술이다. 같은 모델이라도 어떤 정보를 주느냐에 따라 성능이 갈린다. 4대 실패 모드와 Write·Select·Compress·Isolate 전략, 어텐션 예산 개념을 처음부터 짚는다. Read more »
EU AI법 제50조 투명성 의무가 8월 2일 발효되며 챗봇·딥페이크·합성 콘텐츠에 표시가 의무화된다. 그러나 법이 요구하는 기계 판독 표시를 워터마킹과 C2PA가 어디까지 감당할 수 있는지, 그 기술적 간극을 4대 의무별로 뜯어본다. Read more »
LLM이 ‘다음 단어’를 예측한다면 월드 모델은 세계의 ‘다음 상태’를 예측합니다. 공간·물리·인과를 학습하는 이 AI가 어떻게 작동하는지, Genie 3와 Marble이 무엇을 바꾸는지 개념부터 활용까지 짚었습니다. Read more »
빅테크 4곳의 2026년 자본지출이 7,250억 달러에 이르며, Epoch AI의 SEC 공시 분석 기준 합산 잉여현금흐름이 3분기 0에 도달한다. 자본지출은 연 약 70%, 영업현금흐름은 연 약 23%씩 성장해 두 곡선이 교차하는 구조를 원자료로 짚는다. Read more »
AI가 신뢰할 지시와 외부 데이터를 구분하지 못하는 구조적 약점을 파고드는 프롬프트 인젝션. 직접·간접 유형부터 치명적 삼요소, 2026년 실제 브라우저 에이전트 사고, 현실적 방어 전략까지 개념 중심으로 짚었습니다. Read more »
AI 데이터센터의 진짜 병목은 발전량이 아니라 송전망 연결입니다. IEA 두 보고서의 전력 전망 수치가 왜 다른지, 그리고 4~8년짜리 송전 적체가 AI 확장 속도를 어떻게 결정하는지 1차 자료로 정리했습니다. Read more »
확산 모델은 데이터에 노이즈를 더했다가 그 과정을 거꾸로 학습해, 순수 노이즈에서 이미지를 복원하듯 만들어내는 생성 AI입니다. 정방향·역방향 과정과 잠재 확산, Diffusion Transformer까지 한눈에 짚어봅니다. Read more »