Olmo-core 3: MoE가 커질수록 비싸지는 학습 경로를 다시 설계하다
Ai2의 오픈소스 MoE 학습 프레임워크 Olmo-core 3의 설치 계약과 공개 reference script의 실행 전제, DDP·expert parallelism·MXFP8의 역할, 공급자 벤치마크의 한계를 분석한다.
개인적인 일상과 소프트웨어 내용을 포스팅합니다.
Ai2의 오픈소스 MoE 학습 프레임워크 Olmo-core 3의 설치 계약과 공개 reference script의 실행 전제, DDP·expert parallelism·MXFP8의 역할, 공급자 벤치마크의 한계를 분석한다.
Meta와 OCP의 2026년 공개 자료를 바탕으로 AI 클러스터의 scale-up·scale-out·scale-across 평면을 나누고, 각 평면의 장애·혼잡·텔레메트리·운영 책임을 설계한다.
Cloudflare D1의 실제 구조를 바탕으로 query hot path에서 중앙 catalog를 제거하고, routing metadata·usage aggregation·failure domain을 분리하는 방법을 분석한다.
Dependabot이 인증 없는 사내 패키지 미러를 사용할 때 credential, registry 선언, repository scope, egress allowlist를 분리하고 안전한 전환 절차를 설계한다.
Copilot code review의 요청 권한, member entitlement, 저장소 소유 조직의 AI Credits, 외부 라이선스 제한, 예산 소진을 서로 다른 정책 결정으로 분리한다.
GitHub Copilot 관리 설정의 강제 원격 갱신과 sandbox 최소 버전을 정책 freshness, 장애 대응, 단계적 rollout 관점에서 설계한다.