KM Wiki

pretraining

4건의 항목

  • 2026년 11월 03일

    MBZUAI IFM K2 Horizon (0.9B~375B): 역대 최대 완전 오픈소스 LLM 및 23조 토큰 데이터 레시피

    • models
    • architectures
    • k2-horizon
    • mbzuai
    • ifm
    • open-source-llm
    • synthetic-data
    • pretraining
  • 2026년 10월 11일

    모델 붕괴(Model Collapse): 합성 데이터 재귀 학습의 구조적 결함 및 꼬리 분포 소멸 메커니즘

    • models
    • architectures
    • model-collapse
    • synthetic-data
    • data-wall
    • pretraining
    • oxford
    • cambridge
  • 2026년 10월 11일

    Self-Play Pretraining with Zero Data: 무(無)데이터 기반 자기대전 사전학습과 보편적 예측 구조의 창발

    • wiki
    • models
    • rl
    • pretraining
    • self-play
    • zero-data
    • scaling-laws
    • universal-turing-machine
  • 2026년 9월 09일

    MiniMind: 단일 GPU 풀스택 경량 LLM 학습 및 에이전틱 강화학습 파이프라인

    • models
    • sft
    • rl
    • pretraining
    • from-scratch
    • minimind
    • study-resources