바이트댄스(TikTok)의 멀티모달 AI 에이전트 스택 오픈소스 공개

하예진 님의 LinkedIn 게시물에 따르면, 바이트댄스(TikTok)가 터미널, 컴퓨터, 브라우저에 GUI 에이전트와 비전 기능을 통합하는 멀티모달 AI 에이전트 스택을 오픈소스로 공개했습니다. 이 기술은 브라우저에서 호텔 예약이나 항공권 검색과 같은 복잡한 작업을 사람처럼 처리할 수 있게 해줍니다.

주요 기능으로는 MCP(Multi-Cloud Platform) 서버 통합을 통해 다양한 실제 도구들과 원활하게 연결되며, 원격 컴퓨터/브라우저 제어를 위한 Remote Computer/Browser Operator 기능도 포함되어 있습니다. 이는 복잡한 웹 작업을 자동화하는 데 큰 도움이 될 것으로 기대됩니다.

주요 기능 요약:

  • Agent TARS CLI: 터미널에서 직접 실행 가능한 멀티모달 에이전트.
  • 하이브리드 브라우저 에이전트: GUI 에이전트와 DOM(Document Object Model) 전략을 병행하여 사용.
  • Event Stream: 프로토콜 기반의 컨텍스트 엔지니어링.
  • MCP 통합: 다양한 외부 도구와의 원활한 연동 지원.
  • Remote Operator: 원격 컴퓨터 및 브라우저 제어 기능.
  • UI-TARS-1.5 모델: 정밀한 GUI 인식 및 제어 능력.

게시물에서는 이전에 소개된 Skyvern 오픈소스의 개선 버전처럼 보인다고 언급하며, 터미널부터 브라우저까지 사람처럼 일하는 멀티모달 에이전트를 통해 복잡한 웹 작업을 자동화할 수 있다고 강조합니다. 이러한 워크플로우 개발에 관심 있는 사람들에게 코드 분석을 권장하고 있습니다.

또한, 게시물 하단에는 Google DeepMind, Alibaba, Meta, Scale AI, Microsoft 및 유명 대학들의 최신 기술 동향을 확인할 수 있는 ‘CatchPaper 뉴스레터’에 대한 정보도 포함되어 있습니다. 이 뉴스레터는 매주 최신 트렌드 논문 10개를 3줄로 요약하여 제공하며, AI 기술 인사이트와 주간 기술 동향을 한눈에 파악할 수 있도록 돕습니다.


추출된 관련 URL:

  1. 바이트댄스 오픈소스 프로젝트 링크: https://lnkd.in/geAzXMcX
  2. CatchPaper 뉴스레터 링크: https://lnkd.in/ge889SGW