관측성

AgentOps는 AI 에이전트를 위한 관찰 가능성 플랫폼으로, 모니터링, 디버깅 및 평가 기능을 제공하여 개발자가 에이전트 성능을 최적화할 수 있도록 돕습니다.

Phoenix는 온라인 추적과 오프라인 진단을 지원하는 LLM 및 에이전트 애플리케이션을 위한 오픈소스 관찰 가능성 및 평가 도구입니다.

DeepEval은 LLM 애플리케이션을 위한 오픈 소스 평가 프레임워크입니다.

Ragas는 RAG(검색 증강 생성) 시스템 평가를 위한 프레임워크입니다.

Helicone는 요청 추적, 캐싱 및 비용 분석 기능을 제공하는 LLM 애플리케이션용 오픈소스 프록시 및 관찰 가능성 플랫폼입니다.

Langfuse는 추적, 평가, 프롬프트 버전 관리 및 비용 분석을 지원하는 오픈소스 LLM 관찰 가능성 플랫폼입니다.

TruLens는 LLM 앱을 평가하고 추적하기 위한 오픈 소스 도구입니다.