オブザーバビリティ

AgentOpsはAIエージェント向けの観測可能性プラットフォームで、モニタリング、デバッグ、評価機能を提供し、開発者がエージェントのパフォーマンスを最適化するのを支援します。

Phoenixはオンライントレーシングとオフライン診断をサポートするLLMおよびエージェントアプリケーション向けのオープンソース観測・評価ツールです。

DeepEvalは、LLMアプリケーション向けのオープンソース評価フレームワークです。

Ragasは、RAG（検索拡張生成）システムを評価するためのフレームワークです。

Heliconeはリクエストトレーシング、キャッシング、コスト分析を提供するLLMアプリケーション向けのオープンソースプロキシ・観測プラットフォームです。

Langfuseはトレーシング、評価、プロンプトバージョニング、コスト分析をサポートするオープンソースLLM観測プラットフォームです。

TruLensは、LLMアプリを評価および追跡するためのオープンソースツールです。