Наблюдаемость

AgentOps — это платформа наблюдаемости для AI-агентов, предоставляющая мониторинг, отладку и оценку для оптимизации производительности агентов.

Phoenix — это инструмент наблюдаемости и оценки с открытым исходным кодом для LLM и агентных приложений, поддерживающий онлайн-трассировку и офлайн-диагностику.

DeepEval — это фреймворк с открытым исходным кодом для оценки LLM-приложений.

Ragas — это фреймворк для оценки RAG-систем. Предоставляет различные метрики, включая точность, релевантность ответов, точность контекста.

Helicone — это прокси и платформа наблюдаемости с открытым исходным кодом для LLM-приложений, предоставляющая трассировку запросов, кэширование и аналитику затрат.

Langfuse — это платформа наблюдаемости LLM с открытым исходным кодом, поддерживающая трассировку, оценку, версионирование промптов и аналитику затрат.

TruLens — это инструмент с открытым исходным кодом для оценки и отслеживания LLM-приложений.