Helicone

LiteLLM предоставляет унифицированный интерфейс и прокси-шлюз для вызовов LLM, упрощая переключение между моделями, маршрутизацию и контроль затрат.

Langfuse — это платформа наблюдаемости LLM с открытым исходным кодом, поддерживающая трассировку, оценку, версионирование промптов и аналитику затрат.

DeepEval — это фреймворк с открытым исходным кодом для оценки LLM-приложений.

TruLens — это инструмент с открытым исходным кодом для оценки и отслеживания LLM-приложений.