本文へスキップ
Kitbay
スキル公式

agent-observability-experiment-bootstrap

MIT2026年11月9日 更新185GitHubスター

プロジェクト用に、すぐに実行できるLLM Observabilityの実験ファイルを書くDatadogのスキルです。

スキルの内容

プロジェクト用に、すぐに実行できるLLM Observabilityの実験ファイルを書くDatadogのスキルです。エージェントは、実験の目的、データセット(インラインのレコード、ローカルファイル、名前付きのDatadogデータセットのいずれか)、テスト対象のタスク、評価器(エバリュエーター)を決め、デフォルトのPythonのddtrace SDK、またはNodeのdd-trace SDKを使ったスクリプトかノートブックを作成し、ローカルで確認してから報告します。言語別のガイダンスとテンプレートはreferencesフォルダにあり、選んだSDKのものだけが読み込まれます。結果を記録するにはDatadogの認証情報が必要です。

できること

  • LLM実験のスクリプトまたはノートブックの生成
  • Pythonのddtrace SDKまたはNodeのdd-trace SDKの使用
  • インライン、ローカル、Datadogでホストされたデータセットの組み込み
  • コードベースまたはLLMジャッジの評価器の追加