サービスの正常性のモニタリングを設定¶
デプロイのサービスの正常性 > 設定タブでは、サービスの正常性に対してセグメント化された分析を有効にできます。ただし、データドリフトと精度に対してセグメント化された分析を使用するには、次のデータドリフト設定も有効にする必要があります。
-
ターゲット監視(データドリフトおよび精度の追跡を可能にするために必要)
-
特徴量ドリフト追跡の有効化(データドリフト追跡を有効にするために必要)
デプロイに必要な追跡を有効にしたら、一意のセグメント属性と値にフィルターすることで、サービスの正常性、データドリフト、精度の統計に対してセグメント化された分析ができるようにします。
デプロイのサービス正常性の設定ページでは、次の設定を行うことができます。
フィールド | 説明 |
---|---|
セグメント化された分析 | |
トレーニングデータと予測に対するセグメント化された分析のために属性を追跡 | DataRobotで、カテゴリー特徴量など、セグメント別にデプロイ予測を監視できるようにします。 |
定義 | |
範囲 | サービスの正常性監視通知のリファレンス期間を表示します。デフォルトでは、期間は過去7日間です。 |
予測頻度 | |
予測頻度 | Configure the prediction frequency limits for the deployment, tracked on the Usage tab. |
本機能の提供について
Configurable predictions and actuals upload limits are off by default. このプレビュー機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。
機能フラグ:設定可能な予測値と実測値の制限を有効にする
分析するセグメントを選択¶
セグメント分析を有効にしたら、予測を行う前に、トレーニングおよび予測データで追跡するセグメント属性を指定する必要があります。 追跡するセグメント属性を選択すると、モデルのデータが属性によってセグメント化され、ユーザーは追跡対象として選択した属性を構成するセグメント値を詳細に分析できます。 セグメント化された分析に使用される属性は、デプロイされたモデルのトレーニングデータセットに存在する必要がありますが、モデルの特徴量である必要はありません。 追跡に使用できるセグメント属性のリストは、複数系列デプロイで使用される選択された系列IDを除いて、カテゴリー特徴量に限定されます。 属性を追跡するには、トレーニングデータと予測に対するセグメント化された分析のために属性を追跡フィールドに目的の属性をリストします。
備考
モデルに使用されるトレーニングデータセットに、セグメント化された分析に適した特徴量が含まれていない場合、There are no corresponding categorical attributes in the training dataset
というツールチップが表示されます。
DataRobot-Consumer
属性(予測リクエストを行うユーザーを表します)は、デフォルトで常にリストされます。 セグメント化された分析を有効にした時系列デプロイの場合、DataRobotはセグメント化された属性のForecast Distance
とseries id
(IDは複数系列モデルのみに適用)を最大で2つ自動的に追加します。 予測距離は、トレーニングデータセットに明示的に存在しなくても、自動的にセグメント属性として提供されます。予測ポイントと予測される日付に基づいて推測されます。 これらの属性により、特定の予測距離、系列、またはその他の定義された属性での精度およびドリフトが確認できます。 追跡する属性を確定したら、保存をクリックします。 予測を作成して、セグメントごとにデプロイを分析するタブ(サービスの正常性、データドリフト、および精度。
備考
セグメント分析は、セグメント分析が有効になってから行われた予測に対してのみ利用できます。
Add new segments for custom metric analysis¶
After enabling segmented analysis, you can create new segments—not present in the deployed model's training dataset—for use with custom metrics.