Skip to content

ホストされた指標ジョブの作成

ホストされた指標に対して、手動でまたはテンプレートからカスタムジョブを追加し、指標設定を定義して、指標をデプロイに関連付けます。 ホストされた指標ジョブを表示して追加するには、ジョブ > 指標タブに移動してから、次の操作を実行します。

  • 新しくホストされた指標ジョブを手動で追加するには、+ ホストされた指標ジョブを新規追加(または、ジョブパネルが開いている場合は、最小化された追加ボタン )をクリックします。

  • テンプレートからホストされた指標ジョブを作成するには、追加ボタンの横にある をクリックしてから、カスタム指標の下にあるテンプレートから新規作成をクリックします。

新しいジョブがアセンブルタブに開きます。 選択した作成オプションに応じて、以下の表でリンクされている設定手順に進みます。

ホストされた指標のジョブタイプ 説明
ホストされた指標ジョブを新規追加 新しくホストされた指標のジョブを手動で追加し、指標設定を定義して、指標をデプロイに関連付けます。
テンプレートから新規作成 DataRobotが提供するテンプレートからホストされた指標ジョブを追加し、デプロイに指標を関連付け、ベースラインを設定します。

ホストされた指標ジョブを新規作成

ホストされた指標ジョブを手動で追加するには:

  1. On the Assemble tab for the new hosted metric job, click the job name (or the edit icon ) to enter a new job name, and then click confirm .

  2. 環境セクションで、ジョブの基本環境を選択します。

    利用可能なドロップイン環境はDataRobotのインストール形態によって異なりますが、一般的に利用可能なパブリックドロップイン環境とDRUMリポジトリのテンプレートを以下の表に示します。 DataRobotのインストール形態によっては、これらの環境のPythonバージョンが異なる場合があり、さらに非公開の環境が利用できる場合もあります。

    ドロップイン環境のセキュリティ

    2025年3月にリリースされたマネージドAIプラットフォームから、ほとんどの汎用DataRobotカスタムモデルのドロップイン環境は、セキュリティが強化されたコンテナイメージになりました。 カスタムジョブの実行にセキュリティが強化された環境が必要な場合、POSIX-shell標準に準拠したシェルコードのみがサポートされます。 POSIXシェル標準に準拠したセキュリティ強化環境では、限られたシェルユーティリティのみがサポートされています。

    ドロップイン環境のセキュリティ

    セルフマネージドAIプラットフォームのリリース11.0から、ほとんどの汎用DataRobotカスタムモデルのドロップイン環境は、セキュリティが強化されたコンテナイメージになりました。 カスタムジョブの実行にセキュリティが強化された環境が必要な場合、POSIX-shell標準に準拠したシェルコードのみがサポートされます。 POSIXシェル標準に準拠したセキュリティ強化環境では、限られたシェルユーティリティのみがサポートされています。

    環境名と例 互換性とアーティファクトファイルの拡張子
    Python 3.X Pythonベースのカスタムモデルとジョブ。 モデルファイルにrequirements.txtファイルを含めることで、必要な依存関係をすべてインストールしてください。
    Python 3.X GenAI 生成AIモデル(Text GenerationまたはVector Databaseのターゲットタイプ)
    Python 3.X ONNXドロップイン ONNXモデルとジョブ(.onnx
    Python 3.X PMMLドロップイン PMMLモデルとジョブ(.pmml
    Python 3.X PyTorchドロップイン PyTorchモデルとジョブ(.pth
    Python 3.X Scikit-Learnドロップイン Scikit-Learnモデルとジョブ(.pkl
    Python 3.X XGBoostドロップイン ネイティブXGBoostモデルとジョブ(.pkl
    Python 3.X Kerasドロップイン TensorFlow(.h5)がサポートするKerasモデルとジョブ
    Javaドロップイン DataRobotスコアリングコードモデル(.jar
    ドロップイン環境 CARET(.rds)を使ってトレーニングされたRモデル
    CARETが推奨するすべてのライブラリをインストールするのに時間がかかるため、パッケージ名でもあるモデルタイプのみがインストールされます(例:brnnglmnet)。 この環境のコピーを作成し、Dockerfileを修正して、必要なパッケージを追加でインストールします。 この環境をカスタマイズする際のビルド回数を減らすために、# Install caret modelsセクションで不要な行を削除して、必要なものだけをインストールすることもできます。 CARETドキュメントを参照して、モデルの手法がパッケージ名と一致しているかどうかを確認してください。 このリンクをクリックする前にGitHubにログインしてください。

    scikit-learn

    すべてのPython環境には、(必要に応じて)前処理を支援するscikit-learnが含まれていますが、sklearnモデルで予測を行うことができるのはscikit-learnだけです。

  3. メタデータセクションで、次のカスタム指標ジョブフィールドを設定します。

    フィールド 説明
    Y軸の名前(ラベル) 従属変数のわかりやすい名前。 この名前は、カスタム指標のサマリーダッシュボードのカスタム指標のチャートに表示されます。
    デフォルトの間隔 選択した集計タイプで使用されるデフォルトの間隔を決定します。 時間のみサポートされています。
    集計タイプ 指標を合計平均、またはゲージ(単一時点で測定された明確な値を持つ指標)として計算するかどうかを決定します。
    指標の方向性 指標の方向性を決定し、指標の変更を視覚化する方法を変更します。 大きいほど良いまたは低いほど良いを選択できます。 たとえば、低いほど良いを選択すると、カスタム指標の計算値が10%減少することが、10%改善とみなされ、緑色で表示されます。
    モデル固有 この設定を有効にすると、データセットで提供されたモデルパッケージID(登録されているモデルバージョンID)を使用して、指標をモデルにリンクします。 この設定は、値が集計(またはアップロード)される場合に影響します。 例:
    • モデル固有(有効):モデルの精度指標はモデル固有であるため、値は完全に個別に集計されます。 モデルを置換すると、カスタム精度指標のチャートには、置換後の日についてのデータだけが表示されます。
    • モデル固有ではありません(無効):収益指標はモデル固有ではないため、値は一緒に集計されます。 モデルを置換しても、カスタム収益指標のチャートは変更されません。
    このフィールドは、指標を作成した後は編集できません。
    地理空間 カスタム指標で地理空間データを使用するかどうかを決定します。

    プレミアム機能

    地理空間の監視はプレミアム機能です。 この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。

    地理空間特徴量の監視サポート

    地理空間特徴量の監視は、二値分類、多クラス、連続値、位置のターゲットタイプでサポートされています。

  4. ファイルセクションで、カスタムジョブを構築します。 ボックスにファイルをドラッグするか、このセクションのオプションを使用して、カスタムジョブの構築に必要なファイルを作成またはアップロードします。

    オプション 説明
    ソース/アップロードから選択 既存のカスタムジョブファイル(run.shmetadata.yaml、など)をローカルファイルまたはローカルフォルダーとしてアップロードします。
    作成 空のファイルまたはテンプレートを含んだファイルとして新しいファイルを作成し、カスタムジョブに保存します。
    • run.shを作成:エントリーポイントファイルの基本的で編集可能な例を作成します。
    • metadata.yamlを作成:ランタイムパラメーターファイルの基本的で編集可能な例を作成します。
    • README.mdを作成:基本的で編集可能なREADMEファイルを作成します。
    • job.pyを作成:実行時のパラメーターとデプロイをプリントするための基本的で編集可能なPythonジョブファイルを作成します。
    • サンプルジョブを作成:すべてのテンプレートファイルを結合して、基本的で編集可能なカスタムジョブを作成します。 簡単にランタイムパラメーターを設定し、このサンプルジョブを実行できます。
    • 空白ファイルを作成:空のファイルを作成します。 名称未設定の横にある編集アイコン をクリックしてファイル名と拡張子を入力し、カスタムコンテンツを追加します。 次のステップでは、カスタム名とコンテンツを使用して、このように作成されたファイルをエントリーポイントとして識別できます。 新しいファイルを設定したら、保存をクリックします。

    ファイルの置き換え

    既存のファイルと同じ名前の新しいファイルを追加する場合、保存をクリックすると、ファイルセクションで古いファイルが置き換えられます。

  5. 設定セクションで、ジョブのエントリーポイントシェル(.sh)ファイルを設定します。 run.sh ファイルを追加した場合、そのファイルがエントリーポイントです。それ以外の場合は、ドロップダウンリストからエントリーポイントシェルファイルを選択する必要があります。 エントリーポイントファイルでは、複数のジョブファイルを調整できます。

  6. リソースセクションのセクションヘッダーの横にある 編集をクリックして、以下を設定します。

    プレビュー

    カスタムジョブのリソースバンドルは、デフォルトではオフになっています。 この機能を有効にする方法については、DataRobotの担当者または管理者にお問い合わせください。

    機能フラグ:リソースのバンドルを有効にする

    設定 説明
    リソースバンドル(プレビュー) カスタムジョブが実行に使用するリソースを設定します。
    ネットワークアクセス カスタムジョブのエグレストラフィックを設定します。 ネットワークアクセスで、以下のいずれかを選択します。
    • パブリック:デフォルト設定。 カスタムジョブは、パブリックネットワーク内の任意の完全修飾ドメイン名(FQDN)にアクセスして、サードパーティのサービスを利用できます。
    • なし:カスタムジョブはパブリックネットワークから隔離され、サードパーティのサービスにアクセスできません。
    デフォルトのネットワークアクセス

    _マネージドAIプラットフォーム_では、ネットワークアクセスはデフォルトでパブリックに設定されていますが、変更可能です。 _セルフマネージドAIプラットフォーム_では、ネットワークアクセスはデフォルトでなしに設定されており、制限があります。ただし、管理者は、DataRobotプラットフォームの設定時にこれを変更できます。 詳細については、DataRobotの担当者または管理者にお問い合わせください。

  7. (オプション)metadata.yamlファイルをアップロードした場合、ランタイムパラメーターを定義します。 設定したい各キー値の行の編集アイコン をクリックします。

  8. (オプション)タグ指標トレーニングパラメーターアーティファクトに、追加の キー値を設定します。

  9. 接続されたデプロイパネルで、+ デプロイに接続をクリックして、カスタム指標名を定義し、デプロイIDを選択して、そのデプロイに接続します。

  10. カスタム指標の名前を編集し、デプロイIDを選択して、ベースラインを設定します。ベースラインは、x%良いまたはx%悪化の値を計算する際に比較の基準として使用される値です。 メタデータセクションで地理空間を選択した場合は、少なくとも1つの地理空間/位置特徴量を持つデプロイを選択し、地理空間セグメント属性を定義します。 その上で、接続をクリックします。

    地理空間特徴量の監視サポート

    地理空間特徴量の監視は、二値分類、多クラス、連続値のターゲットタイプでサポートされています。

    ホストされたカスタム指標ジョブにいくつのデプロイを接続できますか?

    ホストされたカスタム指標ジョブに、最大10のデプロイを接続できます。

    接続されたデプロイとランタイムパラメーター

    ホストされているカスタム指標ジョブにデプロイを接続し、実行をスケジュールした後は、metadata.yamlファイルのランタイムパラメーターを変更できません。 metadata.yamlファイルに変更を加えるには、接続されているすべてのデプロイを切断する必要があります。

ホストされた指標ジョブをテンプレートから作成

テンプレートから事前に作成された指標を追加するには:

プレビュー

ジョブテンプレートギャラリーは、デフォルトでオンになっています。

機能フラグ:カスタムジョブのテンプレートギャラリーを有効にする、カスタムテンプレートを有効にする

  1. ギャラリーからカスタムジョブを追加パネルで、目的のユースケースに適したカスタム指標テンプレートを選択し、指標を作成をクリックします。

  2. ジョブの説明、実行環境メタデータ、およびファイルを確認します。 必要に応じて、カスタム指標の設定を行ってサイドカーのデプロイを選択してから、カスタムジョブを作成をクリックします。

    ホストされた指標ジョブがアセンブルタブに開きます。

    サイドカー指標

    [sidecar metric]を選択した場合は、カスタム指標の設定サイドカーのデプロイを設定する必要があります。 接続を確認するには、アセンブルタブを開き、ランタイムパラメーターに移動して、SIDECAR_DEPLOYMENT_IDパラメーターが設定されていることを確認し、その指標の計算に必要な接続済みのデプロイにサイドカー指標を関連付けます。 指標を計算するモデルをデプロイしていない場合、これらの指標には、 グローバルモデルとして事前に定義されたモデルがあります。

  3. アセンブルタブでは、 標準のカスタム指標ジョブと同様に、テンプレートのデフォルト名、環境ファイル設定リソースランタイムパラメーター、またはキー値を必要に応じて変更できます。

  4. 接続されたデプロイパネルで、+ デプロイに接続をクリックします。

    接続されたデプロイとランタイムパラメーター

    ホストされているカスタム指標ジョブにデプロイを接続し、実行をスケジュールした後は、metadata.yamlファイルのランタイムパラメーターを変更できません。 metadata.yamlファイルに変更を加えるには、接続されているすべてのデプロイを切断する必要があります。

  5. カスタム指標の名前を編集してデプロイIDを選択し、ベースラインx%良いまたはx%悪化の値を計算する際に比較の基準となる値)を設定してから、接続をクリックします。

    ホストされたカスタム指標ジョブにいくつのデプロイを接続できますか?

    ホストされたカスタム指標ジョブに、最大10のデプロイを接続できます。

ランタイムパラメーターの定義

ランタイムパラメーターを作成および定義して、実行時にカスタムジョブで使用されるスクリプトとタスクに異なる値を指定することができます。これをmetadata.yamlファイルに含めることで、カスタムジョブを再利用しやすくなります。 このファイルのテンプレートは、ファイル > 作成ドロップダウンから使用できます。

ランタイムパラメーターを定義するには、以下のruntimeParameterDefinitionsmetadata.yamlに追加できます。

キー 説明
fieldName ランタイムパラメーターの名前を定義します。
type ランタイムパラメーターに含まれるデータ型(stringbooleannumericcredentialdeployment)を定義します。
defaultValue (オプション)ランタイムパラメーターのデフォルト文字列値(credentialタイプはデフォルト値をサポートしません) defaultValueを指定せずにランタイムパラメーターを定義した場合、デフォルト値はNoneです。
minValue (オプション)numericランタイムパラメーターには、ランタイムパラメーターで使用可能な最小数値を設定します。
maxValue (オプション)numericランタイムパラメーターには、ランタイムパラメーターで使用可能な最大数値を設定します。
credentialType (オプション)credentialランタイムパラメーターの場合、パラメーターに含める資格情報のタイプを設定します。
allowEmpty (オプション)ランタイムパラメーターに空のフィールドポリシーを設定します。
  • True:(デフォルト)空のランタイムパラメーターを許可します。
  • False:デプロイ前にランタイムパラメーターの値を指定するよう徹底します。
description (オプション)ランタイムパラメーターの目的または内容の説明を入力します。
例: metadata.yaml
name: runtime-parameter-example

runtimeParameterDefinitions:
- fieldName: my_first_runtime_parameter
  type: string
  description: My first runtime parameter.

- fieldName: runtime_parameter_with_default_value
  type: string
  defaultValue: Default
  description: A string-type runtime parameter with a default value.

- fieldName: runtime_parameter_boolean
  type: boolean
  defaultValue: true
  description: A boolean-type runtime parameter with a default value of true.

- fieldName: runtime_parameter_numeric
  type: numeric
  defaultValue: 0
  minValue: -100
  maxValue: 100
  description: A boolean-type runtime parameter with a default value of 0, a minimum value of -100, and a maximum value of 100.

- fieldName: runtime_parameter_for_credentials
  type: credential
  allowEmpty: false
  description: A runtime parameter containing a dictionary of credentials. 

credentialランタイムパラメータータイプは、DataRobot REST APIで使用可能な任意のcredentialType値をサポートします。 以下の例に示すように、含まれる資格情報はcredentialTypeに依存します。

備考

サポートされている資格情報タイプの詳細については、 資格情報のAPIリファレンスドキュメントを参照してください。

資格情報タイプ
basic
basic:
  credentialType: basic
  description: string
  name: string
  password: string
  user: string
        
azure
azure:
  credentialType: azure
  description: string
  name: string
  azureConnectionString: string
        
gcp
gcp:
  credentialType: gcp
  description: string
  name: string
  gcpKey: string
        
s3
s3:
credentialType: s3
  description: string
  name: string
  awsAccessKeyId: string
  awsSecretAccessKey: string
  awsSessionToken: string
        
api_token
api_token:
  credentialType: api_token
  apiToken: string
  name: string