dotData Feature Factory

ステップ1

データを「データフレーム」として準備する

データを「データフレーム」として準備する

複数のデータソース、データレイク、データウェアハウスに接続し、データフレームとしてデータを読み込み

• クラウドのデータストレージ（Amazon Redshift、Google Big Query、Snowflake、MS Azure Synapseなど）、データウェアハウス（Oracle、Teradata、MS SQL Server）、ローカルファイルからPythonのデータフレームとしてデータをロード
• データ型の自動検出とデータスキーマの自動推論 
• データフレーム間の関係（分析エンティティ・リレーション）を定義し、複数テーブルを接続
• 時間方向に特徴量を探索するためには、時間エンティティ・リレーションを利用

ステップ2

dotData Feature Factoryを実行する

ターゲット変数と特徴量の探索元となる（複数の）ソーステーブルを指定し、dotData Feature Factoryを実行

• 不正な値や外れ値の処理、データの正規化、欠損値、ターゲットラベルのマッピングの誤りなど、データを自動的にクレンジング
• dotData独自のアルゴリズムに基づいて数値、カテゴリ、時系列、テキスト、空間データから、数百万もの特徴量仮説を生成・探索し、特徴量の過学習、共線性、ドリフト、冗長性などの問題を解決
• 特徴量空間と探索基準をカスタマイズし、独自のドメイン特徴量を追加

ステップ3

特徴量とインサイトを発見する

特徴量を繰り返し、探索的に評価

• 特徴量のリーダーボードにより、ターゲット変数と最も関連性が高く、安定した特徴量を確認
• 自動生成された特徴量の説明文により、各特徴量の意味を定性的に理解
• 相関係数、特徴量ごとのAUC、特徴量重要度、局所性などに基づいて、特徴量を定量的に理解
• 特徴量テーブルをデータフレームとして抽出し、組み込みの可視化ツールまたは任意のPython可視化ライブラリを使用して各特徴量を可視化

ステップ4

特徴量の抽出と検証を繰り返す

dotData Feature Factoryを用いて特徴量をさまざまな角度から繰り返し抽出し、高品質かつ高次の特徴量を発見

• 発見した特徴量を、ドメイン知識に合うように書き換えカスタマイズ
• データを追加して、新たな実験を実行。複数の実験から得られた特徴量を組み合わせ
• すべてのデータ変換の手順と特徴量空間の詳細がブラックボックス化されることなく確認可能
• モジュール化された実行により、任意のステップから実験を開始し、検証を繰り返す

ステップ５

特徴量を本番環境に展開する

本番のアプリケーションで使われる特徴量を生成・蓄積し、継続的にアップデート

• 特徴量とその説明文、メトリック、スキーマを、Databricks、Snowflake、AWS SageMakerなどの特徴量ストアへとエクスポート
• 特徴量パイプラインを自動生成し、手動の特徴量クエリの実装が不要
• 特徴量パイプラインをワンコマンドでdotData Opsに展開し、最新のデータで特徴量を再計算し、特徴量の品質とドリフトを監視することで、特徴量の品質を確保