データサイエンティストの課題
特徴量自動設計が企業のデータサイエンスを革新 - Pythonの機械学習モデル開発を革新 -
世界をリードする特徴量自動設計が、特徴量エンジニアリングを加速し、
データ加工ノウハウをアセット化し、機械学習モデルの開発を革新します。
企業におけるデータサイエンスと機械学習の成功の鍵
企業で機械学習を推進するデータサイエンティストにとって、最も時間と工数を取られ、また難易度が高いのが、業務知識に基づくデータ加工と、業務部門に理解でき、かつ機械学習モデルの精度を改善する特徴量の発見です。dotData Feature Factoryは、データ加工のノウハウをアセット化し、企業の複雑なデータから特徴量を発見することで、データサイエンティストが、データの力を最大限に引き出すフレームワークを提供します。
データサイエンティストが直面する課題
データ前処理、データクレンジングの
複雑さと手間の多さ
データクレンジングや特徴量生成を含むデータ前処理は、データサイエンスのプロセスにおいて最も時間がかかり、労力を要するステップです。不正確なデータ、値の名寄せ、欠損・外れ値などを修正または除去し、さまざまなパターンを試行錯誤する作業は、分析の正確性を左右するため、非常に重要です。しかし、このプロセスの複雑さと手間の多さから、多くのデータサイエンティストの作業の８割近くが、データ前処理と特徴量設計に費やされていると言われています。
機械学習のプロジェクトが
ウォーターフォール化
企業のデータサイエンスプロジェクトは往々にウォーターフォール式で進行し、問題の定義からデータ選定、加工、特徴量設計、モデル構築に至るまでの全段階で時間と工数を大量に消費します。結果として、業務部門と適切なフィードバックループが欠け、数ヶ月の努力後に期待に反する結果となることが発生します。これはデータサイエンティストにとって、プロジェクトの生産性や成果創出の大きなリスクとなっています。
業務部門への結果の説明と納得感の醸成
データサイエンティストにとって、機械学習に不慣れな業務部門への結果説明と納得感を育むことは最大の課題です。機械学習の技術概念の複雑さ、モデルのブラックボックス性、予測精度とビジネス指標との乖離など、理解のギャップの結果として、業務部門からの有効なフィードバック不足に繋がり、プロジェクトの進展に障害をもたらしています。
機械学習モデルの本番環境・運用への移行
データサイエンティストにとって、モデルを実験環境から本番環境へ適用する過程は複雑です。本番データスケールでの動作保証、インフラ整備、コードの品質向上、エラー対応のログ管理などの課題を解決する必要があります。これらの要素は、業務部門の承認やシステムへの統合に加えて、機械学習モデルの本番運用への移行を困難にし、モデルの実用化を大きく阻害する障壁となっています。
dotDataがデータサイエンティストの価値を最大化
dotDataは、独自の特徴量自動設計をコアとする製品群によって、データサイエンティストの課題を解決し、単純作業から価値の高い業務へのシフトを加速し、プロジェクトの成果を最大化します。
複数表からの特徴量自動設計で
マルチモーダルパターンを発見する
dotDataのAIは、企業の業務におけるリレーショナルデータから、機械学習目的変数に適した特徴量を自動で設計します。トランザクション、時系列、位置情報、テキストといった多彩なデータソースの統合により、従来手間と時間を要していたマルチモーダルパターンの抽出が迅速化され、機械学習モデルの正確性と解釈性は顕著に向上します。
dotData Feature Factoryで
機械学習モデルのアジャイル開発を実現
機械学習モデルの開発では、業務部門のニーズとデータの統計的特性を精査する作業の繰り返しが必要です。dotData Feature Factoryは、データ加工のノウハウを組織内で共有し、特徴量の自動抽出を大幅に加速します。これにより、データから有益な結果を引き出すまでの時間を劇的に短縮し、最小限機能のモデル（MVP）から得られる成果を基に、業務部門からの迅速なフィードバックを促進し、機械学習モデルのアジャイル開発を実現します。
dotData Insightで特徴量の導くインサイト
（洞察）が業務部門の信頼を勝ち取る
dotData Insightは、データサイエンティストが特定した特徴量を、業務部門が理解しやすい形式で可視化し、業務部門のデータ理解と分析結果の洞察を促進します。さらに、生成AIを用いて特徴量から新たなビジネス仮説を導き出します。このプロセスは、機械学習モデルの理解と透明性を高め、データサイエンティストと業務部門間の信頼関係の構築に寄与します。
dotData Opsでデータ、特徴量、機械学習モデルをワンストップで運用化
dotData Opsは、データサイエンティストが開発したデータ前処理に加えて、機械学習モデルによる予測実行、特徴量計算のパイプラインの迅速なデプロイを可能し、機械学習パイプライン全体を実ビジネスで運用することを実現します。dotDataの特徴量自動設計が、特徴量とモデルのビジネス価値の検証、特徴量ドリフトの根本原因となるソースデータの診断、モデルの再学習だけでなく特徴量の再設計による予測精度の継続的な改善など、MLOpsに革命をもたらす機能を実現します。
お客様の声
株式会社JALエンジニアリング
dotDataによって、整備士・エンジニアの知見に基づく仮説検証型分析では見い出すことができなかった不具合の予兆につながる新たな特徴量を作成することが可能になりました。
株式会社ローソン
特徴量から炙り出される消費者の価値観によって、商品の魅力を最大限に伝えることができるようになり、店舗の売上向上につながっています。
株式会社大塚商会
AIやビッグデータという言葉が生まれる前から、大塚商会では大量のデータを蓄積してきました。顧客のニーズや購買パターンをAIにより発見し、営業力のさらなる強化を進めています。
dotDataのAIプラットフォーム 特徴量がデータ活用の成否を決める
dotDataは、独自に特徴量自動設計技術をコアとして、機械学習でAIモデルを構築する、特徴量をアセットとして蓄積しデータを強化する、データインサイト（洞察）を抽出して業務をデータドリブンに変革するといった、様々なシーン毎に最適なAIプラットフォームを提供し、データ活用、AIによるビジネスのDXを支援します。
お問い合わせ・
資料ダウンロード
気軽に話を聞いてみたい、ユースケースを知りたいなど、お客様のニーズに合わせてサポート致しますので、まずはお気軽にお問い合わせください。また、資料ダウンロードもご利用ください。
よくある質問
dotDataの特徴量自動設計は、ディープラーニング（深層学習）のような高次元のブラックボックス化された特徴量とは異なり、説明性の高い特徴量に絞って探索を行います。これによって、業務部門が特徴量を通じた予測結果を理解し、またデータを活用してビジネスインサイト（洞察）を発見することを支援します。また、dotDataは、ディープラーニングが扱うことができない、複数表を直接入力として、業務データを直接探索することで、よりよい特徴量を探索することができる点も、大きな利点です。
dotData Feature Factoryは、Jupyter Notebook、Databricks、Azure Machine Learning Studioなど、データサイエンティストにとって最も一般的なプログラミング言語であるPython環境上にインストール可能で、データフレームなどの標準的なインターフェースを通じて、既存の分析環境を変更せずに機械学習ライブラリとして利用できます。
dotDataは、主に企業の業務データ（ファーストパーティーデータ）から特定にビジネスの目的に対応する特徴量を通じて、数値やカテゴリ、テキストなど様々なデータからの知識や知見を発見します。一方で、AI（人工知能）で注目を集める生成AIは、世の中に存在する大量のデータを目的を限定せずに大規模言語モデルとして学習し、いわゆる「世界知識」によって、非常に汎用的な質疑応答を実現したり、業務知識を読み込ませることで、特定目的に特化した要約や質疑を得意とします。dotDataと生成AIは、得意なデータや知識に違いはありますが、どちらも特化型AIであり、dotDataと生成AIを組み合わせることで、より高次のデータインサイト（洞察）を導き出すことが可能です。
dotDataのAIプラットフォームは、「dotData Cloud」という形でクラウドで利用することができます。dotData Cloudには、dotData社のクラウド環境にプラットフォームをホスティングする「Starter」、セキュリティ強化版である「Standard」、そしてユーザーのクラウド環境にStandardと同等の環境を構築する「Private」という提供形態があります。
