Feature Factory：企業データのパラダイムシフト

昨今、あらゆる規模の企業が、ビジネスインテリジェンス（BI）、機械学習、AIを活用したデータアプリケーションを活用するようになり、その重要性は高まっています。これらの技術は日々進歩し、さまざまなBI、機械学習、AIツールが利用可能になっています。一方、ツールのコモディティ化、細分化が進み、企業は特定の目的のために多くの選択肢から最適なツールを選択することが必要になっています。企業におけるデータアプリケーションの開発はサイロ化されて縦割り構造になっていることが多く、データの潜在能力を十分に引き出せないという課題があります。dotData Feature Factoryは、オープンでスケーラブルなデータ活用（BI、機械学習、AIなど）を実現し、企業のデータソリューションにパラダイムシフトをもたらします。

コモディティ化し、細分化が進むAI・機械学習、BI市場

企業向けのAI・機械学習ツールは、BIツールと同様にコモディティ化が進んでおり、各用途に特化した多種多様なツールが存在し、それぞれに長所と短所があります。ツールは、一般的な機械学習を目的としたオープンソースライブラリから、AWS SageMaker、Azure ML、Google Vertex AIといった大手クラウドプロバイダーの提供するツール、さらにはSalesforce EinsteinやSAP Predictive Analysisなどの特定のビジネスプラットフォームに組み込まれたツールまで多岐に渡ります。このように、市場は細分化され、多種多様なツールが存在し、それぞれが独自の機能や性能を備えています。

このような状況下においては、「どのツールが優れているか」という基準での単独のツール選択は、もはや意味を持ちません。その代わりに、企業は、用途に合わせて適切な機械学習ツールを選択し、使用することが重要です。一方で、「様々な機械学習ツールが利用可能」ということが、企業が抱えるデータアプリケーション開発における、より本質的な課題、すなわちデータ活用のサイロ化（縦割り構造）を解決するわけではないという点には注意が必要です。

企業のデータソリューションの開発がサイロ化された結果、データを十分に活用することができない状況に

企業におけるBI、機械学習、AIのツールが発展し、その活用が広がる一方で、企業はデータ活用やデータアプリケーション開発ののサイロ化（縦割り構造）という問題に直面しています。

通常、企業は、ERP、CRM、デジタルマーケティング、IoTなど、さまざまなソースからデータを収集・保存しています。しかし、これらのデータが統合されることはほとんどなく、特定の業務に対してデータがキュレーションされています。つまり、機械学習・AIの開発に不可欠な特徴量（キュレーションされたデータ）は、ユースケースや担当者ごとに作成・準備されています。

その結果、それぞれの事業部が、異なるデータソースで、さまざまなツールを使って個別の目的に応じたデータ分析作業を行い、事業部間の連携はほとんどない、すなわちBI、機械学習、AIの開発は非常にサイロ化された状態に陥っています。これでは、データの価値を最大限に引き出すことができません。より統合的で連携した機械学習・AI開発のアプローチを取れば引き出せるはずの価値を逃してしまっているのです。

Feature Factoryが全てのデータ・アプリケーションを強化

この度、dotDataは、オープンでスケーラブルなデータソリューションを提供するための新しいパラダイムを創造すべく、Feature Factoryをリリースしました。Feature Factoryは、企業のデータソリューションのサイロ化問題を解決し、データの持つ可能性や価値を最大限に引き出すことを目的しています。Feature Facotryはデータ中心の特徴量自動設計をコアとし、特徴量空間、クエリ、テーブルをデータに基づいて自動生成・管理することができます。

Faeture Factoryを導入することで、手作業では不可能な圧倒的に広い範囲の特徴量空間にアクセスすることが可能になります。これにより、データサイエンティストは、解きたい課題に関連するシグナルを含むデータテーブルやカラムを迅速に理解して、より多くの特徴量仮説やアイデアを検証することができるようになります。その結果、BI、機械学習、AIソリューションの品質を大幅に向上させ、開発プロセスの効率も高められます。

Feature Factoryの最大の特長の一つは、従来ほとんどのケースで蓄積、管理されずに捨てられていたアドホックな特徴量設計のプロセスを蓄積し、そのノウハウを再利用可能な形でアセット化できることです。標準的な特徴量の説明文が提供されるので、複雑なSQLクエリを記述する必要はありません。また、データ加工から特徴量テーブル作成までの全てのステップを分析データベースへ記憶しているため、蓄積されたノウハウを容易に再利用することができます。

Feature Factoryの特長

• 社内チーム間の連携強化：Feature Factoryは、データ中心かつ体系化された特徴量抽出によって、ビジネスに重要な情報を発見し整理することで、データサイエンティスト、エンジニア、ドメインエキスパートなどチーム間の連携を促進・強化します。
• 効率性： 複雑な特徴量を自動探索・生成できるので、データサイエンティストの作業を大幅に効率化することができ、BI、機械学習、AIソリューションの開発を加速します。
• 特徴量設計プロセスの再利用性と再現性：Feature Factoryを導入することで、企業は異なるプロジェクトで特徴量を蓄積・再利用することができ、時間やリソースを節約することができます。さらに、特徴量設計プロセス全体を記憶する機能により、従来のような一回きりの利用ではなく、蓄積されたノウハウを再利用可能にします。
• データ統合： Feature Factoryは、異なるソースからデータを統合し、BI、機械学習、AIアプリケーションで効果的に利用できるようにすることで、企業データのサイロ化（縦割り構造）の課題を解消します。その結果、企業が保有する全てのデータをより包括的に理解し、データからより質の高いインサイトを得ることができるようになります。
• 拡張性： Feature Factoryは高い拡張性を備えており、企業が必要に応じてデータソリューションを全社的に展開することを可能にします。
• 透明性と解釈可能性： Feature Factoryが自動生成する特徴量の説明文は解釈可能で、データ加工と特徴量変換の全てのステップを分析データベースへ記録することができるので、データサイエンティスト、エンジニア、ドメインエキスパートなどデータ分析に関わる関係者全てが、BI、機械学習、AIのソリューションをより理解できるようになり、AIが抽出した予測結果やインサイトへの信頼も醸成されます。
  

結論

BI、機械学習、AIツールの市場は、細分化、コモディティ化の方向に進んでおり、幅広い用途に対応する多くのソリューションが提供されています。一方で、企業内のサイロ化されたデータアプリケーション開発が、企業が保有している全てのデータを最大限に活用することができないという問題を引き起こしています。

これに対処すべく、Feature Factoryは、オープンでスケーラブルなデータソリューション開発を実現するための新しいパラダイムを提供し、企業データを革新します。チーム間の連携強化、データアプリケーション開発の効率性の向上、ソリューション品質の向上、企業データのサイロ化の解消により、Feature Factoryは、企業がデータの真の価値を最大限に享受することを可能にするのです。

データ中心のテクノロジーが産業を変革し続ける中、企業はその恩恵を最大限に享受し、競争力を高めて時代を先取りすることを望むでしょう。それを実現する上で、Feature Facotryは重要なツールの一つになると考えます。Feature Factoryを導入することで、企業は、BI、機械学習、AI活用の効果を高めることができ、ひいては事業成長を加速し、イノベーションの創造へと繋げていけるでしょう。

実際に、dotData Feature Factoryがあなたの企業にどのような価値をもたらすことができるか、お気軽にお問い合わせください。