JPBlog2
AutoMLの普及は、データサイエンティスト時代の終わりを意味するか?

McKinsey Analyticsは、機械学習の自動化(AutoML)の進化について「Rethinking AI talent strategy as AutoML comes of Age 」(AutoMLの登場によるAI人材戦略の再定義)という記事を発表しました。 McKinseyは、AutoMLツールの広がりとともに、データサイエンス人材について根本的に新しい考え方が必要になると主張しています。データサイエンスプロセスを自動化したAutoMLプラットフォームの活用は、ドメイン知識を持ったビジネス部門など、データサイエンティスト以外の幅広いユーザー層に拡大します。重要なポイントは、企業はデータサイエンティストの人材不足の補充にすべてのリソースを投入するのではなく、今後10年間の人材プールで多くの割合を占めることになるであろう、AutoMLの実践者部隊の育成についても注力する必要があることです。 CIO、データサイエンス、アナリティクスのリーダーは、AI人材戦略を根本的に見直す必要があります。COVID-19(新型コロナウィルス感染症)のパンデミックにより不確実性をます経済状況で、より限られた予算と人材でより多くの業務を行わなければならないプレッシャーは、「AutoML革命」を更に促進することになります。 なぜAutoMLへの関心が爆発的に高まっているのでしょうか?特に中小企業にはどのような影響があるのでしょうか?また、データサイエンティストにはどのようなことが起きるのでしょうか? 世界的にAI(人工知能)に基づくインテリジェンス革命が勢いを増しており、大企業では既にAIや機械学習を業務へ活用するための試みが広がっています。金融の不正検知、計画外のダウンタイム削減、需要予測など、AIを活用した予測アプリケーションを構築しようという波が各産業に押し寄せています。これを実現するには、多数のデータサイエンティストを雇う必要がありました。 2018年7月に行われたLinkedInの調査では、米国で約15万人のデータサイエンティストが不足していることが報告されています。企業がデータサイエンスと機械学習を活用したデジタルトランスフォーメーションを推進する中で、データサイエンスを様々な業務に導入することは容易ではないことが証明されていました。また、データサイエンスを活用できるのは、大企業がほとんどでした。中小企業にはデータインフラがなく、多数のデータサイエンティストを雇用するだけの資金力がありませんでした。もう一つの重大な課題は、AIや機械学習のプロジェクトを完了させるために必要な時間が通常数ヶ月以上にも及びに及ぶことと、AIや機械学習のノウハウ、データパイプライン管理、またモデルを本番環境へデプロイするためスキルを持った人材が圧倒的に不足していることでした。 企業にはビジネス部門の要求に応じた様々なデータサイエンスプロジェクトがあり、各プロジェクトにおいて負荷の高いデータ操作が必要とされることを考えると、データサイエンスの組織を作り、そしてそれを維持することは容易ではありません。AutoMLは、データサイエンスに関するこれら幾つかの課題に対するソリューションとなりえます。機械学習モデル構築に必要な手間のかかる反復的なステップを自動化し、手作業に伴うエラーとやり直しの作業を排除し、さらに本番環境へのモデル適用にかかる時間を短縮します。  データサイエンスプロジェクトには、データサイエンティスト、機械学習エンジニア、ソフトウェアアーキテクト、BIアナリスト、またドメインエキスパートと複数の専門分野から構成されるチームが必要です。以下のデータサイエンスのワークフローの図が示すように、データサイエンティストはデータの準備、モデリング、パラメータ調整にほとんどの時間を費やしています(図の上段)。AutoMLツールの登場により、データサイエンスプロジェクトの実行に必要な人材構成が変化しました(図の下段)。 第一世代のAutoMLプラットフォーム(AutoML 1.0)は、モデルを自動構築し、それを検証するために設計されていました。現在でも利用されていますが、これらの従来のプラットフォームは、機械学習の要素のみが自動化されており、データサイエンスのプロセスの中で最も時間と労力を要するデータ準備や特徴量設計は自動化されていませんでした。次世代プラットフォームと呼ばれるAutoML…


dotData-Cloud Banner-option3a
NECとdotData、SaaS型クラウドサービス「dotDataCloud」を日本で販売開始


dotData Blog Post
dotData、Amazon SageMakerを利用し、dotData StreamのMLOps機能を強化


azure platform with dotdata
dotData、Microsoft Azureへのデプロイをサポート、 Microsoft Azure Marketplaceにて提供開始 dotDataがAzure上で利用可能となり、 Azureユーザーのデータサイエンスおよび機械学習プロジェクトを加速


JPlogo
日本経済新聞 – NECとテックファーム、dotData展開におけるリセラー契約を締結


予測分析
予測分析 入門編:予測分析とは何か?今必要な理由とはじめ方

予測分析は、過去に収集された履歴データとリアルタイムのデータを利用して、有用なビジネスの洞察を生み出し、未来の重要な結果を予測します。多くの企業が、このAIを活用した技術をリスク低減、業務改善、業務コスト削減、収益向上のために活用しています。 Gartnerは予測分析を、データやコンテンツを学習し「何が起こるか?」、より正確には「何が起こる可能性が高いか?」、という質問に答えるための高度分析の一つであると定義しています。予測分析は、回帰分析、多変量統計、パターン認識などの技術を組み合わせ、見えない値の推定や将来の予測を実現します。Grandview社の最近の調査によると、グローバルでの予測分析市場は23.2%のCAGR(年平均成長率)で、2025年までに239億ドルに成長すると推定されています。当初は、一部の企業が先進的な取り組みとして予測分析を活用していましたが、予測分析は急速に勢いを増しています。 銀行、金融サービス、保険、製造業など、さまざまな業界で予測分析を需要予測、顧客離反防止、予測保全の異常検知などに活用しています。 AIと機械学習に関するForbesの記事によると、アルゴリズムの高度化と予測分析は、2019年にAIと機械学習を活用する企業にとって最も優先度の高い課題の1つだといわれています。以下のDresner Advisory Services社の図が示すように、予測分析はビジネスインテリジェンス(BI)を強化するために最も重要なテクノロジーです。 レポート、ダッシュボード、データ統合、可視化は成熟したBI機能であるため、予測モデリングのためのAIによるBIの拡張は非常に重要になってきています。 これまでのBIは過去の可視化、すなわち履歴データ分析から過去に何が起こったのかを把握し、事後的に対策を立てるための分析に留まっていました。一方、予測分析を活用することでは、これから起こる未来を見据えて企業が適切な行動を取ることを可能になります。これにより、企業はビジネス上の非常に複雑な問題を解決し、リスク管理し、新たなビジネスチャンスを特定することができます。予測分析は、IoTの時系列データのような複雑な多変量データや、従来の統計手法が対応できなかった状況を解決するのに最適な手法です。例えば、リアルタイム予測は、金融詐欺の特定、購入者行動の予測、ダイナミックプライシングを可能にしたり、製品への不良部品の混入を検出したりすることができます。リアルタイムのダッシュボードを提供することで、予測分析はBIプラットフォームに未来の情報を与えることができます。クラウド計算基盤の進化と機械学習自動化(AutoML)プラットフォームの技術的進化(すなわち、AIによる自動化で技術的な複雑さを軽減)により、予測分析は巨大な分析・ITチームを持たない中小企業でも、非常に手頃な価格で利用できるようになりました。 企業は、予測分析、およびデータサイエンス自動化を活用して、より素早く、そして正確な意思決定を実現する必要があります。 予測分析を始めるために、最も有望なアプローチは、AutoMLツールを活用することです。AI / 機械学習に基づく予測分析の重要な課題は、機械学習モデルの構築、テスト、デプロイに精通したデータサイエンティスト、データアーキテクト、機械学習エンジニアなどの人材を見つけることです。 そこでは、自動化が大きな役割を果たすことができます。AutoMLプラットフォームは、データサイエンティストでなくとも、簡単なクリック操作のみで予測モデルを自動的に構築、検証、デプロイすることができます。この新しい自動化のツールを活用することで、BIユーザーは自らがもつデータに関する知見やスキルと合わせて、BIの世界に予測分析をもたらすことができます。 社内に分析人材が十分にいない企業では、AutoMLプラットフォームを導入するだけでは十分ではありません。自動化ツールを前提とした上で、教育やユースケースの開拓・開発、AI / 機械学習の環境の準備などが必要になります。多くの企業は、有望な予測分析のユースケースがある一方で、予測分析に取り組むための人材や予算が十分ではありません。データサイエンティストを大幅に増員することなく、既存の人材を教育して、素早く予測分析に取り組みたいと考えているCIO(Chief Information Officer)、BI、分析のリーダーは、以下の点について検討する必要があります。 データの構造化やクレンジングなど、AI開発をスムーズに進めるためのデータ整備 AIのモデルを作成する肝となる、特徴量の仮説や検証を素早く実施するための特徴量設計技術…


AIが価値を生み出すトップ業界
AIが価値を生み出すトップ業界 – Part2

最近の『ADWEEK』の調査によると、経営層の3分の2は、新型コロナウイルス感染症(COVID-19)がAIプロジェクトの取組みを減速させているケースはないと回答しています。なかには、40%がパンデミックはAIプロジェクトの取り組みを加速させたとさえ回答しています。ここ数か月、経済活動や企業の景況感は悪化していますが、その中でAIの活用が拡大している大きな推進力は、コスト削減、パフォーマンス向上、効率性向上だと言われています。では、どの業界、業種がAIを採用していて、どのような活用法がトップを占めているのでしょうか?このブログの前半では、AIがどのように業界を変革し、銀行、フィンテック、ヘルスケア、インダストリー4.0の幅広い分野で企業の生産性を向上していることついて説明しました。 後半のPart2では、AIを活用する他の業界、業種と企業の活用例を見ていきます。 保険業界:Mckinseyの保険業界に関する最新の調査レポートは、世界的なパンデミックの発生を受けて、保険会社はデジタルとアナリティクスに投資し、より顧客中心でシンプル、かつテクノロジー主導で競争力のある企業に変化する必要があるとしています。調査レポートでは、デジタルとアナリティクス活用で重要な7つの点を概説し、業界のバリューチェーン全体でのAI活用の重要性が強調されています。保険業界は徐々に進化しており、大手保険企業では、既にAI活用を始めている企業もあります。 機械学習を使用した不正検知から、自然言語処理機能を備えたチャットボット、自動化されたクレーム管理まで、AIは規制の厳しい保険業界で企業のリスク軽減し、業務効率を向上させています。三井住友海上火災保険様は、次世代の代理店支援システム「MS1 Brain」でdotData のAutoMLプラットフォームを利用し、顧客データを効果的に分析し、最適な商品やサービスを、的確なタイミングで提案できるようにナビゲートすることで、保険契約の付帯率が2.5倍に向上しました。保険業界向けのサービス詳細については、こちらをご覧ください。 小売・消費者向けパッケージ商品(CPG): 小売とCPGの世界は、パーソナライズされた魅力的なショッピング体験を求める顧客の需要の高まり、商品サイクルの短縮、Eコマースとの競争など、大変革を目の当たりにしてきました。ベイン社のレポート「Future of Retail 」(小売の未来)によると、デジタルツール、データ分析、その他のテクノロジー活用において、従来の世界最大の小売業者10社は、顧客第一主義をコアのミッションとするAmazonに比べると、収益でITに費やす割合がはるかに低いといわれています。     小売業者は、顧客をよりよく理解し、苦情を減らし、解約を減らすために何ができるでしょうか。ベイン社のレポートは、オンラインと実店舗の両方を訪れる顧客を獲得し、そして維持するためのソリューションは、予測分析と自動化にあると強調しています。 真に先進的な取組みができている小売業者はまだ全体の一部であり、多くの小売業者は、AIと機械学習を活用した効果的な需要予測、サプライチェーンの合理化、運用効率の管理によって、利益率を強化する必要があります。 レコメンデーションエンジンの構築、マーケットバスケット分析の実行、価格の最適化など、小売業界でAIと機械学習を活用することは、業界でリーダーシップを維持するための最重要課題となっています。 製薬・ヘルスケア業界:製薬・ヘルスケア業界においても、AIは大きな可能性を秘めています。IDCは最近、120人の製薬およびバイオテクノロジー分野のリーダーを対象に、ビジネスにおけるテクノロジーとデータ活用に関する調査を実施しました。94%のリーダーは、予測分析とAIを活用し、様々な領域のデータに簡単にアクセス、使用、適用できることがビジネス戦略を達成するために重要であると述べました。  AIは、医薬品の市場投入までの時間を短縮し、医薬品開発のコストを約30%削減するなど、製薬業界に革命を起こします。バイオ製薬企業は、研究開発プロセスにAIを活用することで、研究の進め方を根本的に変えることができます。高度分析とエンドツーエンドで自動化された研究開発は、創薬にかかる時間を劇的に短縮することができます。今日、複数の製薬大手がAIを活用して、より良い薬を開発し、治療結果を予測して効果的な治療のためのより迅速な方法を発見することは、驚くことではありません。 その他の業界: 他の複数の業界では、運用コスト削減、製品開発の加速、パフォーマンス向上に、AIや機械学習を活用するケースが増えています。公益事業、エネルギー、電力業界では予知保全が一般的になってきています。石油・ガスの中流では、遠隔地の風力タービンやパイプライン監視にリアルタイム処理機能を備えたエッジアナリティクスの効果が期待できる結果を出しています。また、電気製品のテクノロジーベンダーや販売代理店は、AutoMLを活用して在庫や納期の予測を行っています。 Mckinsey…



「dotData Enterprise Version 2」、大幅に機能更新したUXのフルモデル・チェンジで提供開始、誰もがデータサイエンスを実行できる「データサイエンスの民主化」を実現



dotDataがTableauと連携し、BIユーザー向けにAI / 機械学習の利用を加速

2020年7月16日 dotData, Inc. TableauとdotDataの「AutoML 2.0」を連携し、容易かつ迅速なBI+AI を実現 企業のデータサイエンス活用の自動化・運用化のリーダーであるdotData, Inc. (本社:カリフォルニア州、CEO:藤巻 遼平、以下 dotData)は、人工知能(AI) / 機械学習(ML)モデル開発を加速する「AutoML 2.0」プラットフォームが、データ分析および可視化プラットフォームのリーディング企業であるTableau Softwareのデータ分析プラットフォームとシームレスな連携が可能になったことを発表します。   この連携により、両社の顧客企業はデータ活用からより深いインサイトの獲得と予測分析が可能になります。Tableauユーザーは、TableauとdotDataの「AutoML 2.0」を連携することで、Tableauのダッシュボード上に、AIと機械学習を駆使した予測分析を容易に追加することができるようになります。 Tableauユーザーは、予測に必要なデータ収集、準備から特徴量設計、予測モデルの開発までdotDataで全自動で行い、得られた特徴量や予測結果をTableauのダッシュボードに連携することで、AIとビジネス・インテリジェンス(BI)のシームレスな体験が可能になります。 例えば、営業マネジャーは、過去の売上実績だけでなく、将来の売上予測をTableau上で確認できるようになります。また、アプローチ対象とすべき顧客選定を、これまでの勘と経験ではなく、定量的な根拠に基づいて実行できるようになります。このように、TableauとdotDataの連携は、BIとAutoMLが連携する仕組みを、GUIの操作で容易に実現します。…


AI
AIが価値を生み出すトップ業界 – Part1

Alexaの音声サービス(自然言語処理)、Netflixのレコメンデーションエンジン(機械学習)、Facebookの顔認識(ディープラーニング)など、コンシューマー市場でのAI活用についてはよく耳にします。一方で、エンタープライズ市場向けのAI活用について耳にする機会は少ないかもしれません。マッキンゼーグローバルインスティテュートは2018年に、AIが企業を変革すると予測していました。現在、AIはさまざまな業界で非常に大きなコスト削減や業務改善を生み出しています。AIの重要性と影響力は、今後さらに飛躍的に増すでしょう。このブログでは、Part1にて「AIが価値を生み出すトップ業界」、Part 2にて「AIがどのように付加価値を高めているか」について解説します。 まずは、AIがPoC(Proof of Concept:概念検証)から大規模な本番環境に移行した、4つの業界におけるAI活用をみていきましょう。 銀行: 銀行は、競合他社からのプレッシャー、ガバナンスの強化、規制要件の強化に常に直面しています。 銀行業はコスト管理をしながら、財務・業務リスクの管理、不正行為の防止、顧客の債務不履行を削減をする必要があります。 これらの課題を克服するために、銀行は窓口業務、ミドルオフィス、バックオフィスといったバリューチェーン全体でAIを活用し、顧客体験の向上、不正検知、引受業務(アンダーライティング)の最適化を実現しています。 大手銀行では、大量データを処理や金融犯罪を防ぐための意思決定の自動化に、また大手投資銀行ではアルゴリズム主導の取引にAIを活用しています。銀行の個人・法人営業では、住宅ローンの見込み顧客を予測するなど、過去のデータに基づいて適切な商品を自動的に提案することにAIと機械学習を活用しています。            三井住友銀行のAutoML(機械学習自動化)ソリューションの活用事例については、こちら(英語)をご覧ください。 金融サービス:世界のフィンテック市場において、AIは2025年までに226億ドルに達すると予測されています。AIと機械学習はデジタル革命を加速させ、エコシステムの各プレイヤーは、リアルタイムの情報に基づいた素早く、そしてより正確な判断が可能となり、フィンテック業界の業務革新が進んでいます。最近では、信用リスク評価、ローン審査の自動化、引受業務(アンダーライティング)や債権回収などでAI活用が増加しています。予測分析は、フィンテック企業が顧客に対して最大の価値をもたらすユースケースを支援しています。多くの顧客がAIを活用して正確なキャッシュフロー予測、流動性管理、支払い処理を取得し、企業の財務管理に大きな変化をもたらしています。 ヘルスケア: ヘルスケア業界は、増大し続けるヘルスケアサービスのコスト、より良い患者体験の要求、人材不足、規制やコンプライアンスの問題、医薬品の有効性と安全性を損なうことなく最新の医薬品と技術の進歩を統合することなど、様々な面で多くの課題に直面しています。実際に、予防医療の保険適用がないために、医療現場では問題が発生してから対応する事への懸念があります。だからこそ、AIはヘルスケア業界を変革する可能性を秘めています。 臨床試験で得た豊富なデータ処理から、意思決定を改善するための患者データの活用まで、AIはヘルスケアに大きな影響を与えています。マッキンゼーが最近発表した「ヘルスケアにおけるAI活用」のレポートによると、診断と臨床的意思決定は、現在ヘルスケア業界でAIが活用されているトップエリアとなっています。…


dotdata stream
dotData、AI モデルをコンテナ化しリアルタイム予測を実現する「 dotData Stream 」を提供開始



dotData、データ&アナリティクス・ソフトウェアのリーディング企業のテラデータと協業

2020年6月26日 dotData, Inc. 新たにテラデータのデータベースを利用可能にすることで、エンタープライズ・データ管理とAutoML 2.0のシームレスな連携を強化   企業のデータサイエンス活用の自動化・運用化のリーダーであるdotData, Inc. (本社:カリフォルニア州、CEO:藤巻 遼平、以下 dotData)は、データ&アナリティクス・ソフトウェアのリーディング企業であるテラデータと協業したことを発表しました。 dotDataのAutoML 2.0 プラットフォームがテラデータのVantageプラットフォームと統合することで、テラデータの強固なエンタープライズ・データマネージメントとデータ収集や準備から特徴量設計、機械学習の運用まで、強力なエンド・ツー・エンドのデータサイエンス・ソリューションを実現します。今回の協業により、両社の顧客企業はテラデータとdotData間のデータ移動を合理化・簡素化し、人工知能(AI)や機械学習(ML)の取り組みからより多くの価値を引き出すことが可能になります。 テラデータの主力プラットフォームであるVantageは、最新のデータ、アナリティクス技術に対応したモダンなDWHおよびデータレイクを実現するデータ・アナリティクス基盤ソフトウェアです。エンタープライズレベルのパフォーマンス、拡張性、可用性などを兼ね備え、企業が持つすべてのデータへアクセスし、あらゆる言語、ツールで分析できる単一プラットフォームをクラウド(Amazon Web Services、Microsoft Azure、Google Cloud PlatformまたはTeradata)、ハイブリッドクラウド、オンプレミスで実現します。データ・アナリティクス環境のサイロ化を解消し、分析エコシステムを簡素化することができます。…