変わったのは仕事の環境のみではない。
昔と比べると情報技術は急速に成長している。
データマイニングの点からは、第1ステップとして、安価な大容量ストレージデバイスを開発し、インターネットも現れた。
情報を集める環境と保存する環境が整備されたのだ。
昔、捨てなければならなかった情報をしく席することができる。
更に、人は情報を収集することによって貴重なデータを発見することができると考えられ、インターネットを使って情報を収集し始めまた。
インターネットを通じた株価などの経済データを介して、1か所で即座に管理し、全てのコンビニエンスストアの売上保存することが可能である。
第2のステップとして、安価で高性能なCPUと大容量メモリを使用することができる。
つまり、膨大な量のデータであっても、洗練された分析が可能。
第3段階は分析技術の進歩です。
高速コンピューター、それもクライアント・サーバが完成し、ソフトの分析能力ができたことから、何らかのデータを発見可能であると思っていた。
だが、情報効果的に利用するする前に、巨大な量の情報の前に、処理が困難であった。
理由は大きな大きな情報を前に、分析方法や使う人に仮説検証、情報認知などの能力が、がなかったからである。
やっぱり、情報が氾濫しただけなになって何もかも無意味だった。
今の現状がそれである。
しかしデータマイニングは発展している。
データマイニングが生まれるまでの歴史を探ってみる。
1930年代半ばか、ら分析法への応用が見られるようになった。
しかし、多くの変数があるときは、理論への応用は、良い性能のコンピュータが開発されるまでできなかった。
分析がとても簡単になったのはわずか数十年前だった。
そして、1995年ごろ、データマイニングは、巨大なデータベースでも扱うことが可能な分析の総称として生まれた。
これは、米国の人工知能学会機械学習科学として生まれた
99年頃から日本の一般用語としてデータマイニングが現れた。
しかしながら、データマイニングという言葉に統一感がないと思う。
私は一般的なデータマイニングとは何か、要約した。
◎データマイニングはどこからどこまで？
データ規模Excelレベル←→数百から数千GBのデータ数データベース
データ一覧EXCEL←→データベース
データウェアハウスデータの品質分析の前提で収集されたデータ（比較的良質）←→知らずの間に集まったデータデータフォーマット
定量的（数値）データ、定性的（記号、カテゴリ）データ、数量混合（記号）データデータ型多変量データ、イメージデータ
文書データ、
時系列データ知識発見法統計分析、ニューラルネットワーク、機械学習、視覚化、テキストマイニング、データベース技術、OLAP、BIなど
この方面に熟知した人は理解できるだろうが、その違いは1つずつ極めて巨大で、それをデータマイニングという言葉に組み合わせることは不可能。
どんなぎとがデータマイニングについて話しているのか、と言うものに注目した。
私は、以下のようにデータマイニングに取り組んでいる2つの主要なタイプの人がいると考える。
・他人が気が付いていないデータを発見する術的に興味のある・データアナリスト・統計者
戦略としてデータマイニングで知った情報を利用したい人→ビジネスアナリスト・マネージャー
前者は分析専門家と呼ばれ、後者はビジネスアナリスト」と呼ばる。
次に、データマイニングを話している人は分析専門家がかなり多い。
アナリスト（または分析ツールは、基本、統計分析、ニューラルネットワーク機械学習などの各々の得意なものがあり、どれもかなり精通している。
各アナリストには、自己理論と分析結果の優位性が重要である。
現在、アナリストや分析ツールの能力を活用することにデータマイニングが語られており、なのでデータマイニングは何かと聞くと答えはチグハグに聞こえると思われる。
データマイニングは情報から隠された知識を発見するけるための総称と言えるが、これがデータマイニングであると断定するのは困難だ。