先日AWSがAWS Data Exchangeという新たなサービスを発表しました。80社あまりのデータプロバイダーが数千種類のデータをアマゾンのクラウドに提供するというサービスです。

パロアルトインサイトではかなりのプロジェクトでAWSを活用します。ボタン一つでアジャイルにデータベースやサーバーを瞬時に取得できますし、安価で信頼性も抜群です。私自身もAWS認定ソリューションアーキテクトの資格を持っていたりします。

機械学習プロジェクトの急所は「データの無さ」です。エンジニアが明示的にプログラムを書くのではなく、世の中の事象などから学ぶAIにとっては、データはまさに教科書です。その教科書なくしてはどんなに優れたアルゴリズムも崩れ去っていきます。そんなときに頼りになるのが、「外部の面白いデータセット」もしくは「プロジェクトのために苦労して集めた生のデータセット」です。我々のプロジェクトでも、例えば外部の天気予報データを取り入れて別の予測モデルに取り入れたり、外部データに頼ることはよくあります。

そういう意味でも今回のAWS Data Exchangeの発表は嬉しい限りです。これまではバラバラに散らばって、なかなか見つけることが難しかったデータも、ここで見つかるかもしれないので期待しています。データプロバイダーも現段階では80社ですが、データのマネタイズも可能なのでこれからどんどん増えていくことが予想されます。しかもそれらが慣れ親しんだAWSの環境で提供されるとなっては使ってみるしかないと思いました。

以下に少し使ってみた感想を書き留めます。

データセットの検索

検索はAmazon Marketplace上で行う。米国のデータが多い。ものすごくニッチなデータを公開している。例えばカナダのトロントだけでの主要ロケーションとか、釣竿の売上予測など。値段も、無料のものもあれば、＄30000（約三百万円）のものもある。

購入

購入もワンクリックでできるようになっている。また購入画面でサブスクを自動更新するかどうかも決定できる。今回は無料のデータセットを購入するので、自動更新はオフ。

データへのアクセス

5分程度待ってからアクセス可能に。自身のS3に送るか、ダウンロードするかの選択がある。ただしダウンロードするまで、実際のデータがどんな形か分からないのは残念でした。プレビューとか、どんなフォーマットなのかとかが知りたいところです。

実際にデータをダウンロードして閲覧するとこのようなパイプ区切りのデータが出てきました。また、圧縮フォルダの中にはデータだけではなく、「仕様書」のようなものも含まれています。

値段のバラ付きや、データアクセスするまでの時間のかかりようにまだラフな印象を受けましたが、これからどんなデータが入ってくるか楽しみです。