先日AWSがAWS Data Exchangeという新たなサービスを発表しました。80社あまりのデータプロバイダーが数千種類のデータをアマゾンのクラウドに提供するというサービスです。
パロアルトインサイトではかなりのプロジェクトでAWSを活用します。ボタン一つでアジャイルにデータベースやサーバーを瞬時に取得できますし、安価で信頼性も抜群です。私自身もAWS認定ソリューションアーキテクトの資格を持っていたりします。
機械学習プロジェクトの急所は「データの無さ」です。エンジニアが明示的にプログラムを書くのではなく、世の中の事象などから学ぶAIにとっては、データはまさに教科書です。その教科書なくしてはどんなに優れたアルゴリズムも崩れ去っていきます。そんなときに頼りになるのが、「外部の面白いデータセット」もしくは「プロジェクトのために苦労して集めた生のデータセット」です。我々のプロジェクトでも、例えば外部の天気予報データを取り入れて別の予測モデルに取り入れたり、外部データに頼ることはよくあります。
そういう意味でも今回のAWS Data Exchangeの発表は嬉しい限りです。これまではバラバラに散らばって、なかなか見つけることが難しかったデータも、ここで見つかるかもしれないので期待しています。データプロバイダーも現段階では80社ですが、データのマネタイズも可能なのでこれからどんどん増えていくことが予想されます。しかもそれらが慣れ親しんだAWSの環境で提供されるとなっては使ってみるしかないと思いました。
以下に少し使ってみた感想を書き留めます。
検索はAmazon Marketplace上で行う。米国のデータが多い。ものすごくニッチなデータを公開している。例えばカナダのトロントだけでの主要ロケーションとか、釣竿の売上予測など。値段も、無料のものもあれば、＄30000（約三百万円）のものもある。
購入もワンクリックでできるようになっている。また購入画面でサブスクを自動更新するかどうかも決定できる。今回は無料のデータセットを購入するので、自動更新はオフ。
5分程度待ってからアクセス可能に。自身のS3に送るか、ダウンロードするかの選択がある。ただしダウンロードするまで、実際のデータがどんな形か分からないのは残念でした。プレビューとか、どんなフォーマットなのかとかが知りたいところです。
実際にデータをダウンロードして閲覧するとこのようなパイプ区切りのデータが出てきました。また、圧縮フォルダの中にはデータだけではなく、「仕様書」のようなものも含まれています。
値段のバラ付きや、データアクセスするまでの時間のかかりようにまだラフな印象を受けましたが、これからどんなデータが入ってくるか楽しみです。
AIの活用提案から、ビジネスモデルの構築、AI開発と導入まで一貫した支援を日本企業へ提供する、石角友愛氏（CEO）が2017年に創業したシリコンバレー発のAI企業。
社名 ：パロアルトインサイトLLC
毎週水曜日、アメリカの最新AI情報が満載の
ニュースレターを無料でお届け！
その他講演情報やAI導入事例紹介、
ニュースレター登録者対象の
無料オンラインセミナーのご案内などを送ります。
いまこそ知りたいDX戦略 自社のコアを再定義し、デジタル化する 
“経験ゼロ”から始める AI時代の新キャリアデザイン 
いまこそ知りたいAIビジネス