本システムの開発は 2014 年 10 月からスタートしました。開発體制は外部のパートナー企業も含めて 20 名ほどでしたが、AWS 全體のアーキテクチャ設計も含めて、わずか約 2 ヵ後の 2014 年 12 月前半にはほぼ完成形に近いものができました。

今回構築したシステムの概要をあらためて説明すると

・日々発生する経済ニュースをクラウドで受信
・経済ニュースから市場心理(ポジティブ/ネガティブ)を判定
・売買する株式銘柄を選定

という連続的な処理を、サーバー単位の分散/同期処理を組み合わせ、自動的かつ短時間で実行するインフラとなります。

1 日に扱うデータ量は約 35 萬件/ 1.5 GB ほどですが、過去のデータも含めると 1 TB ほどのデータをつねに參照できる狀態にしておく必要があります。また、頻繁に參照するデータと、それ以外に一定期間格納するデータがありますが、AWS はこれを簡単な設定で制御することができます。

本システムの開発環境においてもクラウドを活用しましたが、やはりサーバーを柔軟に用意できるという點は非常に高く評価できると思います。「サーバーを一気に 100 臺用意して、過去約 10 年分のデータを作成し続ける」といったオンプレミスでは難しい調達も簡単にでき、リソースを柔軟に割り當てながら開発を行うことができたのは、大変助かりました。

ひとつだけ苦労した點としては、サーバーの分散/同期処理を制御する Amazon SWF による開発でした。Amazon SWF については日本ではまだ匯入事例や情報が少なく、技術的な課題解決が難しかったのですが、Amazon のサポートを受けながら完成させることができました。ただし、今であれば似たような仕組みを「AWS Lambda」などで実現可能かもしれません。

テストなどを終え、正式に親會社を運用者とする「ビッグデータを活用した國內株式運用ファンド」として活用を開始したのは 2015 年 2 月です。インフラ構築を含め約 4 ヵ月という短い期間で立ち上げることができたのはクラウドを利用した最大の効果だったといえます。先にも申し上げましたが、サーバーの調達が本當に柔軟にできるので、開発リソースが足りなくなるということは一切ありませんでした。

クラウドがさまざまなコストを圧縮することはもちろん聞いていましたが、実際に「使った分だけしか払わなくていい」「コスト設計に上積みする必要がない」という感覚はかなり驚きでした。本當にサーバーが動いた分しか払わなくていいので、逆にバッチ処理が終了したらサーバーの稼動をすぐに停止させるように気を付けています。イニシャルコストおよびランニングコストは年間で 30 % 程度削減できており、運用面でもハードウェアのリソースを柔軟に調達できるので、ビッグデータのデータ量の制約を受けることなく、迅速で安定した処理を実現できています。