SnowflakeとAWS Outpostsの関係
先日のSnowflakeイベントで、Iceberg TablesやHybrid Tablesが発表された。従来のExternal TablesでもSnowflake外部のデータ連携が強化されているけれども、それが一層進むかもしれないということだ。
そうなると気になってなって来るのが、外部データへの高速アクセス性… つまりAWS Outpostsなどを経由したデータへのアクセスとなる。そこで今回は、AWSを例にとって関係者への影響を説明させて頂くことにしたい。
クラウドと企業内データ
まず基本的な話をしておくと、大雑把に企業向けのITシステムは二種類に分類できる。止まったら銀行のATMが使えなくなってしまうような基幹系ITシステムと、どんな広告をスマホに表示すれば効果的なのかを分析したりする情報系ITシステムだ。
Amazonは注文したのにクレジットカードに利用履歴だけ残ったら、大変なことになってしまう。そういう見方をすると、基幹系ITシステムと情報系ITシステムで構成されている。最近では一体構成されているようなITシステムも存在する。
少なくとも2022年6月時点で、Snowflakeは情報系システムに分類される。別に基幹系ITシステムとか情報系ITシステムに拘らず、ともかく役立ちそうなデータをSnowflake自製ストレージの中に投げ込んで、SnowflakeのSQLツールで分析処理を実施している。
ただしSnowflakeは昔ながらの分析ツールの使い勝手が良くなったというだけの立ち位置に満足せず、Snowflake外のデータへもアクセスできるように対象拡大して、Pythonなどを駆使した最新AIツールによる分析も可能になることを目指している。
さらにクラウドにデータを投げ込むのではなく、あくまで自社内にデータを保有しておきたいというニーズも存在する。個人情報保護とか、自社内のITシステムでも分析作業をやりたい場合、その方が都合良い。
そんなニーズも踏まえて、AWSは顧客先に”ミニAWSデータセンター”を設置するAWS Outpostsを商品化した。たとえ数社から受注できるに過ぎなくても、もしも一つの案件が数千億円規模だったら、十分に商品化する価値はあるだろう。
これはAWS側に限った話ではない。たとえばAWS OutpostsパートナーであるNetAppは、2020年度第三四半期(Q3)決算で、100PB容量を超えるAzure NetApp Filesというサービスの受注を公開している。
“And finally, on our Q1 call, I told you that we were working with a Fortune 10 company to migrate its existing data centers to the cloud. That customer now has line of sight to move a 100 petabytes of data largely from our competitor systems to Azure NetApp Files.”
どうして顧客が自社内のデータセンターだけなく、AWS Outpostsを利用したいかというと、計算用リソース(EC2構成)を柔軟に変更できるからだ。その典型例がSnowflakeなので、今回はSnowflakeから話を始めている。
AWS Outpostsの受注規模
たとえAWS Outpostsが本物のOutposts(哨兵)のような存在であっても、AWSの機能は一通り備えている。そこで出来るだけの処理を実施し、溢れた部分は処理時間を要しても、AWS本体で実行させれば良い。コンピュータのメモリキャッシングのような使い方もある。
(今ではS3もOutposts内に格納できるようになったので、こちらはキャッシュ用データだけをOutpostsへ持って来るようなことも可能になった)
さてこのAWS Outpostsがどのくらい売れているかは興味あるところだけれども、ここら辺はAWSが公開していないから、個人レベルでは調べようがない。もしかしたらIDCやガートナーといった調査会社が保有しているかもしれない。
(ちなみに先ほどのNetAppだとCVOというAWS/Azure/GCP上で動作するSDSは、NetApp CEOが数値公開しない方針だと宣言している。別に聞かれたからといって、答えなければいけないという義務は存在しない)
“今回の発表では、NasdaqはAWSがオンプレミス向けソリューションとして提供しているAWS OutpostsをNasdaqのコアネットワークに組み込むことで、ニュージャージーにある同社のプライマリデータセンターに対して超低レイテンシで接続されるエッジコンピューティングを実現する計画が含まれています。”
なお個人レベルの直観では、2022年6月時点では、全世界でも数百案件レベルに留まっているような気がしている。なぜなら天下のNTT Communicationsでさえ、こんな状況であるからだ。ちなみに英語でググってみても、AWSが公開したNASDAQ以外の事例を見つけることが出来ない。
- [NTT Communications]【日本初導入】 AWS Outposts ラックを徹底解説 第1回 ～導入・利用方法の概要～ (2022-03-15)
- [ニュースリリース] 国内初、「AWS Outposts」に自社データ分析ツールを組み込んだソリューションを開発 (2022年3月14日)
ちなみに100PBを超えるAWS Outposts案件が数百件という訳ではない。AWS Outopstsに関しては第一弾はラックのみだったけれども、第二弾で1U/2U小型シャーシ版が発表されている。いくら溢れた計算処理をAWS本体に任せるといっても、この程度では簡単に溢れてしまう。
何となくこちらは、基幹系ITシステムのように「決まった計算量と決まったデータ量の処理」のような気がする。
(つまりSnowflakeが取り扱うオブジェクトストレージやファイルストレージでなく、基幹系ITシステムお馴染みのブロック型ストレージの可能性もありそうだ)
なおAWS側からはNASDAQ案件の詳細説明はないけれども、Cloudianなどの有力ベンダがEB規模を狙っていることが明らかになっている。昨今のスパコンでも数百PBからEBレベルに容量拡大する案件が生じているが、大規模DWHでも似たような状況なのかもしれない。
(DWHの実案件に関わる立場にないので、ここら想像というよりも妄想に近い)
あと先ほどのASCII誌でも紹介されているように、AWSが推進している外部データ連携はOutposts連携に留まらない。日本だとAuとWavelength接続ソリューションを推進しているし、他に専用線による接続に留まらず、専用ローカルリージョン開設なども進んでいる。常時接続できない環境には、AWS Snowballを持ち込むソリューションも提供されている。
- AWS Outposts
- AWS Local Region
- AWS Wavelength
- AWS Snowball
またNASDAQが採用するITシステムはAWSに留まらず、Azureも採用している。その方面での協業進化も見逃せないだろう。
まとめ：今後のクラウド動向
以上の通りで、実はITシステムというのは関係者が多い。そして昨今の技術進化により、超大規模ITシステムも登場するようになっている。
AWSというか、今はAmazonのCEOになったAndy Jessy氏も、将来は予想できる状況ではなく、自分たちが望む方向に変える努力をするのが良いと提言している。ともあれITシステム全体の構成を決める開発者などとの距離が近いクラウドは、今後も有利なポジションを占めることだろう。
(別にクラウドでなくても、ITシステムの稼働情報を監視できるポジションを確保できるのは有利だと言えそうだ)
それでは今回は、この辺で。ではまた。
—————————
記事作成：小野谷静
