読者です 読者をやめる 読者になる 読者になる

よしだのブログ

サブタイトルはありません。

JAWS DAYS 2014 レポート

IT、プログラミング AWS、クラウド、IaaS

f:id:yoshi0309:20140315145238p:plain JAWS DAYS 2014

JAWS DAYS 2014に来ています。半リアルタイムレポートします。感想や推敲は、また別途行ってエントリーを起こす予定です。

関連エントリ:Immutable Infrastructure とは? - よしだのブログ

 What Would OFA do Now? Miles Ward[Amazon Web Services]- ほとんどがボランティアで、12歳の人もいる。

  • UIがたくさんあるが、機能は少なかった。
  • 今作るなら? JavaScript SDKを使うことで安く簡単に作れる。
  • Route53 に自動リダイレクトの機能がついた。www付きの301を返すためだけに使っていた、m2.4xlarge 12台のインスタンスが不要になった。
  • Redshift の登場
  • データベースシステムの多くのバラエティ
  • 利用しているデータも利用者も増えているが対応できている、SQS 5million → 8.4million (OFAだけで!)
  • 新しい機能を使うことで、59% のコスト削減ができる。Real Nice !
  • Redshift を是非使ってみてほしい。Datawarehouse を作るよりも検討してみてほしい。
  • Data Pipeline / Kinesis
  • SOA
  • 69% のコストカットには AWS のディスカウントは含まれるか?→含まれない。

 AWSクラウドデザインパターン for Enterprise 玉川 憲 & 片山 暁雄 [アマゾンデータサービスジャパン株式会社]

スライド:AWS Cloud Design Pattern for Enterprise

  • CDP本 設計ガイドのほう、kindle版が出た。
  • エンタープライズ向けCDP
  • ハイブリッド環境ネットワーク
    • 専用線接続, Direct Connect / Internet VPN / Software VPN / HTTPS の組み合わせ
    • Direct Connect 複数の VPC接続を設定できる
    • 専用線接続の二重化
    • IP-VPN と Direct Connect する / Internet VPN と二重化
  • ハイパフォーマンスな業務アプリケーション
    • SAPの例
    • Self Healing パターン、オートスケーリングで最小1最大1と設定する。
    • Synchronized Disk パターン、2セット用意しておいてデータをソフトウェアで同期する。
    • Ondemenad Diskパターン、高いディスクIOを出す、ストライピング、EBS最適化、Provisioned IOPS
    • Hihgh Availability NAT パターン、SPOFとなるNATサーバーの冗長化
    • Hight Availabirility Forward Proxy パターン、外部接続用のProxyを冗長化したい
    • On-premise Load Balancing パターン、アクセス元のシステムの都合でELBが使えない
    • Floating VPN Gateway パターン、VPNの接続口を付け替えることで環境を切り替える。
  • クレジットカード情報を扱う業務システム
    • PCI-DSS 
    • AWSはサービスプロバイダとして準拠している、準拠しているものとしていないものがある
    • コイニー株式会社、Square、Cloudpack
    • PCI DSS Cloud Computing Guideline 、AWS PCI Compliance Guideline を参照する
    • Chined Defense-in-Depthパターン、レイヤー毎にサブネットを分ける
    • ELB End-to-End Encryptionパターン、ELBでSSL terminationさらにBackend-SSLで裏側も暗号化
    • Log Aggregationパターン、ログを集約しS3に保存
    • OnDemand Bstionパターン、踏み台サーバーを利用してサーバーにアクセスする。必要なときだけ踏み台サーバーを起動する
    • High Availability IAMパターン、IAMの設定をAZ毎に分けて管理する。
  • 企業システムのディザスタリカバリ
    • 程度がある。程度にあった設計をする
    • Hot Standby DC、アプリケーションは、オンプレとAWSにデプロイして切り替えられるようにする、DBの同期は必要。
    • Warm Standby DC、クラウド側のアプリは止めておくDBは定期的に同期。ホットより安い
    • Cold Standby DC、DBはデータをS3に定期バックアップ/Snapshot、障害発生時はS3からリストア
    • Virtual Cloud Storage、オンプレミスに、自動的にクラウドにデータをアップロードするストレージ・アプライアンスを配置、既存バックアップに組み込む、AWS Storage Gateway

Redshift RedShiftベンチマーク 〜POSデータはSSDの夢を見るか?〜 地主 雅信 [株式会社データコム]

  • POSデータ分析
  • 対象のデータは、レコード数、100億件、年商3600億円規模のデータ
  • Redshift パフォーマンス比較、小さめのノード16台、大きめのノード2台の2パターンと、HDD版 dw1、SSD版 dw2 での比較
  • 販売日付をSortKeyに設定、DistKey は Even Distribution ラウンドロビン
  • クエリ性能、SSDがやはり早いが、クエリの内容によっては、HDD版の大ノードと、SSD版の小ノードのパフォーマンスが拮抗しているケースが有る。
  • 単クエリの比較では、実務に近いパターンは、HDD版は実用に耐えない、SSD版については小ノードのケースでは厳しい
  • 小さいノードが多数の方が、コストパフォーマンスがよい。SSD版はコストパフォーマンスが良い。
  • SSD版 Redshiftは速い。CPUとストレージのバランスが良い。
  • 少ノード多数か、大ノード少数かは、データとクエリに依存するので検討が必要。

CloudFormation 都元ダイスケ [クラスメソッド株式会社]

スライド:20140315 JAWS DAYS 2014 ACEに聞け! CloudFormation編

  • ガチです!
  • CloudFormationの概要
    • SSHしたら負け。SSHレスで構築が済む。
    • Templateを記載、構成内容を記述。パラメータを用意して、動的に設定したい項目をあとで引き渡す。→実行すると Stackとしてコンポーネントが展開される。
    • Template/Parameter はJSONで記載する。インフラをバージョン管理できる。
    • インフラの進化的設計!
  • CloudFormation の課題
    • テスタビリティがあまりない。実際に作ってみるしか無い。
    • 一部作成/更新に対応していないサービスが有る
    • 自動化コンポーネントや依存コンポーネントを手動で触るとのちの更新に失敗する→FAILEDになる。CloudFormationで作ったものは、CloudFormation で更新する。
  • CloudFormation Helper
    • use data は失敗検知が出来ない、複雑になるとカオス化する、設定の更新(再実行)が出来ない
    • 代わりに cfn-init で実現する。
    • CF の WaitCondition で失敗検知ができる。cfn シグナルと、wait ハンドル。
    • configSets で実行順番を制限できる
    • cfn-hup(更新ヘルパー)
  • Blue-Green Deployment とは
    • Blue環境とGreen環境を用意しておく、利用者はBlue側、開発者はGreen側で作業をしている。環境完成後に、BlueからGreenにDNSを切り替えてリリースする。というテンプレートをCloudFormation で書く

AppStream 川路 義隆 [有限会社スクラッチソフト]

  • ゲームアプリの配信インフラ、パブリックベータ
  • 端末側のCPU、ストレージ、グラフィックレンダリング制約からの開放
  • サーバー側にレンダリング処理を寄せる
  • 事例紹介 CPP、EVE Online インストールデータが巨大で機械損失があり得る
    • キャラクター作成画面を AppStream で実行して、裏でダウンロードする。
  • GeForceの3Dデモ、かなり動きがスムーズ

Kinesis Amazon Kinesisでリアルタイム分析の世界へ金春 利幸 [アールスリーインスティテュート]

スライド:JAWSDAYS2014 Amazon Kinesis for Beginner

  • リアルタイム分析プラットフォーム
  • 適切なサイジングするのが難しい、安全な保管が難しい、分析側のサイジングが難しい、ピークに合わせると高くなる。
  • Shardに一度保管、その後 Kinesis App で分析して、RDS / Dynamo / Kinesis などに保管、転送
  • ShardはKVS、パーティションキーは256byte、キーによって送信先となるShardが決まる。write 1MB/sec read 2MB/sec
  • 処理後もデータはしばらく Shard に残る
  • Kinesis Client Library
    • APIを直接使わなくても簡単に使える
    • データを処理するWorkerの生成
    • 書くShardに対してWorkerがちゃんと付くように制御
    • Worker の数の制御、落ちた場合の再処理の制御、AutoScaling時の割り当てを調整
  • Kinesis Connector Library
    • Kinesis Stream から必要なデータを変換して、S3/DynamoDB,Redshiftへデータを格納するライブラリ
    • EMR用のConnectorも発表になった
  • 事例
    • 全国に設置した大量の機器からのデータを処理 → FTP / DB / Webアプリから、Kinesis
    • お客さんが増えても自動でスケール可能

公開されているスライド

見つけたものを順次追記します。また、抜けているものを見つけた方がいらっしゃれば、コメントいただけるととても嬉しいです!

ビッグトラック

3/26追記:はてなさん、任天堂さんありがとう!
【イベント登壇レポート】JAWS DAYS 2014で、Miiverseの取り組みを弊社エンジニア渡辺が任天堂と共同で発表しました - Hatena Developer Blog

Immutable Infrastracture

Immutable Infrastructure #jawsdays // Speaker Deck
Cookpad's deployment and auto scaling // Speaker Deck
The Basics of Provisioning and Deploy on AWS #jawdays #infra
SpecInfra at JAWS DAYS 2014 // Speaker Deck
「「技術的負債」を問いなおす」というタイトルでJAWS DAYS 2014で話してきた #jawsdays - delirious thoughts
2014/03/15 JAWS DAYS 2014 - Immutable Infrastructureトラック #jawsdays #infra - Togetterまとめ
Infrastructure as Codeと 組織のドキュメンテーション + Immutable Infrastructure事例

AWS Technical Deep Dive

AWS Cloud Design Pattern for Enterprise

テクニカルトラック

OpsWorks事例紹介!ソニックガーデンのリモートワークを支えるリアルタイムツール”Remotty”の舞台裏(2014/03/1...

ACEに聞け!

20140315 JAWS DAYS 2014 ACEに聞け! CloudFormation編
20140315 jawsdays2014 swf JAWSDAYS2014 Amazon Kinesis for Beginner

iJAWS

MongoDB tuning on AWS

LT

[初音ミク] Kinesis でフリーザを撃て!