2014年3月16日日曜日

「ほしいプロトコルはトンネルしよう」 という話を、JAWS DAYS 2014でしてきた。

ほしいプロトコルはトンネルすればいいじゃないという話を、JAWS DAYS 2014 Tech Deep Diveでやってきました。 
事前に、http://aws.typepad.com/sajp/2014/03/aws_tunneling.htmlで予告した通り、VPC「でも」いろんなトンネルが使えるよ、実際に使ってみたよという話をしてきました。
印象的な質問はこんなところでした。
  • VXLANをどうやって試すか、使うか
  • IPv6、Multicastはじめ今後の機能拡張の予定
「顧客・ユーザはは自分が何が欲しいのかわかっていない」ことを説明するときによく引きあいに出される “If I had asked people what they wanted, they would have said faster horses.”　-- Henry Fordなんていう言葉があります。 

AWSのサービス開発チームは「VRRPを使いたい」という言葉ももちろんですが、それに至る要望の背景や実際のアプリケーションを知らないと動きません。そのため、ぜひ、要望はそのあたりを含めていただけると助かります。 

この発表の内容をさらに掘り下げたものを今後のAWS Solutions Architectブログでカバー予定です。
投稿者 時刻: 0 件のコメント:

2013年12月22日日曜日

オブジェクトストレージのベンチマークツール、COSBench

AWS Advent Calenderの12月22日分です。

COPSBenchとは

世の中、ベンチマークソフトウェアであふれています。その目的は様々ですが、S3に代表されるオブジェクトストレージのベンチマークソフトウェアは、POSIXなファイルシステムのベンチマークとちがってほとんど普及していません。

Amazon S3のパフォーマンスをあげるコツという記事にあるとおり、S3は使い方によってパフォーマンスが異なります。そのため、実際のワークロードを模擬することで初めて意味のある性能指標を得ることが出来ます。

COSBenchは万能ではありませんが、様々なワークロードをXMLで記述することで、模擬実行できるApache2ライセンスのソフトです。Intelの中国の方を中心に開発がすすめられています。http://www.slideshare.net/ben_duyujie/cosbench-apac に概要があるので、時間があるかた、興味のあるかたはこちらをご覧ください。

構成は、Controllerが複数のDriverに対して測定対象に負荷をかけるように指令する作りです。

つかってみる

本記事では、そのごちゃごちゃした話はさておき、COSBenchを使って、結果を得るところまでみてみることにしましょう。

下準備

cosbenchはubuntu12.03 LTSがメインサポートなので、まずはubuntsu12.03を用意します。


$ sudo apt-get update && sudo apt-get install openjdk-7-jre unzip curl

$ java -showversion
java version "1.7.0_25"
OpenJDK Runtime Environment (IcedTea 2.3.10) (7u25-2.3.10-1ubuntu0.12.04.2)
OpenJDK 64-Bit Server VM (build 23.7-b01, mixed mode)
.(以下略)

という具合で、openjdkがはいればOKです。

入手とインストール

入手先はgithub上にあります。


$ wget https://github.com/intel-cloud/cosbench/releases/download/0.3.3.0/0.3.3.0.zip
$ unzip 0.3.3.0.zip
$ ln -s 0.3.3.0 cos
$ cd cos
$ chmod +x *.sh

展開した結果は

.
├── 3rd-party-licenses.pdf
├── BUILD.md
├── CHANGELOG
├── cli.sh
├── conf
│   ├── ampli-config-sample.xml
│   ├── controller.conf
│   ├── controller-tomcat-server.xml
│   ├── cosbench-users.xml
│   ├── driver-tomcat-server.xml
│   ├── filewriter-config-explanation.txt
│   ├── hashcheck.xml
│   ├── librados-config-sample.xml
│   ├── noop-config.xml
│   ├── noop-read-config.xml
│   ├── noop-write-config.xml
│   ├── reusedata.xml
│   ├── s3-config-sample.xml
│   ├── splitrw.xml
│   ├── sproxyd-config-sample.xml
│   ├── swift-config-sample.xml
│   └── workload-config.xml
├── COSBenchAdaptorDevGuide.pdf
├── cosbench-start.sh
├── cosbench-stop.sh
├── COSBenchUserGuide.pdf
├── ext
│   ├── adaptor
│   │   ├── abc-auth
│   │   │   ├── build.properties
│   │   │   ├── META-INF
│   │   │   │   ├── MANIFEST.MF
│   │   │   │   └── spring
│   │   │   │   └── plugin-context.xml
│   │   │   └── src
│   │   │   └── com
│   │   │   └── abc
│   │   │   ├── api
│   │   │   │   └── abcAuth
│   │   │   │   ├── AbcAuthFactory.java
│   │   │   │   └── AbcAuth.java
│   │   │   └── client
│   │   │   └── abcAuth
│   │   │   ├── AbcAuthClientException.java
│   │   │   ├── AbcAuthClient.java
│   │   │   └── AbcAuthConstants.java
│   │   └── abc-stor
│   │   ├── build.properties
│   │   ├── META-INF
│   │   │   ├── MANIFEST.MF
│   │   │   └── spring
│   │   │   └── plugin-context.xml
│   │   └── src
│   │   └── com
│   │   └── abc
│   │   ├── api
│   │   │   └── abcStor
│   │   │   ├── AbcStorageFactory.java
│   │   │   └── AbcStorage.java
│   │   └── client
│   │   └── abcStor
│   │   ├── AbcStorClientException.java
│   │   ├── AbcStorClient.java
│   │   └── AbcStorConstants.java
│   └── libs
│   ├── com.springsource.org.apache.commons.codec-1.3.0.jar
│   ├── org.apache.httpcomponents.httpclient_4.1.3.jar
│   └── org.apache.httpcomponents.httpcore_4.1.4.jar
├── javadoc
│   ├── allclasses-frame.html
│   ├── allclasses-noframe.html
│   ├── com
│   │   └── intel
│   │   └── cosbench
│   │   ├── api
│   │   │   ├── amplistor
│   │   │   │   ├── AmpliStorageFactory.html
│   │   │   │   ├── AmpliStorage.html
│   │   │   │   ├── class-use
│   │   │   │   │   ├── AmpliStorageFactory.html
│   │   │   │   │   └── AmpliStorage.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   └── package-use.html
│   │   │   ├── auth
│   │   │   │   ├── AuthAPIFactory.html
│   │   │   │   ├── AuthAPI.html
│   │   │   │   ├── AuthAPIService.html
│   │   │   │   ├── AuthException.html
│   │   │   │   ├── AuthInterruptedException.html
│   │   │   │   ├── AuthTimeoutException.html
│   │   │   │   ├── class-use
│   │   │   │   │   ├── AuthAPIFactory.html
│   │   │   │   │   ├── AuthAPI.html
│   │   │   │   │   ├── AuthAPIService.html
│   │   │   │   │   ├── AuthException.html
│   │   │   │   │   ├── AuthInterruptedException.html
│   │   │   │   │   ├── AuthTimeoutException.html
│   │   │   │   │   └── NoneAuth.html
│   │   │   │   ├── NoneAuth.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   └── package-use.html
│   │   │   ├── context
│   │   │   │   ├── AuthContext.html
│   │   │   │   ├── class-use
│   │   │   │   │   ├── AuthContext.html
│   │   │   │   │   └── Context.html
│   │   │   │   ├── Context.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   └── package-use.html
│   │   │   ├── keystone
│   │   │   │   ├── class-use
│   │   │   │   │   ├── KeystoneAuthFactory.html
│   │   │   │   │   └── KeystoneAuth.html
│   │   │   │   ├── KeystoneAuthFactory.html
│   │   │   │   ├── KeystoneAuth.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   └── package-use.html
│   │   │   ├── mock
│   │   │   │   ├── class-use
│   │   │   │   │   ├── MockAuthFactory.html
│   │   │   │   │   └── MockStorageFactory.html
│   │   │   │   ├── MockAuthFactory.html
│   │   │   │   ├── MockStorageFactory.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   └── package-use.html
│   │   │   ├── storage
│   │   │   │   ├── class-use
│   │   │   │   │   ├── NoneStorage.html
│   │   │   │   │   ├── StorageAPIFactory.html
│   │   │   │   │   ├── StorageAPI.html
│   │   │   │   │   ├── StorageAPIService.html
│   │   │   │   │   ├── StorageException.html
│   │   │   │   │   ├── StorageInterruptedException.html
│   │   │   │   │   └── StorageTimeoutException.html
│   │   │   │   ├── NoneStorage.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   ├── package-use.html
│   │   │   │   ├── StorageAPIFactory.html
│   │   │   │   ├── StorageAPI.html
│   │   │   │   ├── StorageAPIService.html
│   │   │   │   ├── StorageException.html
│   │   │   │   ├── StorageInterruptedException.html
│   │   │   │   └── StorageTimeoutException.html
│   │   │   ├── swauth
│   │   │   │   ├── class-use
│   │   │   │   │   ├── SwiftAuthFactory.html
│   │   │   │   │   └── SwiftAuth.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   ├── package-use.html
│   │   │   │   ├── SwiftAuthFactory.html
│   │   │   │   └── SwiftAuth.html
│   │   │   └── swift
│   │   │   ├── class-use
│   │   │   │   ├── SwiftStorageFactory.html
│   │   │   │   └── SwiftStorage.html
│   │   │   ├── package-frame.html
│   │   │   ├── package-summary.html
│   │   │   ├── package-tree.html
│   │   │   ├── package-use.html
│   │   │   ├── SwiftStorageFactory.html
│   │   │   └── SwiftStorage.html
│   │   ├── bench
│   │   │   ├── Aggregator.html
│   │   │   ├── Benchmark.html
│   │   │   ├── class-use
│   │   │   │   ├── Aggregator.html
│   │   │   │   ├── Benchmark.html
│   │   │   │   ├── Counter.html
│   │   │   │   ├── Histogram.html
│   │   │   │   ├── Mark.html
│   │   │   │   ├── Metrics.html
│   │   │   │   ├── Report.html
│   │   │   │   ├── ReportMerger.html
│   │   │   │   ├── Result.html
│   │   │   │   ├── Sample.html
│   │   │   │   ├── Snapshot.html
│   │   │   │   ├── SnapshotMerger.html
│   │   │   │   └── Status.html
│   │   │   ├── Counter.html
│   │   │   ├── Histogram.html
│   │   │   ├── Mark.html
│   │   │   ├── Metrics.html
│   │   │   ├── package-frame.html
│   │   │   ├── package-summary.html
│   │   │   ├── package-tree.html
│   │   │   ├── package-use.html
│   │   │   ├── Report.html
│   │   │   ├── ReportMerger.html
│   │   │   ├── Result.html
│   │   │   ├── Sample.html
│   │   │   ├── Snapshot.html
│   │   │   ├── SnapshotMerger.html
│   │   │   └── Status.html
│   │   ├── client
│   │   │   ├── amplistor
│   │   │   │   ├── AmpliClient.html
│   │   │   │   ├── AmpliConstants.html
│   │   │   │   ├── AmpliException.html
│   │   │   │   ├── AmpliNamespace.html
│   │   │   │   ├── AmpliNotFoundException.html
│   │   │   │   ├── AmpliObject.html
│   │   │   │   ├── AmpliPolicy.html
│   │   │   │   ├── AmpliUtils.html
│   │   │   │   ├── class-use
│   │   │   │   │   ├── AmpliClient.html
│   │   │   │   │   ├── AmpliConstants.html
│   │   │   │   │   ├── AmpliException.html
│   │   │   │   │   ├── AmpliNamespace.html
│   │   │   │   │   ├── AmpliNotFoundException.html
│   │   │   │   │   ├── AmpliObject.html
│   │   │   │   │   ├── AmpliPolicy.html
│   │   │   │   │   └── AmpliUtils.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   └── package-use.html
│   │   │   ├── http
│   │   │   │   ├── class-use
│   │   │   │   │   ├── HttpClientException.html
│   │   │   │   │   └── HttpClientUtil.html
│   │   │   │   ├── HttpClientException.html
│   │   │   │   ├── HttpClientUtil.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   └── package-use.html
│   │   │   ├── keystone
│   │   │   │   ├── class-use
│   │   │   │   │   ├── KeystoneAuthException.html
│   │   │   │   │   ├── KeystoneClientException.html
│   │   │   │   │   ├── KeystoneClient.html
│   │   │   │   │   ├── KeystoneConstants.html
│   │   │   │   │   ├── KeystoneInterruptedException.html
│   │   │   │   │   ├── KeystoneMapper.html
│   │   │   │   │   ├── KeystoneRequest.AuthInfo.Credentials.html
│   │   │   │   │   ├── KeystoneRequest.AuthInfo.html
│   │   │   │   │   ├── KeystoneRequest.AuthInfo.Token.html
│   │   │   │   │   ├── KeystoneRequest.html
│   │   │   │   │   ├── KeystoneResponse.AccessInfo.html
│   │   │   │   │   ├── KeystoneResponse.AccessInfo.ServiceInfo.Endpoint.html
│   │   │   │   │   ├── KeystoneResponse.AccessInfo.ServiceInfo.html
│   │   │   │   │   ├── KeystoneResponse.AccessInfo.Token.html
│   │   │   │   │   ├── KeystoneResponse.AccessInfo.Token.Tenant.html
│   │   │   │   │   ├── KeystoneResponse.AccessInfo.User.html
│   │   │   │   │   ├── KeystoneResponse.AccessInfo.User.Role.html
│   │   │   │   │   ├── KeystoneResponseException.html
│   │   │   │   │   ├── KeystoneResponse.html
│   │   │   │   │   ├── KeystoneServerException.html
│   │   │   │   │   └── KeystoneTimeoutException.html
│   │   │   │   ├── handler
│   │   │   │   │   ├── AuthHandler.html
│   │   │   │   │   ├── class-use
│   │   │   │   │   │   ├── AuthHandler.html
│   │   │   │   │   │   └── HttpAuthHandler.html
│   │   │   │   │   ├── HttpAuthHandler.html
│   │   │   │   │   ├── package-frame.html
│   │   │   │   │   ├── package-summary.html
│   │   │   │   │   ├── package-tree.html
│   │   │   │   │   └── package-use.html
│   │   │   │   ├── KeystoneAuthException.html
│   │   │   │   ├── KeystoneClientException.html
│   │   │   │   ├── KeystoneClient.html
│   │   │   │   ├── KeystoneConstants.html
│   │   │   │   ├── KeystoneInterruptedException.html
│   │   │   │   ├── KeystoneMapper.html
│   │   │   │   ├── KeystoneRequest.AuthInfo.Credentials.html
│   │   │   │   ├── KeystoneRequest.AuthInfo.html
│   │   │   │   ├── KeystoneRequest.AuthInfo.Token.html
│   │   │   │   ├── KeystoneRequest.html
│   │   │   │   ├── KeystoneResponse.AccessInfo.html
│   │   │   │   ├── KeystoneResponse.AccessInfo.ServiceInfo.Endpoint.html
│   │   │   │   ├── KeystoneResponse.AccessInfo.ServiceInfo.html
│   │   │   │   ├── KeystoneResponse.AccessInfo.Token.html
│   │   │   │   ├── KeystoneResponse.AccessInfo.Token.Tenant.html
│   │   │   │   ├── KeystoneResponse.AccessInfo.User.html
│   │   │   │   ├── KeystoneResponse.AccessInfo.User.Role.html
│   │   │   │   ├── KeystoneResponseException.html
│   │   │   │   ├── KeystoneResponse.html
│   │   │   │   ├── KeystoneServerException.html
│   │   │   │   ├── KeystoneTimeoutException.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   └── package-use.html
│   │   │   ├── swauth
│   │   │   │   ├── class-use
│   │   │   │   │   ├── SwiftAuthClientException.html
│   │   │   │   │   ├── SwiftAuthClient.html
│   │   │   │   │   └── SwiftAuthConstants.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   ├── package-use.html
│   │   │   │   ├── SwiftAuthClientException.html
│   │   │   │   ├── SwiftAuthClient.html
│   │   │   │   └── SwiftAuthConstants.html
│   │   │   └── swift
│   │   │   ├── class-use
│   │   │   │   ├── SwiftAccount.html
│   │   │   │   ├── SwiftClient.html
│   │   │   │   ├── SwiftConflictException.html
│   │   │   │   ├── SwiftConstants.html
│   │   │   │   ├── SwiftContainer.html
│   │   │   │   ├── SwiftException.html
│   │   │   │   ├── SwiftFileNotFoundException.html
│   │   │   │   └── SwiftResponse.html
│   │   │   ├── package-frame.html
│   │   │   ├── package-summary.html
│   │   │   ├── package-tree.html
│   │   │   ├── package-use.html
│   │   │   ├── SwiftAccount.html
│   │   │   ├── SwiftClient.html
│   │   │   ├── SwiftConflictException.html
│   │   │   ├── SwiftConstants.html
│   │   │   ├── SwiftContainer.html
│   │   │   ├── SwiftException.html
│   │   │   ├── SwiftFileNotFoundException.html
│   │   │   └── SwiftResponse.html
│   │   ├── config
│   │   │   ├── Auth.html
│   │   │   ├── castor
│   │   │   │   ├── CastorConfigTools.html
│   │   │   │   ├── class-use
│   │   │   │   │   └── CastorConfigTools.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   └── package-use.html
│   │   │   ├── class-use
│   │   │   │   ├── Auth.html
│   │   │   │   ├── ConfigException.html
│   │   │   │   ├── Config.html
│   │   │   │   ├── Mission.html
│   │   │   │   ├── MissionResolver.html
│   │   │   │   ├── MissionWriter.html
│   │   │   │   ├── Operation.html
│   │   │   │   ├── Stage.html
│   │   │   │   ├── Storage.html
│   │   │   │   ├── Workflow.html
│   │   │   │   ├── Work.html
│   │   │   │   ├── Workload.html
│   │   │   │   ├── WorkloadResolver.html
│   │   │   │   ├── WorkloadWriter.html
│   │   │   │   └── XmlConfig.html
│   │   │   ├── common
│   │   │   │   ├── class-use
│   │   │   │   │   ├── INIConfigParser.html
│   │   │   │   │   └── KVConfigParser.html
│   │   │   │   ├── INIConfigParser.html
│   │   │   │   ├── KVConfigParser.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   └── package-use.html
│   │   │   ├── ConfigException.html
│   │   │   ├── Config.html
│   │   │   ├── Mission.html
│   │   │   ├── MissionResolver.html
│   │   │   ├── MissionWriter.html
│   │   │   ├── Operation.html
│   │   │   ├── package-frame.html
│   │   │   ├── package-summary.html
│   │   │   ├── package-tree.html
│   │   │   ├── package-use.html
│   │   │   ├── Stage.html
│   │   │   ├── Storage.html
│   │   │   ├── Workflow.html
│   │   │   ├── Work.html
│   │   │   ├── Workload.html
│   │   │   ├── WorkloadResolver.html
│   │   │   ├── WorkloadWriter.html
│   │   │   └── XmlConfig.html
│   │   ├── controller
│   │   │   ├── archiver
│   │   │   │   ├── class-use
│   │   │   │   │   ├── SimpleWorkloadArchiver.html
│   │   │   │   │   └── WorkloadArchiver.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   ├── package-use.html
│   │   │   │   ├── SimpleWorkloadArchiver.html
│   │   │   │   └── WorkloadArchiver.html
│   │   │   ├── handler
│   │   │   │   ├── CancelHandler.html
│   │   │   │   ├── class-use
│   │   │   │   │   ├── CancelHandler.html
│   │   │   │   │   ├── ConfigHandler.html
│   │   │   │   │   ├── IndexHandler.html
│   │   │   │   │   ├── SubmitHandler.html
│   │   │   │   │   └── WorkloadHandler.html
│   │   │   │   ├── ConfigHandler.html
│   │   │   │   ├── IndexHandler.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   ├── package-use.html
│   │   │   │   ├── SubmitHandler.html
│   │   │   │   └── WorkloadHandler.html
│   │   │   ├── model
│   │   │   │   ├── class-use
│   │   │   │   │   ├── ControllerContext.html
│   │   │   │   │   ├── DriverContext.html
│   │   │   │   │   ├── DriverRegistry.html
│   │   │   │   │   ├── SchedulePlan.html
│   │   │   │   │   ├── ScheduleRegistry.html
│   │   │   │   │   ├── SnapshotRegistry.html
│   │   │   │   │   ├── StageContext.html
│   │   │   │   │   ├── StageListener.html
│   │   │   │   │   ├── StageRegistry.html
│   │   │   │   │   ├── TaskContext.html
│   │   │   │   │   ├── TaskRegistry.html
│   │   │   │   │   ├── WorkloadContext.html
│   │   │   │   │   └── WorkloadListener.html
│   │   │   │   ├── ControllerContext.html
│   │   │   │   ├── DriverContext.html
│   │   │   │   ├── DriverRegistry.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   ├── package-use.html
│   │   │   │   ├── SchedulePlan.html
│   │   │   │   ├── ScheduleRegistry.html
│   │   │   │   ├── SnapshotRegistry.html
│   │   │   │   ├── StageContext.html
│   │   │   │   ├── StageListener.html
│   │   │   │   ├── StageRegistry.html
│   │   │   │   ├── TaskContext.html
│   │   │   │   ├── TaskRegistry.html
│   │   │   │   ├── WorkloadContext.html
│   │   │   │   └── WorkloadListener.html
│   │   │   ├── repository
│   │   │   │   ├── class-use
│   │   │   │   │   ├── RAMWorkloadRepository.html
│   │   │   │   │   └── WorkloadRepository.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   ├── package-use.html
│   │   │   │   ├── RAMWorkloadRepository.html
│   │   │   │   └── WorkloadRepository.html
│   │   │   ├── schedule
│   │   │   │   ├── class-use
│   │   │   │   │   ├── ScheduleException.html
│   │   │   │   │   ├── Schedulers.html
│   │   │   │   │   └── WorkScheduler.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   ├── package-use.html
│   │   │   │   ├── ScheduleException.html
│   │   │   │   ├── Schedulers.html
│   │   │   │   └── WorkScheduler.html
│   │   │   ├── service
│   │   │   │   ├── class-use
│   │   │   │   │   ├── COSBControllerServiceFactory.html
│   │   │   │   │   ├── StageCallable.html
│   │   │   │   │   └── StageChecker.html
│   │   │   │   ├── COSBControllerServiceFactory.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   ├── package-use.html
│   │   │   │   ├── StageCallable.html
│   │   │   │   └── StageChecker.html
│   │   │   ├── tasklet
│   │   │   │   ├── class-use
│   │   │   │   │   ├── Tasklet.html
│   │   │   │   │   └── Tasklets.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   ├── package-use.html
│   │   │   │   ├── Tasklet.html
│   │   │   │   └── Tasklets.html
│   │   │   └── web
│   │   │   ├── CancelWorkloadController.html
│   │   │   ├── class-use
│   │   │   │   ├── CancelWorkloadController.html
│   │   │   │   ├── ConfigPageController.html
│   │   │   │   ├── DownloadConfigController.html
│   │   │   │   ├── DownloadLogController.html
│   │   │   │   ├── IndexPageController.html
│   │   │   │   ├── MatrixPageController.html
│   │   │   │   ├── StagePageController.html
│   │   │   │   ├── SubmitPageController.html
│   │   │   │   ├── TimelineCSVController.html
│   │   │   │   ├── TimelinePageController.html
│   │   │   │   ├── WorkloadConfigurationController.html
│   │   │   │   ├── WorkloadPageController.html
│   │   │   │   └── WorkloadSubmissionController.html
│   │   │   ├── ConfigPageController.html
│   │   │   ├── DownloadConfigController.html
│   │   │   ├── DownloadLogController.html
│   │   │   ├── IndexPageController.html
│   │   │   ├── MatrixPageController.html
│   │   │   ├── package-frame.html
│   │   │   ├── package-summary.html
│   │   │   ├── package-tree.html
│   │   │   ├── package-use.html
│   │   │   ├── StagePageController.html
│   │   │   ├── SubmitPageController.html
│   │   │   ├── TimelineCSVController.html
│   │   │   ├── TimelinePageController.html
│   │   │   ├── WorkloadConfigurationController.html
│   │   │   ├── WorkloadPageController.html
│   │   │   └── WorkloadSubmissionController.html
│   │   ├── driver
│   │   │   ├── agent
│   │   │   │   ├── AgentException.html
│   │   │   │   ├── Agent.html
│   │   │   │   ├── Agents.html
│   │   │   │   ├── class-use
│   │   │   │   │   ├── AgentException.html
│   │   │   │   │   ├── Agent.html
│   │   │   │   │   └── Agents.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   └── package-use.html
│   │   │   ├── handler
│   │   │   │   ├── AbortHandler.html
│   │   │   │   ├── class-use
│   │   │   │   │   ├── AbortHandler.html
│   │   │   │   │   ├── CloseHandler.html
│   │   │   │   │   ├── LaunchHandler.html
│   │   │   │   │   ├── PingHandler.html
│   │   │   │   │   ├── QueryHandler.html
│   │   │   │   │   └── SubmitHandler.html
│   │   │   │   ├── CloseHandler.html
│   │   │   │   ├── LaunchHandler.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   ├── package-use.html
│   │   │   │   ├── PingHandler.html
│   │   │   │   ├── QueryHandler.html
│   │   │   │   └── SubmitHandler.html
│   │   │   ├── iterator
│   │   │   │   ├── class-use
│   │   │   │   │   ├── Iterators.html
│   │   │   │   │   └── NameIterator.html
│   │   │   │   ├── Iterators.html
│   │   │   │   ├── NameIterator.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   └── package-use.html
│   │   │   ├── model
│   │   │   │   ├── class-use
│   │   │   │   │   ├── DriverContext.html
│   │   │   │   │   ├── MissionContext.html
│   │   │   │   │   ├── MissionListener.html
│   │   │   │   │   ├── OperatorContext.html
│   │   │   │   │   ├── OperatorRegistry.html
│   │   │   │   │   ├── WorkerContext.html
│   │   │   │   │   └── WorkerRegistry.html
│   │   │   │   ├── DriverContext.html
│   │   │   │   ├── MissionContext.html
│   │   │   │   ├── MissionListener.html
│   │   │   │   ├── OperatorContext.html
│   │   │   │   ├── OperatorRegistry.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   ├── package-use.html
│   │   │   │   ├── WorkerContext.html
│   │   │   │   └── WorkerRegistry.html
│   │   │   ├── operator
│   │   │   │   ├── class-use
│   │   │   │   │   ├── Disposer.html
│   │   │   │   │   ├── Initializer.html
│   │   │   │   │   ├── OperationListener.html
│   │   │   │   │   ├── Operator.html
│   │   │   │   │   ├── Operators.html
│   │   │   │   │   └── Session.html
│   │   │   │   ├── Disposer.html
│   │   │   │   ├── Initializer.html
│   │   │   │   ├── OperationListener.html
│   │   │   │   ├── Operator.html
│   │   │   │   ├── Operators.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   ├── package-use.html
│   │   │   │   └── Session.html
│   │   │   ├── random
│   │   │   │   ├── class-use
│   │   │   │   │   ├── Generators.html
│   │   │   │   │   ├── NameGenerator.html
│   │   │   │   │   ├── RandomInputStream.html
│   │   │   │   │   ├── SizeGenerator.html
│   │   │   │   │   └── StreamUtils.html
│   │   │   │   ├── Generators.html
│   │   │   │   ├── NameGenerator.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   ├── package-use.html
│   │   │   │   ├── RandomInputStream.html
│   │   │   │   ├── SizeGenerator.html
│   │   │   │   └── StreamUtils.html
│   │   │   ├── repository
│   │   │   │   ├── class-use
│   │   │   │   │   ├── MissionRepository.html
│   │   │   │   │   └── RAMMissionRepository.html
│   │   │   │   ├── MissionRepository.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   ├── package-use.html
│   │   │   │   └── RAMMissionRepository.html
│   │   │   ├── service
│   │   │   │   ├── class-use
│   │   │   │   │   ├── COSBAuthAPIService.html
│   │   │   │   │   ├── COSBDriverServiceFactory.html
│   │   │   │   │   ├── COSBStorageAPIService.html
│   │   │   │   │   └── MissionException.html
│   │   │   │   ├── COSBAuthAPIService.html
│   │   │   │   ├── COSBDriverServiceFactory.html
│   │   │   │   ├── COSBStorageAPIService.html
│   │   │   │   ├── MissionException.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   └── package-use.html
│   │   │   ├── util
│   │   │   │   ├── class-use
│   │   │   │   │   ├── HashUtil.html
│   │   │   │   │   ├── ObjectPicker.html
│   │   │   │   │   ├── ObjectScanner.html
│   │   │   │   │   ├── OperationPicker.html
│   │   │   │   │   └── SizePicker.html
│   │   │   │   ├── HashUtil.html
│   │   │   │   ├── ObjectPicker.html
│   │   │   │   ├── ObjectScanner.html
│   │   │   │   ├── OperationPicker.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   ├── package-use.html
│   │   │   │   └── SizePicker.html
│   │   │   └── web
│   │   │   ├── AbortMissionController.html
│   │   │   ├── class-use
│   │   │   │   ├── AbortMissionController.html
│   │   │   │   ├── CloseMissionController.html
│   │   │   │   ├── IndexPageController.html
│   │   │   │   ├── LaunchMissionController.html
│   │   │   │   ├── MissionPageController.html
│   │   │   │   ├── MissionSubmissionController.html
│   │   │   │   ├── PerformLoginController.html
│   │   │   │   ├── SubmitPageController.html
│   │   │   │   └── WorkersPageController.html
│   │   │   ├── CloseMissionController.html
│   │   │   ├── IndexPageController.html
│   │   │   ├── LaunchMissionController.html
│   │   │   ├── MissionPageController.html
│   │   │   ├── MissionSubmissionController.html
│   │   │   ├── package-frame.html
│   │   │   ├── package-summary.html
│   │   │   ├── package-tree.html
│   │   │   ├── package-use.html
│   │   │   ├── PerformLoginController.html
│   │   │   ├── SubmitPageController.html
│   │   │   └── WorkersPageController.html
│   │   ├── exporter
│   │   │   ├── class-use
│   │   │   │   ├── Exporters.html
│   │   │   │   ├── ExportException.html
│   │   │   │   ├── LatencyExporter.html
│   │   │   │   ├── LogExporter.html
│   │   │   │   ├── MatrixExporter.html
│   │   │   │   ├── RunExporter.html
│   │   │   │   ├── StageExporter.html
│   │   │   │   └── WorkloadExporter.html
│   │   │   ├── Exporters.html
│   │   │   ├── ExportException.html
│   │   │   ├── LatencyExporter.html
│   │   │   ├── LogExporter.html
│   │   │   ├── MatrixExporter.html
│   │   │   ├── package-frame.html
│   │   │   ├── package-summary.html
│   │   │   ├── package-tree.html
│   │   │   ├── package-use.html
│   │   │   ├── RunExporter.html
│   │   │   ├── StageExporter.html
│   │   │   └── WorkloadExporter.html
│   │   ├── log
│   │   │   ├── class-use
│   │   │   │   ├── LogFactory.html
│   │   │   │   ├── Logger.html
│   │   │   │   ├── LogLevel.html
│   │   │   │   └── LogManager.html
│   │   │   ├── log4j
│   │   │   │   ├── class-use
│   │   │   │   │   ├── Log4jLogger.html
│   │   │   │   │   ├── Log4jLogManager.html
│   │   │   │   │   └── Log4jUtils.html
│   │   │   │   ├── Log4jLogger.html
│   │   │   │   ├── Log4jLogManager.html
│   │   │   │   ├── Log4jUtils.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   └── package-use.html
│   │   │   ├── LogFactory.html
│   │   │   ├── Logger.html
│   │   │   ├── LogLevel.html
│   │   │   ├── LogManager.html
│   │   │   ├── osgi
│   │   │   │   ├── Activator.html
│   │   │   │   ├── class-use
│   │   │   │   │   └── Activator.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   └── package-use.html
│   │   │   ├── package-frame.html
│   │   │   ├── package-summary.html
│   │   │   ├── package-tree.html
│   │   │   └── package-use.html
│   │   ├── model
│   │   │   ├── class-use
│   │   │   │   ├── ControllerInfo.html
│   │   │   │   ├── DriverInfo.html
│   │   │   │   ├── LifeCycle.html
│   │   │   │   ├── MissionInfo.html
│   │   │   │   ├── MissionState.html
│   │   │   │   ├── ScheduleInfo.html
│   │   │   │   ├── StageInfo.html
│   │   │   │   ├── StageState.html
│   │   │   │   ├── StateInfo.html
│   │   │   │   ├── StateRegistry.html
│   │   │   │   ├── TaskInfo.html
│   │   │   │   ├── TaskState.html
│   │   │   │   ├── WorkerInfo.html
│   │   │   │   ├── WorkloadInfo.html
│   │   │   │   └── WorkloadState.html
│   │   │   ├── ControllerInfo.html
│   │   │   ├── DriverInfo.html
│   │   │   ├── LifeCycle.html
│   │   │   ├── MissionInfo.html
│   │   │   ├── MissionState.html
│   │   │   ├── package-frame.html
│   │   │   ├── package-summary.html
│   │   │   ├── package-tree.html
│   │   │   ├── package-use.html
│   │   │   ├── ScheduleInfo.html
│   │   │   ├── StageInfo.html
│   │   │   ├── StageState.html
│   │   │   ├── StateInfo.html
│   │   │   ├── StateRegistry.html
│   │   │   ├── TaskInfo.html
│   │   │   ├── TaskState.html
│   │   │   ├── WorkerInfo.html
│   │   │   ├── WorkloadInfo.html
│   │   │   └── WorkloadState.html
│   │   ├── protocol
│   │   │   ├── AbortResponse.html
│   │   │   ├── class-use
│   │   │   │   ├── AbortResponse.html
│   │   │   │   ├── CloseResponse.html
│   │   │   │   ├── LaunchResponse.html
│   │   │   │   ├── LoginResponse.html
│   │   │   │   ├── PingResponse.html
│   │   │   │   ├── QueryResponse.html
│   │   │   │   ├── Response.html
│   │   │   │   └── SubmitResponse.html
│   │   │   ├── CloseResponse.html
│   │   │   ├── LaunchResponse.html
│   │   │   ├── LoginResponse.html
│   │   │   ├── package-frame.html
│   │   │   ├── package-summary.html
│   │   │   ├── package-tree.html
│   │   │   ├── package-use.html
│   │   │   ├── PingResponse.html
│   │   │   ├── QueryResponse.html
│   │   │   ├── Response.html
│   │   │   └── SubmitResponse.html
│   │   ├── service
│   │   │   ├── AbortedException.html
│   │   │   ├── AbstractServiceFactory.html
│   │   │   ├── CancelledException.html
│   │   │   ├── class-use
│   │   │   │   ├── AbortedException.html
│   │   │   │   ├── AbstractServiceFactory.html
│   │   │   │   ├── CancelledException.html
│   │   │   │   ├── ControllerServiceFactory.html
│   │   │   │   ├── ControllerService.html
│   │   │   │   ├── DriverServiceFactory.html
│   │   │   │   ├── DriverService.html
│   │   │   │   ├── IllegalStateException.html
│   │   │   │   └── UnexpectedException.html
│   │   │   ├── ControllerServiceFactory.html
│   │   │   ├── ControllerService.html
│   │   │   ├── DriverServiceFactory.html
│   │   │   ├── DriverService.html
│   │   │   ├── IllegalStateException.html
│   │   │   ├── package-frame.html
│   │   │   ├── package-summary.html
│   │   │   ├── package-tree.html
│   │   │   ├── package-use.html
│   │   │   └── UnexpectedException.html
│   │   ├── tomcat
│   │   │   ├── class-use
│   │   │   │   ├── TomcatLoader.html
│   │   │   │   └── TomcatRegister.html
│   │   │   ├── osgi
│   │   │   │   ├── Activator.html
│   │   │   │   ├── class-use
│   │   │   │   │   └── Activator.html
│   │   │   │   ├── package-frame.html
│   │   │   │   ├── package-summary.html
│   │   │   │   ├── package-tree.html
│   │   │   │   └── package-use.html
│   │   │   ├── package-frame.html
│   │   │   ├── package-summary.html
│   │   │   ├── package-tree.html
│   │   │   ├── package-use.html
│   │   │   ├── TomcatLoader.html
│   │   │   └── TomcatRegister.html
│   │   ├── utils
│   │   │   ├── class-use
│   │   │   │   ├── ListRegistry.html
│   │   │   │   ├── MapRegistry.html
│   │   │   │   └── MapRegistry.Item.html
│   │   │   ├── ListRegistry.html
│   │   │   ├── MapRegistry.html
│   │   │   ├── MapRegistry.Item.html
│   │   │   ├── package-frame.html
│   │   │   ├── package-summary.html
│   │   │   ├── package-tree.html
│   │   │   └── package-use.html
│   │   └── web
│   │   ├── AbstractController.html
│   │   ├── BadRequestException.html
│   │   ├── class-use
│   │   │   ├── AbstractController.html
│   │   │   ├── BadRequestException.html
│   │   │   └── NotFoundException.html
│   │   ├── NotFoundException.html
│   │   ├── package-frame.html
│   │   ├── package-summary.html
│   │   ├── package-tree.html
│   │   └── package-use.html
│   ├── constant-values.html
│   ├── deprecated-list.html
│   ├── help-doc.html
│   ├── index-files
│   │   ├── index-10.html
│   │   ├── index-11.html
│   │   ├── index-12.html
│   │   ├── index-13.html
│   │   ├── index-14.html
│   │   ├── index-15.html
│   │   ├── index-16.html
│   │   ├── index-17.html
│   │   ├── index-18.html
│   │   ├── index-19.html
│   │   ├── index-1.html
│   │   ├── index-20.html
│   │   ├── index-21.html
│   │   ├── index-22.html
│   │   ├── index-23.html
│   │   ├── index-2.html
│   │   ├── index-3.html
│   │   ├── index-4.html
│   │   ├── index-5.html
│   │   ├── index-6.html
│   │   ├── index-7.html
│   │   ├── index-8.html
│   │   └── index-9.html
│   ├── index.html
│   ├── overview-frame.html
│   ├── overview-summary.html
│   ├── overview-tree.html
│   ├── package-list
│   ├── resources
│   │   ├── deployment.png
│   │   ├── inherit.gif
│   │   ├── matrix.png
│   │   ├── modules.png
│   │   ├── report.png
│   │   ├── snapshot.png
│   │   ├── submit.png
│   │   ├── timeline.png
│   │   └── web-console.png
│   ├── serialized-form.html
│   └── stylesheet.css
├── lib-src
│   ├── com.springsource.javax.activation-sources-1.1.1.jar
│   ├── com.springsource.javax.annotation-sources-1.0.0.jar
│   ├── com.springsource.javax.ejb-sources-3.0.0.jar
│   ├── com.springsource.javax.el-sources-1.0.0.jar
│   ├── com.springsource.javax.jms-sources-1.1.0.jar
│   ├── com.springsource.javax.mail-sources-1.4.1.jar
│   ├── com.springsource.javax.persistence-sources-1.99.0.jar
│   ├── com.springsource.javax.servlet.jsp-sources-2.1.0.jar
│   ├── com.springsource.javax.servlet-sources-2.5.0.jar
│   ├── com.springsource.javax.transaction-sources-1.1.0.jar
│   ├── com.springsource.javax.xml.bind-sources-2.2.0.jar
│   ├── com.springsource.javax.xml.soap-sources-1.3.0.jar
│   ├── com.springsource.javax.xml.stream-sources-1.0.1.jar
│   ├── com.springsource.javax.xml.ws-sources-2.1.1.jar
│   ├── org.eclipse.equinox.launcher.source_1.2.0.v20110502.jar
│   └── org.eclipse.osgi-sources-3.7.0.v20110613.jar
├── LICENSE
├── licenses
│   ├── AOP Alliance License (Public).txt
│   ├── Apache License 2.0 (AL).txt
│   ├── Castor License (AL).txt
│   ├── Common Development and Distribution License 1.01 (CDDL).txt
│   ├── Eclipse Public License 1.0 (EPL).txt
│   ├── Freemarker License (BSD).txt
│   ├── JDom License (BSD).txt
│   └── SLF4J License (MIT).txt
├── log
├── main
│   └── org.eclipse.equinox.launcher_1.2.0.v20110502.jar
├── NOTICE
├── osgi
│   ├── libs
│   │   ├── com.springsource.freemarker-2.3.15.jar
│   │   ├── com.springsource.javax.activation-1.1.1.jar
│   │   ├── com.springsource.javax.annotation-1.0.0.jar
│   │   ├── com.springsource.javax.ejb-3.0.0.jar
│   │   ├── com.springsource.javax.el-1.0.0.jar
│   │   ├── com.springsource.javax.jms-1.1.0.jar
│   │   ├── com.springsource.javax.mail-1.4.1.jar
│   │   ├── com.springsource.javax.persistence-1.99.0.jar
│   │   ├── com.springsource.javax.servlet-2.5.0.jar
│   │   ├── com.springsource.javax.servlet.jsp-2.1.0.jar
│   │   ├── com.springsource.javax.transaction-1.1.0.jar
│   │   ├── com.springsource.javax.xml.bind-2.2.0.jar
│   │   ├── com.springsource.javax.xml.rpc-1.1.0.jar
│   │   ├── com.springsource.javax.xml.soap-1.3.0.jar
│   │   ├── com.springsource.javax.xml.stream-1.0.1.jar
│   │   ├── com.springsource.javax.xml.ws-2.1.1.jar
│   │   ├── com.springsource.org.aopalliance-1.0.0.jar
│   │   ├── com.springsource.org.apache.catalina-6.0.16.jar
│   │   ├── com.springsource.org.apache.commons.beanutils-1.7.0.jar
│   │   ├── com.springsource.org.apache.commons.codec-1.3.0.jar
│   │   ├── com.springsource.org.apache.commons.collections-3.2.0.jar
│   │   ├── com.springsource.org.apache.commons.configuration-1.5.0.jar
│   │   ├── com.springsource.org.apache.commons.digester-1.8.0.jar
│   │   ├── com.springsource.org.apache.commons.fileupload-1.2.1.jar
│   │   ├── com.springsource.org.apache.commons.io-1.4.0.jar
│   │   ├── com.springsource.org.apache.commons.jxpath-1.2.0.jar
│   │   ├── com.springsource.org.apache.commons.lang-2.5.0.jar
│   │   ├── com.springsource.org.apache.coyote-6.0.16.jar
│   │   ├── com.springsource.org.apache.juli.extras-6.0.16.jar
│   │   ├── com.springsource.org.apache.log4j-1.2.15.jar
│   │   ├── com.springsource.org.apache.regexp-1.5.0.jar
│   │   ├── com.springsource.org.apache.xerces-2.8.1.jar
│   │   ├── com.springsource.org.apache.xmlcommons-1.3.3.jar
│   │   ├── com.springsource.org.apache.xml.resolver-1.2.0.jar
│   │   ├── com.springsource.org.castor-1.2.0.jar
│   │   ├── com.springsource.org.codehaus.jackson-1.4.2.jar
│   │   ├── com.springsource.org.codehaus.jackson.mapper-1.4.2.jar
│   │   ├── com.springsource.org.jdom-1.1.0.jar
│   │   ├── com.springsource.org.joda.time-1.6.0.jar
│   │   ├── com.springsource.slf4j.api-1.5.6.jar
│   │   ├── com.springsource.slf4j.log4j-1.5.6.jar
│   │   ├── com.springsource.slf4j.org.apache.commons.logging-1.5.6.jar
│   │   ├── org.apache.httpcomponents.httpclient_4.1.3.jar
│   │   ├── org.apache.httpcomponents.httpcore_4.1.4.jar
│   │   ├── org.springframework.aop-3.0.5.RELEASE.jar
│   │   ├── org.springframework.asm-3.0.5.RELEASE.jar
│   │   ├── org.springframework.beans-3.0.5.RELEASE.jar
│   │   ├── org.springframework.context-3.0.5.RELEASE.jar
│   │   ├── org.springframework.context.support-3.0.5.RELEASE.jar
│   │   ├── org.springframework.core-3.0.5.RELEASE.jar
│   │   ├── org.springframework.expression-3.0.5.RELEASE.jar
│   │   ├── org.springframework.web-3.0.5.RELEASE.jar
│   │   ├── org.springframework.web.servlet-3.0.5.RELEASE.jar
│   │   ├── spring-osgi-core-2.0.0.M1.jar
│   │   ├── spring-osgi-extender-2.0.0.M1.jar
│   │   ├── spring-osgi-io-2.0.0.M1.jar
│   │   ├── spring-osgi-web-2.0.0.M1.jar
│   │   └── spring-osgi-web-extender-2.0.0.M1.jar
│   ├── org.eclipse.osgi-3.7.0.v20110613.jar
│   └── plugins
│   ├── cosbench-ampli_0.3.3.0.jar
│   ├── cosbench-api_0.3.3.0.jar
│   ├── cosbench-castor_0.3.3.0.jar
│   ├── cosbench-config_0.3.3.0.jar
│   ├── cosbench-controller_0.3.3.0.jar
│   ├── cosbench-controller-web_0.3.3.0.jar
│   ├── cosbench-core_0.3.3.0.jar
│   ├── cosbench-core-web_0.3.3.0.jar
│   ├── cosbench-driver_0.3.3.0.jar
│   ├── cosbench-driver-web_0.3.3.0.jar
│   ├── cosbench-http_0.3.3.0.jar
│   ├── cosbench-keystone_0.3.3.0.jar
│   ├── cosbench-librados_0.3.3.0.jar
│   ├── cosbench-log_0.3.3.0.jar
│   ├── cosbench-log4j_0.3.3.0.jar
│   ├── cosbench-mock_0.3.3.0.jar
│   ├── cosbench-s3_0.3.3.0.jar
│   ├── cosbench-scality_0.3.3.0.jar
│   ├── cosbench-swauth_0.3.3.0.jar
│   ├── cosbench-swift_0.3.3.0.jar
│   └── cosbench-tomcat_0.3.3.0.jar
├── pkg.lst
├── README.md
├── start-all.bat
├── start-all.sh
├── start-controller.bat
├── start-controller.sh
├── start-driver.bat
├── start-driver.sh
├── stop-all.sh
├── stop-controller.sh
├── stop-driver.sh
├── TODO.md
├── VERSION
└── web.bat
135 directories, 897 files
view raw gistfile1.txt hosted with ❤ by GitHub

とりあえず動作確認

まずは、start-allをしてみます。
$ sh start-all.sh
Launching osgi framwork ...
Successfully launched osgi framework!
Booting cosbench driver ...
.
Starting cosbench-log_0.3.3.0 [OK]
Starting cosbench-tomcat_0.3.3.0 [OK]
Starting cosbench-config_0.3.3.0 [OK]
Starting cosbench-http_0.3.3.0 [OK]
Starting cosbench-core_0.3.3.0 [OK]
Starting cosbench-core-web_0.3.3.0 [OK]
Starting cosbench-api_0.3.3.0 [OK]
Starting cosbench-mock_0.3.3.0 [OK]
Starting cosbench-ampli_0.3.3.0 [OK]
Starting cosbench-swift_0.3.3.0 [OK]
Starting cosbench-keystone_0.3.3.0 [OK]
Starting cosbench-s3_0.3.3.0 [OK]
Starting cosbench-librados_0.3.3.0 [OK]
Starting cosbench-scality_0.3.3.0 [OK]
Starting cosbench-driver_0.3.3.0 [OK]
Starting cosbench-driver-web_0.3.3.0 [OK]
Successfully started cosbench driver!
Listening on port 0.0.0.0/0.0.0.0:18089 ...
Persistence bundle starting...
Persistence bundle started.
----------------------------------------------
!!! Service will listen on web port: 18088 !!!
----------------------------------------------
======================================================
Launching osgi framwork ...
Successfully launched osgi framework!
Booting cosbench controller ...
.
Starting cosbench-log_0.3.3.0 [OK]
Starting cosbench-tomcat_0.3.3.0 [OK]
Starting cosbench-config_0.3.3.0 [OK]
Starting cosbench-core_0.3.3.0 [OK]
Starting cosbench-core-web_0.3.3.0 [OK]
Starting cosbench-controller_0.3.3.0 [OK]
Starting cosbench-controller-web_0.3.3.0 [OK]
Successfully started cosbench controller!
Listening on port 0.0.0.0/0.0.0.0:19089 ...
Persistence bundle starting...
Persistence bundle started.
----------------------------------------------
!!! Service will listen on web port: 19088 !!!
----------------------------------------------
view raw gistfile1.txt hosted with ❤ by GitHub

私の場合は、Vagrantfileをポートフォワードするように修正したので、いったん、vagrant haltしてから、vagrant upします。


~/playground/vagrant-place/ubuntu1204$ vagrant up
Bringing machine 'default' up with 'virtualbox' provider...
[default] Clearing any previously set forwarded ports...
[default] Creating shared folders metadata...
[default] Clearing any previously set network interfaces...
[default] Preparing network interfaces based on configuration...
[default] Forwarding ports...
[default] -- 22 => 2222 (adapter 1)
[default] -- 19088 => 19088 (adapter 1)
[default] -- 18088 => 18088 (adapter 1)

ここまでくれば、ポートが動いているかどうかをcurlかなにかで試します。

動いていれば、ワークロードファイルを登録してみます。


vagrant@vagrant-ubuntu:~/cos$ sh cli.sh submit conf/workload-config.xml
Accepted with ID: w1
vagrant@vagrant-ubuntu:~/cos$ sh cli.sh info
Drivers:
driver1 http://127.0.0.1:18088/driver
Total: 1 drivers

Active Workloads:
w1 Sun Dec 22 03:22:03 BRST 2013 PROCESSING
Total: 1 active workloads

さらに、http://127.0.0.1:19088/controller/index.html にアクセスしてみる。

Active Workloadsにw1がみえているはずなので、適当にいじってみるといいです。

sh stop-all.sh で停止します。

実際に使ってみる

Controllerの設定を確認する。

Controllerの設定はcontroller.confで行います。中身は一目瞭然かと。
そして、制御対象のdriverのURLも忘れずに。


vagrant@vagrant-ubuntu:~/cos$ cat conf/controller.conf
[controller]
drivers = 1
loglevel = INFO
logfile = log/system.log
archive_dir = archive

[driver1]
name = driver1
url = http://127.0.0.1:18088/driver

はDriverを動かす

Controllerを動かす前に、Driverを動かします。start-driver.shを走らせるだけ。


vagrant@vagrant-ubuntu:~/cos$ sh start-driver.sh
Launching osgi framwork ...
Successfully launched osgi framework!
Booting cosbench driver ...
.
Starting cosbench-log0.3.3.0 [OK]
Starting cosbench-tomcat0.3.3.0 [OK]
Starting cosbench-config0.3.3.0 [OK]
Starting cosbench-http0.3.3.0 [OK]
Starting cosbench-core0.3.3.0 [OK]
Starting cosbench-core-web0.3.3.0 [OK]
Starting cosbench-api0.3.3.0 [OK]
Starting cosbench-mock0.3.3.0 [OK]
Starting cosbench-ampli0.3.3.0 [OK]
Starting cosbench-swift0.3.3.0 [OK]
Starting cosbench-keystone0.3.3.0 [OK]
Starting cosbench-s30.3.3.0 [OK]
Starting cosbench-librados0.3.3.0 [OK]
Starting cosbench-scality0.3.3.0 [OK]
Starting cosbench-driver0.3.3.0 [OK]
Starting cosbench-driver-web0.3.3.0 [OK]
Successfully started cosbench driver!
Listening on port 0.0.0.0/0.0.0.0:18089 ...
Persistence bundle starting...

Persistence bundle started.
!!! Service will listen on web port: 18088 !!!

というようになれば、OKです。

http://127.0.0.1:18088/driver/index.html にアクセスします。
つくりたてのほやほやなので何も登録はありませんが。。

続いてControllerの起動

これも start-controller.shでOKです。


vagrant@vagrant-ubuntu:~/cos$ sh start-controller.sh
Launching osgi framwork ...
Successfully launched osgi framework!
Booting cosbench controller ...
.
Starting cosbench-log0.3.3.0 [OK]
Starting cosbench-tomcat0.3.3.0 [OK]
Starting cosbench-config0.3.3.0 [OK]
Starting cosbench-core0.3.3.0 [OK]
Starting cosbench-core-web0.3.3.0 [OK]
Starting cosbench-controller0.3.3.0 [OK]
Starting cosbench-controller-web_0.3.3.0 [OK]
Successfully started cosbench controller!
Listening on port 0.0.0.0/0.0.0.0:19089 ...
Persistence bundle starting...

Persistence bundle started.
!!! Service will listen on web port: 19088 !!!

http://127.0.0.1:19088/controller/index.html にアクセスすると、

矢印の先に、submit new workloadsとありますが、ここから負荷ルールファイルを登録します。

<?xml version="1.0" encoding="UTF-8" ?>
<workload name="s3-sample" description="sample benchmark for s3">
<storage type="s3" config="accesskey=************;secretkey=**********;endpoint=s3-us-west-2.amazonaws.com" />
<workflow>
<workstage name="init">
<work type="init" workers="1" config="cprefix=*****-oregon;containers=r(1,2)" />
</workstage>
<workstage name="prepare">
<work type="prepare" workers="1" config="cprefix=**********oregon;containers=r(1,2);objects=r(1,10);sizes=c(64)KB" />
</workstage>
<workstage name="main">
<work name="main" workers="8" runtime="30">
<operation type="read" ratio="80" config="cprefix=**********oregon;containers=u(1,2);objects=u(1,10)" />
<operation type="write" ratio="20" config="cprefix=**********oregon;containers=u(1,2);objects=u(11,20);sizes=c(64)KB" />
</work>
</workstage>
<workstage name="cleanup">
<work type="cleanup" workers="1" config="cprefix=**********oregon;containers=r(1,2);objects=r(1,20)" />
</workstage>
<workstage name="dispose">
<work type="dispose" workers="1" config="cprefix=**********oregon;containers=r(1,2)" />
</workstage>
</workflow>
</workload>
view raw gistfile1.xml hosted with ❤ by GitHub

これは、オレゴンのS3に対して、64KBのファイルを複数回、80％readでのテストしてみるときのルールです。cprefix= には該当のバケットを指定します。

あとは結果を待つ！

ルールを登録すると、すぐに測定が始まります。数分後には次のような結果をみることになるでしょう。

Final Result

General Report

Op-TypeOp-CountByte-CountAvg-ResTimeThroughputBandwidthSucc-Ratio
init-write0 ops0 BN/A0 op/s0 B/SN/A
prepare-write20 ops1.28 MB772.45 ms1.29 op/s82.76 KB/S100%
read177 ops11.33 MB1042.37 ms6.07 op/s388.55 KB/S100%
write41 ops2.62 MB1180.12 ms1.41 op/s90.2 KB/S100%
cleanup-delete40 ops0 B365.75 ms2.73 op/s0 B/S100%
dispose-delete0 ops0 BN/A0 op/s0 B/SN/A

ResTime (RT) Details

Op-Type60%-RT80%-RT90%-RT95%-RT99%-RT100%-RT
init-writeN/AN/AN/AN/AN/AN/A
prepare-write< 710 ms< 720 ms< 730 ms< 1,490 ms< 1,490 ms< 1,520 ms
read< 1,480 ms< 1,490 ms< 1,510 ms< 1,620 ms< 2,360 ms< 2,760 ms
write< 1,510 ms< 1,540 ms< 1,550 ms< 1,560 ms< 1,580 ms< 1,580 ms
cleanup-delete< 340 ms< 340 ms< 340 ms< 370 ms< 920 ms< 1,020 ms
dispose-deleteN/AN/AN/AN/AN/AN/A

 
となったので、次にアイルランドでも試してみる。

General Report

Op-TypeOp-CountByte-CountAvg-ResTimeThroughputBandwidthSucc-Ratio
init-write0 ops0 BN/A0 op/s0 B/SN/A
prepare-write20 ops1.28 MB1031.1 ms0.97 op/s62.07 KB/S100%
read308 ops19.71 MB376.57 ms10.48 op/s670.73 KB/S100%
write71 ops4.54 MB1686.62 ms2.4 op/s153.9 KB/S100%
cleanup-delete40 ops0 B346.02 ms2.89 op/s0 B/S100%
dispose-delete0 ops0 BN/A0 op/s0 B/SN/A

ResTime (RT) Details

Op-Type60%-RT80%-RT90%-RT95%-RT99%-RT100%-RT
init-writeN/AN/AN/AN/AN/AN/A
prepare-write< 890 ms< 900 ms< 930 ms< 2,390 ms< 2,390 ms< 2,470 ms
read< 310 ms< 320 ms< 330 ms< 900 ms< 1,690 ms< 2,110 ms
write< 1,640 ms< 2,430 ms< 2,720 ms< 3,060 ms< 3,360 ms< 3,400 ms
cleanup-delete< 300 ms< 310 ms< 310 ms< 330 ms< 1,360 ms< 1,480 ms
dispose-deleteN/AN/AN/AN/AN/AN/A

ついでに東京も。

ID: w6 Name: s3-tokyo Current State: finished
Submitted At: 2013/12/22 4:39:57 Started At: 2013/12/22 4:39:57 Stopped At: 2013/12/22 4:41:00
more info
Final Result
General Report

Op-TypeOp-CountByte-CountAvg-ResTimeThroughputBandwidthSucc-Ratio
init-write0 ops0 BN/A0 op/s0 B/SN/A
prepare-write20 ops1.28 MB88.95 ms11.22 op/s718.29 KB/S100%
read2.83 kops181.06 MB53.83 ms94.52 op/s6.05 MB/S99.93%
write702 ops44.93 MB122.86 ms23.45 op/s1.5 MB/S100%
cleanup-delete40 ops0 B29.45 ms33.87 op/s0 B/S100%
dispose-delete0 ops0 BN/A0 op/s0 B/SN/A

ResTime (RT) Details

Op-Type60%-RT80%-RT90%-RT95%-RT99%-RT100%-RT
init-writeN/AN/AN/AN/AN/AN/A
prepare-write< 90 ms< 100 ms< 120 ms< 130 ms< 130 ms< 130 ms
read< 50 ms< 60 ms< 70 ms< 80 ms< 250 ms< 2,390 ms
write< 120 ms< 140 ms< 160 ms< 190 ms< 280 ms< 1,140 ms
cleanup-delete< 30 ms< 30 ms< 40 ms< 60 ms< 80 ms< 90 ms
dispose-deleteN/AN/AN/AN/AN/AN/A

おわりに

「パフォーマンス計測」という意味で「ベンチマーク」という言葉が使われる事自体に違和感を感じるのは私だけでしょうか。ベンチマークは比較の対象があってはじめてベンチマークであるはずなのですが、巷では比較対象がなくてもその言葉が使われることが多いようです。

本記事では巷で使われる「ベンチマーク」のほうがキャッチーで、ググラビリティ高いためにこの言葉を使いました。

投稿者 時刻: 0 件のコメント:
ラベル:

2013年12月17日火曜日

2013年のAWSアップデートを料理にたとえるという難題へのチャレンジ。

2013.12にCookpadで行われたクラウド女子会。2013年のAWSアップデート10個を料理にたとえてみました。

異論、反論があることは承知しておりますので、ぜひご意見ください。

「俺ならもっとカッコイイたとえするぜ」というシリーズもいいかもしれません。


投稿者 時刻: 0 件のコメント:
ラベル:

2013年12月5日木曜日

OpsWorksで動かすルールをvagrant+chef soloを使ってローカルでも試せるようにする

 

OpsWorksで動かすルールをvagrant+chef soloを使ってローカルでも試したい！
と思いませんか？

OpsWorksそれ自体はお金はかからないとはいえ、OpsWorksから起動されるec2と付随するいくつかのサービスにはお金がかかります。それを vagrant を使ってローカルで試行錯誤できればお金はかかりません。

OpsWorksはchefで作られていることは周知の事実です。
http://docs.aws.amazon.com/opsworks/latest/userguide/welcome.html にも以下の通り書かれています。

AWS OpsWorks uses its own Chef recipes to configure the instances on a stack. Chef Solo runs on every instance, and AWS OpsWorks sends commands to each instance to run recipes that set up, configure, and shut down the instance. You can extend these actions with your own custom recipes. You can also run your custom recipes on a specific instance or on all instances in your stack.

というわけで、ちょっとやってみましょう。

chefむけにかかれたルールはgitで管理するのが、よくある楽な方法です。そのため、一番ラクなのは「全てのシステム記述を一つのgitに書く」こと。
全てのシステム記述を同じgitに書いていれば、chef soloをopsworksの代わりに使うことでほぼテストはローカルでできる。

と、言いたいところですが、OpsWorksのGUIで設定する部分と、chef soloむけの設定には差異があるので、ちょっとしたコツが必要になります。

  1. ec2の代わりとしてvagrantの中でUbuntuを動作するようにする。
  2. OpsWorks代わりのchef solo環境をlocalに用意する
  3. 設定(site-coolbooks)はbitbucketに配置する

ここでのポイントは、手元につくったChef SoloはあくまでもOpsWorks代わりをさせるためであり、手元のChefSoloには最低限の設定ですませること。

ちなみに、bitbucketは無料でも秘密レポジトリを作れるので、OpsWorksむけにはgithubよりも楽だと思います。

これから書くことはこんなかんじ。OpsWorksの進化はきっととまらないので、今の時点での私のおすすめってことで！

vagrantのインストール

vagrantは
http://downloads.vagrantup.com/
から、自分の環境にあったものをインストール。

昔はRubyGemをつかってインストールしていたが、今は違うので素直にパッケージを使うべきでしょう。

boxでubuntuを用意

vagrant box コマンドをキメる

$ sudo vagrant box add ubuntu-1204-server  http://goo.gl/8kWkm

initしてログインしてみる

問題なくログインできるはず。

$ vagrant init ubuntu-1204-server
A `Vagrantfile` has been placed in this directory. You are now
ready to `vagrant up` your first virtual environment! Please read
the comments in the Vagrantfile as well as documentation on
`vagrantup.com` for more information on using Vagrant.

$ vagrant up
Bringing machine 'default' up with 'virtualbox' provider...
[default] Importing base box 'ubuntu-1204-server'…

$ vagrant ssh
Welcome to Ubuntu 12.04.1 LTS (GNU/Linux 3.2.0-32-generic x86_64)

ここまでできてればひとまずOK。

vagrant ssh-configの出力を .ssh/configに登録し、vagrant-ubuntuという名前でログイン可能にする

vagrant ssh-config すると、ラップしている情報を確認できるので、.ssh/configにつっこむ。ここでは hostパラメータ に vagrant-ubuntu という名前で登録しておく。

後で
ssh vagrant-ubuntu でログインできればOK。

Chef Solo環境の用意

install

どんな方法でもOKだと思う。

$ sudo gem install chef chef-solo

あたりでOK。

Chef SoloでOpsWorks代わりのレポジトリ作り

ここでのポイントは、手元につくったChef SoloはあくまでもOpsWorks代わりをさせるためであり、手元のChefSoloには最低限の設定ですませること。

まずは手元にchef soloの環境を作る。ここではcdn-dns-v2という名前。
これが大本のchef soloであり、

$ knife solo init cdn-dns-v2

つくったディレクトリに移動して

rm -rf site-cookbooks/

いったんgit登録。して、commit.

git add .
git status
git commit

設定(site-coolbooks)の用意

手元のChefSoloとOpsWorksの両方で共通で使う設定(site-cookbooks)は
bitbucketに配置させる。

まずは site-cookbooks作り。

共通で使う設定 であるため、可能な限りこのsite-cookbooksに詰め込むことになる。

knife cookbook create dnsbalance -o dnsbalance
** Creating cookbook dnsbalance
** Creating README for cookbook: dnsbalance
** Creating CHANGELOG for cookbook: dnsbalance
** Creating metadata for cookbook: dnsbalance

$ tree
.
└── dnsbalance
       └── dnsbalance
               ├── CHANGELOG.md
               ├── README.md
               ├── attributes
               ├── definitions
               ├── files
               │     └── default
               ├── libraries
               ├── metadata.rb
               ├── providers
               ├── recipes
               │     └── default.rb
               ├── resources
               └── templates
                      └── default

12 directories, 4 files

dnsbalance/dnsbalanceと、二段に深くなったディレクトリ構成だが、これはそういうもんだと諦めることにする。

共通で使う設定 であるため、可能な限りこのsite-cookbooksに詰め込むと

$ tree
.
└── dnsblance
      ├── .git/config (ここは略)
      └── dnsbalance
            ├── CHANGELOG.md
            ├── README.md
            ├── attributes
            │    └── default.rb
            ├── metadata.rb
            ├── recipes
            │    └── default.rb
            └── templates
                  └── default
                        ├── dns_balance.sbin.erb
                        ├── init.erb
                        ├── ssh-config.erb
                        ├── td-agent.conf.erb
                        └── td-agent.conf.erb~

という具合になる。このレポジトリをbitbucketに追加する。

bitbucketに登録

追加の仕方はいろいろだが、
git remote add origin ssh://git@bitbucket.org/ar1/chef-cookbook-dnsbalance.git
といった具合。このときの .git/configを抜粋すると

[remote "origin"]
        url = ssh://git@bitbucket.org/ar1/chef-cookbook-dnsbalance.git
        fetch = +refs/heads/*:refs/remotes/origin/*

親レポジトリのサブモジュールとして追加

親レポジトリ（OpsWorksの代理として動作するレポジトリ）のディレクトリに移動。
そこのトップで、
submoduleとして、追加する。

git submodule add git@bitbucket.org:ar1/chef-cookbook-dnsbalance.git site-cookbooks

その結果

$ tree
.
├── Berksfile
├── Berksfile.lock
├── cookbooks
├── data_bags
├── nodes
│   └── vagrant-ubuntu.json
├── roles
└── site-cookbooks ((ここより下が追加されている))
    └── dnsbalance
        ├── CHANGELOG.md
        ├── README.md
        ├── attributes
        │   └── default.rb
        ├── metadata.rb
        ├── recipes
        │   └── default.rb
        └── templates
            └── default
                ├── dns_balance.sbin.erb
                ├── init.erb
                ├── ssh-config.erb
                └── td-agent.conf.erb

10 directories, 12 files

という具合になる。

vagrantでつくったubuntuにデプロイさせる

run_listに追加、実行

vagrantの中にデプロイするためにrun_listに追加

cdn-dns-v2/nodes$ cat vagrant-ubuntu.json
{"run_list":[
     "dnsbalance"
]}

これを加えれば、site-cookbooksの下にあるdnsbalanceの中にある recipes/default.rb を実行させることができる。

あとは
knife solo prepare vagrant-ubuntu

  1. vagrant-ubuntuの中にchefが用意され、

後に
knife solo cook vagrant-ubuntu
を実行すれば、

  1. 親レポジトリの nodes/vagrant-ubuntu.json が読み込まれ、
  2. その結果、recipes/default.rb を実行させることができる。

submodule内容変更時にやること

submoduleで書いたコードに変更があれば

git submodule foreach 'git pull origin master'
を行う

できあがりました！あとはやるだけ！

投稿者 時刻: 0 件のコメント:
ラベル: ,

2013年8月6日火曜日

AWSバッドノウハウカンファレンスの必要性を訴えて来ました

多く人がすでにAWSクラウドデザインパターン(CDP)を活用しています。CDPこそがAWSを使う目的とまでは言わないにしても、パターンとしてまとめられた体系の上であれば安心してシステムを作れると考えている人は多いのではないでしょうか。

それが証拠に、AWSのCDP関連書籍は、Webデザインのカテゴリで１位（平成25年8月6日現在）でした。

CDPがそのwikiで整備され、公開されてから１年半近くがたちました。日進月歩のこのクラウドの世界で、CDPが生き残っていることは、CDPがそれだけ良く練られた、万人受けするものである故であることは先ず間違いないでしょう。

一方で、CDPは多くの前提知識を必要とする形でまとめられています。CDPがAWSを使う目的だとしたら、AWSを使うために勉強せざるを得なかったことは、沢山あるのではないでしょうか。それらをまとめることはCDPほどの意義はないかもしれませんが、利用者の底辺を広げ、より洗練されたCDPを生み出す原動力となると考えました。

そこで必要になるのは、キャッチーなフレーズです。私はあえて、「AWSバッドノウハウ」と呼ぶことにしました。

「バッドノウハウ」という言葉を聞いたことはあるでしょうか。だれが言い始めたかには諸説あるのですが、最初にきちっと言語化されたものは、高林氏の次の定義でしょう。

計算機を使っていると、何でこんなことを覚えないといけないのだ ろうか、とストレスを感じつつも、それを覚えないとソフトウェア を使いこなすことができないためにしぶしぶ覚えなければならない、 といった類いのノウハウは多い。そうした雑多なノウハウのことを、 本来は知りたくもないノウハウという意味で、私はバッドノウハウ と呼んでいる。

http://0xcc.net/misc/bad-knowhow.html
2003-03-30、高林哲

繰り返しになりますが、「AWSを使うために勉強せざるを得なかったこと」がバッドノウハウであるならば、それらをまとめることには価値があるでしょう。CDPとバッドノウハウの関係を絵にするとこんな具合です。

CDPばかりが注目されていますが、CDPはそれだけで成り立つものではありません。その下にはアンチパターンがあり、バッドノウハウがあり、さらに次々とあらわれるAWSのサービスやユーザの要件などの広大な海の上にある、氷山の一角といえるものです。

それらを集める一つの方法として、「AWSバッドノウハウカンファレンス（仮称）」を開催したいと思っています。現時点では思いつきの段階ですが、皆様のご協力をいただけると幸いです。また、オンラインでアイデアを集める方法も模索しようと思っています。

最後に、この記事を書いたきっかけは、JAWSUG東京が大崎のフューチャーアーキテクトさんで開催され、そのLTでした。会全体の概要はしんやさんのレポートをご覧いただくとして、私の発表について説明することにしました。何しろ今回の私の発表は資料を見ただけではさっぱりわからないので。

投稿者 時刻: 0 件のコメント:
ラベル:

2013年5月23日木曜日

AWSに関する書評：ITアーキテクトになるためのシステム設計・開発・運用 ミス撲滅ガイド

クラウドアンチパターン研究家の荒木です。ITアーキテクトになるためのシステム設計・開発・運用 ミス撲滅ガイド (日経BPムック)を購入したので、早速読んでみた。

136頁から141頁迄の間に、「【第8章】 クラウドアンチパターン」のAmazon Web Servicesの節があった。この頁の出典は2012年11月の日経SYSTEMSのものだった。

S3-backedのEC2の場合にデータが消えることがあるという記事に関しては、EBSから起動するEC2を選ぶ「EBS-backed」のEC2がデフォルトになってから随分経つのに、いったんついたイメージは消えないのだなという感想。記事中ではEBSのことも触れてはあるのだが、EBSから起動できるEC2についてはあえて触れていないように見える。

このように記事が古いだけなのか、「書きやすい」ので意図して残したのかはわからない。率直な私の感想としては、「昔のデフォルトは人々の脳裏からなかなか消えない」ということを改めて感じた。今は「あえてその設定しないかぎり関係ない」と言いたい。

ELBの増強に時間がかかるという記述は中身については私のコメントの通り、ELBの負荷急増が予測されるのであれば、サポートおよびセールスに相談していただきたい。しかしながら、急増するトラフィックのほとんどはCloudFrontやS3へのオフローディングで対応できることを実感している。良い事ずくめなので、構成の見直しを行うのがいいと思う。

本自体はさくさくと読めるものばかりだし、あちこちに散りばめられたそこは違うだろーというところもなくはないのだが、それもふくめて「議論のネタ」となるのは間違いないので、日経システムズを購読していない私のような人は一読の価値があると思う。

投稿者 時刻: 0 件のコメント:
ラベル:

2013年5月14日火曜日

CloudFrontのオリジンフェッチは10秒以内のレスポンスを期待している

まずはCloudFrontのFAQページを見てほしい。ここではそれ以外のことを。

最近立て続けに複数のルートで聞かれたCloudFrontのオリジンフェッチ（オリジンサーバーからエッジロケーションへのデータ転送）の細かな点を折角なので書いておくことにする。

ミスした場合は3回リトライする。詳細は、AWS Developer Forums: Cloudfront timeout pulling contents? ...を読んでほしいが、まとめるとこんな具合。

  • CloudFrontはオリジンサーバへのリクエストが無反応のときのために3回繰り返す。
  • 二度目，三度目のオリジンフェッチのときはIPアドレスも引き直す。サーバがDNSラウンドロビンを使っているような場合に一台死んでてもこれでカバーする。
  • オリジンサーバが何も返さないならば、CloudFrontも何も返さない。逆ににいえば、503などをオリジンサーバが返すならば、それはキャッシュされる。

レイテンシベースで誘導される。CloudFrontには世界で現在40箇所にエッジロケーションが存在する。日本では東京二箇所、大阪一箇所。場合によっては韓国ソウルやUSのエッジロケーションのほうが近いユーザもいるだろう。

キャッシュはエッジロケーション毎に共有される。エッジロケーションが違えばキャッシュは共有されない。厳密なことを言えば、エッジロケーション内で一定時間内にキャッシュが掘り起こせないときはオリジンフェッチを行う。一旦エッジロケーションにキャッシュされればほぼ待たされることなく共有される。

質問は随時。

投稿者 時刻: 0 件のコメント:
ラベル: ,
登録: 投稿 (Atom)