重複排除 for S3

@w_katsuraさんによる重複排除 技術解説 重複排除の単位 - Wataru’s Blog http://t.co/zvWKiqO

これがとてもすばらしいので一読おすすめ。

http://www.opendedup.org/ といったオソ実装も最近あるようなのだ.

この絵。。モロにS3が書いてある。

S3をmountしたいという声は頻繁に聞く。しかしながらS3にPOSIX的な情報をもたせるのはどうにもスジがわるいし、大丈夫だな、という実装にであったことがない。

どうせやるなら、dedupeまでやってしまうほうが潔いかもしれない。S3ChunkStoreというあたりがキモな気がする。