ついったオープンハウスちょうおもしろかった。頑張って雨風しのぎ歩いたかいがありました。しかし肝心なおもしろばなしが全然ついーとされてない。きみたち・・・
http://togetter.com/li/283056

Rob Benson という割とエラ目のエンジニアの人がついったの構成について話しており、大変興味深かった。だいぶ分散計算ワナビー力が回復した。+Taro Minowa と山本さんの話もおもしろかったけれどそのへんは上のにまとまってるのでそれは省略しつつ Benson ディレクターの話を書いてみる。


https://twitter.com/#!/rgbenson
http://www.linkedin.com/pub/rob-benson/1/445/43a

でかい計算資源を持っている検索の会社も SNS の会社もクラスタマネジメントについては割と口が堅いのだが、Benson ディレクターの話はそのへんがメインというかハイライトだった。 http://incubator.apache.org/mesos/ というのをつかってるという話で、これはもともとバークレイとかあのへんで開発されたもの。 Scala で書かれてるというのでコードを見たら足回りが C++ でがっかりした記憶がある。バークレイのプロジェクトじゃないの?と聞いたら引っ張ってきて使ってるとのこと。

http://engineering.twitter.com/2011/06/join-flock.html
Mesos つかってる話はここににちらっと書いてるね
http://wiki.apache.org/incubator/MesosProposal
Facebook でも試用中みたいな話も。

こいつと ZooKeeper の service discovery があれば負荷のスパイクが来ても楽勝だぜ、という風になってきているが、ロードに応じたスケール具合は人間が見張って調整してるぜ、みたいな話だった。おもしろい。VM の会社から来た人だけあってこのへんはこだわりゾーンなんだろうね。service discovery なんかは finagle のレイヤで適当にちょろまかせそうでいい感じだ。

ストレージスタックはこの Mesos クラスタとは別に管理していて(たぶん Hadoop のクラスタも別)、そういうクラスタからは Proxy (Gizzard) を介して叩くようにしてるのよ、と言っていた。


あとストレージは timeline, tweet, social, user の4つにざっくり分けてあるというので、サービスでデータ足したいときはどうするのかと聞いたらデータは Thrift だからスキーマいじれば良いのだそうな。あんましテーブル足したりとかはしないのかもしんない。Thrift だとインデクス貼れないんじゃ?聞くとそれは別枠でインデクスを持ってるとのこと。なんか昔 MySQL と JSON で Friendfeed のストレージつくるみたいな話があったけど、そういうノリですね。そして Thrift 案外使われてんだなー。protobuf は C++ メイン感が拭えんからか・・・。あとは Timeline とかのホットなデータとかプロトタイプ時のデータは Redis なんかのオンメモリDBに持ってるという話もしており、最近はほんとメモリケチらない時代なのだなあ、などと思った。DB はなんか新しいの作ってると言ってた気も。

そんなかんじで今や検索よりついったのアーキテクチャの方が詳しいぜ!的気分。いや気のせいだと思うけどさすがに・・・。検索の会社と違いサービスがシンプルというか一つなので話を聞いてわかった気になりやすいというのはあるかもしれない。

野次馬的でないところでは、僕は ZooKeeper とかあの手の奴の使い道がちょっとわかったのは収穫だった。いや、いまいち何に使うのかわかってなかったんですよね使ってる人にとっては常識なんでしょうが・・・。

そして話の途中で「ここは検索の会社だと XXX というのがあるけどついったでは YYY をつかってます」みたいなことをしれっと言っており、西海岸ではヤメグラー達によって検索会社内製テクノロジーがある種の常識になっている様子がうかがえた。きみたち・・・ (なお rgbenson さんはやめぐらーではありません。)

kzys についった入社を強く勧めたのち帰宅。
Shared publiclyView activity