YLUGカーネル読書会に初参加してきた

昨日、YLUGカーネル読書会 @ミラクル・リナックスに初参加してきた。
カーネル読書会にかぎらず、勉強会系イベントへの初参加。
リアルで面識のある人もいなくて
しかも定員オーバーなところにヘッドスライディングしているらしく
ちゃんと参加できるだろうか、と、若干心配しながらの会場入りだった。

今回のお題は、Hadoop。
Googleの基盤技術になっている大規模分散システムの
オープンソースクローンについて。
ちょっと前に、MapReduceの仕組みに興味をもって
Googleの MapReduceの paperを読んでみたり
「Googleを支える技術」を読み進めている中での
今回の読書会だったので、迷わず参加した。
（まぁ気づいた時点で定員オーバーしてたから、迷ってるヒマなんてなかったんだけど。前進あるのみ。）

と、ここまで書いて、こどもが泣き始めたので、中断＞＜
のちほどつづきを書きます。

カーネル読書会 初参加にいたる経緯

というわけで、続き。

懇親会でも、まともに自己紹介できなかったように思うし
自分もよく忘れるし、ということで
せっかくだから、今回の参加に至る経緯を書いておこうと思う。

今年の春頃から「Linuxデバドラを書くぞ」と思って
Linux関係でいろいろ調べて、横浜Linuxユーザグループ(YLUG)を知る。
あと、ときどきカーネル読書会が開催されている、ということも知る。

Googleのバックエンドは MapReduceという仕組みで動いてるんだー、と
このエントリーを読んで知る。
MapReduce - naoyaのはてなダイアリー

MapReduceの仕組みをもう少し詳しく知りたくなったので
続けて Googleの paperを、図を中心に読んでみた。
http://labs.google.com/papers/mapreduce.html

そして、オープンソースクローンの Hadoopというのがあるらしい、と知る。
（今回カーネル読書会で発表されている kzkさんによる
　CodeZineへの連載記事）
http://codezine.jp/a/article/aid/2448.aspx

Google基盤技術の本、話題になってるみたいだし読んでみるかー、と、
6/28に買って、ぼちぼち読み進めていた。

Googleを支える技術 ?巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ)

twitterの 6/29の id:hyoshiokさん発言で、カーネル読書会開催を知る。
http://twitter.com/hyoshiok/statuses/846170627

しかし開催を知ったのが、告知の翌日 6/30、
保存していた twitterタイムラインを追ってるときで
既に定員に達していることを知る＞＜
しかし、登録を諦める理由を思いつかなかったので
迷わず登録した。

で、7/4、無事に参加をキメた！
（登録には迷わなかったものの、普段から道に迷うことは多く
　この日もなぜか道には迷った＞＜ ）

Hadoopのお話、メモ

初参加ということで、ちょっとそわそわしてしまったので
（あ、あと道に迷ってしまったのも影響しているか...）
メモを取りこぼし気味ではあったのだけど
kzkさんの CodeZine連載記事などで予習したことを
追っていく感じで聞けたように思う。

で、きっとどこかに発表会資料がアップされるはず！と思っているので
アップされたらリンクを貼ることにする、、。
Googleの話と Hadoopの話が混ざりそうな気もするし。

おもしろいな、と思ったのが、Googleも必ずしも、完全な理論を構築してすべてのシステムを設計しているわけではない、というお話。
先頭を走って、道を切り拓いているのだな、と。

それから、Googleが扱うデータ量のお話で
入力データ 52ペタバイトに対して 2ペタバイト出力するペースで
MapReduce処理をおこなっている、ということで
具体的な数字が出てくると、普段は無限のように感じているネット上のデータ量も
なんだかんだいって有限なんだな、という感覚を持てた。
もちろんペタバイトなんてデータ量はべらぼうなんだけど、決して無限ではない。

実際に Hadoopのソースを深追いしないと、どういう仕組みになっているかほんとうのところは理解できない。
Hadoopは Javaで実装されている。
Javaはほとんど経験がないんだけど
sh, C/C++, Ruby, Pythonなんか制御できるそうなので
できるところから制御してみるしかないか。

とにかく、大規模分散ファイルシステムの複雑な処理を
ユーザが意識しないで済む（簡単なコマンドで操作できる）仕組みになってるのが、すごいな。
Facebookのバックエンドなんかに Hadoopが使われているらしいけど
これからどんなところに適用されていくのか、ウォッチしたい。

懇親会

お題が終わったあとは、ピザとビールで懇親会。
かなりドキドキ。
自分のセキュリティホールを突かれてハックされて
立ち直れなくなるのではないか？という意味のわからないことが頭をよぎったりもしつつ
近くにいる方に声をかけながら、少しずつ交流してみた。
意外と「はじめての参加です」って方もいらっしゃって
（はじめてには全然見えなかった、、）
よいよ、よいよ、とても楽しむことができた。

バリバリとカーネルのパッチを書いて送っている方とか
ext3ファイルシステムのジャーナリングのこととか
デバドラを変更していくのはとても骨が折れる、とか
メーリングリストのメールのウォッチする工夫とか
コアな活動をされている方の、面白い話を聞くこともできた。
やっぱ、すごいな。

会も終盤になって、id:hyoshiokさんとも少しお話をすることができて
tokyo-emacsに自分のところの新人を送り込みたい、とかのお話ができた。

あと、twitter率も高くて、名刺交換はなかったものの
twitter id交換会(?) などをした。
(なんか不思議な感じだったなぁ）
はてなと twitterがあればやっていけるかも？と思った。

初参加を終えて、
「すごい人がいっぱいいるけど、気後れせず、どんどん頑張っていこう！」
と、参加する前に比べて、気持ちのギアが一段シフトアップしたように思う。
というわけでデバドラ書こう。がんばろう、っと。
また次も参加したいです。

追記 動画がアップされていますね

YLUG 第88回カーネル読書会 Googleの基盤クローンHadoopについて - ニコニコ動画