[Hadoop][MapR]MapR(GreenPlumHD)の中身説明会に参加してきました。

今日はMapR(GreenPlumHD)の中身説明会に参加してきました。
感想です。
 >http://www.zusaar.com/event/198012

タグは#asakusamaprです。


やった内容はMapRの実装とか、本当の中身の話ではなく、
MapRの機能についての説明です。

こちらのブログにある図と同じ図が描かれたスライドと
デモを使いながらの説明です。

 >インサイド MapR (1) (Hadoop アドベントカレンダー 2011 16日目) - nagix
 >http://d.hatena.ne.jp/nagixx/20111216/1324006829

上のブログにないこととしては、

①ダッシュボード
各ノードのステータス(起動・停止)の変更・確認や
Jobの進捗(JobTrackerのWebUIを拡張したもの)がみれます。
また、ノードに異常があったとき、メールなどで通知することも可能。

また性能の観点から、
各ノードのCPU、メモリ、ディスク使用量が分かります。

またgangliaと連携してMapR独自のメトリクスを読み込ませ、
gangliaに表示させることができます。

私個人としては、
落ちた原因が分からないのがちょっと残念。


②マウントしたら、思ったより使い勝手がよさそう
MapRはNFSにマウントできます。
までは知ってしましたが、
デモでマウントしたら普通のFSと代わらず操作できてました!

hadoop fs -lsとか打ったら1,2秒待たされるのに、
マウントしてlsしたらすぐリストが帰ってきた。
しかもその後viでいじっている!

これは楽しくなりますね。


③信頼性
出てきた質問ですが、
MapRをどこまで信頼していいのか、根拠に関する話があがりました。
商用で実際に使うことを視野に入れた深い質問です。

具体的には、
Q:QAプロセスや実施した試験の公開はあるか?
  それらがあれば、説明がしやすい。
A:(英語で分かりませんでした。。。)
  あまりストレートには答えてもらえなかったようですが。

Q:MapRの使いやすさだと、直接MapRにデータをおきたくなるが、
 大丈夫か?
A:大丈夫だ!!問題ない。
  いや根拠は。。。

MapRに限らずHDFSなどでも言える事だとは思いますが、
実績の少ない若いプロダクトは、
どこまで信用していいのか、客観的に考える必要があると気づかされました。

[teraterm]ログインマクロ内の共通部分を集約する

teratermをつかうならログインマクロは必須。

しかし、
踏み台を経由してログインするマシンが複数ある場合、

 「踏み台サーバへのログイン」

という共通的な部分が

いくつものログインマクロファイルに分かれてしまい、
あとでの修正が非常に面倒なことになる。


そんなときはteratermマクロのincludeコマンドを使えばよい。


例えばこんなかんじ。

;踏み台サーバへのログイン
include 'C:\***\login.ttl'

;踏み台⇒対象サーバへのログイン
msg = hostname
strconcat msg ':22 /ssh /auth=password /user='
strconcat msg username
strconcat msg ' /passwd='
strconcat msg pass

connect msg



このincludeコマンドで呼び出されたttlファイル内で
定義している変数は呼び出しもとのマクロに引き継がれるので、
例えば、こんな使い方もできる。


;対象サーバの情報(hostname、username、password)を読み込む
include 'C:\***\login.ttl'

;踏み台⇒対象サーバへのログイン
msg = hostname
strconcat msg ':22 /ssh /auth=password /user='
strconcat msg username
strconcat msg ' /passwd='
strconcat msg pass

connect msg


注意点は、
呼び出したいttlファイルのパスを相対パスで書くと
 ttlmacro.exeのあるディレクトリからの相対パスになる
ということ。

絶対パスで指定するのが無難です。
いやなら、setdirコマンドを使い、
マクロを実行しているカレントディレクトリを変更すること。



参考:
TTL コマンドリファレンス
http://ttssh2.sourceforge.jp/manual/ja/macro/command/index.html

[evernote][twitter][hatena]ツイッターをベースにevernoteへ集約

最近、

お気に入りの情報収集方法が私の中で確立した。

 

twitterで他の人がつぶやいていた内容(※)を残しておきたい場合は、

そのつぶやきをコメントつきでリツイート。

そのリツイートが自動ではてなブックマークに登録され、

その後hatebte経由でevernoteに自動で登録される。

 (※)はてなブックマークを利用するため、URLつきに限る。

twitter → はてなブックマーク →(hatebte)→ evernote

 

逆に、自分で見つけたサイトを残しておきたい場合は、

はてなブックマークに登録。

同じくhatebte経由でevernoteに自動で登録される。

私は同時にtwitterで情報を展開していたいので、登録後twitterでつぶやくオプションをONにしている。

 はてなブックマーク →(hatebte)→ evernote

  ↓

 twitter

 

以下は参考にした本(amazon EVERNOTE 情報整理術 北真也著)。 

EVERNOTE 情報整理術 (デジタル仕事術)