Friday, September 21, 2012

Native Hadoop Library が読み込まれない

Hadoop で Job を動かしていたら以下のような 見慣れない Warning が ....

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
WARN snappy.LoadSnappy: Snappy native library not loaded

Native Hadoop Library (hadoop-0.20-native@cloudera-cdh3) も入れてあるし何でだろうと思ったら ....

% yum list installed | grep hadoop-0.20-native
hadoop-0.20-native.x86_64            0.20.2+923.418-1             @cloudera-cdh3

なんと 64bit マシンに JDK(32bit) で Hadoop 動かしてました。JDK(64bit) を入れなおして解決しました。

INFO util.NativeCodeLoader: Loaded the native-hadoop library
INFO snappy.LoadSnappy: Snappy native library loaded