Z uwagi że domyślna instalacja Hadoop nie zawiera bibliotek dla Windows, aby móc pracować w tym systemie operacyjnym trzeba najlepiej samemu wykonać kompilację Hadoopa ze źródeł. Poniżej prezentuję kroki aby to osiągnąć:
1. Pobrać plik ze strony dystrybucyjnej i rozpakować np. do ścieżki c:\hadoop-src
http://ftp.piotrkosoft.net/pub/mirrors/ftp.apache.org/hadoop/common/hadoop-2.3.0/hadoop-2.3.0-src.tar.gz
2. Zainstalować Windows SDK 2010 - (Microsoft Visual Studio 2010 PRofesional)
Można pobrać z http://download.cnet.com/Microsoft-Visual-Studio-2010-Professional/3000-2212_4-10618634.html
5. JDK 1.6+
Pobrać i zainstalować
3. Cygwin - http://www.cygwin.com/
Pobrać i zainstalować
4. Protocol buffer - https://code.google.com/p/protobuf/
Pobrać i dodać do zmiennej systemowej PATH
6. Maven - http://maven.apache.org/
Pobrać i dodać do zmiennej systemowej PATH
6. Ustawić zmienną systemową SET JAVA_HOME=<ścieżka do JDK>
7. Ustawić zmienną systemową SET PLATFORM=Win32
8. Uruchomić Command Line najlepiej z uprawnieniami administratora
9. Uruchomić skrypt C:\Program Files\Microsoft Visual Studio 10.0\VC>vcvarsall.bat
10. Przy kompilacji pod 32 bitowy system Windows występuje znany problem opisany na Jira
https://issues.apache.org/jira/browse/HADOOP-10144
https://issues.apache.org/jira/browse/HADOOP-9922
Aby go rozwiązać należy wykonać edycję plików z projektu hadoop-common:
src/main/native/native.sln - edycja 4 linii konfiguracja Win32
src/main/native/native.vcxproj - dodanie 4 sekcji z konfiguracja Win32
To co należy wkleić dostępne jest w Patchu 9922 - https://issues.apache.org/jira/secure/attachment/12600760/HADOOP-9922.patch
11. Zbudować dystrybucję mvn package -Pdist,native-win -Dtar -DskipTests
Uruchomić ze ścieżki c:\hadoop-src lub innej gdzie rozpakowaliśmy źródła. Przy budowie najlepiej pominąć wykonanie testów jednostkowych, ponieważ wydłuży to czas oczekiwania. Po upływie kilkunastu lub kilkudziesięciu minut Hadoop powinien być skompilowany i gotowy do instalacji
Brak komentarzy:
Prześlij komentarz