詳解Hadoop2.7.2 編譯64位源碼_相關技巧

來源:腳本之家  責任編輯:小易  

分布式實時計算系統 Apache StormApache Storm 的前身是 Twitter Storm 平臺,目前已經歸于 Apache 基金會管轄。 Apache Storm 是一個免費開源的分布式實時計算系統。簡化了流數據的可靠處理,像 Hadoop 一樣實現實時批處理。Storm 很簡單,可用于任意編程語言。Apache Storm 采用 Clojur..www.13333515.buzz防采集請勿采集本網。

一、環境準備

1.CentOS配置

我看我同事購買了,看起來還不錯。 14 《征服Ajax Web2.0開發技術詳解》     適合對象:中級,高級     介紹:軟件工程的理想編碼是需要無數人編出

最好是用新克隆的虛擬機 ,虛擬機內存設置大一點(我設置的4G),配置網絡,主機名,關閉防火墻,關閉selinux

如果你用hadoop的話,用java來編。如果是多核的話,有開源是C的。 MapReduce倒排已經有人做了吧,你可以查查開源項目 joycrawler,記得好象他們用過。。。

注意:采用root角色編譯,減少文件夾權限出現問題

羨慕,我是學Python的,沒有java的優勢, ,Hadoop和mapreduce都是用java編的,這兩個深入學習一下,如何架構,常用的聚類和分類算法深入學習一下,有余力的話學習spark,spark是

2.jar包準備(hadoop源碼、JDK8、maven、ant 、protobuf)

編解碼,深度學習等特定專業領域的應用。 Intel Xeon E5-2680 v3(Haswell)處理器 2.5GH 中大型 Web 服務器(高并發); 利用 CPU 進行高精度編解碼,渲染,基因計算; Hadoop 集群

(1)hadoop-2.7.2-src.tar.gz

(7) 【音/視頻領域】熟悉H.264等視頻編解碼標準和FFMPEG,熟悉rtmp等流媒體傳輸協 (1) 熟悉Hadoop/Hive以及Map-Reduce計算模式,熟悉Spark、Shark等尤佳; (2) 大數據挖

(2)jdk-8u144-linux-x64.tar.gz

2. 研究并使用大數據相關的技術用于解決海量日志的分析,將數據存儲到hadoop平臺,然 我們真的不在乎,我們想看到的是”逛技術論壇,讀《Java基礎入門》“(我編的)。而至于

(3)apache-ant-1.9.9-bin.tar.gz(build工具,打包用的)

如針對教育行業提供媒體云方案,提升傳統教育行業在線視頻的編解碼能力;針對網站站 發展歷史:2003分布式搜索系統;2008Hadoop分布式計算系統上線;2009分布式網頁庫存

(4)apache-maven-3.0.5-bin.tar.gz

機器學習,可以看下西線學院的課程,有公開課。 第二步:編代碼 如果希望擁有專業水準的 第五步:大數據 大數據是未來的必然趨勢,而大數據技術的類型也是多種多樣,hadoop,ma

(5)protobuf-2.5.0.tar.gz(序列化的框架)

3.jar包安裝(注意:所有操作必須在root用戶下完成)

JDK

1.解壓

tar -zxf jdk-8u141-linux-x64.tar.gz -C /export/compile

2.配置環境變量

vim /etc/profileexport JAVA_HOME=/export/compile/jdk1.8.0_141export PATH=$PATH:$JAVA_HOME/bin

3.更新profile文件

source /etc/profile

4.驗證安裝是否成功

驗證命令:jps  出現jps進程表示安裝配置成功

2.Maven

1.解壓&重命名

tar -zxf apache-maven-3.0.5-bin.tar.gz -C /export/compilemv /export/compile/apache-maven-3.0.5-bin.tar.gz /export/compile/maven

2.修改配置文件

vim /export/compile/maven/conf/settings.xml

添加阿里云鏡像地址:

<mirrors> <mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public</url> </mirror></mirrors>

3.配置環境變量

vim /etc/profileexport MAVEN_HOME=/export/compile/mavenexport PATH=$PATH:$MAVEN_HOME/bin

4.更新profile文件

source /etc/profile

5.驗證安裝是否成功

驗證命令:mvn -version   出現版本信息表示安裝成功

3.ant

1.解壓&重命名

tar -zxf apache-ant-1.9.9-bin.tar.gz -C /export/compilemv apache-ant-1.9.9 ant

2.配置環境變量

vim /etc/profileexport ANT_HOME=/export/compile/antexport PATH=$PATH:$ANT_HOME/bin

3.更新profile文件

source /etc/profile

4.驗證安裝是否成功

驗證命令:ant -version   出現版本信息表示安裝成功

4.glibc-headers

yum -y install glibc-headersyum -y install gcc-c++

5.make和cmake

yum -y install makeyum -y install cmake

6.protobuf

1.解壓&重命名&進入protobuf根目錄

tar -zxf protobuf-2.5.0.tar.gz -C /export/compilemv protobuf-2.5.0/ protobufcd /export/compile/protobuf

2.依次執行如下命令

1 ./configure

2 make

3 make check

4 make install

5 ldconfig

3.配置環境變量

vim /etc/profileexport LD_LIBRARY_PATH=/export/compile/protobufexport PATH=$PATH:$LD_LIBRARY_PATH

4.更新profile文件

source /etc/profile

5.驗證安裝是否成功

驗證命令:protoc --version  出現版本信息表示安裝成功

7.安裝openssl庫

yum -y install openssl-devel

8.安裝 ncurses-devel庫

yum -y install ncurses-devel

二、編譯源碼

1.解壓

tar -zxf hadoop-2.7.2-src.tar.gz -C /export/compile

2.進入hadoop源碼主目錄

/export/compile/hadoop-2.7.2-src

3.通過maven執行編譯命令

mvn package -Pdist,native -DskipTests -Dtar

4.然后就是漫長的等待...(大約等待時間30分鐘左右,最終成功是全部SUCCESS,如下圖所示)

5.成功的64位hadoop包在/export/compile/hadoop-2.7.2-src/hadoop-dist/target目錄下

三、編譯源碼過程中常見的問題及解決方案

(1)MAVEN install時候JVM內存溢出

原因以及處理方式:在環境配置文件和maven的執行文件均可調整MAVEN_OPT的heap大小。

(詳情查閱MAVEN 編譯 JVM調優問題,如:http://outofmemory.cn/code-snippet/12652/maven-outofmemoryerror-method

(2)編譯期間maven報錯

原因以及處理方式:可能網絡阻塞問題導致依賴庫下載不完整導致,多次執行命令(一次通過比較難):

mvn package -Pdist,nativeN -DskipTests -Dtar

(3)報ant、protobuf等錯誤

原因以及處理方式:插件下載未完整或者插件版本問題,最開始鏈接有較多特殊情況。

總結

到此這篇關于Hadoop2.7.2 編譯64位源碼的文章就介紹到這了,更多相關Hadoop 編譯源碼內容請搜索真格學網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持真格學網!

1,在hadoop包中的hadoop-2.6.0->share->hadoop->mapreduce中的hadoop-mapreduce-examples 2.6.0.jar2,運行命令hadoop jar share/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /input/ /output/wordcount就可以了,其中的input和output是存放計算文件的文件夾內容來自www.13333515.buzz請勿采集。


  • 本文相關:
  • 基于 zookeeper 搭建 hadoop 高可用集群 的教程圖解
  • hadoop的安裝與環境搭建教程圖解
  • ubantu 16.4下hadoop完全分布式搭建實戰教程
  • 在centos中搭建hadoop的詳細步驟
  • git如何刪除歷史記錄中的大文件詳解
  • 程序員學英語的一個方法
  • 重裝win10系統超詳細的圖文教程(適用所有windows系統)
  • git標簽管理
  • vs快捷鍵 用好ctrl+enter與ctrl+shift+enter組合鍵讓你的編輯代碼
  • select下拉菜單實現二級聯動效果
  • 快速解決eclipse中注釋的代碼依然會執行的問題
  • 簡單談談git中的回滾操作
  • git 教程之查看提交歷史詳解
  • textarea 在ie和ff下換行無法正常顯示的解決方法
  • hadoop 2.6.0 wordcount 例子在哪
  • 誰來編個開源版的“Visual Lisp 開發小助手“
  • PHP實現的大文件切割與合并功能示例
  • 如何自己開發一套服務器管理系統
  • java入門書籍推薦
  • mapreduce編程是用JAVA語言編程嗎?想用mapreduce實現倒排...
  • 我是學Java的,想嘗試大數據和數據挖掘,該怎么規劃學習
  • 阿里云的實例規格族是什么
  • 算法工程師應該學哪些
  • 應聘互聯網公司的簡歷應該是怎么樣的?
  • 百度云是什么有什么用
  • 如何成為一個數據分析師?需要具備哪些技能
  • 英特爾正在研發什么系技術
  • 網站首頁網頁制作腳本下載服務器操作系統網站運營平面設計媒體動畫電腦基礎硬件教程網絡安全javascriptasp.netphp編程ajax相關正則表達式asp編程jsp編程編程10000問css/htmlflex腳本加解密web2.0xml/rss網頁編輯器相關技巧安全相關網頁播放器其它綜合dart首頁相關技巧基于 zookeeper 搭建 hadoop 高可用集群 的教程圖解hadoop的安裝與環境搭建教程圖解ubantu 16.4下hadoop完全分布式搭建實戰教程在centos中搭建hadoop的詳細步驟git如何刪除歷史記錄中的大文件詳解程序員學英語的一個方法重裝win10系統超詳細的圖文教程(適用所有windows系統)git標簽管理vs快捷鍵 用好ctrl+enter與ctrl+shift+enter組合鍵讓你的編輯代碼select下拉菜單實現二級聯動效果快速解決eclipse中注釋的代碼依然會執行的問題簡單談談git中的回滾操作git 教程之查看提交歷史詳解textarea 在ie和ff下換行無法正常顯示的解決方法2019最新的pycharm激活碼(推薦)進制轉換算法原理(二進制 八進制eclipse 格式化代碼時不換行與自微信小程序設置http請求的步驟詳幾款開源的中文分詞系統十進制負數轉換為二進制、八進制從console.log說起(console.log詳url 長度有限制嗎?git 撤銷操作、刪除文件和恢復文git 教程之工作流程詳解2018年github賬戶注冊圖文教程(github從注matlab 生成.bmp格式的文件對web開發人員有用的8個網站小結算法系列15天速成 第八天 線性表【下】zend studio 快捷鍵收集變量、函數、類的命名規則在vscode中如何配置python開發環境高性能web開發 web性能測試工具推薦php和asp利用shell.application來執行程序
    免責聲明 - 關于我們 - 聯系我們 - 廣告聯系 - 友情鏈接 - 幫助中心 - 頻道導航
    Copyright © 2017 www.13333515.buzz All Rights Reserved
    3排列五开奖结果