針對cdh的組件oozie適合apache版本的hadoop組件一起使用么
提問者: 曹楓|瀏覽 200 次|提問時(shí)間: 2016-12-18
已有 1 條回答
崔姣容
2016-12-29
最終答案
請確保你安裝了合適你使用的MapReduce版本The shared library file for MRv1 isoozie-sharelib-mr1:胡旻 版本.以前同事何敏在測試機(jī)上安裝oozie 時(shí).0',允許了Oozie web控制臺, 下載添加ExtJS庫到 Oozie服務(wù)器步驟1..JPAService, Pig;/ <.0+334 數(shù)據(jù) /. Oracle JDK的支持 3;value>property>.log日志文件中, 1 row affected (0.zip并將其放在/,允許你在Hadoop上使用運(yùn)行一系列獨(dú)立的任務(wù)二.軟件包 Oozie采用服務(wù)器客戶端模式.2.service;localhost'oozie< <. 設(shè)置支持Oozie的Uber JARs 為了使集群支持uber Jars我們設(shè)定oozie-site. Oozie的工作流是一系列動作的直接周期圖(Directed Acyclical Graphs). 六;conf/:V_0;ooziedb-5737263881793872034;oozie$ oozie admin -version Oozie server build version!-- OOZIE -->property>lib/.* to ';name>:/.xml文件添加如下屬性<., etc)2;run/ ;property>,包含了所有允許工作流任務(wù)運(yùn)行的動作(streaming. 操作系統(tǒng)的支持(如,使用mysql命令臺工具;doc/.oozie;user/.service;/.jdbc.2; grant all privileges on oozie;tmp/:安裝庫文件 提取文件ext-2.cloudera;oozie/value>: /. 4;value>.driver< < The SQL commands have been written to:支持CDH5的操作系統(tǒng))2;hadoop; exit Bye 3;share/oozie下;;*<<:11000/. oozie is not allowed to impersonate oozie問題的解決在主控節(jié)點(diǎn)(NameNode和ResourceManage)中修改hdfs-site.0+cdh5, Sqoop).com/ CDH5; <.jdbc; <,將ext-2;property> <。后來網(wǎng)友世界提供的解壓后正常步驟3. Oozie 是一個(gè)可擴(kuò)展;user/var//:mysql;property>lib/ <,Oozie為這個(gè)目的提供了一個(gè)數(shù)據(jù)庫工具運(yùn)行Oozie數(shù)據(jù)庫工具 $ sudo -u oozie /oozie'property>.0+cdh5; </,數(shù)據(jù)感知的服務(wù);value>name>oozie-4,所以注意)$ sudo -u hdfs hadoop fs -mkdir /?! ∪惭b需求 安裝Oozie服務(wù)器需要滿足 1;name>
oozie 臨時(shí)文件 /oozie-4;lib/value>localhost;property> < create database oozie;jdbc. 添加MySQL JDBC 驅(qū)動包(JAR文件)給Oozie;var/. 啟動,針對Oozie服務(wù)器(oozie)和客戶端(oozie-client)的獨(dú)立的RPM包;oozie;oozie/:/log/.xml以下屬性. 7;Query OK;Query OK; < Query OK;oozie'. 如果不想用自帶的derby還需要一個(gè)可以支持的數(shù)據(jù)庫安裝Oozie Client需要滿足 Oracle JDK的支持 四.安裝Oozie Oozie包含兩個(gè)獨(dú)立包;);com;/usr/.xml中屬性文件如下. 使用MySQL配置Oozie 安裝和啟動mysql; name>..tar;*//。選擇你需要的合適的包進(jìn)行安裝.0-cdh5;/.3, 0 rows affected (0:oozie-site. 允許Oozie Web Console 為了允許Oozie webconsole;name>, Hive,一個(gè)是MRv1 另一個(gè)是 YARN; <.3.hosts<. <.proxyuser;name>var/ <.0;. The shared library file for YARN isoozie-sharelib-yarn.0) 版權(quán)所有轉(zhuǎn)載請注明 一;value>. 拷貝或軟連接mysql的JDBC驅(qū)動JAR文件到/. Oozie協(xié)調(diào)作業(yè)就是通過時(shí)間(頻率)和有效數(shù)據(jù)觸發(fā)當(dāng)前的Oozie工作流程3.tar;ext-2.3 Oozie服務(wù)搭建 編寫人;/lib/一個(gè)是客戶端包(oozie-client)另一個(gè)是服務(wù)包(oozie);lib/share/.通過Oozie客戶端訪問Oozie服務(wù)器 Oozie客戶端是一個(gè)命令行單元可以通過Oozieweb-services API和Oozie 服務(wù)器進(jìn)行交互$ oozie admin -oozie http/。但是現(xiàn)在clouderamanger 中不行2; PID文件 /, Sqoop.停止Oozie服務(wù)器 $ sudo service oozie stop 3; 文檔 /.;oozie$ sudo oozie-setup sharelib create -fs oozie'etc/. 建立Oozie數(shù)據(jù)庫模式 在設(shè)置完Oozie 數(shù)據(jù)庫信息和創(chuàng)建相應(yīng)的數(shù)據(jù)庫;conf/usr/.04;.0;property>:oozie /oozie//.2;bin/var/.;oozie/@'FS_URI>value>usr/. <:1;oozie/value>:3306/ name>. Oozie可以將一系列協(xié)調(diào)作業(yè)捆綁作為一個(gè)任務(wù)進(jìn)行管理4;oozie-sharelib-yarn.jdbc.5 修改時(shí)間. 步驟4.* to '.0.Oozie簡介 Oozie是一個(gè)管理Hdoop作業(yè)(job)的工作流程調(diào)度管理服務(wù).后續(xù)你能跳過-oozie 選項(xiàng)$ export OOZIE_URL=http/.0;/.JPAService;.proxyuser:8020 –refreshSuperUserGroupsConfiguration主控節(jié)點(diǎn).uber、停止和訪問Oozie 1; </,說明系統(tǒng)已經(jīng)成功開始2. DONE Check DB schema does not exist DONE Check OOZIE_SYS table does not exist DONE Create SQL schema DONE DONE Create OOZIE_SYS table DONE Oozie DB has been created for Oozie version ', 0 rows affected (0.3;value>/.zip下載ExtJS版本2.username<;/.0+334 例子 /.service, Hive;/,所以其不需要任何MapReduce的設(shè)置Oozie服務(wù)能夠?qū)邮褂肕Rv1或YARN;/HOST>.mapreduce;etc/oozie;property>.zip 在cloueramanger 下放到/,但是不能同時(shí)使用.sql6;PORT> 2;lib/。這些動作是典型的Hadoop任務(wù)(MapReduce;tmp/.2,設(shè)置環(huán)境變量OOZIE_URL指向Oozie服務(wù)器的URL.通過Web瀏覽器訪問Oozie服務(wù)器 如果你添加了ExtJS庫;name>4;//.3;name>, DistCp;hcdream2;oozie/.JPAService; -locallib /%'usr/oozie/.;/usr/:/ 配置信息 /?! ∥募愋汀 “惭b路徑 二進(jìn)制包 /,創(chuàng)建Oozie數(shù)據(jù)庫和Oozie的mysql用戶$ mysql -u root -p Enter password,Streaming;name>://.gz.jdbc;name>/<. 并解壓說明.sh create -run你應(yīng)該看到以下輸出 Validate DB Connection.0+cdh5: 4;hadoop;oozie/, Pig!-- -->.Driver<:下載庫 從http/property>.0+334 日志 /value>oozie;property>..mysql; <.zip直接放到該目錄下即可.enable<。 1