本文主要介紹udf hive(hiveudtf函數(shù)的詳細(xì)解釋)，下面一起看看udf hive(hiveudtf函數(shù)的詳細(xì)解釋)相關(guān)資訊。
backgroundadd在:查詢(xún)id = hive _ 20211026010225 _ 545899 e7-7 afa-4b 5c-b7 db-fd 71565 a89 c 6 info :總作業(yè)數(shù)= 1 info :正在啟動(dòng)作業(yè)1/1 info :正在啟動(dòng)串行模式中的任務(wù)[stage-1 : pr:未指定reduc: 197 info :為了改變減速器的平均負(fù)載(以字節(jié)為單位): set hive . exec . reducers . bytes . per . reduc:為了限制減速器的最大數(shù)量echo 0-@ 。com info :設(shè)置hive . exec . reduc:為了設(shè)置一個(gè)常量的reducer scho 0-@ . com info : se t mapreduce . job . reduc:清理暫存區(qū)/us:作業(yè)提交失敗，出現(xiàn)異常。;java.io.filenotfoundexc:/disk1/hive/下載/tools-1.0.jar不exist);java.io.filenotfoundexc:文件fil:/disk1/hive/download/工具-1.0.jar不存在于org . apache . hadoop . fs . rawlocalfilesystem . deprecatedgefilestatus(rawlocalfilesystem . java: 641)位于org . apache . hadoop . fs . rawlocalfilesystem . getfilelinkstatusinternal(rawlocalfilesystem . java: 867)減少。jobresourceuploader . uploadlibjars(jobresourceuploader . java: 313)at org . apache . hadoop . mapreduce . jobresourceuploader . uploadresourcesinternal(jobresourceuploader . java: 205)at org . apache . hadoop . mapreduce . mapreduce . jobresourceuploader . uploader . java: 133)at org . apache . hadoop . mapreduce . jobcho 0-@ . com 576)at org . apache . hadoop . mapred . job client $ 1 . run(job client . java: 571)at java . security . access controller . doprivileged(native method)at javax . security . auth . subject . doas(subject . java: 422)at org . apache . hadoop . security . user group information . doas(user group information . javaecho 0-@ . hadoop . hive . ql . driver . run internal(driver . java : 1613)at org . apache . hadoop . hive . ql . driver . run(driver . java : 1332)at org . apache . hadoop . hive . ql . driver . run(driver . java : 1327)at org . apache . hive . service . cli . operation . sql operation . run query(sqom 266)at java . util . concurrent . threadpoolexecutor . run worker(threadpoolexecutor . java: 1149)at java . util . concurrent . threadpoolexecutor＄worker . run(threadpoolexecutor . java: 624)at java . lang . thread . run(thread . java: 748)錯(cuò)誤: fail:執(zhí)行錯(cuò)誤，從org . apache . hadoop . hive . ql . exec . mr返回代碼1時(shí)間tak: 0.133 seconds:錯(cuò)誤處理stat: fail:執(zhí)行錯(cuò)誤時(shí)返回代碼1從org . apache . hadoop . hive . ql . exec . mr . mapr:/disk1/hive/download/ tools-1.0 . jar不存在(state=08s01,code=1)closing: 0: jdbc : hive 2 ://master : 10000進(jìn)程退出以: 1(: 1)位置誤差報(bào)告是偶然的和不規(guī)則的。檢查錯(cuò)誤報(bào)告的目錄，并下載配置單元的目錄。配置如下:
hive . downloaded . resources . dir =/disk 1/hive/download
檢查發(fā)現(xiàn)集群中的很多節(jié)點(diǎn)在這個(gè)目錄中并不存在，懷疑是服務(wù)器環(huán)境初始化有問(wèn)題，部分節(jié)點(diǎn)初始化不正確。進(jìn)一步檢查發(fā)現(xiàn)，同一個(gè)節(jié)點(diǎn)目錄，有時(shí)存在，有時(shí)不存在，排除了上述疑點(diǎn)。配置單元中此配置的默認(rèn)值是:
hive . downloaded . resources . dir = $ { system : java . io . tmpdir }/$ { hive . session . id } _ resources
可以看出這個(gè)目錄是和會(huì)話(huà)相關(guān)的，每次會(huì)話(huà)關(guān)閉都會(huì)被刪除。如果配置的路徑?jīng)]有sessionid，不同的會(huì)話(huà)將相互影響。
下載資源目錄( hive . download . resources . dir ， $ { system : java . io . tmpdir } 文件.分隔符 $ { hive . session . id } _ resources ， 遠(yuǎn)程文件系統(tǒng)中添加的資源的臨時(shí)本地目錄。 )，修改后的配置為:
hive . downloaded . resources . dir =/disk 1/hive/download/$ { hive . session . id } _ resources
問(wèn)題解決了。
標(biāo)簽:
錯(cuò)誤報(bào)告節(jié)點(diǎn)
了解更多udf hive(hiveudtf函數(shù)的詳細(xì)解釋)相關(guān)內(nèi)容請(qǐng)關(guān)注本站點(diǎn)。