火山引擎ByteHouse上線ELT能力,進(jìn)一步降低企業(yè)數(shù)字化維護(hù)成本

2023-09-08 16:02:46來(lái)源:中關(guān)村在線  


(資料圖片僅供參考)

在數(shù)據(jù)分析場(chǎng)景中,企業(yè)使用的數(shù)據(jù)通常具備來(lái)源多樣化的特點(diǎn),如支付交易記錄、用戶(hù)行為等,且數(shù)據(jù)格式各異,有的為行式存儲(chǔ)結(jié)構(gòu),有的為列式存儲(chǔ)結(jié)構(gòu)。這就要求企業(yè)數(shù)倉(cāng)具備一定的數(shù)據(jù)轉(zhuǎn)換能力。

傳統(tǒng)方式是采用Extract-Transform-Load (ETL)來(lái)將業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換為適合數(shù)倉(cāng)的數(shù)據(jù)模型,然而,這依賴(lài)于獨(dú)立于數(shù)倉(cāng)外的ETL系統(tǒng),導(dǎo)致維護(hù)成本較高。但隨著云計(jì)算時(shí)代的到來(lái),云數(shù)據(jù)倉(cāng)庫(kù)具備更強(qiáng)擴(kuò)展性和計(jì)算能力,也要求改變傳統(tǒng)的ELT流程。

火山引擎ByteHouse是一款基于開(kāi)源ClickHouse推出的云原生數(shù)據(jù)倉(cāng)庫(kù),為用戶(hù)提供極速分析體驗(yàn),能夠支撐實(shí)時(shí)數(shù)據(jù)分析和海量數(shù)據(jù)離線分析,同時(shí)還具備便捷的彈性擴(kuò)縮容能力,極致分析性能和豐富的企業(yè)級(jí)特性。憑借其強(qiáng)大的計(jì)算能力,火山引擎ByteHouse目前已全面支持Extract-Load-Transform (ELT)的能力,讓用戶(hù)免于維護(hù)多套異構(gòu)系統(tǒng),產(chǎn)品易用性實(shí)現(xiàn)飛躍。

通過(guò)ByteHouse的ELT能力,用戶(hù)只需將數(shù)據(jù)導(dǎo)入,用自定義SQL語(yǔ)句在ByteHouse內(nèi)部進(jìn)行數(shù)據(jù)轉(zhuǎn)換,無(wú)需依賴(lài)獨(dú)立的ETL系統(tǒng)及資源。具體來(lái)說(shuō),ByteHouse主要通過(guò)以下三個(gè)能力實(shí)現(xiàn)ELT能力:

首先,長(zhǎng)任務(wù)管理。ByteHouse的查詢(xún)時(shí)間為秒級(jí),一旦查詢(xún)中出故障,系統(tǒng)會(huì)直接返回錯(cuò)誤并重試。在ETL場(chǎng)景下,如果一個(gè)任務(wù)已經(jīng)執(zhí)行50分鐘才發(fā)生故障,重試意味著浪費(fèi)了前50分鐘的資源,影響任務(wù)推進(jìn)。在ByteHouse中,SQL查詢(xún)會(huì)被轉(zhuǎn)化為一系列的算子,研發(fā)團(tuán)隊(duì)則通過(guò)提升算子的容錯(cuò)能力,來(lái)應(yīng)對(duì)長(zhǎng)時(shí)間查詢(xún)下的系統(tǒng)故障問(wèn)題,即當(dāng)某個(gè)算子無(wú)法獲得足夠的內(nèi)存時(shí),系統(tǒng)允許該算子將一部分?jǐn)?shù)據(jù)緩存在磁盤(pán)上,保證在資源緊張的情況下仍能夠完成工作。

其次,異步提交能力。面對(duì)大量長(zhǎng)耗時(shí)的ETL任務(wù)時(shí),傳統(tǒng)的同步執(zhí)行方式需要客戶(hù)端等待服務(wù)端返回,容易出現(xiàn)超時(shí)問(wèn)題,影響后續(xù)任務(wù)執(zhí)行,而B(niǎo)yteHouse提供的異步提交能力,通過(guò)客戶(hù)端的間歇性輪訓(xùn)來(lái)獲得用戶(hù)任務(wù)的最終狀態(tài),由此保障任務(wù)在規(guī)定時(shí)間內(nèi)完成。

最后,查詢(xún)隊(duì)列。當(dāng)面臨大量離線加工請(qǐng)求時(shí),系統(tǒng)會(huì)出現(xiàn)超載。ByteHouse為此提供了查詢(xún)隊(duì)列能力,允許用戶(hù)從隊(duì)列大小、總CPU占用率、總內(nèi)存占用率三個(gè)維度定義一個(gè)隊(duì)列。

具體來(lái)說(shuō),當(dāng)用戶(hù)向某隊(duì)列提交查詢(xún)時(shí),ByteHouse可以通過(guò)組件監(jiān)聽(tīng)各個(gè)隊(duì)列中的查詢(xún)指標(biāo),如果隊(duì)列未達(dá)到上限,則會(huì)將查詢(xún)?nèi)腙?duì),否則拒絕。除此之外,ByteHouse還會(huì)檢查隊(duì)列的資源利用率,當(dāng)空閑資源高過(guò)某閾值時(shí),自動(dòng)將等待中的查詢(xún)出隊(duì)。利用查詢(xún)隊(duì)列,用戶(hù)在編排ETL任務(wù)時(shí)無(wú)需擔(dān)心底層資源過(guò)載,讓開(kāi)發(fā)更加便捷。

長(zhǎng)任務(wù)管理、異步提交和查詢(xún)隊(duì)列是火山引擎ByteHouse ELT的核心能力。未來(lái),ByteHouse也會(huì)進(jìn)一步迭代,支持轉(zhuǎn)換函數(shù)、長(zhǎng)任務(wù)容錯(cuò)、優(yōu)先級(jí)隊(duì)列等更豐富ELT功能,為用戶(hù)提供更極致、更便捷的使用體驗(yàn)。(作者:何雅逸)

標(biāo)簽:

相關(guān)閱讀

  • 中國(guó)旅游業(yè)復(fù)蘇暖風(fēng)吹向全球
    中國(guó)旅游業(yè)復(fù)蘇暖風(fēng)吹向全球

    參考消息網(wǎng)9月7日?qǐng)?bào)道(文 邵香云 劉惟真 宋瑞 栗雅婷)古色古香

    2023-09-08
  • 巴奴火鍋承認(rèn)摻假賠付835.4萬(wàn)!花巨資買(mǎi)教訓(xùn)值不值
    巴奴火鍋承認(rèn)摻假賠付835.4萬(wàn)!花巨資買(mǎi)教訓(xùn)值不值

    也希望巴奴花八百多萬(wàn)買(mǎi)的這個(gè)教訓(xùn)能警醒更多的企業(yè),仔細(xì)衡量一下,為

    2023-09-08
  • 埃斯頓:公司與比亞迪、吉利、長(zhǎng)城等國(guó)內(nèi)新能源頭部企業(yè)都保持業(yè)務(wù)合作
    埃斯頓:公司與比亞迪、吉利、長(zhǎng)城等國(guó)內(nèi)新能源頭部企業(yè)都保持業(yè)務(wù)合作

    埃斯頓近期在接受調(diào)研時(shí)表示,公司在新能源汽車(chē)、光伏、鋰電儲(chǔ)能、焊接

    2023-09-08
  • 小折中的人像神器,OPPO Find N3 Flip正式開(kāi)售
    小折中的人像神器,OPPO Find N3 Flip正式開(kāi)售

    全新一代FindN3Flip于9月8日10點(diǎn)全面開(kāi)售。即日起在OPPO商城、授權(quán)電商

    2023-09-08
  • 腫瘤堵住大氣管 患者“清醒著做手術(shù)”
    腫瘤堵住大氣管 患者“清醒著做手術(shù)”

    年僅40歲的王先生(化名)右肺主支氣管(第二級(jí)大氣道)被直徑近5厘米

    2023-09-08
  • 曝榮耀V Purse概念折疊屏將于9月19日發(fā) 或5000元起售
    曝榮耀V Purse概念折疊屏將于9月19日發(fā) 或5000元起售

    榮耀在IFA展上發(fā)布了全新的概念折疊屏手機(jī)——榮耀VPurse,但官方并未

    2023-09-08
  • 今年前8月我國(guó)手機(jī)出口5135億元!同比下降7.5%
    今年前8月我國(guó)手機(jī)出口5135億元!同比下降7.5%

    近日,據(jù)海關(guān)總署發(fā)布的最新外貿(mào)數(shù)據(jù),我國(guó)前8個(gè)月的出口保持增長(zhǎng)。其

    2023-09-08
  • 《吸血鬼的旋律 2》Steam頁(yè)面 預(yù)定9月28日推出
    《吸血鬼的旋律 2》Steam頁(yè)面 預(yù)定9月28日推出

    今日(9月8日),文字游戲《吸血鬼的旋律2》Steam頁(yè)面上線,游戲預(yù)計(jì)9

    2023-09-08
  • 華為Vision智慧屏SE3今晚8點(diǎn)開(kāi)售 無(wú)閃屏4K畫(huà)質(zhì) 售價(jià)2699起
    華為Vision智慧屏SE3今晚8點(diǎn)開(kāi)售 無(wú)閃屏4K畫(huà)質(zhì) 售價(jià)2699起

    華為智慧生活官方宣布,華為Vision智慧屏SE3將于今晚八點(diǎn)正式開(kāi)售。這

    2023-09-08
  • 《重生邊緣》全球同步上線,英特爾銳炫顯卡+XeSS助力玩家開(kāi)啟酣戰(zhàn)之旅
    《重生邊緣》全球同步上線,英特爾銳炫顯卡+XeSS助力玩家開(kāi)啟酣戰(zhàn)之旅

    中關(guān)村在線消息,9月8日,備受矚目的國(guó)產(chǎn)射擊游戲《重生邊緣》(SYNCED

    2023-09-08
  • “熊孩子”騎走居民自行車(chē) 民警上門(mén)找回
    “熊孩子”騎走居民自行車(chē) 民警上門(mén)找回

    “熊孩子”騎走居民自行車(chē)民警上門(mén)找回---“熊孩子”看到路邊停放著一

    2023-09-08
  • 中秋國(guó)慶檔喜劇《好像也沒(méi)那么熱血沸騰》開(kāi)啟預(yù)售
    中秋國(guó)慶檔喜劇《好像也沒(méi)那么熱血沸騰》開(kāi)啟預(yù)售

    由邢文雄編劇并擔(dān)任監(jiān)制,高虎執(zhí)導(dǎo)的電影《好像也沒(méi)那么熱血沸騰》今日

    2023-09-08
  • 【地評(píng)線】東湖評(píng)論:天津“跳水大爺”考驗(yàn)城市人文
    【地評(píng)線】東湖評(píng)論:天津“跳水大爺”考驗(yàn)城市人文

    東湖評(píng)論:天津“跳水大爺”考驗(yàn)城市人文---其實(shí),“跳水大爺”的跳與

    2023-09-08
  • 萬(wàn)馬科技:子公司與東風(fēng)嵐圖開(kāi)展合作
    萬(wàn)馬科技:子公司與東風(fēng)嵐圖開(kāi)展合作

    萬(wàn)馬科技消息,公司子公司優(yōu)咔科技與東風(fēng)嵐圖已開(kāi)展合作,由優(yōu)咔科技為

    2023-09-08
  • 【大山里的“筑夢(mèng)人”】95歲葉連平:我愿意下輩子還當(dāng)老師
    【大山里的“筑夢(mèng)人”】95歲葉連平:我愿意下輩子還當(dāng)老師

    一支粉筆,兩袖清風(fēng)三尺講臺(tái),四季耕耘他用無(wú)私的奉獻(xiàn)詮釋了“生命

    2023-09-08
  • 將“以病人為中心”的理念貫穿于醫(yī)療服務(wù)各環(huán)節(jié)  讓就醫(yī)更便捷更舒適(健康焦點(diǎn))
    將“以病人為中心”的理念貫穿于醫(yī)療服務(wù)各環(huán)節(jié) 讓就醫(yī)更便捷更舒適(健康焦點(diǎn))

    《 人民日?qǐng)?bào) 》( 2023年09月08日 第 19 版)2023年5月,國(guó)家

    2023-09-08
  • 2023晴川閣?夜游演出時(shí)間安排
    2023晴川閣?夜游演出時(shí)間安排

    2023晴川閣夜游演出時(shí)間安排:1 大禹晴川情:*演出時(shí)間為周末+節(jié)假日第

    2023-09-08
  • 2024武漢社保繳費(fèi)基數(shù)是多少?(附繳費(fèi)比例)
    2024武漢社保繳費(fèi)基數(shù)是多少?(附繳費(fèi)比例)

    2024武漢社保繳費(fèi)基數(shù)是多少?湖北省人力資源和社會(huì)保障廳湖北省醫(yī)療保

    2023-09-08
  • AI竟是泡沫一觸就破?年內(nèi)大漲150%的人工智能股出現(xiàn)頹勢(shì)
    AI竟是泡沫一觸就破?年內(nèi)大漲150%的人工智能股出現(xiàn)頹勢(shì)

    不過(guò),市場(chǎng)也不單單只懷疑C3 ai,許多上半年一路高歌的人工智能股票都

    2023-09-08
  • 捷報(bào)頻傳!1207名緬北涉我國(guó)電詐犯罪嫌疑人移交我方 具體是怎么回事?
    捷報(bào)頻傳!1207名緬北涉我國(guó)電詐犯罪嫌疑人移交我方 具體是怎么回事?

    【捷報(bào)頻傳!1207名緬北涉我國(guó)電詐犯罪嫌疑人移交我方】下面大家可以一

    2023-09-08
  • 華為Mate 60 Pro+上架預(yù)售:支持天通衛(wèi)星通話(huà)、雙向北斗衛(wèi)星消息
    華為Mate 60 Pro+上架預(yù)售:支持天通衛(wèi)星通話(huà)、雙向北斗衛(wèi)星消息

    近日,華為Mate60Pro+在未公布售價(jià)的情況下,通過(guò)訂金預(yù)售的方式上市。

    2023-09-08
  • iPhone 15 比例調(diào)整:超40%是高端頂配
    iPhone 15 比例調(diào)整:超40%是高端頂配

    近日,美國(guó)投行韋德布什證券(WedbushSecurities)分析師DanielIves發(fā)

    2023-09-08
  • 永川區(qū)發(fā)布關(guān)于重慶佰盈祥電子商務(wù)有限責(zé)任公司涉嫌非法集資的風(fēng)險(xiǎn)提示
    永川區(qū)發(fā)布關(guān)于重慶佰盈祥電子商務(wù)有限責(zé)任公司涉嫌非法集資的風(fēng)險(xiǎn)提示

    據(jù)重慶市永川區(qū)打擊非法金融活動(dòng)領(lǐng)導(dǎo)小組辦公室發(fā)布“關(guān)于重慶佰盈祥電

    2023-09-08
  • 雪佛蘭多款車(chē)型開(kāi)啟限時(shí)優(yōu)惠 科魯澤降價(jià)3萬(wàn)
    雪佛蘭多款車(chē)型開(kāi)啟限時(shí)優(yōu)惠 科魯澤降價(jià)3萬(wàn)

    雪佛蘭股份公司近日宣布,自即日起至9月30日,消費(fèi)者購(gòu)買(mǎi)任意車(chē)型均可

    2023-09-08
  • 半導(dǎo)體公司Arm:未來(lái)60%的利潤(rùn),明年有望增長(zhǎng)20%
    半導(dǎo)體公司Arm:未來(lái)60%的利潤(rùn),明年有望增長(zhǎng)20%

    據(jù)CNMO報(bào)道,9月8日,在紐約的一次投資者午餐會(huì)上,Arm公司的高級(jí)管理

    2023-09-08
  • 華為Mate 60 Pro+上架秒售罄
    華為Mate 60 Pro+上架秒售罄

    華為今日低調(diào)上架了新機(jī)華為Mate60Pro+并開(kāi)啟預(yù)售。據(jù)傳,該款手機(jī)提供

    2023-09-08
  • 新能源汽車(chē)加快進(jìn)入農(nóng)村市場(chǎng),還有哪些瓶頸待突破?
    新能源汽車(chē)加快進(jìn)入農(nóng)村市場(chǎng),還有哪些瓶頸待突破?

    新華社北京9月7日電 題:新能源汽車(chē)加快進(jìn)入農(nóng)村市場(chǎng),還有哪些瓶

    2023-09-08
  • 杭州第19屆亞運(yùn)會(huì)火炬?zhèn)鬟f啟動(dòng)
    杭州第19屆亞運(yùn)會(huì)火炬?zhèn)鬟f啟動(dòng)

    杭州第19屆亞運(yùn)會(huì)火炬?zhèn)鬟f啟動(dòng)儀式在杭州西湖涌金公園廣場(chǎng)舉行。杭

    2023-09-08
  • 人人參與  共鑄亞運(yùn)精彩(體壇觀瀾)
    人人參與 共鑄亞運(yùn)精彩(體壇觀瀾)

    更深的參與,則是從精彩賽事中汲取動(dòng)力,找到適合自己的健身項(xiàng)目,

    2023-09-08
  • 巴奴羊肉摻假將賠付顧客835.4萬(wàn)元
    巴奴羊肉摻假將賠付顧客835.4萬(wàn)元

    9月8日起,凡消費(fèi)過(guò)該產(chǎn)品的顧客,可憑支付記錄,在10:30-22:00期間,

    2023-09-08
  • 天鍵股份:目前公司未開(kāi)展上述業(yè)務(wù)
    天鍵股份:目前公司未開(kāi)展上述業(yè)務(wù)

    天鍵股份(301383)09月08日在投資者關(guān)系平臺(tái)上答復(fù)了投資者關(guān)心的問(wèn)題。

    2023-09-08
  • 永州陸港建設(shè)新通道邁出新步伐——國(guó)內(nèi)4大港口內(nèi)陸港在永州陸港啟動(dòng)
    永州陸港建設(shè)新通道邁出新步伐——國(guó)內(nèi)4大港口內(nèi)陸港在永州陸港啟動(dòng)

    (記者文林蔣慧唐妍通訊員王哲)9月8日上午,招商蛇口、媽灣、赤灣、湛

    2023-09-08
  • 任天堂Switch2新爆料:內(nèi)存為12GB 或有防漂移技術(shù)
    任天堂Switch2新爆料:內(nèi)存為12GB 或有防漂移技術(shù)

    任天堂Switch2新爆料:內(nèi)存為12GB或有防漂移技術(shù),內(nèi)存,漂移,gb,控制器,

    2023-09-08
  • 中麥網(wǎng)聯(lián)系電話(huà) 中麥網(wǎng)
    中麥網(wǎng)聯(lián)系電話(huà) 中麥網(wǎng)

    1、中麥網(wǎng)。2、東方工業(yè)網(wǎng)。本文到此分享完畢,希望對(duì)大家有所幫助。

    2023-09-08
  • 警察那什么條件來(lái)抓人
    警察那什么條件來(lái)抓人

    警察抓人需要的條件:1、有證據(jù)可以證明犯罪嫌疑人、被告人存在犯罪事

    2023-09-08
  • 中華suv
    中華suv

    中華SUV有:1 中華H530:外觀沉穩(wěn)大氣,設(shè)計(jì)感強(qiáng),配置豐富,動(dòng)力一般

    2023-09-08
  • 郵箱軟件將拋棄!微軟宣布Outlook系統(tǒng)將停止支持
    郵箱軟件將拋棄!微軟宣布Outlook系統(tǒng)將停止支持

    近日,微軟宣布,OutlookRESTAPIv2 0將于2024年3月31日停止支持。原本

    2023-09-08
  • 同濟(jì)大學(xué)長(zhǎng)三角可持續(xù)發(fā)展研究院柳劍雄:聯(lián)合長(zhǎng)三角優(yōu)質(zhì)科創(chuàng)資源,共同服務(wù)高質(zhì)量一體化建設(shè)
    同濟(jì)大學(xué)長(zhǎng)三角可持續(xù)發(fā)展研究院柳劍雄:聯(lián)合長(zhǎng)三角優(yōu)質(zhì)科創(chuàng)資源,共同服務(wù)高質(zhì)量一體化建設(shè)

    9月7日,全球環(huán)境科學(xué)家大會(huì)暨第七次全球環(huán)境展望第二次作者研討會(huì)主論

    2023-09-08
  • 華為Mate X5折疊屏開(kāi)啟預(yù)訂:官方訂金1000元
    華為Mate X5折疊屏開(kāi)啟預(yù)訂:官方訂金1000元

    華為MateX5折疊屏手機(jī)今日在華為商城開(kāi)啟預(yù)訂,暫未公布價(jià)格,官方訂金

    2023-09-08
  • 問(wèn)界新M7開(kāi)啟預(yù)售:25.8-31.8萬(wàn),9月12日正式發(fā)布
    問(wèn)界新M7開(kāi)啟預(yù)售:25.8-31.8萬(wàn),9月12日正式發(fā)布

    AITO汽車(chē)官方宣布,其全新車(chē)型問(wèn)界新M7將于9月12日14:30正式發(fā)布。目前

    2023-09-08
  • 華為Mate X5上架華為商城!現(xiàn)可支付1000元開(kāi)啟預(yù)訂
    華為Mate X5上架華為商城!現(xiàn)可支付1000元開(kāi)啟預(yù)訂

    華為MateX5正式在華為商城官網(wǎng)上市,但價(jià)格尚未公布。該款手機(jī)有四個(gè)版

    2023-09-08
  • 微軟無(wú)線顯示適配器售罄:3年老產(chǎn)品
    微軟無(wú)線顯示適配器售罄:3年老產(chǎn)品

    近日,微軟宣布將不再生產(chǎn)和銷(xiāo)售包括鼠標(biāo)、鍵盤(pán)和攝像頭在內(nèi)的Microsof

    2023-09-08
  • 比亞迪取消歐洲車(chē)型車(chē)尾“Build Your Dreams”標(biāo)語(yǔ)
    比亞迪取消歐洲車(chē)型車(chē)尾“Build Your Dreams”標(biāo)語(yǔ)

    近日,有海外媒體報(bào)道稱(chēng),比亞迪將在部分出口歐洲的車(chē)型中取消車(chē)尾的“

    2023-09-08
  • 精彩推薦

    相關(guān)詞

    推薦閱讀