久久人人爽添人人片av-久久99热精品国产av-日韩欧美二区三区视频在线观看-18禁国产精品久久久久

分布式數(shù)據(jù)庫在應(yīng)急測繪專題分析中的應(yīng)用研究

作者:檢測狗     發(fā)表時間:2020-05-12 20:50:15   瀏覽次數(shù):626



摘要:突發(fā)事件發(fā)生后,如何及時高效地掌握周邊地理情況,支持各級應(yīng)急部門搶險救災(zāi)工作,是應(yīng)急測繪的重點工作之一?;诜植际綌?shù)據(jù)庫建設(shè)的應(yīng)急測繪專題分析系統(tǒng)能夠?qū)?yīng)急現(xiàn)場周邊地物及人口、法人等專題數(shù)據(jù)進行快速查詢及統(tǒng)計,實現(xiàn)不同尺度、不同用戶需

  摘要:突發(fā)事件發(fā)生后,如何及時高效地掌握周邊地理情況,支持各級應(yīng)急部門搶險救災(zāi)工作,是應(yīng)急測繪的重點工作之一?;诜植际綌?shù)據(jù)庫建設(shè)的應(yīng)急測繪專題分析系統(tǒng)能夠?qū)?yīng)急現(xiàn)場周邊地物及人口、法人等專題數(shù)據(jù)進行快速查詢及統(tǒng)計,實現(xiàn)不同尺度、不同用戶需求的測繪應(yīng)急專題數(shù)據(jù)資源服務(wù),支撐災(zāi)情分析與應(yīng)急處置。試驗證明,與傳統(tǒng)Oracle數(shù)據(jù)庫相比,采用分布式數(shù)據(jù)庫開展應(yīng)急專題分析,效率可提升10倍左右。

  關(guān)鍵詞:分布式數(shù)據(jù)庫;應(yīng)急測繪;專題分析

  0引言

  近年來,國內(nèi)外學(xué)者競相開展大數(shù)據(jù)技術(shù)研究,大多采用Hadoop技術(shù)解決訂單、交易等傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)分析問題,同樣,采用Hadoop技術(shù)解決地理空間大數(shù)據(jù)存儲、分析問題的也不在少數(shù)

  河南大學(xué)李運興、馬駿,基于Hadoop提出了HadoopSpatial分布式空間數(shù)據(jù)庫的建設(shè)思路,其思路主要是對Hive進行擴展,使Hadoop支持空間數(shù)據(jù)的分布式存儲、管理與訪問。并且,通過對比試驗表明,HadoopSpatial性能不遜于傳統(tǒng)空間數(shù)據(jù)庫,更適合大規(guī)模密集型空間運算。

  中國林業(yè)科學(xué)研究院資源信息研究所吳琰、唐小明提出了基于HBase的分布式空間數(shù)據(jù)庫技術(shù),并采用基于GeoHash的方式構(gòu)建分布式空間索引,實現(xiàn)了矢量與柵格空間數(shù)據(jù)的分布式存儲與快速查詢。

  Esri公司及超圖公司在新一代GIS軟件產(chǎn)品中,均提出以分布式數(shù)據(jù)庫HBase方式存儲矢量空間,并采用Spark內(nèi)存計算框架實現(xiàn)大規(guī)??臻g分析。雖然實現(xiàn)了矢量空間數(shù)據(jù)的分布式存儲與分析,但采用HBase+Spark的方式存在以下問題:

  1)數(shù)據(jù)存儲形式區(qū)別于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫,不利于成果數(shù)據(jù)的版本管理與瀏覽,入庫成本高。

  2)采用該方式存儲的空間數(shù)據(jù)不能與傳統(tǒng)制圖、應(yīng)急或其他應(yīng)用系統(tǒng)快速集成,遷移開發(fā)工作量大。

  3)產(chǎn)品價格昂貴,且體系過于龐大,不利于大規(guī)模推廣應(yīng)用。

  1分布式數(shù)據(jù)庫技術(shù)

  1.1分布式數(shù)據(jù)庫

  應(yīng)急測繪專題分布式數(shù)據(jù)庫采用BiGeo大數(shù)據(jù)平臺作為空間數(shù)據(jù)引擎,建立分布式空間數(shù)據(jù)庫。數(shù)據(jù)庫的存儲模式如圖1所示。

  區(qū)別于傳統(tǒng)單節(jié)點數(shù)據(jù)庫,BiGeo分布式數(shù)據(jù)庫主要由管理節(jié)點(Master)、存儲運算節(jié)點(Segment)、網(wǎng)絡(luò)總線(Interconnect)三大部分組成。BiGeo管理節(jié)點是BiGeo分布式數(shù)據(jù)庫的入口,僅接收客戶端連接及提交的SQL語句,而后將SQL運算分發(fā)給存儲運算節(jié)點(Segment實例),由存儲運算節(jié)點真正存儲和處理數(shù)據(jù),并匯交到管理節(jié)點。BiGeo網(wǎng)絡(luò)總線負責(zé)管理節(jié)點與存儲運算節(jié)點及存儲運算節(jié)點之間的網(wǎng)絡(luò)通信。BiGeo存儲運算節(jié)點是獨立的數(shù)據(jù)庫實例,每個存儲運算節(jié)點存儲與計算一部分?jǐn)?shù)據(jù)。

  1.2分布式應(yīng)急測繪專題數(shù)據(jù)庫

  針對應(yīng)急測繪工作需求,應(yīng)急測繪專題數(shù)據(jù)來源于天地圖、地理國情、地理信息共享交換庫等項目,數(shù)據(jù)內(nèi)容見表1。

  根據(jù)應(yīng)急專題數(shù)據(jù)及服務(wù)器實際情況,并為保證數(shù)據(jù)的高可用性,每個存儲運算節(jié)點創(chuàng)建相應(yīng)的鏡像備份節(jié)點。實際部署情況如圖2所示。

  如圖2所示,本次研究采用兩臺Dellx86服務(wù)器作為存儲運算節(jié)點服務(wù)器,部署分布式數(shù)據(jù)庫主節(jié)點及鏡像節(jié)點,兩臺服務(wù)器數(shù)據(jù)庫節(jié)點互為備份,每個數(shù)據(jù)庫節(jié)點存儲部分空間數(shù)據(jù),根據(jù)服務(wù)器CPU及內(nèi)存配置,每臺服務(wù)器按照16個存儲運算節(jié)點部署,共部署32個存儲運算節(jié)點。

  由于硬件環(huán)境限制,從其中一臺Dellx86服務(wù)器中虛擬出一個Linux服務(wù)器作為數(shù)據(jù)庫管理節(jié)點運行環(huán)境。在實際生產(chǎn)環(huán)境中,可根據(jù)硬件環(huán)境情況,作為獨立服務(wù)器部署。

  按照分布式數(shù)據(jù)庫建設(shè)思路,應(yīng)急測繪專題數(shù)據(jù)是分布在不同的存儲運算節(jié)點之上。如圖3所示,本次研究采用Hash分布方式,根據(jù)數(shù)據(jù)主鍵(oid)創(chuàng)建Hash值均勻分布存儲數(shù)據(jù)。

  2基于分布式數(shù)據(jù)庫的應(yīng)急測繪專題分析系統(tǒng)

  2.1系統(tǒng)設(shè)計

  應(yīng)急測繪專題分析系統(tǒng)采用BiGeo大數(shù)據(jù)平臺作為應(yīng)急測繪專題數(shù)據(jù)存儲及分析基礎(chǔ)框架,未采用其他任何第三方商業(yè)GIS地理信息軟件,實現(xiàn)應(yīng)急測繪專題數(shù)據(jù)快速存儲、分析、提取等功能。

  系統(tǒng)采用C/S開發(fā)架構(gòu),數(shù)據(jù)庫與系統(tǒng)分離部署運行,總體架構(gòu)如圖4所示。BiGeo空間信息大數(shù)據(jù)平臺提供空間數(shù)據(jù)分布式存儲、分析二次開發(fā)接口,本系統(tǒng)采用.NETC#API開發(fā)應(yīng)急專題分析系統(tǒng)業(yè)務(wù)功能。選用開源地圖桌面框架SharpMap作為應(yīng)急測繪專題分析系統(tǒng)研發(fā)框架。應(yīng)急測繪專題分析系統(tǒng)功能架構(gòu)如圖5所示。

  2.2應(yīng)急測繪專題分析

  專題分析是系統(tǒng)的核心功能,設(shè)置災(zāi)害名稱、災(zāi)害范圍,選擇分析對象后即可開始專題分析,快速統(tǒng)計災(zāi)害范圍內(nèi)空間要素的數(shù)量、長度、面積等指標(biāo),為應(yīng)急測繪處置工作提供數(shù)據(jù)支撐。

  針對專題分析結(jié)果,可再次根據(jù)查詢對象字段進行統(tǒng)計,并可基于字段分組,如針對建筑物數(shù)據(jù),可根據(jù)行政區(qū)統(tǒng)計建筑物面積,從而提供更加專業(yè)、深層次的分析。

  3結(jié)論

  相比傳統(tǒng)基于ArcGISSDE+Oracle空間數(shù)據(jù)庫建庫方式,采用分布式數(shù)據(jù)的方式進行應(yīng)急測繪專題分析的效率明顯提升。以4000萬條地理國情地表覆蓋數(shù)據(jù)(物理大小:20GB)測試裁剪操作(空間相交分析)為例,Oracle一體機測試結(jié)果見表2,本文分布式數(shù)據(jù)庫方式見表3。

  從以上兩表測試結(jié)果可以看出,本文采用的分布式數(shù)據(jù)庫方式進行空間分析比Oracle一體機方式快10倍左右,并且隨著分布式節(jié)點的增加,分析效率明顯增加。

  4結(jié)束語

  本文采用分布式數(shù)據(jù)庫的方式進行應(yīng)急測繪專題分析,在分析效率上明顯提升,可快速掌握突發(fā)事件后應(yīng)急現(xiàn)場周邊道路、房屋、河流等地表特征,快速分發(fā)地理空間要素,對應(yīng)急測繪保障工作具有重大意義?;诒疚难芯?,采用分布式數(shù)據(jù)建設(shè)地理空間數(shù)據(jù)的方式可推廣應(yīng)用于時空大數(shù)據(jù)庫、地理國情統(tǒng)計分析、自然資源地理空間數(shù)據(jù)庫等項目。

知網(wǎng)論文查重:http://www.aalakod.cn

本站聲明:網(wǎng)站內(nèi)容來源于網(wǎng)絡(luò),如有侵權(quán),請聯(lián)系我們,我們將及時刪除處理。

論文寫作相關(guān)資訊

學(xué)術(shù)不端查重入口


檢查語種:中文,英文,小語種 預(yù)計時間:2小時-6小時
系統(tǒng)說明碩博初稿檢測(一般習(xí)慣叫做碩博預(yù)審版),論文查重檢測上千萬篇中文文獻,超百萬篇各類獨家文獻,超百萬港澳臺地區(qū)學(xué)術(shù)文獻過千萬篇英文文獻資源,數(shù)億個中英文互聯(lián)網(wǎng)資源是全國高校用來檢測碩博論文的系統(tǒng),檢測范圍廣,數(shù)據(jù)來源真實,檢測算法合理!本系統(tǒng)含有(學(xué)術(shù)庫與源碼庫)。(限制字符數(shù)30萬)
檢查范圍碩士、博士論文初稿【誤差一般在3%左右,不支持真?zhèn)悟炞C】
498.00元/篇
立即檢測
檢查語種:中文,英文 預(yù)計時間:60分鐘
系統(tǒng)說明學(xué)位論文查重,維普大學(xué)生版論文查重系統(tǒng):高校,雜志社指定系統(tǒng),可檢測期刊發(fā)表,大學(xué)生,碩博等論文。檢測報告支持PDF、網(wǎng)頁格式,性價比高!
檢查范圍本/專科畢業(yè)論文
4.00元/千字
立即檢測
檢查語種:中文,英文,小語種 預(yù)計時間:2小時-6小時
系統(tǒng)說明比定稿版少大學(xué)生聯(lián)合比對庫,其他數(shù)據(jù)庫一致。出結(jié)果快,價格相對低廉,不支持驗證,適合在修改中期使用,定稿推薦PMLC?!恢С烛炞C?。?!
檢查范圍本/??飘厴I(yè)論文
288.00元/篇
立即檢測
檢查語種:中文 預(yù)計時間:60分鐘
系統(tǒng)說明畢業(yè)論文查重,萬方查重系統(tǒng),涵蓋期刊、學(xué)位論文、學(xué)術(shù)成果、學(xué)術(shù)會議論文的大型網(wǎng)絡(luò)數(shù)據(jù)庫;比肩中國知網(wǎng)的學(xué)術(shù)數(shù)據(jù)庫。最多支持10萬字符。僅支持中文。
檢查范圍學(xué)位論文
4.00元/千字
立即檢測
檢查語種:中文,英文,小語種 預(yù)計時間:24小時-72小時
系統(tǒng)說明本科定稿查重版(一般習(xí)慣叫本科終評版),論文抄襲檢測系統(tǒng),專用于大學(xué)生專、本科等論文檢測的系統(tǒng),大多數(shù)專、本科院校使用此檢測系統(tǒng)。(限制字符數(shù)6萬)
檢查范圍本科論文檢測【是提交學(xué)校前進行的一次摸底評估,基本一致】
388.00元/篇
立即檢測
檢查語種:中文,英文 預(yù)計時間:80分鐘
系統(tǒng)說明學(xué)位論文查重,維普查重系統(tǒng)是國內(nèi)知名數(shù)據(jù)公司。本系統(tǒng)含有碩博庫、期刊庫和互聯(lián)網(wǎng)資源等。支持中文、英文、繁體、小語種論文檢測,最多支持1萬字符。--不支持指定院校?。。?
檢查范圍畢業(yè)論文、期刊發(fā)表
40.00元/篇
立即檢測
檢查語種:中文 預(yù)計時間:60分鐘
系統(tǒng)說明論文查重平臺,PaperPass的比對指紋數(shù)據(jù)庫由超過9000萬的學(xué)術(shù)期刊和學(xué)位論文,以及一個超過10億數(shù)量的互聯(lián)網(wǎng)網(wǎng)頁數(shù)據(jù)庫組成。指紋庫是指提取的文章關(guān)鍵性特征信息,并非全文。
檢查范圍學(xué)術(shù)期刊和學(xué)位論文
3.00元/千字
立即檢測
檢查語種:中文,英文,小語種 預(yù)計時間:1小時-24小時
系統(tǒng)說明amlc期刊系統(tǒng)是雜志社專用系統(tǒng),針對編輯部來稿、已發(fā)表文獻、學(xué)校、事業(yè)單位業(yè)務(wù)報告、職稱等論文的重復(fù)率檢測系統(tǒng)。
檢查范圍職稱論文/學(xué)術(shù)發(fā)表
3.00元/千字
立即檢測
檢查語種:中文 預(yù)計時間:60分鐘
系統(tǒng)說明格子達依托學(xué)術(shù)期刊庫收錄了海量對比資源,其中包括中國論文庫、中文學(xué)術(shù)期刊庫、中國學(xué)位論文庫等國內(nèi)齊全的論文庫以及數(shù)億級網(wǎng)絡(luò)資源,同時本地資源庫以每月100萬篇的速度增加,是目前中文文獻資源涵蓋全面的論文檢測系統(tǒng),可檢測中文、英文兩種語言的論文文本。
檢查范圍畢業(yè)論文、期刊發(fā)表
4.00元/千字
立即檢測
檢查語種:中文 預(yù)計時間:1小時-24小時
系統(tǒng)說明萬方職稱論文檢測系統(tǒng),適用于職稱發(fā)表/未發(fā)表論文查重,注:上傳論文請標(biāo)注發(fā)表日期,如無則使用論文正式發(fā)表時間;如未公開發(fā)表的,則用論文完成時間作為發(fā)表日期。
檢查范圍職稱論文
6.00元/千字
立即檢測
在線客服 返回頂部