啪啪大香蕉视频,热热色视频网址,制服视频首页一区二区,黄日韩在线,蜜桃不卡污视频,欧美草比视频,新久草在线观看,色噜噜夜夜草一二三区,狼人暖暖久久香蕉黄页

在BI系統(tǒng)如何接入數(shù)據(jù)源

更新時(shí)間:2023-09-15 16:08:24

1. 接入說(shuō)明

需要java開(kāi)發(fā)人員根據(jù)產(chǎn)品需求創(chuàng)建對(duì)應(yīng)的表。數(shù)據(jù)源是ElasticSearch,與業(yè)務(wù)用什么數(shù)據(jù)庫(kù)無(wú)關(guān)。其他任何業(yè)務(wù)要接入,要實(shí)現(xiàn)增量+全量同步。數(shù)據(jù)源接入時(shí),主要的時(shí)間會(huì)花費(fèi)在需求分析和建模上。在代碼上只有寫(xiě)配置和數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換工作。

具體可咨詢劉武,或讓開(kāi)發(fā)人員查閱技術(shù)文檔:BI數(shù)據(jù)源-非微服務(wù)SQLServer對(duì)接 (yuque.com)

注意:如果存在需要連表查詢的情況,請(qǐng)?jiān)诮尤霐?shù)據(jù)源的時(shí)候就做好冗余字段,在后續(xù)的統(tǒng)計(jì)中暫不支持連表的查詢統(tǒng)計(jì)操作。

2. 接入舉例

(1)流程對(duì)接

注:目前只支持對(duì)表單套件的數(shù)據(jù)接入,代碼寫(xiě)在jzb-flow里。具體步驟如下:

1. 需求分析:產(chǎn)品經(jīng)理配置表單

2. 確定數(shù)據(jù)結(jié)構(gòu):前端、定義字段名、約束,定義編號(hào)

3. 實(shí)現(xiàn)套件:前端實(shí)現(xiàn)套件

4. 后端定義模型

4.1 jzb-form-sdk:增加模型

4.2 jzb-form-sdk:FormType增加枚舉

4.3 jzb-bi-plugin-flow:增加BI模型

4.4 jzb-bi-plugin-flow:BiFlowType里增加枚舉

4.5 jzb-bi-plugin-flow:scripts里增加索引模板

4.6 jzb-bi-plugin-flow:BiFlowPlugins里注冊(cè)插件

4.7 Kibana里執(zhí)行索引模板

5. 發(fā)布jzb-flow

6. 發(fā)布jzb-bi

7. 發(fā)起流程,看流程是否進(jìn)入BI(可以在數(shù)據(jù)源頁(yè)面切換到數(shù)據(jù)模式,配置好明細(xì)表即可查看數(shù)據(jù))


(2)非微服務(wù)SQLServer對(duì)接

(參考jzb-cycle,jzb-change,jzb-labour項(xiàng)目。)

0. 需求分析:產(chǎn)品經(jīng)理指明來(lái)源數(shù)據(jù)(具體來(lái)源什么頁(yè)面,大概要什么字段)

1. bi建模、命令

2. bi建索引

3. 業(yè)務(wù)數(shù)據(jù)庫(kù)開(kāi)啟CDC

4. 業(yè)務(wù)模塊實(shí)現(xiàn)全量同步、增量同步(有SDK,僅需做些配置和數(shù)據(jù)轉(zhuǎn)換工作)

5. bi注冊(cè)插件

6. 測(cè)試(bi有30s左右的延遲)

3. 常見(jiàn)問(wèn)題

(1)測(cè)試環(huán)境有數(shù)據(jù),發(fā)布到線上就沒(méi)數(shù)據(jù)或者缺數(shù)據(jù)了?

——原因:沒(méi)有做數(shù)據(jù)全量同步。

(2)新數(shù)據(jù)源不能統(tǒng)計(jì)。

——原因:沒(méi)有執(zhí)行索引模板。

4. 接入結(jié)果檢驗(yàn)

數(shù)據(jù)源接入成功才可以進(jìn)行后續(xù)操作,數(shù)據(jù)源接入成功的標(biāo)志是:

(1)能在數(shù)據(jù)源頁(yè)面查看到正確的歷史和新增數(shù)據(jù)的字段內(nèi)容、字段格式、數(shù)據(jù)條數(shù);

(2)能根據(jù)數(shù)據(jù)源配置好統(tǒng)計(jì)圖表和所需的篩選條件;

(3)數(shù)據(jù)源必須測(cè)試環(huán)境和線上環(huán)境均測(cè)試通過(guò)方可正常使用,盡量由對(duì)應(yīng)業(yè)務(wù)測(cè)試人員完成。

舉例:接入了一個(gè)質(zhì)量巡檢的數(shù)據(jù)源,可以按下圖查詢數(shù)據(jù)源的數(shù)據(jù),包括但不限于:

(1)根據(jù)業(yè)主單位ID為義東高速查詢巡檢流程有多少條數(shù)據(jù),用這個(gè)數(shù)據(jù)跟實(shí)際業(yè)務(wù)數(shù)據(jù)對(duì)比,只有完全一致才算數(shù)據(jù)完整了。如圖顯示是28條,但按創(chuàng)建時(shí)間排序后發(fā)現(xiàn)5月6號(hào)之前的數(shù)據(jù)都沒(méi)有業(yè)主單位ID,所以如果按業(yè)主單位查詢,數(shù)據(jù)肯定會(huì)錯(cuò)。

(2)每一列的數(shù)據(jù)及其格式是否按需求顯示了,如圖開(kāi)始時(shí)間和結(jié)束時(shí)間沒(méi)有數(shù)據(jù);格式問(wèn)題常見(jiàn)的有ID沒(méi)有轉(zhuǎn)為名稱,枚舉值沒(méi)有轉(zhuǎn)為中文等。

(3)配置統(tǒng)計(jì)圖表時(shí),能按需求實(shí)現(xiàn)統(tǒng)計(jì)維度的配置。如何配置圖表請(qǐng)看后面的介紹。

一旦出現(xiàn)上述問(wèn)題,請(qǐng)盡快催促開(kāi)發(fā)人員完成數(shù)據(jù)源的問(wèn)題修復(fù),否則圖表和大屏的數(shù)據(jù)必然錯(cuò)誤。


微信咨詢
微信咨詢
在線咨詢
在線咨詢
咨詢熱線
咨詢熱線
在線咨詢
立即咨詢
頂部
衡阳市| 肇庆市| 历史| 海阳市| 江永县| 德阳市| 青神县| 韶山市| 象山县| 共和县| 鄂托克旗| 尼玛县| 崇文区| 绥化市| 洞头县| 铅山县| 来安县| 延寿县| 宣城市| 建德市| 天祝| 阆中市| 永嘉县| 昂仁县| 武夷山市| 顺义区| 靖安县| 蕉岭县| 杂多县| 井陉县| 扶余县| 南雄市| 老河口市| 突泉县| 韶山市| 农安县| 韶关市| 久治县| 江都市| 泉州市| 奉化市|