1. 接入說(shuō)明
需要java開(kāi)發(fā)人員根據(jù)產(chǎn)品需求創(chuàng)建對(duì)應(yīng)的表。數(shù)據(jù)源是ElasticSearch,與業(yè)務(wù)用什么數(shù)據(jù)庫(kù)無(wú)關(guān)。其他任何業(yè)務(wù)要接入,要實(shí)現(xiàn)增量+全量同步。數(shù)據(jù)源接入時(shí),主要的時(shí)間會(huì)花費(fèi)在需求分析和建模上。在代碼上只有寫(xiě)配置和數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換工作。
具體可咨詢劉武,或讓開(kāi)發(fā)人員查閱技術(shù)文檔:BI數(shù)據(jù)源-非微服務(wù)SQLServer對(duì)接 (yuque.com)
注意:如果存在需要連表查詢的情況,請(qǐng)?jiān)诮尤霐?shù)據(jù)源的時(shí)候就做好冗余字段,在后續(xù)的統(tǒng)計(jì)中暫不支持連表的查詢統(tǒng)計(jì)操作。
2. 接入舉例
(1)流程對(duì)接
注:目前只支持對(duì)表單套件的數(shù)據(jù)接入,代碼寫(xiě)在jzb-flow里。具體步驟如下:
1. 需求分析:產(chǎn)品經(jīng)理配置表單
2. 確定數(shù)據(jù)結(jié)構(gòu):前端、定義字段名、約束,定義編號(hào)
3. 實(shí)現(xiàn)套件:前端實(shí)現(xiàn)套件
4. 后端定義模型
4.1 jzb-form-sdk:增加模型
4.2 jzb-form-sdk:FormType增加枚舉
4.3 jzb-bi-plugin-flow:增加BI模型
4.4 jzb-bi-plugin-flow:BiFlowType里增加枚舉
4.5 jzb-bi-plugin-flow:scripts里增加索引模板
4.6 jzb-bi-plugin-flow:BiFlowPlugins里注冊(cè)插件
4.7 Kibana里執(zhí)行索引模板
5. 發(fā)布jzb-flow
6. 發(fā)布jzb-bi
7. 發(fā)起流程,看流程是否進(jìn)入BI(可以在數(shù)據(jù)源頁(yè)面切換到數(shù)據(jù)模式,配置好明細(xì)表即可查看數(shù)據(jù))
(2)非微服務(wù)SQLServer對(duì)接
(參考jzb-cycle,jzb-change,jzb-labour項(xiàng)目。)
0. 需求分析:產(chǎn)品經(jīng)理指明來(lái)源數(shù)據(jù)(具體來(lái)源什么頁(yè)面,大概要什么字段)
1. bi建模、命令
2. bi建索引
3. 業(yè)務(wù)數(shù)據(jù)庫(kù)開(kāi)啟CDC
4. 業(yè)務(wù)模塊實(shí)現(xiàn)全量同步、增量同步(有SDK,僅需做些配置和數(shù)據(jù)轉(zhuǎn)換工作)
5. bi注冊(cè)插件
6. 測(cè)試(bi有30s左右的延遲)
3. 常見(jiàn)問(wèn)題
(1)測(cè)試環(huán)境有數(shù)據(jù),發(fā)布到線上就沒(méi)數(shù)據(jù)或者缺數(shù)據(jù)了?
——原因:沒(méi)有做數(shù)據(jù)全量同步。
(2)新數(shù)據(jù)源不能統(tǒng)計(jì)。
——原因:沒(méi)有執(zhí)行索引模板。
4. 接入結(jié)果檢驗(yàn)
數(shù)據(jù)源接入成功才可以進(jìn)行后續(xù)操作,數(shù)據(jù)源接入成功的標(biāo)志是:
(1)能在數(shù)據(jù)源頁(yè)面查看到正確的歷史和新增數(shù)據(jù)的字段內(nèi)容、字段格式、數(shù)據(jù)條數(shù);
(2)能根據(jù)數(shù)據(jù)源配置好統(tǒng)計(jì)圖表和所需的篩選條件;
(3)數(shù)據(jù)源必須測(cè)試環(huán)境和線上環(huán)境均測(cè)試通過(guò)方可正常使用,盡量由對(duì)應(yīng)業(yè)務(wù)測(cè)試人員完成。
舉例:接入了一個(gè)質(zhì)量巡檢的數(shù)據(jù)源,可以按下圖查詢數(shù)據(jù)源的數(shù)據(jù),包括但不限于:
(1)根據(jù)業(yè)主單位ID為義東高速查詢巡檢流程有多少條數(shù)據(jù),用這個(gè)數(shù)據(jù)跟實(shí)際業(yè)務(wù)數(shù)據(jù)對(duì)比,只有完全一致才算數(shù)據(jù)完整了。如圖顯示是28條,但按創(chuàng)建時(shí)間排序后發(fā)現(xiàn)5月6號(hào)之前的數(shù)據(jù)都沒(méi)有業(yè)主單位ID,所以如果按業(yè)主單位查詢,數(shù)據(jù)肯定會(huì)錯(cuò)。
(2)每一列的數(shù)據(jù)及其格式是否按需求顯示了,如圖開(kāi)始時(shí)間和結(jié)束時(shí)間沒(méi)有數(shù)據(jù);格式問(wèn)題常見(jiàn)的有ID沒(méi)有轉(zhuǎn)為名稱,枚舉值沒(méi)有轉(zhuǎn)為中文等。
(3)配置統(tǒng)計(jì)圖表時(shí),能按需求實(shí)現(xiàn)統(tǒng)計(jì)維度的配置。如何配置圖表請(qǐng)看后面的介紹。
一旦出現(xiàn)上述問(wèn)題,請(qǐng)盡快催促開(kāi)發(fā)人員完成數(shù)據(jù)源的問(wèn)題修復(fù),否則圖表和大屏的數(shù)據(jù)必然錯(cuò)誤。
