性能优化技巧 - 内存关联计算
关联动作会严重影响性能,SPL支持内存预关联,可以加快关联动作,从而提升性能。
为了理解关联动作对性能的影响,下面设计一套Oracle关联表,以及无关联的宽表,并执行同样的计算。
关联表的结构和关系如下:
数据量:通话记录表(百万条)、用户表(十万条)、开户网点(一万条),代理商表(一万条)。
计算目标:求通讯总成本,即所有呼出用户和呼入用户分别对应的网点均摊成本、代理商均摊成本之和。
将关联结果写入另一张表,形成无关联的宽表:
callRecordWide |
SERIALNUMBER |
CHARGE |
OUTBRANCHOUTCOST |
INBRANCHINCOST |
OUTAGENTOUTCOST |
INAGENTINCOST |
下面的SPL脚本,用来说明关联动作对性能的影响:
A | B | |
1 | =connect("orcl") | |
2 | =now() | |
3 | for 10 | =A1.query("select sum(outBranch.outCost+inBranch.inCost+outAgent.outCost+inAgent.inCost) from callRecord,callUser outUser,callUser inUser,telecomBranch outBranch,telecomBranch inBranch,telecomAgent outAgent,telecomAgent inAgent where callRecord.outID=outUser.userID and callRecord.inID=inUser.userID and outUser.branchID=outBranch.branchID and outUser.agentID=outAgent.agentID and inUser.branchID=inBranch.branchID and inUser.agentID=inAgent.agentID") |
4 | =interval@ms(A2,now()) | /Oracle关联表25802ms |
5 | ||
6 | =now() | |
7 | for 10 | =A1.query("select sum(outBranchOutCost+inBranchInCost+outAgentOutCost+inAgentInCost) from callRecordWide") |
8 | =interval@ms(A6,now()) | /oracle宽表2055ms |
9 | =A1.close() |
可以看到,关联比无关联慢12.6倍(25802/2055),会严重影响计算性能。
SPL可以通过预关联来提升关联动作的性能。首先加载数据到内存,代码如下:
A | B | |
1 | =connect("orcl") | |
2 | =A1.query("select * from telecomAgent").keys(AGENTID) | |
3 | =A1.query("select * from telecomBranch").keys(BRANCHID) | |
4 | =A1.query("select * from callUser").keys(USERID) | |
5 | =A1.query("select * from callRecord").keys(SERIALNUMBER) | |
6 | =A1.switch(AGENTID,A2:AGENTID; BRANCHID,A3:BRANCHID) | |
7 | =A5.switch(OUTID,A14:USERID; INID,A4:USERID) | |
8 | =env(callRecord,A7) | /全局变量:预关联 |
函数switch可将字段值替换为记录引用,从而实现预关联。
后续业务算法中,可以直接引用其他表的字段,从而提升关联计算的性能,如下:
=callRecord.sum(OUTID.BRANCHID.OUTCOST+INID.BRANCHID.INCOST +OUTID.AGENTID.OUTCOST+INID.AGENTID.INCOST) |
为了直观理解预关联对计算性能的提升,下面同样用SPL预关联和宽表做比较。
A | B | |
11 | =connect("orcl") | |
12 | =A11.query("select * from telecomAgent").keys(AGENTID) | |
13 | =A11.query("select * from telecomBranch").keys(BRANCHID) | |
14 | =A11.query("select * from callUser").keys(USERID) | |
15 | =A11.query("select * from callRecord").keys(SERIALNUMBER) | |
16 | =A14.switch(AGENTID,A12:AGENTID; BRANCHID,A13:BRANCHID) | |
17 | =A15.switch(OUTID,A14:USERID; INID,A14:USERID) | |
18 | =env(callRecord,A17) | /全局变量:预关联 |
19 | =A11.query@s("select * from callRecordWide").keys(SERIALNUMBER) | |
20 | =env(callRecordWide,A19) | /全局变量:宽表 |
21 | ||
22 | =now() | |
23 | for 10 | =callRecord.sum(OUTID.BRANCHID.OUTCOST +INID.BRANCHID.INCOST +OUTID.AGENTID.OUTCOST+INID.AGENTID.INCOST) |
24 | =interval@ms(A22,now()) | /SPL预关联13272ms |
25 | ||
26 | =now() | |
27 | for 10 | =callRecordWide.sum(OUTBRANCHOUTCOST +INBRANCHINCOST+OUTAGENTOUTCOST +INAGENTINCOST) |
28 | =interval@ms(A26,now()) | /SPL宽表2210ms |
可以看到,预关联比宽表慢6倍(13272/2210),相对于关联表比宽表慢的12.6倍,已经有较大幅度的提升。在宽表时,SPL计算性能和ORACLE几乎相同(2210:2055),但在有关联时,预关联的SPL计算速度已经明显超出临时关联的ORACLE了(13272:25802)。
需要注意的是,上述算法虽然使用了宽表做对比,但并不是说宽表可以代替关联表。事实上,宽表会浪费大量空间,还会造成创建、同步等维护困难,实际项目中很少用到。而预关联使用引用来建立关联,不会创造新表,不会浪费空间,不需要同步数据。