【摘要】 本发明涉及一种异构海量数据高效低成本的装载方法，包括以下步骤：将 异构数据源转换成通用统一的平面文件接口；用户将数据传送到FTP服务器； 对目标数据库创建接口缓冲表和对接口表按日期分区；入库装载程序收到文件 后，检测校验文件和原始数据文件是否一致；若为是，则入库，且标志入库到 入库接口缓冲表并标记文件状态为正常；若为否，则标志异常及异常原因；将 缓冲区数据进行数据清洗并插入到正式的入库接口表中。与现有技术相比，本 发明有效的解决了异构海量数据装载的问题，同时避免了高投入采购第三方 ETL软件和专业技术人员，为中小型公司降低开发成本提供了解决方案。 【专利类型】发明申请 【申请人】上海全成通信技术有限公司 【申请人类型】企业 【申请人地址】200050上海市延安西路726号(华敏翰尊国际)7楼J、K座 【申请人地区】中国 【申请人城市】上海市 【申请人区县】长宁区 【申请号】CN200810039896.9 【申请日】2008-06-30 【申请年份】2008 【公开公告号】CN101621529A 【公开公告日】2010-01-06 【公开公告年份】2010 【授权公告号】CN101621529B 【授权公告日】2012-10-10 【授权公告年份】2012.0 【IPC分类号】H04L29/08; H04L29/06; H04L12/56; H04L12/26 【发明人】冯谧 【主权项内容】1.一种异构海量数据高效低成本的装载方法，其特征在于，包括以下步骤： (1)将异构数据源转换成通用统一的平面文件接口； (2)用户将数据传送到FTP服务器； (3)对目标数据库创建接口缓冲表和对接口表按日期分区； (4)入库装载程序收到文件后，检测校验文件和原始数据文件是否一致； (5)若步骤(4)中的检测结果为是，则入库，且标志入库到入库接口缓 冲表并标记文件状态为正常； (6)若步骤(4)中的检测结果为否，则标志异常及异常原因； (7)将缓冲区数据进行数据清洗并插入到正式的入库接口表中。 【当前权利人】上海全成通信技术有限公司 【当前专利权人地址】上海市延安西路726号(华敏翰尊国际)7楼J、K座 【专利权人类型】有限责任公司 【统一社会信用代码】913101051321878233 【被引证次数】14 【被他引次数】14.0 【家族引证次数】4.0 【家族被引证次数】14
