WangSa LIMS + 助您
构建值得信赖的实验室
021-33628059

当前位置:首页 > 新闻中心> 详情

大数据算法落地”

随着大数据技术的快速发展,各行业都注意到了数据中蕴藏的巨大价值,如何挖掘和利用这些数据使其为企业带来切实的利益是企业大数据升级中最优先考虑的问题。

目前,在各行业由传统的信息化系统向大数据智能化的升级过程中普遍遵循着两步走的基本规律:

第一步是将传统的信息系统升级为大数据存储和收集系统,以打破信息孤岛,解决传统的信息系统在数据收集和存储上没有一体化的问题。很多企业存在多个管理系统分别管理不同的业务问题,为了解决后续数据的收集和存储压力,在数据智能化分析上占得先机,大数据收集和存储系统的升级对企业至关重要。

第二步是将大数据收集和存储系统升级为智能化的分析和处理平台,实现数据对接、数据组合管理及利用大数据算法解决实际业务问题,以增强企业的信息化和智能化的竞争力。

本文主要针对智能化系统升级讨论如何推进大数据算法在实际应用场景落地的一些经验和想法。

众所周知,大数据算法在实际场景方面要想取得工业化的落地效果,面临着多方面的挑战,例如数据收集的完整性,算法的选择和调优,后期根据数据的收集迭代算法等。

除了算法技术通用的问题外,如何挖掘数据蕴藏的价值是更严峻的挑战,专业的业务人员由于不熟悉大数据算法,不知道利用何种技术和算法来解决具体问题。算法和软件开发人员因不熟悉具体的业务场景,不了解哪些数据的预测和挖掘是专业客户感兴趣的。这就导致懂业务系统的专业人员和懂算法的软件开发人员都很难独立设计出可落地的算法应用场景,需要相关人员通力合作找到既满足业务场景需求同时又能满足在软件开发上精度效果不错的算法。

通常面对具体问题时,在算法分析上可以按照如下顺序尝试的解决问题,一般情况下都会取得不错的效果。

一、分析具体问题,没必要一定用机器学习或者深度学习的复杂算法,可以利用一些规则指标或者常规数据结构中的算法,如树结构,图结构,动态规划等技术进行解决,这些方面解决问题的成本低,效果明显,开发和部署的开销都是最小的。

二、如果传统的方法确实不能解决问题,如销量的预测或者分析影响销量的主要因素时,则需要构建机器学习的算法。在这种情况下,推荐的解决方法是先全面收集系统中可用的数据,而后根据数据规模调优算法提升精度。

三、针对2中算法问题,在算法精度仍然不能满足实际应用的情况下,需要深入分析问题,如算法开发人员收集的数据是否不够全面,是否需要爬虫引入外部数据,或者沟通懂业务的专业人员是否有其他维度的数据可以引入算法模型。另一种是否可以通过提升算法的复杂度,如选择迭代次数更高的深度学习算法(如多层感知器之类,通过提升算法的层数来提升算法挖掘数据的能力)来提升算法分析问题的能力。

通过利用如上几个步骤,可以很好地达到开发成本和项目需求之间的平衡,如针对所有问题都采用最复杂的第3种方法,虽然通常情况下效果可能最好,但不可忽视的是会带来大量的开发和沟通成本。因此在满足项目需求的情况下,合理的平衡项目需求和开发成本是十分具有现实意义的。

 


推荐新闻

查看更多

2021-01-20

数据驱动实验室效率提升

数字化实验室依据数据提高效率

了解更多

2020-10-17

数字化实验室发展趋势

智能化,物联化,一体化是实验室管理软件必然趋势

了解更多

我们随时准备为您提供帮助

    • 致电网萨科技
      021-33628059

分享

发送邮件

业务咨询

打算购买?

立即咨询