数据中台技术汇 | 智能算法助力企业效率升级

移动生产力和传统企业困境纵观历次生产力革命，都是从生产者的技术革新开始，最后波及到消费者。几次工业革命中，能源和制造工艺的升级极大地提高了生产效率，并且创造了大量的新工种，最终提升了消费者的生活质量，促进一轮又一轮的消费升级。最近的信息技术革命，互联网最先使用在国外的大型工业产业，之后普及到社会生活中，才带来了无数次的生产力提升的机会和挑战。然而，移动互联网生产力的产生和发展却不同，它产生于消费端而不是生产端。移动互联网生产力带来了两个核心能力：分布式，去中心化在消费端，移动互联网连接起海量的消费实体，通过一种自发的组织方式，实现了去中心化。消除了之前的生产力单点瓶颈，使得消费规模呈指数级增长。分布式的组织形式同时提供了消息传递的极短路径，使得销售活动可以非常高效地组织起来，同时增加了消费链路的透明化，推动消费力极大提升。受互联网发展的影响，消费端的需求逐渐提升，给生产端带来越来越大的产能压力。生产端产能升级迫切需要，生产力的再平衡如箭在弦上，不得不发。如何利用移动互联网的技术优势和越来越丰富的人工智能算法能力，在生产端发力，提升生产效率，成为了一个越来越重要的命题。同时生产关系随着消费者和生产者的效率升级，也需要重构，而线下的很多传统企业多年打造的复杂系统，面临着巨大的挑战。基于这个命题，奇点云提供了数据化智能解决方案。在很多行业不断打磨、沉淀，深度尝试移动互联网技术和AI算法，形成了前沿的创新型算法模型，大幅度提升线下生产力效能，重构生产关系。新的商业模式，一切为了效率。数据质量这么差，企业如何数字化升级？在过去的10年，移动生产力通过对人货场的信息流改造，极大地提高了线上消费场景的效率。但是线下，却看不到信息流全面覆盖。大量的传统行业还是停留在原始的人工运营为主的情况，少数建立了孤立信息系统。在大数据时代，传统企业，仍然摆脱不了缺乏数据的魔咒。这种数据的欠缺主要表现在两个方面：1.线下运营和管理的数据存在独立的MIS系统中，且深度耦合业务，数据孤岛很难打通。2.线下的用户行为单一，目前还没有完善的收集跟踪用户在线下交易的完整行为链路，对于用户的偏好和厌恶很有具有说服力的数据来支撑。基于这样单薄稀疏的数据，在人货场的任何场景都很难有大幅度的效率提升，只能自动化最基础的工作，和线上的智能化、数据化相去甚远。针对这些问题，奇点云的数据中台服务通过整合数据孤岛，并结合行业知识，设计行业数据模型，打通不同部门的数据，同时也打通了不同部门的业务。结合我们的能力，企业就可以完全实现：从无数据，到能自主地生产数据。生产是动态的、源源不断的，这也是企业未来数字化转型的数据基础之一。但是，线下用户稀疏而单一的行为数据，仍然是目前AI落地传统行业的重大障碍。为了解决数据的问题，主要有两个方向，丰富线下的端和提高一方数据的利用效率：1.我们开发的智能魔柜、魔镜、识客系统是很好的用户线下行为的采集终端。同时，随AI时代来临带来的更强大的算法模型，被用来更加高效的处理线下稀疏的数据。2.企业的一方数据主要是销售数据和会员数据等。这些原始数据维度单一、低周转的商品还存在稀疏的问题。经过在大量项目的实践，针对这两个问题我们总结了可靠的方法论：(1)维度单一：我们可以通过增加模型对相关联特征的衍生挖掘，补充更多维度的特征；(2)数据稀疏：我们可以通过解耦和建立子模型的方式，通过简单模型融合、跨任务融合的方式，提高模型效果。并结合深度神经网络的结构化数据挖掘优势，线下数据的诸多问题都被弱化，甚至基本解决。实战打磨，AI助力企业智能升级目前我们积累了大量的实践项目，帮助传统企业更好地使用自己数据，挖掘线下数据的价值。销售数据是线下用户行为的最主要来源，但类比线上的数据：点击、购买、收藏、加购，显得单一且稀疏。而且线下数据缺乏负样本的支持，使得传统的监督学习在使用到线下数据场景上尤为困难。奇点云大数据算法团队目前有两把尖刀，在真实的线下数据场景中取得了不错的效果。
无监督画像：通过建立经验概率模型，结合行业中实体关系，建模实体概率模型并求解。从POS单中挖掘了人-货-场多个维度的画像。通过聚类分析和人工解释，洞察出了各个维度画像之间隐藏的可解释关系。一方面，可以提供商家更加丰富灵活的运营手段；另一方面，可以作为特征加入模型，解决稀疏数据的泛化性问题，在智能调补货、智能排班、智能定价模型中，对于需求预测的准确率提高效果显著。奇点云算法团队通过对不同行业销售数据的深入分析，研究了时间序列、boosting、深度模型等多种方法，全面对比了不同方法在不同场景下的效果。发现其实销售数据只是表象，根本的是背后的业务逻辑，不同销售属性的产品，其数据的分布有巨大区别，数据之间的勾稽关系更是天壤之别，适用的算法也决然不同。我们从“ 香港云主机分”到“合”提出了解决方案：1.从“分”的角度，我们结合行业的不同情况，对需求预测问题分解，针对同一个行业中不同的行为，对需求预测再次分解。2.从“合”的角度，我们合并行业间的通用问题，合并问题间的通用解决方案。形成了零售、鞋服、综合体等多个领域的需求预测解决方案。需求预测不是一个简单的预测问题，还涉及到业务交互和理解。奇点云需求预测平台：支持业务可理解的需求解耦、需求重塑。提供给运营人员和企业高层对业务更加深入的洞察角度，和制定经营计划的精准打击武器。商业战场，瞬息万变，我们的算法工具，不能呼风唤雨，却可以预测未来。成败之间，细节为王。借助数据中台、数据分析、移动互联网算法技术，奇点云算法平台希望能成为企业的核心王牌，帮助侧重线下场景的企业能笑到最后。

相关推荐: ES集群修改index副本数报错 ：index read-only / allow delete

ES集群修改index副本数，报错 ：index read-only / allow delete (api)es集群数据量增速过快，导致个别es node节点磁盘使用率在%80以上，接近%90 ，由于ES新节点的数据目录data存储空间不足，导致从maste…