Rawpixel.com/Adobe股票
本系列文章涵盖了三个花分析课。我开始与第一课(今天),这是一种个人经历,教我的重要性有一个健壮的过程来保证数据的完整性。
教训1:介绍数据处理——清洗、浓缩和分类
我第一次接触到任何我们可能远程描述为花分析——试图提高手动Excel和访问操作和分析支出数据——是接近二十年前。自由市场的我是一个经理在产品战略计划的一部分,大量采购参与涉及几十个潜在类别,成千上万的行项目,在整体花费数亿美元。
以前,像其他服务提供者和内部采购团队在同样复杂的数据集,我们有这样的努力集中于一次性计划旨在展示的最佳机会储蓄或成本回收(如发票审核)。
但听各种客户的需求后,我们看到了一个机会建立一个解决方案,包括最初的努力开发一个wave-driven采购策略,分为直接,中期和长期的优先级,以及一个正在进行的项目,将更新和刷新同一数据集显示支出执行结果和合规以及新的机会。
这不会很容易的执行。我们最初的解决方案将更多的功能,而不是一个真正的集成解决方案。和一个竞争厂商拍摄的不久之后与一个完整的“自动分类”能力建立在基于规则的基础上,远远优于我们。
可惜的是,经验给我上了宝贵的一课:数据问题高于一切。然而,得到准确的数据并不像看起来那么容易(起初)。
为什么数据的核心挑战
最初的努力,我的团队能够构建本质上是一个很大程度上手动驱动的ETL(提取、转换、加载)数据管理过程信息加载到一个关系数据库,上面坐着一个Cognos平台(即。商业智能)与一些罐头报告。我们的方法,就像很多人,不是优雅,但它在帮助回答一些基本的问题,我们可以使用它来实施和执行一个降低成本的策略。
得到的数据只是花分析成功的第一步。但不要认为这是一个简单的。我发现,基本应付款系统数据(通常来自ERP工具)以及总账信息来源我们自己的系统仅仅是开始。
现实世界不是采购数据的世界——至少目前还没有
我们大多数可用的数据来自内部系统,特别是间接和服务消费的情况下,缺乏代码细节,只有来自专业采购工具和supplier-provided发票数据。
当然还有其他来源的数据。购买卡片文件,归档EDI信息,供应商网络,银行数据,集团采购组织信息、贸易融资档案和其他第三方通常LDSPORTS下载可以提供数据,尽管通常是碎片,不完整。
我发现,拼凑所有这些数据创建一个整体的花的照片不是在公园里散步。但即便在此之前,我们需要“干净”和丰富它,确保所有的头文件和代码名称和细节是准确的和特定的命名标准。数据通常是失踪的特定字段和拼写错误和缩写是常见的错误编码字段。
总之,最常见的主题是花演习初步分析是数据质量很差,我们的供应商有更好的资料我们可以提供比我们自己的系统。讽刺,不是吗?但这就是正确的技术可以发挥作用,帮助我们从我们自己的碎片拼接系统和供应商数据。
最佳实践(其中有很多,除了这个列表)包括:
- 创建数据加载的规模效率和规范化(尤其是对重复/刷新的情况下)
- 追求一个永久(可持续)解决方案和一次性的努力,至少每季度数据刷新,但理想情况下每月或者每周
- 有一个自动化的方法清理和分类(机器学习/人工智能、规则等)和人类经验之上的(如果技术仅是不够的所需的精度水平,这种情况在超过90%的花分析工作)。这包括能够解决命名不一致和约定;缺失的数据;错误输入的数据(例如,“阴”“销”);应用正确的分类结构底层数据集(例如,“老鼠”作为电脑周边和实验室消耗品),等等。
- 进入代码的细节
- 提供预测编码/分析——甚至(潜在)分类数据实时的征用
- 提供标准数据浓缩选项(公司级别字段——认为“胡佛”类型信息)
- 提供二次/先进数据浓缩(供应风险,企业社会责任数据,供应商多元化,等等)。
如果我们开展这些活动在适当的级别,我们能够生成一个及时、核心花不断更新主数据集的和可用的。但是我们必须开始做某事,鼓励我们的同行使用和查询数据识别机会和采取行动。这就是让我在本系列的下一篇文章:消费信息的视觉显示。
讨论: