当谈到评级采购技术时，你相信什么——你的直觉还是你的数据?
在一份新的白皮书中，Azul Partners和消费问题创始人Jason Busch将“消费问题解决方案”评级方法与其他分析师评级方法进行了比较，包括Gartner Magic Quadrant (MQ)、Forrester Wave和IDC MarketScape。Busch提出的基本论点是，驱动遗留评级模型和供应商布局的“数据”在准确性和预测洞察力方面是谨慎的。这并不是因为这些公司的分析师比Spend Matters的分析师更聪明或更专业。事实恰恰相反。正是对他们专业知识的依赖造成了问题!
但这怎么可能呢?
“思考，快与慢”
我们需要把注意力转向诺贝尔奖得主丹尼尔·卡尼曼(Daniel Kahneman)(和阿莫斯·特沃斯基(Amos T乐动体育下载链接versky))的研究，以理解其中的原因。通过卡纳曼的《思考，快与慢》(Thinking, Fast and Slow)一书的镜头来探索其他评级的方法时，我们看到，即使是最深刻的主题专家，当被迫进入一个需要他们过去的知识和经验作为判断基础的决策模型时，他们往往是对的和错的。
在回顾以色列军方遴选和安置候选人的过程时，卡尼曼发现，让面试官评估具体的、狭隘的标准，而不是简单的观察，比基于经验和直觉(或他们的“直觉”)的方法更准确。这种基于标准的方法有助于消除偏见，使候选人的评分更加可靠。
正如Busch在论文中所探索的那样，传统的分析师评级方法需要对固有的主观主题进行判断，而不是根据定义的标准和设定的评分标准进行评级。如果你同意卡尼曼的模型，那么只依赖于有形的、可演示的和可测量的标准的评级模型应该比另一种模型更加准确和具有预测性。
比较其他方法与SolutionMap
尽管已有的学术证据会对推动评级的“数据”的有效性提出质疑，但采购、金融和IT机构每天仍在使用传统的分析师矩阵来筛选技术提供商。Busch认为这会导致各种各样的问题——从错误的供应商选择决策到降低ROI、技术投资注销和增加变更管理成本。
但是为什么呢?Busch指出，驱动每个Gartner MQ的数据部分依赖于“业务级别的标准评级——其中基本功能和技术能力包含有限的输入。”这可能会迫使分析师做出卡纳曼所说的那种宏观层面的判断，而这种判断在准确性上并不比猜测好。相比之下，Forrester Wave的“技术和功能能力评分的粒度级别”甚至比Gartner还要低。当提到IDC MarketScape时，该方法甚至没有在业务层面考虑的同时包含一套细粒度的功能或技术评分标准，至少是基于已发布的方法。
简而言之，每一种方法都不同程度地依赖于专家的判断。
最后的话
但专业知识也有其局限性。这导致Busch认为“花费问题解决方案图[方法论]……很可能形成一个更准确的参考点，以理解比较技术方法和显示的功能能力。”
无论你是相信你的直觉还是你的数据，今天一定要下载免费白皮书，了解更多关于SolutionMap与其他行业分析师评级方法的比较。
立即下载:“以色列军方和一位诺贝尔经济学奖得主能在更好的技术决策方面教给我们什么?”
讨论: