目前，计算机系统做出决策的方式是基于程序明确设定所需遵循的规则。这样，如果它们的决策出错（这是不可避免的），我们就可以回过头来找出计算机做出错误决策的原因。“为什么外部感应器遭遇空气湿度激增的情况时，智能飞行系统使飞机上升了5度？”等。现在的计算机编码能被解码、检查，并且可以解读其决策依据——无论多么复杂，至少对于懂得如何解码的人不存在问题。

然而，有了大数据分析，这种追踪会变得愈发困难。对人们而言，进行预测分析的计算机系统往往过于复杂，根本无法理解。但当计算机按程序设置明确执行一系列指令时，情况就不一样了。例如1954年早期，在IBM将俄文译成英文的翻译程序中，人们就能轻松理解一个单词译成另一个单词的原因。但是，对于谷歌利用几十亿页的翻译数据开发出的翻译系统，当其将英文单词“light”译成“光”而不是“重量轻”时，就不可能清楚地解释如此选择的原因，毕竟这个预测分析是基于海量数据和庞大的统计计算之上的。

大数据的运作是在一个超出我们正常理解的范围之上的。例如，谷歌所确定的与流感相关的检索词条是通过测试了4.5亿个数学模型而得出的。而辛西亚·鲁丁最初为判断沙井盖是否会着火设定了106个预测器，因此才能向联合爱迪生电力公司的经理解释为何程序要求优先检查某个沙井盖。“可解释性”正如在人工智能界所称的一样，对于不仅想知道“是什么”更想知道“为什么”的人类来说非常重要。可是，如果系统自动生成的不是106个预测器，而是601个的话，那该怎么办呢？虽然其中大部分都没有多大用途，但是一旦汇聚起来就能提高模型的准确性，而预测的基础就会变得惊人地复杂。如此的话，辛西亚·鲁丁如何能说服联合爱迪生电力公司的经理再分配它们本就不多的预算呢？

在这些背景下，我们能看到大数据预测、运算法则和数据库有变为黑盒子的风险，这个黑盒子不透明、不可解释、不可追踪，因而我们对其信心全无。为了防止这些情况的出现，大数据将需要被监测并保持透明度，当然还有使这两项得以实现的新型专业技术和机构。它们将为许多领域提供支持，在这些领域里社会需要检测预测结果并能够为被其错误引导的人群提供弥补方法。

社会发展出现过很多这种情况，当一个特定领域变得特别复杂和专门化之后，就会催生出对运用新技术的专门人才的迫切需求。在一个多世纪以前，法律、医学、会计以及工程学领域都经历过这种转型。不久前，计算机安全和隐私顾问的突然兴起，证实了公司都在遵循由一些组织确立的行业最佳做法，如国际标准化组织，它是为满足这个领域对准则的需要而自发形成的。

大数据洞察

大数据将要求一个新的人群来扮演这种角色，也许他们会被称作“算法师”。他们有两种形式：在机构外部工作的独立实体和机构内部的工作人员——正如公司有内部的会计人员和进行鉴证的外部审计师。

这些新的专业人员会是计算机科学、数学和统计学领域的专家，他们将担任大数据分析和预测的评估专家。他们必须保证公正和保密，就像现在的审计员和其他专业人员所做的一样。他们可以评估数据源的挑选，分析和预测工具的选取，甚至包括运算法则和模型，以及计算结果的解读是否正确合理。一旦出现争议，他们有权考察与分析结果相关的运算法则、统计方法以及数据集。

如果2004年美国国土安全部配备有一名算法师，它也许不会生成一份这么差劲的禁飞名单，竟然把马萨诸塞州参议员特德·肯尼迪都列入了其中。最近在日本、法国、德国和意大利，算法师也可以发挥作用，这些国家的很多人认为谷歌的“自动完成”特征程序诽谤了他们。这是一个生成与姓名相关的普遍搜索词的程序，它很大程度上依据的是之前的搜索频率：这些词条根据数学概率进行排名。如果类似“犯罪”或者“娼妓”这样的字眼出现在你姓名旁边，而碰巧被你的业务伙伴或者爱人看到了，你能不气疯吗？

我们将“算法师”的概念视为是在以市场为导向来解决这些问题，这也就避免了以侵入式的规章来解决问题。他们和20世纪早期为了处理泛滥的财务信息而出现的会计以及审计员一样，都是为了满足新需求而出现的。一般人很难理解这样的数字冲击，所以必须有一群以一种灵活的自我监管方式组织起来的专业人员去保护大众的利益。于是，提供专门的金融监管服务的新公司就这样应运而生。如此一来，这种新类型的专门人才也帮助社会大众增强了他们对经济本身的信心。大数据可以也应该从算法师给予的类似信心提振中获利。

外部算法师

外部算法师将扮演公正的审计员的角色，在客户或政府所要求的任何时候，根据法律指令或规章对大数据的准确程度或者有效性进行鉴定。他们也能为需要技术支持的大数据使用者提供审计服务，还可以为他们证实大数据应用程序的健全性，例如反欺诈技术或者股票交易系统。最后，他们将和政府商议公共领域大数据的最佳使用办法。

就像医学、法律和其他行业一样，我们设想这个新行业会有自己的行业规范。算法师的公正、保密、资历以及专业水准可用严苛的责任规范来进行强制约束；如果他们不能达到这些标准，就可能被起诉。他们可以调任为审讯中的专家证人，或在审讯中遇到特别复杂的大数据问题时被法官委派为“法院专家”——主要是指某一个学科领域专家为案件审理提供援助。

此外，当人们认为他们受到大数据预测危害——被拒绝手术、被拒绝假释、被拒绝抵押贷款时，便可以向算法师咨询并针对这些决定提起诉讼。

内部算法师

内部算法师在机构内部工作，监督其大数据活动。他们不仅要考虑公司的利益，也要顾及受到公司大数据分析影响的其他人的利益。他们监督大数据的运转，任何认为遭受其公司大数据危害的人都会最初与他们取得联系。在公布大数据分析结果之前，他们也对其完整性和准确度进行审查。为了扮演好这两个角色，算法师首先要做到的就是必须在工作机构内部拥有一定程度的自由和公正。

个人为公司工作却又要保持公正似乎违背常识，但事实上这十分常见。大型金融机构的监管部门是一个例子，许多公司的董事会也是如此，他们是对股东负责而非管理者。许多传媒公司，包括《纽约时报》、《华盛顿邮报》都会雇用外部监察人来维护公众信任。他们解决读者的问题，当他们发现存在不当行为时，也经常公开责难雇主。

甚至，与内部算法师更类似的职业也同样存在，即负责确保企业不滥用个人信息的职业人。例如在德国，具有一定规模的公司（有10个或以上人员处理个人信息）必须任命一名数据保护代表。20世纪70年代以来，数据保护代表们逐渐形成了自己的职业道德和团体精神。他们进行定期会面，分享最好的实践经验并进行培训，他们拥有自己专门的媒体和会议，他们也成功地实现了一方面忠于雇主，另一方面忠于自己作为公证人的职责。德国的企业数据保护代表们取得了很大的成功，既充当了企业数据保护监察人，又将信息保密观念嵌入了整个企业运作过程。我们相信，算法师同样也能做到。