女人的意外 被误认为是小偷 来自新西兰一家超市的面部识别系统，我对此并不感到惊讶。当链条 食品 北岛 在宣布打算测试这项技术以打击商店犯罪时，技术和隐私专家表达了许多担忧。特别强调了毛利妇女和有色人种妇女遭受歧视的风险。非常正确的恐惧和必要的反思。
超市的使用情境：超越算法
自动面部识别经常被抽象地讨论，作为纯粹的算法模式匹配，强调正确性和准确性：我仍然记得强调 “拿走”商店不再需要结账。 对于管理生物识别和安全数据的系统来说，这些是非常重要的优先事项。但由于如此关注自动化决策的结果，很容易忽视对如何应用这些决策的担忧。
设计师使用术语“使用环境”来描述产品的日常工作条件、活动和目标。超市中的面部识别技术的使用环境远远超出了人体工程学或可用性等传统设计关注点。它需要考虑自动违规通知如何触发商店中的响应、管理这些响应的协议以及出现问题时会发生什么。这些不仅仅是技术或数据问题。 它们是人类的社会问题。
天平精度和误差的影响
投资提高预测准确性似乎是面部识别系统的首要任务。但这需要在更广泛的使用背景下看待，其中 少量错误预测造成的损害超过了其他方面的边际性能改进。
新西兰超市的错误只是扼杀这项技术的一系列错误中的一颗小珍珠。这家超市公司回应称这是“真正的人为错误”，但并没有解决围绕人工智能和自动化系统使用的更深层次问题。 研究表明 该 人类决策者可以继承人工智能决策的偏见。在高压和暴力风险的情况下，将自动面部识别与即兴人类判断相结合 这是有潜在危险的。
与其孤立并指责单个工作人员或技术组件作为单点故障，不如更加重视整个系统的容错能力。 人工智能错误和人为错误无法完全避免。 “人在循环中”的人工智能安全协议需要更仔细的保障措施，尊重客户权利并防止刻板印象。
超市，走向监视文化？
澳大利亚的案例具有象征意义。在新西兰，他们通过公开的技术监控来应对零售犯罪：为员工提供随身摄像头（现在也被 Woolworths 连锁店采用）、对顾客在商店中的活动进行数字跟踪、自动手推车锁和出口大门，以阻止人们不付款就离开。
超市可能只是购物体验技术变革的先锋。这是一个可怕的变化，它走向了一种监视文化，在这种文化中，每个顾客都像潜在的小偷一样受到监视。它让我想起自 11/XNUMX 以来全球机场安全发生的变化。
以人为本的设计挑战
新西兰隐私专员很快将对 Foodstuffs 的面部识别试验发表评论。相信我，我是在解释洛伦兹的话，这句话是世界某一地区蝴蝶翅膀的经典扇动，可能会在世界另一边引起龙卷风。
盗窃和暴力是超市和其他企业一样必须解决的紧迫问题。但现在他们必须证明数字监控系统是比可能的替代方法更负责任、更道德和更有效的解决方案。这意味着认识到技术需要以人为本的设计。避免虐待，避免偏见。 圣神，避免伤害。
如果现在不利用这些时机来指导监管框架和标准，为有关人工智能的可接受使用的公众辩论提供信息，并支持更安全的自动化系统的开发，那么什么时候呢？新西兰的案例给所有在零售等微妙环境中设计和实施人工智能系统的人敲响了警钟。只有将人的因素及其复杂性和细微差别置于中心位置，我们才能够开发出真正改善我们社会的技术，而不会造成新形式的歧视和监视。
