解法
Canva 发现其工程工作与面试之间存在不匹配。其近半数的前端和后端工程师每天都在使用人工智能编码工具,但旧的计算机科学基础面试却要求候选人无助地编写算法。Canva 自己的实验发现,人工智能可以在几秒钟内为传统问题提供正确且带有文档的解决方案,而秘密使用人工智能的行为越来越难以监管。
公司选择了透明而不是检测。对于后端、前端和机器学习岗位,它试行了人工智能辅助编码面试,期望候选人使用他们偏好的工具。问题变得更为复杂、模糊且现实,例如为繁忙机场的飞机设计控制系统,而不是实现康威生命游戏,因此单一提示无法解决该问题。
面试评估候选人是否澄清了需求、有策略地使用人工智能、保持对整体设计的控制、在生成的代码中发现缺陷,并让结果达到生产标准。Canva 报告称,其最优秀的候选人将人工智能视为倍增器而非答案机器;而人工智能经验较少的候选人常常在引导或挑战其所需的判断力上遇到困难。试点项目感觉更具吸引力,而且在 Canva 的评估中,产生了更强的绩效预测信号。
What it achieved
用人工智能测试判断力,而不是在没有人工智能的情况下测试记忆力
为什么有效
禁止工程师每天使用的工具,会让面试衡量的是与工作的隔离,而非工作表现。
模糊的产品问题迫使候选人澄清需求并做出权衡,而记忆算法问题则掩盖了这些。
要求候选人掌控生成的代码,既保持了技术严谨性,又让人工智能协作变得可见。
审查和调试生成的代码,测试了人工智能草拟初稿后工程师所需的领会与判断力。
透明度消除了猫捉老鼠的检测游戏,并将工具使用转变为明确的能力。
可以借鉴什么
当工具改变工作内容时,不要通过禁止工具来捍卫过时的测试;重新设计任务,让稀缺的判断力保持可见且可问责。
后续
Canva 提前告知候选人预计会使用人工智能,并鼓励他们练习使用相关工具。公司将这次重新设计定位为人工智能无处不在的运营理念的一部分,同时将代码熟练度、技术深度和掌控力视为不可谈判的要求;它还承诺会随着模型能力的变化而重新审视该形式。
从这里,追溯依据
参考来源
- How hard is it to cheat with ChatGPT in technical interviews? interviewing.io