Платформа HackerRank открыла для клиентов доступ к Chakra — системе на основе искусственного интеллекта, которая проводит собеседования с разработчиками, наблюдает за их работой и оценивает не только итоговый ответ, но и ход рассуждений. После примерно шести месяцев тестирования продукт стал общедоступным в понедельник. Как сообщает TechCrunch, за время бета-проверки Chakra провела более 500 тыс. интервью.
В испытаниях участвовали, в частности, Snowflake, Snorkel и Capgemini, а сама HackerRank также проверяла сервис внутри компании. Разработчики системы считают, что работодателям важно видеть не только способность кандидата решить задачу. Chakra должна помогать оценивать критическое мышление, умение принимать решения и «AI fluency» — способность правильно ставить задачи перед искусственным интеллектом, проверять его ответы и направлять его к нужному результату.
Собеседование проходит в формате, приближенном к реальной работе. Кандидат получает задание на основе настоящего репозитория с кодом и выполняет его в рабочем поле со встроенным помощником на базе ИИ. Система учитывает действия пользователя и задаёт уточняющие вопросы: например, просит объяснить выбор подхода или описать, как изменится решение при появлении нового ограничения.
По словам сооснователя и генерального директора HackerRank Вивека Рависанкара, раньше оценивался главным образом готовый результат. «The previous modality of evaluation was evaluating the output», — сказал он в интервью. Теперь, отметил руководитель, из-за распространения ИИ практически любой человек может создать готовый продукт, поэтому работодателям важно понимать, какие рассуждения и решения стояли за ним.
Chakra также меняет саму схему найма, утверждает Рависанкар. Вместо трёх этапов — разговора с рекрутером, домашнего задания и последующего интервью с инженером — компания может провести одну комплексную сессию. При этом доступ кандидата к ИИ, по данным HackerRank, не увеличил число попыток обмана: количество сигналов подозрительной активности оказалось на 70–80% ниже, чем в сопоставимых традиционных тестах, хотя показатель зависел от региона и уровня специалиста.
HackerRank, запущенная на конференции TechCrunch Disrupt в 2012 году, изначально развивала сервисы для проверки навыков программирования. Сейчас у компании более 3 тыс. корпоративных клиентов, включая Amazon, Nvidia, Clay и Replit, а её сообщество насчитывает свыше 30 млн разработчиков по всему миру. Рависанкар считает, что Chakra станет главным направлением развития компании, однако окончательное решение о найме по-прежнему должны принимать люди: ИИ выставляет оценки по заданным критериям, а не выбирает сотрудников самостоятельно.
Руководитель HackerRank заявил, что при правильной настройке искусственный интеллект может быть менее предвзят, чем человек, поскольку способен применять единую систему оценки ко всем кандидатам. Вместе с тем одинаковые правила сами по себе не гарантируют отсутствия предвзятости: автоматизированные инструменты могут перенимать или усиливать перекосы, заложенные в данных, моделях и критериях. Использование таких систем уже привлекает внимание регуляторов: например, в Нью-Йорке работодатели обязаны проводить независимую проверку определённых автоматизированных инструментов найма на предвзятость и заранее уведомлять об их применении, а HackerRank учитывает эти требования при разработке Chakra.