Чатбот Suzette выиграл премию Лёбнера, смог обмануть судью
25 октября 2010

Победителем в конкурсе чатботов 2010 года и обладателем премии Лёбнера стал чатбот Suzette. Как всегда, соревнование проходило в формате стандартного текстового теста Тьюринга. Судьи должны были вести беседу, не видя собеседников, а затем огласить своё мнение: кто из них является чатботом, а кто — человеком, а также проставить оценки каждой программе.

В этом году лучший чатбот даже смог обмануть одного судью, который принял его за человека.

Судя по всему, качество чатботов улучшается с каждым годом. Например, трёхкратный победитель прошлых лет A.L.I.C.E уже не особо конкурентоспособен. По словам автора программы Suzette, его чатбот победил в квалификации с большим отрывом (11 баллов против 7,5 у ближайшего конкурента).

Финал конкурса не обошёлся без сюрпризов. Приключения начались ещё на этапе установки программ на компьютер. Доктор Ричард Воллес (автор программы A.L.I.C.E) принёс три запасных диска, но все они оказались пустыми. Ему пришлось скачивать программу через интернет.

Чатбот Cleverbot сейчас уже идёт в комплекте с 45 млн строк записанных чатов (он постоянно тренируется на людях в онлайне), и этот индекс удваивается ежегодно. Робот UltraHal начал сканировать твиты для самообучения, так что вдобавок к 300 тыс. чат-сессий у него теперь есть 400 тыс. твитов, принятых в качестве образцов разговорной речи (программа имеет определённые критерии, какие твиты можно брать для анализа, в том числе должно быть достаточное количество ответов на этот твит).

Организаторы конкурса тоже немножко напортачили. Изначально они хотели пригласить в качестве судей профессоров английского языка и других лингвистов, но из-за организационных проблем в итоге все судьи оказались разработчиками из компьютерного подразделения местного университета штата Калифорния (California State University). По словам автора чатбота Suzette, эти ребята разговаривают примерно так же, как его программа.

Люди, участвовавшие в тестировании наравне с чатботами, оказались студентами того же факультета. Они не совсем понимали свою роль — вести себя как можно более по-человечески и пытаться убедить в этом судей.

В первом раунде Suzettte сильно подкачала — в одном из моментов она дословно повторила слова собеседника (автор до сих пор не понимает, как стал возможным такой глюк). Этот раунд был полной катастрофой. Во втором раунде всё прошло отлично, а в третьем «Сьюзетта» снова оказалась близка к провалу. Судья пристал к ней с вопросом, за кого она будет голосовать на ближайших выборах, не называя выборы. Очевидно, он имел в виду выборы в губернаторы Калифорнии, но ведь до этого нужно было догадаться! Когда она сказала, что не знает, он потребовал назвать нынешних кандидатов. Когда она опять призналась в своём невежестве, судья продолжал повторять вопрос и настаивал на ответе. «Сьюзетта» начала проявлять признаки раздражения, потом рассердилась, а затем ей стало скучно и она пригрозила судье прервать беседу. На этом разговор был окончен. Разработчик подумал, что дело швах, ему уже не выиграть.

На финальном голосовании Suzette разделила второе-третье место по баллам, но потом оказалось, что судья с третьего раунда принял её за человека! Видимо, так на него подействовало проявление эмоций. Это была мгновенная победа, потому что данный показатель является приоритетным, и никакой другой чатбот не сумел обмануть судью.

http://habrahabr.ru/blogs/artificial_in … ce/106850/

Чат-бот Suzette (на английском и работает с перебоями)

Чат-бот на русском