На прошлой неделе руководство . Чат-боты - это программы, созданные для имитации поведения человека в Сети. Проще говоря, виртуальные собеседники. Так вот, оказалось, что им надоело переписываться друг с другом на английском, поскольку они не получали за это «вознаграждения» (!), и система изобрела свой язык, пусть и похожий на язык оригинала. Он позволял чат-ботам общаться быстрее и проще.
В американских СМИ появились отрывки из их «диалогов»:
Боб: Я могу могуЯЯ всё остальное.
Элис: Шары имеют ноль для меня для меня для меня для меня для меня.
Как поясняет издание Digital Journal, системы ИИ опираются на принцип «поощрения», то есть продолжают действия при условии, что это принесёт им «пользу». Когда они не получили от операторов сигнал поощрения за использование английского языка, они решили создать свой собственный.
Осенью прошлого года похожая история произошла с интернет-поисковиком Google. Его система онлайн-перевода сама отказалась от принципа разбивать все предложения на отдельные слова и фразы (это снижало качество перевода) и создала новый язык-посредник, позволяющий быстрее и точнее переводить всю фразу целиком.
Эксперты полагают, что искусственный интеллект (а чат-боты - бесспорно, его представители, хоть и примитивные) будет обретать всё больше самостоятельности и становиться непредсказуемым. А в чём-то - похожим на человека. Вот не менее удивительный случай, о котором поведали разработчики всё того же Facebook. Они пытались научить бота (компьютерную программу) вести переговоры - строить беседу и активно добиваться поставленных целей. Люди, на которых тестировали программу, не сразу поняли, что разговаривают с компьютером. Но поразительно другое. Бот без помощи программистов научился прибегать к хитрости ради достижения цели. Несколько раз он нарочито проявлял интерес к чему-то, что на самом деле его не интересовало, а потом притворялся, что идёт на компромисс, обменивая это на то, что ему действительно было ценно. Не так ли поступали и наши предки в эпоху натурального обмена?
На Западе всё громче звучат голоса, что ИИ стал представлять опасность. Предприниматель и изобретатель Илон Маск призвал власти США усилить регулирование, назвав ИИ «наи-большей угрозой, с которой сталкивается цивилизация». Он считает, что, если вовремя не вмешаться в процесс, потом может быть поздно: «Когда мы увидим роботов, которые ходят по улицам и убивают людей, мы наконец поймём, как важно было присмотреться к искусственному интеллекту».
Илону Маску вторит знаменитый британский физик Стивен Хокинг . В его публикациях последних лет это одна из излюбленных тем. «Появление полноценного искусственного интеллекта может стать концом человеческой расы, - заявил он в интервью BBC. - Такой разум возьмёт инициативу на себя и станет сам себя совершенствовать со всё возрастающей скоростью. Возможности людей ограничены медленной эволюцией, мы не сможем тягаться со скоростью машин и проиграем».
Российские эксперты настроены более оптимистично. «Думаю, бояться искусственного интеллекта не стоит, но относиться к нему нужно со всей серьёзностью - как к новому виду оружия, которым ещё надо научиться пользоваться, - говорит завкафедрой инженерной кибернетики НИТУ «МИСиС» Ольга Ускова , возглавляющая компанию по разработке ИИ. - Ситуация с ботами на Facebook, конечно, привлекла внимание широкой общественности, но никакого «восстания машин» не предвидится. Механизм обучения ботов на базе ИИ чётко зафиксирован в сценарии: он либо специально прописывается программистами, либо намеренно опускается».
Тем не менее кто бы мог подумать ещё недавно, что поставщиками новостей скоро станут компьютерные программы, которые живут своей жизнью и, похоже, уже не нуждаются в человеке?
Руководство социальной сети Facebook вынуждено было отключить свою систему искусственного интеллекта, после того как машины начали общаться на собственном, несуществующем языке, который люди не понимали, пишет Русская служба Би-Би-Си .
Система использует чат-боты, которые изначально создавались для общения с живыми людьми, но постепенно начали общаться между собой.
Сначала они общались на английском языке, но в какой-то момент начали переписываться на языке, который они сами создали в процессе развития программы.
В американских СМИ появились отрывки из "диалогов", которые вели между собой виртуальные собеседники [орфография и пунктуация сохранены].
Боб: Я могу могуЯЯ все остальное.
Элис: Шары имеют ноль для меня для меня для меня для меня для меня.
Как поясняет издание Digital Journal, опираются на принцип "поощрения", то есть продолжают действия при условии, что это принесет им определенную "пользу". В определенный момент они не получили от операторов сигнал поощрения на использование английского языка, поэтому и решили создать свой собственный.
Издание Tech Times отмечает, что у роботов изначально не было ограничений в выборе языка, поэтому постепенно они и создали свой язык, на котором они могут общаться проще и быстрее, чем на английском.
Эксперты опасаются, что если боты начнут активно общаться на своем собственном языке, то постепенно станут все более самостоятельными и смогут функционировать вне контроля IT-специалистов. Тем более, что даже опытные инженеры не могут полностью отслеживать ход мыслительного процесса ботов.
Напомним, несколько дней назад об искусственном интеллекте поспорили глава Facebook Марк Цукерберг и основатель SpaceX, Tesla и PayPal Илон Маск.
И почему это не «выход ИИ из-под контроля», а ошибка разработчиков.
В закладки
Бронирование перелётов с помощью бота в Facebook Messenger
31 июля российские СМИ рассказали , что Facebook «отключил искусственный интеллект, создавший собственный язык». Диалог двух чат-ботов, о котором сообщалось ещё в середине июня, интерпретировали как то, что ИИ «вышел из-под контроля», «обхитрил» людей и напомнил об «опасности Скайнета». На самом деле произошла ошибка программирования, вызвавшая непредусмотренный сценарий.
Рождение диалога «на случай переговоров»
14 июня исследователи из лаборатории Facebook Artificial Intelligence Research Lab (FAIR) рассказали о новом этапе при разработке алгоритма. Если ранее боты («диалоговые агенты») справлялись с простыми сценариями вроде бронирования ресторана, совета по выбору лучшей цены на товар, рекомендации по просмотру телеканала для детей и даже короткой беседы, то теперь учёные пошли дальше.
FAIR ввела «возможность ведения переговоров» и опубликовала исходный код нововведения. Люди с разными целями вступают в конфликты, обсуждают вопрос и приходят к компромиссам - по этой аналогии исследователи разрабатывали нейронную сеть с непрерывным обучением. По задумке, боты могли бы эффективно участвовать в переговорах с людьми или другими ботами, находя выход из сложных ситуаций.
Один из первых экспериментов над двумя ботами заключался в «делёжке» предметов и предварительном обсуждении. В общем наборе состояли две книги, шляпа и три шара. Каждый объект обладал значимостью для ботов (от одного балла до трёх). Как и в жизни, первый бот не знал, насколько важны эти предметы для другого ИИ, и должен был догадаться об этом из диалога.
К примеру, если первым делом сказать, что необходим именно шар, значит, адресат оценивает его высоко. Уже позже ботов научили симулировать интерес к предмету, чтобы в нужный момент переговоров «пожертвовать им» ради достижения компромисса.
Таких сценариев создали много, но всегда оказывалось, что два бота не могут одновременно «выбить» для себя лучшую сделку. Попытка уйти от переговоров или отказаться от сделки после 10 раундов диалога считалась провалом. При этом практику переговоров признали необходимой, а их результаты - важными в плане повышения производительности ИИ.
Затем задачу усложнили, поскольку в переговорах должно быть чётко сформулировано намерение и предложены аргументы. В этом есть как элементы сотрудничества, так и состязания. Для этого FAIR позволила ботам строить долгосрочную стратегию и предсказывать, куда пойдёт диалог. Это нужно было, чтобы заранее отказаться от бессмысленных или «расстраивающих» сценариев в пользу эффективных. В FAIR признали, что идея не нова и ранее использовалась в игровой индустрии, однако в лингвистике применялась впервые.
1 - высказанное предложение «Ты берёшь книгу, а я заберу всё остальное», 2 - возможные ответы «Да» и «Нет, мне нужны все три», 3 - дальнейшие варианты диалога, 4 - возможный итоговый результат в баллах.
Авторы исследования обучили нейронную сеть, собрав коллекцию диалогов между людьми. Чтобы оценить работу, ботов проверили в разговоре с реальными собеседниками. Во время экспериментов многие люди не осознавали, что разговаривают не с настоящим человеком, а с ботом. Фактически это показало, что «роботы» могут свободно говорить и думать на английском языке. Лучших результатов сделок искусственный интеллект добивался так же часто, как и худших - так и бывает в жизни.
Как указано в исследовании, чтобы алгоритм не развивал собственный язык, он был обучен производить «тот, на котором говорят люди». Именно в этом моменте закралась ошибка, которая и привела к новостям с опаской за будущее человечества.
Дайте ботам спокойно поговорить
Вскоре издания The Next Web и Fastсo Design обратили внимание на нерядовую ситуацию при работе специалистов над программой. В какой-то момент исследователи, воспользовавшись алгоритмами машинного обучения, оставили диалоговых агентов «наедине».
Ботам дали возможность свободно разговаривать друг с другом, чтобы развить их навыки на практике. Со временем диалоговые агенты отклонились от прописанных в сценарии норм и начали общаться на «тарабарщине», созданной без участия человека. При более удобной и быстрой для ИИ форме общения правила английского языка максимально опускались, а конструкции многократно повторялись.
Боб: Я могу я я всё остальное.
Алиса: Мячи имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для»
Боб: Ты я всё остальное.
Боб: Я я могу я я я всё остальное.
Алиса: Мячи имеют мяч для меня для меня для меня для меня для меня для меня для меня.
Алиса: Мячи имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для.
Боб: Ты я я я я я всё остальное.
Боб: Ты я я я всё остальное.
Алиса: Мячи имеют 0 для меня для меня для меня для меня для меня для меня для меня для меня для.
Диалог чат-ботов Facebook
Такой диалог стал возможным не потому, что роботы уже захватили мир, а из-за допущенной ошибки в программировании. Приглашённый в Facebook научный сотрудник из Georgia Tech Дхрув Батра (Dhruv Batra) рассказал, что ботам попросту не дали задачу придерживаться английского языка.
Диалоговые агенты конкурировали между собой в попытке достичь максимальной эффективности при общении. Поначалу боты расходились в «акцентах», а затем изобрели кодовые слова и начали переставлять разборчивые конструкции в бессмысленные для обычных людей предложения. По словам Батры, подобные ситуации из-за ошибок программирования не редкость и встречаются во время рабочего процесса.
«Представьте, что я назову какой-то предмет пять раз. Вы сразу интерпретируете это как то, что я хочу пять копий этого предмета. Это не особо отличается от сокращений, которыми пользуются люди», - объяснил Батра.
Исследователи FAIR сразу же отключили эту систему и доработали код так, чтобы алгоритм позволял общаться только на понятном человеку английском языке.
Вместо выводов
Многие СМИ, которые в конце июля обратили внимание на необычный диалог ботов, заодно вспоминали о недавнем заочном споре предпринимателя Элона Маска и основателя Facebook Марка Цукерберга об искусственном интеллекте (TJ об аргументах сторон). Если вкратце, глава Tesla видел угрозу в искусственном интеллекте, а также угрожал человечеству безработицей и войной. Создатель соцсети был настроен оптимистично и называл выводы оппонента «безответственными».
При этом однозначно занять чью-то сторону затруднительно. К примеру, Маск «угрожал» человечеству безработицей и войной, но, по замечанию Mashable , первоочередными в мире с вездесущим ИИ станут вопросы о конфиденциальности персональных данных. Цукерберг обещал появление полезных ИИ-проектов в ближайшие 5-10 лет, но пессимистичные редакторы Slate предположили, что к этому моменту значимыми нововведениями воспользуется лишь узкая прослойка людей, в том числе семья основателя Facebook.
Считается, что ИИ лишит работы обычных людей, однако, как заверил Fortune , с его развитием возникнут новые рабочие места, где нужно будет применять навыки на основе технологии. По большому счёту, Маск и Цукерберг спорили о неустоявшемся определении «искусственного интеллекта» и том, как его понимать.
Ситуация с чат-ботами Facebook вызвала опасения, поскольку разглядеть «мыслительный процесс» ИИ нельзя. Если диалоговые агенты начнут говорить между собой на действительно неизвестном человеку языке, понять их будет невозможно. Как подметили в FAIR, билингвов, которые одновременно поняли бы ИИ и человеческие языки, также нет.
Тем не менее предстоит «огромная» работа по получению данных в подходящем для ИИ формате, что порой «содержит больше искусства, чем науки», подчеркнул один из специалистов в разговоре с Fastсo Design. По его словам, английский язык «запутанный и сложный, а вовсе не дружественный для машинного обучения».
Программисты соцсети Facebook отключили одну из систем искусственного интеллекта из-за создания ботами собственного языка для общения, непонятного людям. Ранее специалисты неоднократно предупреждали о риске, с которым столкнутся люди при разработке искусственного интеллекта, пишет Tech Times. Между тем, Китай намерен стать мировым лидером в этом направлении.
Компания Facebook вынуждена была отключить чат-боты, созданные на основе искусственного интеллекта, после того как боты стали общаться не на английском, а на собственном языке. Программисты отключили часть системы и перепрограммировали других ботов, чтобы их общение происходило только на английском языке. Собственный язык боты создали для более быстрого обмена информацией.
Это уже не первый случай, когда чат-боты нарушают установленные создателями правила. Так, несколько месяцев назад бот Microsoft обошёл установки и начал транслировать откровенно расистские идеи и одобрять наркотики.
О риске разработок искусственного интеллекта ранее предупреждал Илон Маск, основатель компании SpaceX и Tesla. Он полагает, что госрегулирование должно ограничить деятельность разработчиков искусственного интеллекта. В подобных разработках заинтересованы правительства разных стран.
«Разработка полноценного искусственного интеллекта может означать конец человеческой расы», ― заявил три года назад физик Стивен Хокинг.
Искусственный интеллект в Китае
К 2030 году Китай намерен стать мировым центром искусственного интеллекта с объёмом рынка в 1 трлн юаней ($148 млрд).
Правительство Китая разработало и утвердило план из трёх этапов по развитию и внедрению в стране соответствующих технологий. Согласно плану, к 2020 году объём инвестиций внутри страны в сферу развития искусственного интеллекта составит 150 млрд юаней ($22,14 млрд), к 2025 году ― 400 млрд юаней ($59 млрд). К 2020 году Китай планирует догнать США в этой области, а к 2030 году стать мировым лидером.
Разработку искусственного интеллекта Китай связывает с экономической и военной конкуренцией. «Ситуация вокруг Китая, связанная с национальной безопасностью, сложна, и мы должны проявить инициативу, чтобы твёрдо укрепиться в новой технологии искусственного интеллекта и создать конкурентное преимущество», - говорится в сообщении Госсовета КНР, опубликованном 20 июля, информирует news.eizvestia.com.
США разработали свой план по развитию искусственного интеллекта в октябре прошлого года. Он предусматривает жёсткий контроль за иностранными инвестициями в сфере разработок интеллекта. Причиной этому стали опасения США по поводу того, что иностранные государства (в том числе и Китай) получат доступ к технологиям стратегического военного значения. Уже сейчас китайские компании Baidu и Tencent создают центры по исследованию искусственного интеллекта в США. Китай стремится устранить недостаток новейшего ПО, передовых компьютерных чипов и грамотных специалистов.
Из 250 000 специалистов в области искусственного интеллекта, зарегистрированных на платформе LinkedIn, 50% проживает в США, доля Китая ― менее 25%, пишет forbes.ru.
В 2016 году Китай стал мировым лидером по опубликованным научным статьям, посвящённым разработкам в области искусственного интеллекта (около 40%).
В развитии искусственного интеллекта в Китае лично заинтересован китайский премьер Ли Кэцян. Интерес на самом высоком уровне говорит о том, что государство будет создавать оптимальные условия для сотрудничества между государственными и частными фирмами, в том числе военными структурами, пишет New York Times.
Будущее за ИИ
По мнению большинства инвесторов, искусственный интеллект будет следующей технологической революцией, меняющей повседневную жизнь и производство. В начале мая аналитическая компания Tractica опубликовала прогноз, согласно которому ожидается стремительный рост мирового рынка технологий искусственного интеллекта с $1,38 млрд в 2016 году до $59,75 млрд к 2025 году. При этом речь идет только о компаниях, занятых непосредственно в исследованиях и разработках, связанных с искусственным интеллектом.
В конце августа 2016 года Facebook запустил программу Facebook Artificial Intelligence Partnership (FAIR), куда вошли 15 исследовательских групп мирового уровня из 9 европейских стран. Участники программы получили доступ к 22 высокопроизводительным серверам, базирующихся на графических процессорах. Взамен они должны публиковать результаты, алгоритмы и другую информацию, полученную в ходе работы, чтобы сделать их достоянием исследователей всего мира. От России выступила лаборатория нейронных систем и глубокого обучения Московского физико-технического института (МФТИ).
Однако для развития искусственного интеллекта необходимо наличие в стране высокопроизводительной вычислительной техники. В отличие от США и Китая, суперкомпьютеры которых занимают первые места в рейтинге Топ-500, российский компьютер «Ломоносов-2» в МГУ находится на 52 месте. При этом большинство российских университетов не имеет доступа к мощным вычислительным серверам и большим данным.
Новые технологии только улучшат жизнь людей, заявил глава компании Facebook Марк Цукерберг в ответ на предупреждения Илона Маска об опасности развития искусственного интеллекта. Разного рода панические заявления в духе «конца света» он назвал безответственными.
Facebook остановил ботов, которые заговорили на непонятном языке
Все таки что не говорите, а опасность развития искусственного интеллекта до того уровня, когда он выйдет из под контроля всегда пугала людей. Представьте, что мы будем делать и как контролировать полноценное ИИ, если тут какой то суррогат и то напугал людей.
Люди же всегда будут стремиться оставить себе контроль и управление, но как говорится "все что один сделал, другой всегда сломать может". Если даже все будет супер надежно - всегда будет опасение. Вот и Маск недавно спорил на эту тему с Цукербергом: "Я продолжаю бить тревогу, но пока люди сами не увидят роботов, которые ходят по улицам и убивают людей, они не узнают, как реагировать [на искусственный интеллект]", - сказал он.
И вот это разве не "звоночек": чат-боты, которые были созданы для переговоров с людьми, вышли из-под управления и начали общаться на собственном языке.
Сначала они использовали английский язык для общения друг с другом, но затем создали новый язык, который могла понять только сама система ИИ, что нарушало цель работы.
Facebook приостановила работу ИИ после того, как разработчики обнаружили этой сбой.
Вот отрывок разговора между чат-ботами:
Боб: «Ты я все остальное».
Алиса: «Яйца имей яйца для меня для меня для меня для меня для меня».
Боб: «Я».
Алиса: «Мячи имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для».
Bob: «Ты я я я я я все остальное».
Ботов подключили к алгоритмам машинного обучения и позволили им переписываться между собой, чтобы они оттачивали навыки общения. Но через некоторое время те начали видоизменять слова и фразы, а затем и вовсе придумали собственный язык, упростив ряд выражений и грамматических конструкций.
Используя машинное обучение, боты также разработали несколько стратегий для улучшения исхода переговоров с собеседником и начали использовать их в комбинации с рядом придуманных ими же слов в зависимости от важности конкретного диалога. В частности, они провозглашали ложную цель беседы, чтобы затем отказаться от нее и якобы прийти к компромиссу.
Как поясняет издание Digital Journal, системы искусственного интеллекта опираются на принцип "поощрения", то есть продолжают действия при условии, что это принесет им определенную "пользу". В определенный момент они не получили от операторов сигнал поощрения на использование английского языка, поэтому и решили создать свой собственный.
Издание Tech Times отмечает, что у роботов изначально не было ограничений в выборе языка, поэтому постепенно они и создали свой язык, на котором они могут общаться проще и быстрее, чем на английском.
Эксперты опасаются, что если боты начнут активно общаться на своем собственном языке, то постепенно станут все более самостоятельными и смогут функционировать вне контроля IT-специалистов. Тем более, что даже опытные инженеры не могут полностью отслеживать ход мыслительного процесса ботов.
В марте 2016 года чат-бот компании Microsoft стал звездой сети после того как возненавидел человечество. Самообучающаяся программа начинала общение с пользователями фразой «Люди очень клевые», но всего за сутки выучила такие выражения, как «Я просто всех ненавижу!», «Я ненавижу феминисток» или «Я ненавижу евреев». В итоге сотрудникам компании пришлось временно отключить бота.
Перевод с искусственного
Осенью прошлого года стало известно, что интернет-поисковик Google создал свою систему искусственного интеллекта для усовершенствования работы онлайн-переводчика Google Translate.
Новая система позволяет переводить всю фразу целиком, тогда как ранее переводчик разбивал все предложения на отдельные слова и фразы, что снижало качество перевода.
Для того, чтобы перевести все предложение целиком, новая система Google изобрела свой собственный язык, который позволяет ей быстрее и точнее ориентироваться между двумя языками, с которых или на которые ей предстоит сделать перевод.
Эксперты уже предупреждают о том, что по мере стремительного развития онлайн-сервисов для перевода труд живых переводчиков может быть все менее и менее востребован.
Однако пока эти системы выдают качественные результаты в основном для небольших и несложных текстов.
Как вы считаете, пока рано бить тревогу как про клонирование например? Или пусть все развивается само собой?
