Google занялся обучением пользователей ИИ и machine learning


Содержание материала:

Google нашла эффективный способ, как обучать ИИ создавать еще более мощные ИИ

Компания Google объявила об очередном большом шаге в разработке искусственного интеллекта, рассказав о новом подходе к машинному обучению, с помощью которого нейронные сети можно будет использовать для создания еще более эффективных нейронных сетей. По сути, речь идет об обучении машины создавать себе подобных.

Искусственные нейронные сети разрабатываются с учетом имитации процесса обучения мозга, и, согласно Google, ее новая технология, получившая название AutoML, способна сделать эти сети еще мощнее, эффективнее и проще в использовании.

Генеральный директор Google Сундар Пичаи показал пример работы AutoML, выступая на конференции Google I/O 2020 — ежегодном мероприятии для разработчиков программного и аппаратного обеспечения, где обычно компания представляет или по крайней мере рассказывает о продуктах, над которыми работает в настоящий момент.

«Работает это так: мы берем набор кандидатов в нейронные сети, — назовем их нейронными сетями-малышами, — и многократно прогоняем через них на предмет поиска ошибок уже готовую нейронную сеть до тех пор, пока не получим еще более эффективную нейронную сеть», — сказал Пичаи.

Это процесс называется стимулированным обучением, где за поиск ошибок компьютеру будет полагаться некая награда. По тому же принципу, например, обучают новым трюкам собак. Разумеется, в случае компьютеров, здесь требуется наличие огромной вычислительной мощности, однако мощность оборудования Google вышла уже на такой уровень, что одна нейронная сеть может без труда анализировать работу другой нейронной сети.

Для создания нейронной сети требуется настоящая команда из экспертов в компьютерной инженерии и огромное количество времени, однако благодаря AutoML в будущем практически любой пользователь сможет построить свою собственную ИИ-систему и запрограммировать ее на выполнение абсолютно любых задач.

«Мы надеемся, что технология AutoML, которая на данный момент доступна лишь нескольким исследовательским центрам, через три-пять лет станет доступной для сотен, а лучше тысяч разработчиков нейронных сетей, которые захотят использовать их для своих определенных целей», — написал Пичаи в официальном блоге.

Схема работы технологии AutoML: многоуровневый анализ работы нейронных сетей для определения наиболее умной из них

Машинное обучение – попытка наделить компьютер возможностью делать свои собственные выводы на базе имеющейся информации – это лишь один из подходов в разработке искусственного интеллекта, включающий два важных аспекта: процесс обучения и собственно способность самостоятельно делать выводы на его базе. С обучением все относительно понятно. Покажи компьютеру сотню тысяч картинок с котиками и собачками, и он в итоге поймет, какая комбинация пикселей составляет каждое из этих животных. Со второй частью несколько сложнее. Ведь именно здесь от машины требуется показать, чему она научилась, и на основе этого обучения самостоятельно прийти к логической догадке. Сделать вывод.

А теперь замените кошечек и собачек на нейронные сети, и вы получите представление о том, как работает AutoML, которая вместо распознавания животных распознает, какая из представленных систем является наиболее умной. Если верить Google, даже сейчас уровень AutoML уже таков, что она может быть эффективнее экспертов-людей в вопросе поиска лучших подходов для решения конкретных проблем. В перспективе это позволит существенно упростить процесс создания новых ИИ-систем, так как по сути их будут создавать себе же подобные.

На данный момент AutoML по-прежнему находится на раннем этапе своего развития, говорит Google, однако ИИ, машинное обучение и глубинное машинное обучение (продвинутые методы обучения машин, основывающиеся на имитации работы нейронов мозга человека) – все они так или иначе уже находят свое применение в тех приложениях и сферах, которые мы используем и в которых мы находимся ежедневно.

В рамках демонстрации на сцене конференции I/O инженеры Google показали, как их технология машинного обучения способна существенно осветлить очень темные изображения или, например, убрать с них различные шумы. И все эти действия машина способна выполнять, только полагаясь на информацию, полученную в рамках анализа миллионов других четких образцов снимков. В Google отмечают, что их суперкомпьютеры теперь стали эффективнее человека в процессе распознавания того, что находится на фото. На базе этой технологии в скором времени выйдет пользовательское приложение Google Lens, способное эффективно определять, какой цветок (или цветы) находится сейчас перед вами (или на снимках), через камеру смартфона.

Подобные сверхмощные алгоритмы на базе глубинного обучения в будущем определенно найдут место для своего применения в медицине, где системы, работающие на их базе, будут определять на снимках признаки злокачественных образований и большинстве случаев делать это гораздо эффективнее профессиональных хирургов.

С помощь технологии AutoML ИИ-платформы станут быстрее обучаться и будут гораздо умнее. Правда, ждать этого момента придется несколько подольше, чем выход обещанного «цветочного приложения» для платформы Android. Как бы там ни было, до этого момента у разработчиков приложений и ученых будет масса времени для того, чтобы ближе познакомиться с AutoML.

«Мы думаем, что эта технология приведет к появлению новых нейронных сетей и открытию возможностей, когда даже не эксперты смогут создавать свои личные нейронные сети для своих определенных нужд, что, в свою очередь, лишь увеличит возможность технологий машинного обучения оказывать больше влияния на нас всех», — считают научные специалисты Google Куок Ле и Баррет Зоф.

Google организует бесплатные онлайн-курсы по ИИ и машинному обучению

Машинное обучение и искусственный интеллект — самые горячие темы в мире ИТ. Прокачаться в них поможет новый сайт Learn with Google AI, пишет The Verge.

Google продвигает разработки в области искусственного интеллекта в массы как через серьёзные проекты вроде TensorFlow, так и более простые, например, алгоритмы по рисованию животных или эксперименты с машинным зрением.

Новый сайт Learn with Google AI станет «хранилищем знаний» о машинном обучении и искусственном интеллекте, которое поможет всем желающим «изучить базовые понятия МО, развить и отточить навыки и применять МО в решении реальных проблем» с помощью упражнений, интерактивных визуализаций и обучающих роликов. Материал рассчитан на пользователей разного уровня, от профессиональных исследователей до новичков, планирующих освоить новую область с нуля.

Также на сайте появится бесплатный курс Machine Learning Crash Course, разработанный на основе вводной внутренней учебной программы Google. Его уже прошли 18 тысяч работников компании.

15-часовой курс включает интерактивные уроки, лекции от исследователей Google и более 40 упражнений. Сама Google рекомендует браться за него тем, кто на базовом уровне владеет алгеброй, навыками программирования и языком Python. В будущем компания планирует добавить новые учебные программы.

Пользователи сервиса машинного обучения Google смогут обойтись без программирования

Компания Google начала публичное тестирование облачного сервиса Cloud AutoML, который позволит другим компаниям создавать модели машинного обучения для своих задач. Сервис имеет графический интерфейс и им смогут пользоваться даже те, кто не умеет программировать. Изначально в сервисе можно будет тренировать модели для распознавания образов, но в будущем его можно будет использовать для более широкого круга задач, сообщается в блоге компании.

В последние несколько лет многие крупные компании начали использовать в своих сервисах алгоритмы, основанные на машинном обучении. Но для создания эффективных моделей машинного обучения нужны высококлассные программисты, а также большие объемы размеченных данных. Из-за этого небольшие компании не могут использовать эту технологию в полном объеме.

Ранее Google уже запустила несколько сервисов, которые позволяют использовать натренированные модели общего назначения или создавать и тренировать свои модели, но они требуют навыков программирования и опыта в машинном обучении. Теперь компания представила новый сервис Cloud AutoML, котором пользователи могут создавать свои модели с помощью графического интерфейса. Его особенность заключается в том, что пользователь загружает в него исходные данные и размечает их, но оптимизацией архитектуры модели для конкретной задачи занимается нейросеть. При таком подходе задача дается немного различающимся моделям, которые конкурируют между собой, и из них отбираются модели с наилучшими результатами, после чего процесс может повторяться.

Изначально пользователям доступен сервис Cloud AutoML Vision, в котором можно создавать и тренировать модели для распознавания образов. К примеру, пользователь может загрузить в него массив из фотографий комнат и файл с разметочными данными или самостоятельно разметить их в самом сервисе. Затем сервис тренирует модель и выдает пользователю результаты сортировки изображений по типам комнат. После этого для модели можно создать API для доступа и запустить прямо в облаке Google.

Компания заявляет, что при классификации образов из известных наборов данных для машинного обучения, таких как ImageNet и CIFAR, полученные в сервисе модели имеют эффективность, аналогичную лучшим существующим моделям. Google не называет конкретных цен использование сервиса, но известно, что пользователи будут платить отдельно за тренировку, в зависимости от вычислительных затрат при этом, и за использование API.

В прошлом году Google представила похожий экспериментальный сервис Teachable Machine. В нем пользователь может натренировать нейросеть распознавать движения и выдавать в ответ привязанную к этому действию анимацию, звук или фразу.

Искусственный интеллект и реальный мир

Широта познаний разумных компьютеров определяется кругозором их создателей.

Robert Ito

Три года подряд более двадцати будущих компьютерных инженеров посещают летом Стэнфордский институт. Там они изучают вопросы создания искусственного интеллекта, а преподают им лучшие специалисты в этой отрасли. Эти студенты были отобраны из сотен желающих, и программа их обучения в Стэнфорде очень разнообразна. В нее входят экскурсии в технологические компании, работа с гексакоптерами и интерактивными роботами, изучение компьютерной лингвистики (в частности, это позволит обучить компьютер различать значения слов в зависимости от контекста) и даже тайм-менеджмент, который зачастую важен не менее всего остального. Но у студентов остается время и на то, чтобы побегать за фрисби. Думаете, что искусственный интеллект создают неопрятные парни, чтобы персонажи компьютерных игр вели себя умнее? Это далеко не так. Ведь все участники программы SAILORS (Stanford Artificial Intelligence Laboratory’s Outreach Summer, Летние курсы при Стэнфордской лаборатории ИИ) принадлежат к прекрасной половине человечества. Эти юные старшеклассницы занимаются не разработкой компьютерных игр, а вполне серьезными проблемами. Например, они ищут способы предотвращать столкновения самолетов или проверять стерильность рук у хирургов. Вот что говорит об этом Фэйфэй Ли, директор Стэнфордской лаборатории ИИ и основатель программы SAILORS: «Мы хотели преподавать ИИ по-новому, вовлекая учащихся из самых разных социокультурных групп. Если над технологиями будущего работают разные специалисты, они действительно стремятся к тому, чтобы эти технологии использовались на благо всего человечества».

“Если над технологиями будущего работают разные специалисты, они действительно стремятся к тому, чтобы эти технологии использовались на благо всего человечества.”

Fei-Fei Li Google, Стэнфорд

Программа SAILORS стартовала в 2015 г. Ее организовали Фэйфэй Ли и Ольга Русаковски (некогда студент Стэнфорда, а теперь доцент Принстонского университета) с целью компенсировать гендерный дисбаланс в индустрии высоких технологий. И у них были на это причины. Согласно недавнему исследованию, число женщин, изучающих компьютерные науки, снижается, и в секторе ИИ женщины занимают менее 20% руководящих должностей. А этот сектор сегодня развивается невиданными темпами и предлагает новые решения, которыми пользуется почти каждый. Например, искусственный интеллект распознает людей на фотографиях и позволяет компьютерам понимать речь. К менее очевидным областям применения ИИ относится выявление диабетической ретинопатии (которая часто приводит к слепоте) или спасательные экспедиции с использованием беспилотников.

По мере того как ИИ проникает во все сферы жизни, потребность в гендерном балансе отрасли перестает быть лишь вопросом справедливости. Электронный разум развивается благодаря машинному обучению, и разнообразие – один из ключевых факторов этого процесса. Назначение ИИ в том, чтобы научить компьютер выполнять задачи, с которыми люди справляются без труда: понимать речь, различать предметы и принимать решения. Для этого компьютеры обрабатывают огромные объемы данных, например миллионы слов, изображений и записей речи. Машинное обучение похоже на процесс формирования человеческой личности, когда информация впитывается каждое мгновение с момента рождения. Так, чем больше фотографий автомобиля показать компьютеру, тем увереннее он будет опознавать его. Но если эти наборы снимков ограничены или составляются предвзято (например, на них нет изображений «Трабантов») или если специалисты по ИИ не видят или не учитывают эти ограничения или предубеждения (возможно, они мало что знают об автомобилях производства Восточной Германии), то у компьютера не будет полного объема знаний о внешнем виде автомобилей. Это не голословный пример. Известен случай, когда программа считала, что люди азиатского происхождения закрывают глаза во время фотосъемки.

“Мы ставим своей целью не просто обнародовать сведения о кадровом составе сферы информационных технологий, но и направить ситуацию в нужное русло.”

Tracy Chou Project Include

Как создаются лаборатории и офисы, объединяющие представителей разных культур и этносов? Решением этой задачи занимается множество коллективов и отдельных энтузиастов. В 2020 г. Фэйфэй Ли – ведущий исследователь по проблемам искусственного интеллекта и машинного обучения в команде Google Cloud – наряду с другими специалистами приняла участие в учреждении AI4ALL. Эта национальная некоммерческая организация призвана способствовать гендерному и этнокультурному многообразию в сфере ИИ. К ее работе привлечены эксперты в области геномики, робототехники и устойчивого развития. AI4ALL следует идеологии программы SAILORS, но также ориентирована на представителей небелого населения США и малообеспеченных учащихся по всей стране. Представители этой организации уже установили партнерские отношения с Стэнфордским и Принстонским университетами, Калифорнийским университетом в Беркли и Университетом Карнеги – Меллон. «Наши коллеги и ведущие специалисты в этой отрасли говорили нам, что SAILORS – отличная программа, но она ограничена возможностями Стэнфорда. По ней учатся несколько десятков студентов в год, которые представляют в основном область залива Сан-Франциско, – рассказывает Ли. – А программа AI4ALL учитывает не только гендерный, но также этнокультурный и социально-экономический аспекты».


Искусственный интеллект и машинное обучение

Что это за понятия и как они связаны?

Термины «искусственный интеллект» и «машинное обучение» часто путают, но это не одно и то же. Искусственный интеллект – это способность компьютеров имитировать человеческие способы мышления и учиться самостоятельно, а не следовать жестко заданной программе. А машинное обучение – самый эффективный и популярный способ дать компьютеру интеллект. Этот процесс заключается в том, что компьютеру предоставляется множество примеров, а он выявляет закономерности в них.

Топ-пост этого месяца:  Экспертность и экспертный контент - как создавать и продвигать

Перечислим несколько похожих инициатив. Code Next – это программа Google, которая помогает латиноамериканцам и чернокожим студентам построить карьеру в области высоких технологий. DIY Girls – образовательная и наставническая программа в бедных районах Лос-Анджелеса. Она охватывает такие области, как наука, высокие технологии, инженерия, математика и искусство. Наконец, Project Include – инициатива, в рамках которой начинающие и молодые компании получают поддержку, если берут на работу больше женщин и представителей разных этносов. Трейси Чу, бывший сотрудник Pinterest, в прошлом году основала Project Include совместно с семью женщинами, добившимися успеха в области высоких технологий. В 2013 г. Трейси призвала хайтек-компании раскрыть данные о том, сколько женщин работают в их рядах. Когда цифры были обнародованы, подтвердилось то, что знали все в Кремниевой долине: мир высоких технологий, от крупнейших корпораций до гаражных стартапов, состоит преимущественно из белых мужчин. Программа Project Include была призвана изменить эту ситуацию. «Года два после публикации ничего не менялось, но сейчас компании охотнее обсуждают этот вопрос, – рассказывает Чу. – Мы ставим своей целью не просто обнародовать сведения о кадровом составе сферы информационных технологий, но и направить ситуацию в нужное русло».

Помимо прочего, движение в нужном русле подразумевает создание среды, в которой проблемами искусственного интеллекта будут заниматься представители более широких слоев общества. В этой сфере работает относительно немного специалистов. Они уже разработали роботов-помощников и личных ассистентов, которые призваны удовлетворять наши потребности. Но ИИ получает информацию, нужную для его развития, от людей. И чем разнообразнее будут эти люди, тем лучше будут результаты.

Рукотворный разум ближе, чем нам кажется. Например, в Японии сын фермера использовал ИИ, чтобы сортировать огурцы по различным характеристикам. Эта история близка Фэйфэй Ли, которая в 16 лет переехала в США из Китая, и которой было нелегко адаптироваться к новой стране. В первое время он зарабатывала, прибираясь в домах, выгуливая собак и стоя за кассой в китайском ресторане. Но затем ей удалось поступить в колледж Принстона, а после и в Калифорнийский технологический институт.

Ли препятствовали три обстоятельства: она была иммигрантом и женщиной, а также не принадлежала к белой расе. Но все это ее не остановило. Основная область исследований Ли – машинное зрение, которое она считает важнейшей областью применения ИИ. Эта дисциплина является неотъемлемой частью машинного обучения. С помощью машинного зрения компьютеры анализируют и идентифицируют изображения. Оно может пригодиться при создании более чувствительных манипуляторов для роботов или при решении сложнейших математических задач. Но, как и с другими аспектами ИИ, главное в этой технологии – обучать компьютеры на большом количестве данных, поступающих из разных источников и отражающих разные точки зрения. Тогда машина не будет судить предвзято и станет «гражданином мира», как и Фэйфэй Ли.

Специалист по контенту Диана Уильямс из ILMxLAB, подразделения Lucasfilm, в котором создаются захватывающие интерактивные развлечения, уверена, что в группе авторов должно царить разнообразие. По ее словам, это помогает решать как сюжетные, так и технические задачи. Среди разработок ее лаборатории – виртуальное знакомство с Дартом Вейдером, одним из главных персонажей «Звездных войн». Диана активно участвует в работе таких организаций, как Black Girls Code. Она помнит, что в ее колледже в 80-е годы преобладали белые девушки. «На занятиях по математике и основам бизнеса я была единственной афроамериканкой. Мне было там неуютно». У Дианы есть рецепт, как привлечь больше женщин в индустрию информационных технологий: «Пусть они начинают с ранних лет и будут уверены в своей профессиональной пригодности. Тогда они смогут работать наравне с мужчинами».

“Пусть они начинают с ранних лет и будут уверены в своей профессиональной пригодности. Тогда они смогут работать наравне с мужчинами.”

Diana Williams Lucasfilm

Майя Гупта, специалист Google по вопросам машинного обучения, тоже работает над совершенствованием ИИ, хотя и в другом аспекте. Во времена работы в Стэнфордском университете она разрабатывала для норвежской компании инструменты, позволяющие находить трещины в подводных газопроводах. «Инспектировать конструкции в морских глубинах непросто, поэтому нам приходилось делать выводы на основе неполной информации», – объясняет Майя. Полученный опыт помогает ей обучать компьютеры принимать решения в условиях недостатка данных. Если вы слушаете на YouTube композицию Truth в исполнении Камаси Вашингтона, а затем ее органично сменяет Turiya and Ramakrishna Элис Колтрейн, скажите спасибо Майе. Именно ее команда создала систему, которая подбирает для вас подходящую музыку. «Можно назвать это предсказанием, – говорит Майя. – Система пытается угадать нужное решение, опираясь на ограниченный объем данных».

Сегодня Майя Гупта возглавляет в Google коллектив исследователей, который, помимо прочего, занимается повышением точности машинного обучения. Майя приводит пример проблемы, с которой ей приходилось сталкиваться. «Предположим, нам нужно с одинаковой точностью различать бостонский и техасский говор. И у нас есть система распознавания речи, которая чуть лучше справляется с произношением техасцев. Нужно ли ущемлять техасцев, ухудшая распознавание так, чтобы оно выполнялось с такой же точностью, как для уроженцев Бостона? А вдруг выяснится, что понимать бостонский говор в принципе технически сложнее?»

Майя Гупта и ее команда также разрабатывают системы, которые будут несравнимо более объективными, чем их создатели из плоти и крови. Благодаря компьютерам удастся избежать влияния предубеждений и подсознательных процессов, присущих человеческому мышлению, или, по крайней мере, такие проявления будет проще обнаружить. Компьютеры всегда сосредоточены, они не устают, не раздражаются и их не отвлекает голод. В частности, исследованиями доказано, что американские судьи менее склонны выносить решение об условно-досрочном освобождении, если дело рассматривается перед обедом. Природа заставляет их думать о еде, а не о снисхождении. «Нелегко узнать, что на самом деле думают люди, – объясняет Майя. – Мы хотим, чтобы наши машинно-обучаемые системы были предсказуемыми, и надо признать, что многие из них уже более предсказуемы по сравнению с людьми».

“Мы хотим, чтобы наши машинно-обучаемые системы были предсказуемыми, и надо признать, что многие из них уже более предсказуемы по сравнению с людьми.”

Maya Gupta Google

Поскольку искусственный интеллект становится полезнее и проще в использовании, необходимо обеспечить доступ к нему всем и каждому. Таково мнение Кристин Робсон, которая прежде была сотрудницей IBM, а теперь работает в Google. Она энтузиаст ПО с открытым исходным кодом, такого как TensorFlow. Это система машинного обучения, которая может использоваться для решения множества задач – от перевода на другие языки и диагностики болезней до создания оригинальных произведений искусства.

Кристин считает, что инструменты ИИ нужно сделать доступными не только узкому кругу специалистов. «Я очень хочу, чтобы машинное обучение нашло дорогу в повседневную жизнь, – рассказывает она. – Об этом много говорят, но пока подобные технологии заперты в лабораториях. Очень важно, чтобы средствами искусственного интеллекта было легко пользоваться, и эти возможности стали доступны всем».

Научно-фантастические книги и фильмы давно предупреждают нас об опасности, которую может нести рукотворный разум. В 2020 г. роману «Франкенштейн» Мэри Шелли исполнится 200 лет. Но сегодня многие в отрасли, в том числе Фэйфэй Ли, Кристин Робсон и Трейси Чу, не так озабочены тем, что ИИ может сделать с людьми, как тем, что люди могут сделать с ИИ. Вот простой пример. Как правило, у виртуальных помощников женский голос, потому что это нравится пользователям (как мужчинам, так и женщинам). «Но так укрепляется мысль, что помощники – это женщины. И когда мы взаимодействуем с такими системами, то усиливаем эту социальную предвзятость» – говорит Трейси Чу. Многие из лучших умов индустрии обеспокоены тем, что закладывается в основу реальных систем искусственного интеллекта, и тем, что получится в результате. В связи с этим растет понимание того, что среда разработчиков должна быть разнообразной. Реализовать эту идею будет непросто, однако ее сторонники умны, влиятельны и убеждены в своей правоте.

“Очень важно, чтобы средствами искусственного интеллекта было легко пользоваться, и эти возможности стали доступны всем.”

Christine Robson Google

«Мы должны сделать так, чтобы никто не чувствовал себя некомфортно», – говорит Майя Гупта. Она вспоминает галерею портретов в Университете Райса, своей alma mater. Все эти профессора электроники выглядели совсем не так, как Майя. Кристин Робсон добавляет: «Надо убедить девушек, что ИИ – это не магия. Это математика».

Обучаясь по программе SAILORS, студенты узнают, как использовать распознавание естественных языков для поиска информации в социальных сетях и для помощи пострадавшим от стихийных бедствий. Фэйфэй Ли разъясняет, что это поможет спасателям находить попавших в беду в реальном времени по их сообщениям в Twitter. То, чему учат на курсах SAILORS, запоминается студентам надолго и зачастую определяет их судьбу. Слушатели курсов создают кружки робототехники в своих школах, публикуют статьи в научных журналах и проводят семинары, пропагандируя изучение ИИ среди учениц младших классов. Для тех, кто прошел программу SAILORS, искусственный интеллект не очередная техническая безделушка, а эффективный инструмент, способный приносить немалую пользу. Когда в 2015 г. начинался первый сезон программы, одна из участниц выразила свои амбиции так: «Я сегодня начинаю изучать ИИ, чтобы завтра изменить мир».

Роберт Ито – писатель из Лос-Анджелеса. Он много пишет для New York Times, Salon и Los Angeles Magazine.

Что такое Machine Learning и каким оно бывает

Что такое машинное обучение

Machine Learning (ML, с английского – машинное обучение) — это методики анализа данных, которые позволяют аналитической системе обучаться в ходе решения множества сходных задач. Машинное обучение базируется на идее о том, что аналитические системы могут учиться выявлять закономерности и принимать решения с минимальным участием человека.

Давайте представим, что существует программа, которая может проанализировать погоду за прошедшую неделю, а также показания термометра, барометра и анемометра (ветрометра), чтобы составить прогноз. 10 лет назад для этого написали бы алгоритм с большим количеством условных конструкций If (если):

  • Если дует сильный ветер, возможно, он нагонит облака.
  • Если среди облаков есть тучи, будет пасмурно.
  • Если температура воздуха упала, но выше нуля, то пойдет дождь, если ниже – снег.

От программиста требовалось описать невероятное количество условий, чтобы код мог предсказывать изменение погоды. В лучшем случае использовался многомерный анализ данных, но и в нем все закономерности указывались вручную. Но даже если такую программу называли искусственным интеллектом, это была лишь имитация.

Большая часть программ с искусственным интеллектом на самом деле состоит из условных конструкций

Машинное обучение же позволяет дать программе возможность самостоятельно строить причинно-следственные связи. ИИ получает задачу и сам учится ее решать. То есть компьютер может проанализировать показатели за несколько месяцев или даже лет, чтобы определить, какие факторы оказывали влияние на изменение погоды.

Вот хороший пример от гугловского DeepMind:

Программа получала информацию от виртуальных рецепторов, а ее целью было перевести модель из точки А в точку Б. Никаких инструкций по этому поводу не было – разработчики лишь создали алгоритм, по которому программа обучалась. В результате она смогла самостоятельно выполнить задачу.

ИИ, словно ребенок, пробовал разные методы, чтобы найти тот, который лучше всего поможет добиться результата. Также он учитывал особенности моделей, заставляя четвероногую прыгать, человекообразную – бежать. Также ИИ смог балансировать на двигающихся плитах, обходить препятствия и перемещаться по бездорожью.

Для чего используется машинное обучение

В примере выше описывалась ходьба – это поможет человечеству создавать обучаемых роботов, которые смогут адаптироваться, чтобы выполнять поставленные задачи. Например, тушить пожары, разбирать завалы, добывать руду и так далее. В этих случаях машинное обучение гораздо эффективнее, чем обычная программа, потому что человек может допустить ошибку во время написания кода, из-за чего робот может впасть в ступор, потому что не знает, как взаимодействовать с камнем той формы, которую не прописал разработчик.

Но до этого пройдет еще несколько лет или даже десятилетий. А что же сейчас? Разве машинное обучение еще не начали использовать для решения практических задач? Начали, технология широко используется в области data science (науки о данных). И чаще всего эти задачи маркетинговые.

Amazon использует ИИ с машинным обучением, чтобы предлагать пользователям тот товар, который они купят с наибольшей вероятностью. Для этого программа анализирует опыт других пользователей, чтобы применить его к новым. Но пока у системы есть свои недостатки – купив однажды шапку, пользователь будет видеть предложения купить еще. Программа сделает вывод, что раз была нужна одна шапка, то и несколько сотен других не повредят.


Похожую систему использует Google, чтобы подбирать релевантную рекламу, и у него такие же проблемы – стоит поискать информацию о том, какие виды велосипедов бывают, как Google тут же решит, что пользователь хочет погрузиться в эту тему с головой. Тем же самым занимается и «Яндекс» в своем сервисе «Дзен» – там МО используется для формирования ленты, точно так же, как и в Twitter, Instagram, Facebook, «ВКонтакте» и других социальных сетях.

Вы также могли работать с голосовыми помощниками вроде Siri – они используют системы распознавания речи, основанные на ML. В будущем они могут заменить секретарей и операторов кол-центров. Если вы загорелись этой идеей, можете попробовать сервис аудиоаналитики Sounds от Mail.Ru.

Есть и другие примеры использования систем с машинным обучением:

То есть применение МО может быть самым разным. И даже вы можете использовать его в своих приложениях – для этого понадобится приобрести, настроить и поддерживать инфраструктуру обучения машинных моделей. Альтернатива — воспользоваться готовыми средствами машинного обучения на платформе Mail.Ru Cloud Solutions.

Каким бывает машинное обучение?

Всего есть 3 вида машинного обучения:

  1. С учителем (Supervised machine learning).
  2. Без учителя (Unsupervised machine learning).
  3. Глубокое обучение (Deep learning).

С учителем (Supervised machine learning)

Для удобства мы рассмотрим этот метод на условном примере анализа склонности к определенным предметам – в программу будут вноситься данные об учениках и о том, каких результатов они добиваются.

Учителем выступает человек, который вбивает в компьютер данные. Допустим, он внес в базу следующую таблицу:

Имя ученика Класс IQ Пол Склад ума Возраст Предмет с самой высокой успеваемостью
Олег 8 120 Мужской Техничес­кий 15 Геомет­рия
Виктория 8 100 Женский Творчес­кий 15 Литера­тура
Иван 8 110 Мужской Гуманитар­ный 14 История
Игорь 8 105 Мужской Техничес­кий 15 Физика
Мария 8 120 Женский Гуманитар­ный 14 Литера­тура

Исходя из этих данных, программа может построить причинно-следственные связи и помочь учащимся с профориентацией. Например, она может предположить, что Мария может поступить на филологический факультет потому, что получила высший балл по литературе и имеет гуманитарный склад ума. Олег со склонностью к техническим наукам и хорошими результатами по геометрии может смотреть в сторону профессии инженера-проектировщика.

То есть учитель дает компьютеру dataset: вводную информацию (пол, возраст, IQ, склад ума, класс), а затем сразу же дает ему данные о результатах учебы, задавая вопрос «вот данные, они влияют на будущую профессию, как думаешь, почему?». И чем больше будет вводных, тем точнее будет анализ.

Так, например, программы учат распознавать объекты на фотографиях – программа просматривает миллионы изображений с описанием того, что на них изображено (дерево или облако). Она находит общие черты и уже сама учится давать описания изображениям. Учитель показывает изображение без описания, а программа спрашивает «это дерево?». Если человек отвечает утвердительно, программа понимает, что сделала правильные выводы. Хороший пример такой системы – облачный сервис для встраивания в приложения машинного зрения Vision на платформе Mail.Ru Cloud Solutions.

Систему распознавания объектов можно использовать для обеспечения работы беспилотных автомобилей. Для этого собираются данные с датчиков беспилотника и передаются пользователям, которые, к примеру, отмечают на снимках автомобили.

Без учителя (Unsupervised machine learning)

В начале статьи был ролик о том, как ИИ научился ходить. Эта программа получила задание от разработчика – добраться до точки Б. Но она не знала, как это сделать – ей даже не показали, как выглядит ходьба, но это не помешало ИИ выполнить задачу.

Поэтому обучение на играх – это один из самых эффективных способов машинного обучения. Вот более простой пример – программа получает данные о том, как далеко от нее находятся какие-то объекты, и может выбрать, как лучше перемещаться в игре «Змейка», чтобы получить больше очков:

Возвращаясь к примеру с профориентацией, можно сказать, что программа получает данные об учениках и их успеваемости, но не знает, что между ними есть связь. Обработав большой объем информации, она замечает, что данные влияют друг на друга, и делает какие-то выводы. Например, что склад ума важнее IQ, а возраст важнее пола и так далее.

Такой подход изучается для выполнения тех задач, где присутствует неочевидное решение. Например, в том же маркетинге. ИИ не понимает, что предлагать похожий товар человеку, который в нем не нуждается, нелогично, если это приносит деньги.

Также нейросети могут обучаться не самостоятельно, а в паре. Так работает генеративно-состязательная сеть (GAN). Она состоит из сетей G и D – первая на основе реальных изображений генерирует образцы, а вторая пытается отличить подлинные образцы от неправильных.

Технология используется для того, чтобы создавать фотографии, неотличимые от реальных, а также восстанавливать поврежденные или нечеткие изображения. Одна из компаний, которая использует GAN, –Facebook.

Глубокое обучение (Deep learning)

Глубокое обучение может быть как с учителем, так и без, но оно подразумевает под собой анализ Big Data – настолько большой информации, что одного компьютера будет недостаточно. Поэтому Deep Learning использует для работы нейронные сети.

Нейронные сети позволяют разделить одну большую задачу на несколько маленьких и делегировать их другим устройствам. Например, один процессор собирает информацию и передает ее двум другим. Те, в свою очередь, анализируют ее и передают еще четырем, которые выполняют еще какие-то задачи и передают следующим процессорам.

Это можно рассмотреть на примере систем распознавания объектов:

  1. получение изображения;
  2. выявление всех точек;
  3. нахождение линий, построенных из точек;
  4. построение простых фигур с помощью линий;
  5. составление сложных фигур из простых и так далее.

То есть получая изображение человека, нейросеть сначала видит точки, потом линии, а затем круги и треугольники, из которых складывается лицо:

Я нейросеть, я так вижу

Deep learning может использоваться для самых неожиданных целей. Например, существует искусственный интеллект по имени Норман, его отправили изучать разделы с «жестью» на Reddit – кадры с расчлененными людьми, фотографии с мест преступлений, жуткие истории и так далее.

Затем Норману предложили пройти тест Роршаха, чтобы сравнить его ответы с ответами других ИИ – где одни видели цветы, животных и зонты, Норман видел мертвых мужчин и женщин, убитых самыми разными способами.

Работа с ним показывает, насколько важна информация, которую получает программа на первых этапах работы. Сейчас разработчики проводят исследования, которые помогут «вылечить» Нормана.

Похожая ситуация произошла с чат-ботом Тау от Microsoft, который общался с людьми в Twitter. Всего за сутки он стал публиковать нацистские, женоненавистнические и другие оскорбительные высказывания. Позже компания заблокировала его.

Примечательно: Как уже говорилось выше, многие выдают за ИИ обычные программы. Яркий пример – Deep Blue, суперкомпьютер, который обыграл Гарри Каспарова 11 мая 1997 года. На самом деле шахматная система перебирала позиции из двух дебютных книг, сравнивала их с текущей партией и выбирала оптимальный вариант.

Однако шахматный искусственный интеллект все же существует – программа AlphaZero, запущенная в декабре 2020 года. Всего за 24 часа нейросеть научилась играть в шахматы на таком уровне, что смогла обыграть одну из лучших шахматных программ – Stockfish – с разгромным счетом (+28 – 0 = 72). А в декабре 2020 г. в новом матче из 1000 партий нейросеть выиграла 155 партий, проиграла 6 и свела вничью 839. Тесты показали, что Stockfish сумел лидировать в счете, только когда ему дали в 30 раз больше времени, чем нейросети.

Как начать разбираться в машинном обучении

Машинное обучение проще, чем может показаться на первый взгляд, но для работы над ним требуются определенные навыки. Прежде всего, нужно знать английский язык в достаточной степени, чтобы читать документацию и общаться с другими специалистами. Если латынь – это язык науки, то английский – язык программирования.


Затем нужно налечь на математику, уделив особое внимание алгоритмам – именно они играют ключевую роль в машинном обучении. Но не стоит забывать и о линейной алгебре, статистике, теории вероятностей, построении моделей и других разделах математики.

Также необходимо знать какой-нибудь язык программирования (любой, но предпочтительнее Python) и базы данных – это лишь инструменты, поэтому они не играют первую скрипку.

Самый важный совет, который можно дать, – перестаньте мыслить в духе классического программирования. ИИ не должен зависеть от условных конструкций, которые ему дает разработчик. Настоящая цель машинного обучения в том, чтобы дать программе возможность научиться самостоятельно ставить условия и искать закономерности.

Как Google делает революцию в машинном обучении

Карсон Холгейт (Carson Holgate) хочет стать ниндзя и много тренируется, чтобы достичь своей цели. Однако она мечтает преуспеть не в боевых искусствах, ведь у этой 26-летней девушки уже есть черный пояс по тхэквондо.

Холгейт принимает участие в программе по машинному обучению, которая даст ей еще больше преимуществ, чем владение рукопашным боем. Она — одна из 18 программистов, задействованных в программе под названием «Ниндзя машинного обучения». Программа задумана в стиле известной «Игры Эндера», и участвуют в ней лишь самые талантливые сотрудники компании. В рамках программы специалисты должны будут освоить основы внедрения искусственного интеллекта в различные программные продукты. Полученные технологии станут «умнее», но сложнее для понимания.

«Наш слоган звучит так: “Хотите стать ниндзя машинного обучения?” Мы приглашаем всех сотрудников Google присоединиться к команде, занимающейся машинным обучением, на 6 месяцев. Все это время участники будут работать над собственным проектом под руководством наставника, а затем запустят его. Программисты многому научатся в процессе», — рассказывает менеджер внутренних курсов по машинному обучению в Google Кристин Робсон (Christine Robson) (она также она также администрирует программу).

Холгейт пришла в Google 4 года назад. Она — специалист в области информатики и математики, и для нее это отличная возможность овладеть самым «горячим» трендом в мире программного обеспечения: использование обучающих алгоритмов и больших данных для «обучения» компьютерных программ. Многие годы считалось, что машинное обучение — удел «избранных». Эти времена позади, так как результаты последних исследований показали, что машинное обучение и нейронные сети способны имитировать процессы в мозге человека. Это прямая дорога к тому, чтобы наделить компьютер человеческими способностями и даже сделать из него сверхчеловека. Google надеется, что эти знания распространятся среди сотрудников. А для программистов вроде Холгейт — это отличный шанс оказаться на шаг впереди коллег и учиться у лучших. «Эти люди имеют степени докторов наук и при этом создают абсолютно невероятные модели», — заявляет Холгейт, которая уже не пытается сдерживать восхищение. «Сперва мне даже было немного страшно, но потом я привыкла».

Данная программа является лишь небольшим проектом, учитывая тот факт, что в Google работают около 60000 программистов. Однако это символизирует когнитивный сдвиг. Машинное обучение уже давно стало частью технологий, разработанных Google, и огромное количество экспертов заняты в этой сфере внутри компании. Однако, начиная с 2020 года, руководство компании буквально помешалось на МО (машинном обучении). На одной из конференций в прошлом году СЕО корпорации Сандар Пичай (Sundar Pichai) пояснил: «Машинное обучение — основа основ, которая трансформирует наше понимание технологий. Мы уже применяем МО при создании программных продуктов. Например, в поисковой системе, рекламе, YouTube или Play. Мы находимся еще в самом начале пути, но скоро вы увидите, как мы будем систематически применять машинное обучение во всех областях».

Очевидно, что если руководство Google всерьез намерено внедрять машинное обучение, то компании необходимы люди, специализирующиеся именно в этом направлении, отказавшиеся от традиционного стиля программирования. Автор популярного МО манифеста Педро Домингос (Pedro Domingos) пишет: «Машинное обучение — совершенно новое явление: это технология, способная создавать саму себя». Создание таких систем подразумевает сбор правильных данных, выбор правильного алгоритмического подхода и создание правильных условий. Кроме того, что особенно сложно для программиста, необходимо довериться самой системе.

«Чем больше людей будут использовать технологии машинного обучения для решения задач, тем лучше», — заявляет директор направления МО Джефф Дин (Jeff Dean). Сегодня из 25000 программистов, работающих в Google, только несколько тысяч профессионалов машинного обучения. Это примерно 10% от общего числа. Джефф Дин надеется, что этот показатель постепенно достигнет 100%. Он заявляет: «Было бы здорово, если бы каждый программист в компании владел определенными знаниями в области МО». Уверен ли Дин в том, что это действительно произойдет? «Мы будем стараться», — заявил он.

В течение многих лет Джон Джиннандреа (John Giannandrea) продвигает идеи машинного обучения. Недавно он возглавил поисковый отдел, что красноречиво иллюстрирует новый курс компании. Однако, когда Джиннандреа пришел в компанию, у него был лишь незначительный опыт в сфере машинного обучения и нейронных сетей. В 2011 году он посетил конференцию «Neural Information Processing Systems» (NIPS) и был поражен новостями. Казалось, каждый год на конференции NIPS высказывались идеи, на голову опережавшие предыдущие достижения в области перевода, голосового поиска или машинного зрения. Происходило нечто невероятное. «На первый взгляд, казалось, что на этой конференции обсуждаются совершенно непонятные вещи», — говорит Джон Джиннандреа. «Но эта область, на пересечении академических знаний и индустрии, достигла невероятных высот за три года. На последней конференции присутствовало около 6000 человек».

На фото Джефф Дин

К чему приведет тренд?

Усовершенствованные алгоритмы эмуляции нейронных сетей совместно с увеличивающейся благодаря закону Мура вычислительной мощностью и экспоненциальным ростом количества данных о поведении пользователей, собираемых компаниями вроде Google или Facebook, дали старт новой эпохе господства машинного обучения. Джиннандреа стал одним из тех, кто считает это направление приоритетным. К нему присоединился и Дин, основавший Google Brain — проект по работе с нейронными сетями, начатый в отделе долгосрочных исследований Google X.

Руководство Google увлеклось технологиями машинного обучения не просто ради совершенствования навыков программирования. Это увлечение позволит компьютерам получить невиданные ранее возможности. Технология «глубокого обучения», созданная на основе усовершенствованных нейронных сетей и частично имитирующая структуру мозга человека, на сегодня самая передовая. Проект Google Brain — попытка совершенствования технологий МО. Кроме того, руководство Google приобрело компанию DeepMind за 500 миллионов долларов. Этот бренд также специализируется на искусственном интеллекте и продолжает работу в этой области. Именно DeepMind создала систему AlphaGo, победившую чемпиона по игре в Go. Эта победа внушила страх тем, кто боится умных машин и роботов-убийц.

Джиннандреа и другие специалисты в области искусственного интеллекта не считают, что человечество будет уничтожено искусственным разумом. Но они уверены, что появление «умных» машин изменит все вокруг нас: начиная от постановки медицинских диагнозов и заканчивая вождением автомобилей. Машины не смогут полностью заменить людей, однако благодаря им наша жизнь существенно изменится.

Как пример способностей МО, Джиннандреа приводит проект Google Photos. Основная функция программы — поиск изображения предмета, заданного пользователем. Например, фотографии собак породы «бордер-колли». «Когда человек наблюдает за работой данной программы, ему кажется, что происходит нечто сверхъестественное, ведь система не просто выдает видео или изображения, основываясь на предпочтениях», — утверждает Джиннандреа. «Компьютер понимает, что именно изображено на картинке». Джиннандреа поясняет, что благодаря способности к обучению, компьютер «знает», как выглядит собака породы бордер-колли.

Система узнает собаку на фотографии, где изображен щенок или взрослая особь, с отросшей шерстью или сразу после стрижки. Любой человек тоже легко сделает это. Но никто не просмотрит миллион фотографий и не отберет из них 10000 изображений нужных пород за несколько минут. А компьютер сделает это благодаря технологиям машинного обучения. «В этом и есть инновационный подход», — заявляет Джиннандреа. «Именно на таких примерах видны невероятные, сверхчеловеческие возможности обучающих систем».

Разумеется, технологии машинного обучения давно изучаются специалистами Google, чьи основатели всегда верили в безграничный потенциал искусственного интеллекта. Технологии МО уже встроены во многие продукты компании, хотя некоторые из них не используют нейронные сети (они основаны на более простом статистическом подходе).

Более десяти лет назад внутри Google уже проводились курсы по машинному обучению. В 2005 году Питер Норвиг (Peter Norvig), возглавлявший тогда отдел поиска, предложил исследователю Дэвиду Пабло Кону (David Pablo Cohn) проверить, может ли Google перенести к себе курсы университета Карнеги-Мэллон. Кон выяснил, что только сотрудники Google способны организовать и провести курсы по машинному обучению, так как масштабы этой компании превосходят все остальные. В итоге, Питер Норвиг решил занять большую аудиторию номер 43 и стал проводить там двухчасовые курсы каждую среду. Даже Дин присутствовал на нескольких занятиях. «Это были самые лучшие в мире курсы», — заявлял Кон. «Все студенты были выдающимися программистами, которые во многом превосходили меня!» Курсы стали настолько популярными, что все начало выходить из под контроля.

Люди, работавшие в офисе в Бангалоре, ночевали на работе, чтобы слушать лекции удаленно. Несколько лет спустя некоторые специалисты Google стали делать записи лекций. Кон полагает, что это событие предвосхитило создание «Массовых открытых онлайн-курсов» (MOOC). Потом в компании прошло множество курсов по МО, но они были несравнимы с курсами Норвига по регулярности и масштабу. Кон ушел в 2013 году как раз перед тем, как машинное обучение стало приоритетным направлением.

В 2012 году у Джиннандреа возникла идея собрать всех сотрудников компании, заинтересованных в машинном обучении, в одном здании. Специалисты, трудившиеся над проектом Google Brain, тоже присоединились к ним. «Мы собрали представителей нескольких команд в одном месте и купили им отличную кофемашину», — заявил Джиннандреа. «Теперь люди, работавшие над голосовым управлением, могли пообщаться с тем, кто занимался технологиями машинного перевода».

Постепенно результаты команды, изучавшей МО, стали появляться в программных продуктах Google. Поскольку основные области применения машинного обучения — зрение, синтез, распознавание речи и перевод, то неудивительно, что технологии МО появились в таких продуктах как «Голосовой поиск», «Google переводчик» и «Google фото». Поразительно, что теперь специалисты Google повсеместно внедряют МО. По мере того, как сотрудники все лучше и лучше понимают принципы машинного обучения, они поднимают мировую планку использования данной технологии. «Раньше мы внедряли МО только в некоторых компонентах системы», — утверждает Джефф Дин. «Теперь мы используем МО взамен целых систем». Дин также добавляет, что если бы ему пришлось переписывать внутреннюю структуру программных продуктов Google, то большая часть компонентов была бы создана при помощи машинного обучения, а не программирования.

На фото Грег Коррадо (Greg Corrado)

Примеры возможностей МО

Машинное обучение наделяет программные продукты свойствами, невообразимыми ранее. Пример тому — умный ответ (Smart Reply) в Gmail. Эта функция была запущена в ноябре 2015 года. Все началось с разговора одного из основателей проекта Google Brain Грега Коррадо и программиста Gmail Балинта Миклоса (Bálint Miklós). Коррадо раньше работал с командой Gmail. Тогда были созданы алгоритмы распознавания спама и классификации писем. Однако Миклос предложил нечто радикальное. Его идея заключалась в том, чтобы система автоматически генерировала ответы на письма. «Я был поражен, ведь его идеи тогда казались мне безумными», — говорит Коррадо. «Но потом я подумал, что с помощью предиктивных технологий наших нейронных сетей это становится возможным. Мы поняли, что если есть хоть один шанс воплотить эту задумку в реальность, то стоит попробовать».

Руководство Google увеличило шансы на реализацию идеи, поддерживая тесный контакт между Коррадо и командой Gmail. Затем такой подход стал применяться все чаще, и специалисты по машинному обучению появились в каждой команде, работающей над программными продуктами. «Машинное обучение — одновременно и наука, и искусство», — утверждает Коррадо. «Это больше похоже на изысканную кулинарию. Разумеется, химия важна в этом деле, но, чтобы приготовить нечто превосходное, вам нужно сочетать доступные ингредиенты».

Традиционные методы распознавания языка при помощи технологий искусственного интеллекта подразумевают включение правил языка в систему. Но в этом проекте в систему было загружено достаточно данных, чтобы она могла обучаться языку самостоятельно точно так же, как это делает ребенок, когда учится говорить. «Я учился разговаривать не у лингвиста, а слушая, как говорят другие люди», — утверждает Коррадо. Но что действительно способствовало успеху Smart Reply, так это то, что были разработаны четкие критерии успеха. Идея заключалась не в том, чтобы создать виртуальную Скарлетт Йохансон, которая вела бы непринужденные беседы с пользователями. Нужно было разработать правдоподобные ответы на реальные письма. «Успешным считался такой ответ, которые пользователи находили полезным», — заявлял Коррадо. В результате, система самостоятельно обучалась, когда пользователи выбирали понравившийся им ответ.

После начала тестирования функции Smart Reply, пользователи отметили странную особенность системы: часто она предлагала романтические ответы, когда это не соответствовало ситуации. «Одной из ошибок системы было то, что когда алгоритм находился в замешательстве, он всегда предлагал ответ «я люблю тебя», — утверждал Коррадо. «Это не было ошибкой самой программы, проблема заключалась в том, что именно мы просили ее сделать». Программа каким-то образом изучила один из тонких аспектов поведения человека: «Если сомневаешься, скажи «я люблю тебя». Это хорошая защитная стратегия». Однако Коррадо помог команде справиться с излишней романтичностью системы.

Функция Smart Reply стала доступной пользователям в ноябре 2015 года и сразу же покорила всех. Теперь у них была возможность выбрать из трех возможных вариантов ответа на письмо и отправить его одним касанием. «Я до сих пор удивляюсь, как это работает», — смеется Коррадо.

Smart Reply стал лишь одним из примеров успешного машинного обучения в программных продуктах Google. Но, вероятно, поворотный момент наступил тогда, когда МО стало неотъемлемой частью поисковой системы. Не секрет, что именно поисковая система — главный продукт Google и основной источник ее доходов. Искусственный интеллект всегда в какой то мере применялся в технологиях поиска. Но много лет «священные» алгоритмы поиска считались чересчур важными, чтобы отдавать их «во власть» машинного обучения. «Поскольку поисковая система так важна, ранжирование сильно эволюционировало. Хотя людям трудно было поверить, что возможно большее», — утверждает Джиннандреа.

К началу 2014 года эксперты по машинному обучению пришли к выводу, что ситуация должна измениться. «Мы вели длительные беседы с командой, занимающейся технологиями ранжирования», — говорит Джефф Дин. «Мы говорили о том, что нужно хотя бы попробовать и посмотреть на результат». Планируемый эксперимент затрагивал самую основу процесса поиска: насколько хорошо файлы выдачи соответствуют поисковому запросу (этот показатель измеряется по количеству кликов пользователя). «Мы предложили вычислить еще одну метрику при помощи нейронных сетей и посмотреть, будет ли она эффективной».

В результате оказалось, что данная метрика чрезвычайно полезна. Теперь она стала частью поисковой системы и носит название RankBrain. Новая функция была запущена в апреле 2015 года. Специалисты Google не отвечают, как функция улучшает алгоритм поиска. Однако Дин говорит, что RankBrain работает с каждым запросом и влияет на результаты ранжирования — если не во всех случаях, то во многих.

«Для компании было важно улучшить поисковую систему технологией машинного обучения», — утверждает Джиннандреа. «Это привлекло внимание множества людей». Профессор Вашингтонского университета Педро Домингос говорит об этом по-другому: «Борьба между сторонниками традиционного поиска и специалистами по машинному обучению шла всегда», — говорит он. «Последние в итоге победили».

Новая задача Google — сместить приоритеты программистов. По мнению руководства, все они должны быть если не специалистами в сфере машинного обучения, то хотя бы имели какие-то представления о нем. Аналогичный цели ставит Facebook, также заинтересованный в глубоком обучении. Конкуренция за выпускников со специализацией «Машинное обучение» очень высока, и Google изо всех сил старается сохранить свое преимущество. Уже несколько лет в академических кругах поговаривают что Google постоянно нанимает студентов, даже если они не нужны компании, просто чтобы те не ушли к конкурентам. Но на самом деле, каждый такой выпускник представляет ценность для корпорации. «Мои студенты всегда получают приглашение от Google», — заявляет Педро Домингос. Страсти продолжают накаляться в связи с тем, что недавно руководство Google объявило об открытии лаборатории МО в Цюрихе. Что создаст множество рабочих мест.

На фото Кристин Робсон (Christine Robson). Она обучает специалистов техникам МО.

Кузница кадров

Поскольку в университетах не готовят достаточно специалистов по машинному обучению, переподготовка сотрудников — насущная проблема. Однако это не всегда так просто, особенно если речь идет о компании вроде Google, где работает множество выдающихся программистов, которые потратили жизнь на то, чтобы достигнуть успехов в сфере традиционного программирования. Для машинного обучения нужен другой склад ума. Выдающиеся программисты обычно достигают значительных успехов из-за умения контролировать программируемую систему. Помимо этого, МО требует глубокого понимания математики и статистики.


Также экспертам по машинному обучению нужно обладать терпением. «Модель МО — это не статичный кусок кода. Вы постоянно наполняете систему данными», — утверждает Кристин Робсон. «Мы постоянно обновляем существующие модели и обучаем их, добавляя новые данные и способности к предсказаниям. Они похожи на живые существа. Чтобы умело обращаться с ними, необходим иной подход к программированию».

Джиннандреа рассматривает «пропаганду» машинного обучения как часть своей работы и заявляет, что это наука об экспериментах с другими алгоритмами. Необходимо определить, какие из них работают лучше всего. При этом, информатика никуда не девается, но приходится большое внимание уделять математике и статистике и меньше думать о написании кода.

Руководство Google уверено, что преодолеть этот барьер сотрудникам поможет так называемое «умное» переобучение «В конце концов, используемая в моделях машинного обучения математика не так уж сложна», — заявляет Дин. «Ее в состоянии освоить любой программист в компании». Чтобы помочь начинающим экспертам по машинному обучению, в компании Google было создано несколько инструментов, помогающих при работе с моделями МО. Самым мощным из таких инструментов на данный момент является TensorFlow. Он ускоряет работу с нейронными сетями. TensorFlow был разработан Дином совместно с его коллегой Раджатом Монгой. Данный инструмент позволяет стандартизировать «нудные» детали построения системы.

У Google есть множество инструментов для работы с системами машинного обучения. Один из них специалисты компании использовали давно, но объявили об этом лишь недавно. Это инструмент носит название Tensor Processing Unit. Он представляет собой микрочип, оптимизированный для эффективной работы программ МО. Огромное множество чипов (точное их число известно только Богу и Ларри Пэйджу) уже установлено в серверах дата-центров компании. Они ускоряют работу нейронных сетей и дают Google огромное преимущество. «Без них мы бы не создали RankBrain», — утверждает Дин.

Вместо заключения

Компания Google больше всего нуждается в грамотных специалистах, способных разрабатывать и настраивать системы МО. Для этого в компании постоянно проводятся как крупные, так и мелкие эксперименты. Например, двухдневный «Крэш-курс по МО с TensorFlow». В курсе содержится теоретическая информация и упражнения.

Менее масштабные эксперименты создаются с целью привлечения экспертов по машинному обучению извне. Этой весной Google запустил программу Brain Residency, призванную вовлечь перспективных программистов и обучать их в течение года силами группы Google Brain. Карсон Холгейт (о которой было сказано в начале статьи), участвуя в программе для «ниндзя машинного обучения» узнает то, что имеет огромное значение для планов Google. Эта корпорация намерена занять главную роль в сфере искусственного интеллекта.

«С машинным обучение у нас все серьезно», — заявляет Карсон Холгейт.

Google запустил информационно-обучающий портал по машинному обучению и ИИ

Машинное обучение (ML) и искусственный интеллект (ИИ) приобретают всё большее значение в современном мире, и Google хочет сделать эти области знания доступными для большего числа людей. С этой целью компания запустила новый информационно-обучающий портал Learn with Google AI.

Новый сайт служит в качестве комплексного онлайн-ресурса по машинному обучению и ИИ, и ориентирован на всех, кто хочет узнать больше об основных концепциях ML, разработке собственных проектов и применении машинного обучения для решения реальных проблем. При этом сайт будет полезен как для новичков, так и исследователей, ищущих руководства для продвинутого уровня.

На сайте также доступен бесплатный обучающий курс по машинному обучению – Machine Learning Crash Course (MLCC). Этот курс основан на внутреннем курсе Google, созданном для ознакомления сотрудников компании с основами машинного обучения и ИИ, который уже прошли 18 тысяч человек. Теперь этот курс доступен всем желающим на сайте Learn with Google AI.

MLCC содержит более 40 различных упражнений, интерактивные визуализации и видеоинструкции, облегчающие изучение концепций ML. Продолжительность курса составляет около 15 часов. Он ориентирован на новичков, не имеющих опыта в машинном обучении, но Google рекомендует проходить курс тем, кто хорошо разбирается в алгебре и имеет базовые навыки программирования.

В будущем Google планирует запустить больше курсов и выложить в открытый доступ больше полезных ресурсов по ML.

Please verify you are a human

Access to this page has been denied because we believe you are using automation tools to browse the website.

This may happen as a result of the following:

  • Javascript is disabled or blocked by an extension (ad blockers for example)
  • Your browser does not support cookies

Please make sure that Javascript and cookies are enabled on your browser and that you are not blocking them from loading.

Reference ID: #63968400-01ad-11ea-a080-93befa8c5b9e

Google открыл доступ к своим инструментам машинного обучения

После нескольких месяцев тестирования компания запустила свой новый проект Cloud Machine Learning, благодаря которому любой желающий сможет подключить к своему проекту систему машинного обучения.

Инструмент позволяет значительно ускорить обучение самообучающихся систем, которые сегодня используются во многих инновационных проектах, начиная от приложений для набора текста и заканчивая медицинскими исследованиями болезни Альцгеймера. В блоге Google сообщается, что проект уже помог, например, компании Airbus решить многолетнюю проблему, связанную с захватом спутниковых изображений.

Помимо этого, в целях большей популяризации нейросетей Google запустил платформу для решения сложных задач, объединяющую бизнесменов, заинтересованных в продукте, и инженеров компании, которые занимаются машинным обучением, а также программу обучения для начинающих пользователей продукта, сообщает Engadget.

Но и на этом усилия Google по продвижению искусственного интеллекта не заканчиваются. Компания также запустила собственную программу сертификации для людей, интересующихся тем, как разрабатывать, обучать и устанавливать высокоэффективные модели машинного обучения. Программа курса основана на внутренних методиках обучения компании и будет преподаваться сотрудниками Google.

Робот-каменщик теперь может выкладывать 1000 кирпичей в час

Ранее на этой неделе Google уже начал использовать нейросети для улучшения качества машинного перевода с китайского на английский язык, для лучшего сжатия изображений, а также в таких популярных сервисах, как Google Документы, Google Диск и Google Календарь.

Выбор редакции

Суперспойлер 7. «Войны миров.

Что посмотреть из фильмов.

Т-4 – самолет, опередивший.

Google занимается обучением ИИ через литературу и игры

Программисты Google представили два новых приложения, в которых реализованы последние наработки компании в области понимания компьютерами естественного языка. В попытке разработать алгоритмы, которые лучше понимают язык человека, поисковый гигант сосредоточился на проектировании иерархических векторных моделей.

В этих моделях используются векторы, которые помогают программе самообучаться, понимать отношения между словами во фразах и идею высказывания. Кроме этого, софт-инженеры Google отмечают, что они уже начали использовать векторы для определения отношений между более крупными кластерами слов типа предложений и коротких абзацев. Иерархическая векторная модель – это та же модель машинного обучения, которая обеспечивает функциональность сервиса Smart Reply в Gmail.

Google Semantic Experiences

Ознакомиться с работой обоих приложений можно на сайте Google Semantic Experiences. Одно из них называется Talk to Books. Его задача – помогать пользователям искать литературу, отвечая на их вопросы. Алгоритм умеет анализировать содержимое книг и извлекать из них информацию, которая соответствует запросам пользователей. Однако Google предупреждает, что технология далеко не совершенна. Например, бывают случаи, когда программа вырывает информацию из контекста, вследствие чего теряется ее оригинальное значение. Кроме того, алгоритм может испытывать затруднение при понимании сложных вопросов и утверждений.

Игра в ассоциации для искусственного интеллекта

На той же странице, где находится Talk to Books, можно познакомиться со второй разработкой Google – игрой Semantris. Это игра в ассоциации, в которой машинное обучение используется для поиска связи между словами на экране и тем, что печатает пользователь. Semantris доступна в двух режимах – аркадный и блочный. В аркадном режиме необходимо действовать и думать быстро. Блочный не имеет временных ограничений, в нем игрок может реагировать не только на отдельные слова, но и на словосочетания.

Google надеется, что в ближайшем будущем этот алгоритм найдет применение в классификации данных, семантической кластеризации, а также в создании белых списков. Разработчики, заинтересованные в данной технологии, могут подключиться к экспериментам и разработать собственные приложения, используя адаптированную семантическую модель алгоритма с платформы TensorFlow.

Топ-пост этого месяца:  Как увеличить скорость загрузки сайта работа с изображениями в формате WebP
Добавить комментарий