Вы наверняка используете машинное обучение десятки раз в день, даже не подозревая об этом — это способ тренировки компьютеров на реальных данных, благодаря которому возможно высококачественное распознавание речи и образов, блокировка спама и даже автопилот в автомобиле.
Прим.: такие автомобили с камерами ездят по городам и снимают улицы для Google Maps.
Технология еще не идеальна — вы наверняка посмеивались, видя неправильную транскрипцию, плохой перевод или плохо распознанное изображение.
Но мы верим, что машинное обучение может стать более точным и что умные компьютеры могут облегчить наши повседневные задачи. Таким образом, наша исследовательская группа работает над некоторыми новыми подходами к этому вопросу.
Существующая технология имеет значительный фундамент для адаптации к новому использованию. Например мы пытаемся создать систему, которая будет различать картинки автомобилей и мотоциклов.
При стандартном подходе мы сначала должны собрать десятки тысяч картинок, уже помеченных как «автомобиль» или «мотоцикл» — мы называем это маркированными данными — для обучения системы. Но маркировка трудоемка и дает относительно небольшие результаты.
К счастью, недавние исследования в области самообучения предполагают, что мы можем положиться вместо этого на немаркированные данные, такие, как случайные изображения из сети или видео с YouTube.
Эти алгоритмы работают по принципу нейронных сетей (аналогичных человеческому мозгу), воспроизводя происходящие в них процессы обучения.
Расчетная мощность нейронных сетей очень дорогостоящая, поэтому на сегодняшний день в большинстве сетей использовались от 1 до 10 миллионов соединений. Однако мы подозревали, что при обучении более крупных сетей можно достичь большей точности.
Тогда мы разработали распределенную вычислительную инфраструктуру, затем взяли искусственную нейронную сеть и раскидали расчёт на 16 000 ядер СPU (в нашем дата центре) и обучили модель, у которой было больше миллиарда соединений.
Потом мы провели неофициальный эксперимент, задавшись вопросом: если вы воспринимаем нашу сеть как очень маленький новорожденный мозг и будем показывать ему видео с YouTube в течение недели, что он выучит? Наша гипотеза состояла в том, что он научится распознавать общие объекты в тех видео.
Забавно, но один из наших искусственных нейронов проявил особое пристрастие (научился распознавать) к изображениям кошек.
При этом сеть не знала, что такое «кошка», не было ни одного изображения, маркированного как «кошка». Вместо этого он «открыл», что кошка похожа на кошку из отдельных немаркированных кадров с YouTube.
Вот что мы называем самообучением. Один из нейронов в искусственной нейронной сети, обученный на стоп-кадрах YouTube, научился распознавать кошек.
Используя эту крупномасштабную нейронную сеть, мы также значительно улучшили стандартный тест классификации изображений — фактически, мы наблюдаем 70% относительное улучшение точности. Мы достигли этого за счет огромного объема немаркированных данных в сети и использовали их, чтобы пополнить ограниченный объем маркированных.
Это то, на чем мы действительно сосредоточены — как разрабатывать масштабируемые системы машинного обучения, чтобы мы могли использовать огромные наборы немаркированных учебных данных.
Мы отчитаемся об этих экспериментах вместе с нашим руководителем Quoc Le на этой неделе в ICML (прим.: конференция по машинному обучению). Детальнее смотрите в нашем Google+ или читайте полный выпуск.
Там идут прямые ссылки на скачивание исследовательского документа, при желании переходите на оригинальный пост.
Мы активно работаем над масштабированием нашей системы для обучения еще более сложных моделей. Сейчас нет общепринятого способа сравнения искусственных нейронных сетей с биологическими, но, по очень грубым прикидкам, взрослый человеческий мозг имеет 100 000 000 000 000 (сто триллионов) связей. Вот что мы понимаем под «сложными» моделями и нам еще есть куда расти.
Это касается не только картинок — мы работаем с другими группами в Google по внедрению искусственной нейронной сети в таких областях, как распознавание речи и моделирование естественного языка.
И когда-нибудь инструменты, которыми вы пользуетесь каждый день, могут стать лучше, быстрее и умнее.
