Есть такая книжка, получившая даже известность. Что сначала новые явления открываются с трудом, плохо воспроизводятся, их еле-еле на пределе аппаратуры и умений вытаскивают в лабораториях в что-то заметное. А потом десятки лабораторий по всему миру уже легче их воспроизводят. А потом уже чуть не в школьном кружке могут сделать то же самое, явление становится устойчивым и легко воспроизводимым.

Эту странную теорию упоминают даже и серьезные люди, но речь все же не о ней, мне столько не выпить.

Я с другой стороны. Встречается ли где-нибудь тренировка реальности? Что она сначала не умела воспроизводить то, что мы о ней думаем, а потом научилась?

Чтобы придать этой мысли объем, вот рассуждение:


Вот интересно, если две компьютерные программы - Deep Blue и AlphaGo сыграют в шахматы - кто выиграет? Да, я знаю, что AlphaGo играет не в шахматы, а в го, но другая программа, основанная на тех же принципах глубинного обучения (таковые есть - разрабатывалась программа Giraffe, правда сейчас этот проект остановлен) - кто выиграет?
Чтобы был понятен вопрос. Deep Blue и AlphaGo основаны на разных подходах. Deep Blue основан на мощной шахматной теории, разработанной поколениями человеков-шахматистов; просто к этой теории добавлена вычислительная мощь компьютера - возможность перебора многих вариантов и безошибочность памяти. А вот AlphaGo значительно меньше использует разработанную человеками теорию игры - просто потому что внятной теории игры в го нет. Зато она использует алгоритмы глубинного обучения и научилась лучше всех играть, играя сама с собой. Так что вопрос на самом деле стоит так: а стоят ли чего-то разработанные человеками теории игры в шахматы?
Заметим, что AlphaGo не создала своей теории - она просто научилась играть. Это примерно как человек может научиться ездить на велосипеде и при этом совершенно неправильно объяснять, почему он не падает. Я даже затрудняюсь сказать, что можно назвать созданной компьютером теорией - полагаю, само понятие теории во многом предполагает, что ее способен воспринять и применять именно человек. Нужна ли компьютеру теория как результат - вопрос, возможно, бессмысленный.
http://timur0.livejournal.com/317298.html

Ну и еще одна линия рассуждений, чтобы еще одну сторону этой фигуры разметить. При изучении поведения и обучения были открыты уровни абстракции - то, что кажется субъективным способом описание, выстраивание иерархии, приходится применять для описания результатов обучения, иначе их понять довольно трудно. Из всего, что по поводу иерархии и поведения говорится, можно выделить вот какую песню. Опираясь на расселовскую теорию типов, на семантику Коржибского и прочие такие вещи, Бейтсон выделил два фундаментальных типа обучения. Первый - обычное обучение: стимул - реакция. То есть "сейчас загорится вон та красная лампочка, и эти идиоты-лаборанты придут нас кормить". Это простое обучение.

Второй тип обучения назван вторичным обучением, дейтеро-обучением. Это можно назвать не обучением, а пониманием: это обучение понимать контекст, в котором возникают стимулы, на которые следует отвечать реакцией. Обучение не стимулам, а смыслам. Простые примеры можно увидеть попросту дрессируя крыс, называется это set learning. Животное поначалу вообще не понимает, что такое тест, лабирит, обучение, кормушка, - оно нервничает, боится, жмется, - ну какое тут обучение. Хотя именно это и есть "чистое" обучение, - вот взяли дикую крысу, вот дали ей интеллектуальную задачу, вот она ничего не решает. А вторичное обучение - это когда лабораторная крыса, которая давно участвует в тестах, быстро схватывает саму задачу, которую перед ней поставил экспериментатор - она прежде решала уже многие тесты, она уже многому не удивляется и не дичится, она четко выхватывает из среды стимулы, которые навесил экспериментатор и потому быстро решает задачку. Она умеет учиться.

Это и есть то самое ускорение опытов по мере их проведения. Крысы научаются решать задачи. То, что в первом опыте, пока крысы были неумелые и экспериментаторы тоже, было трудно, по мере научения - запросто. Крысы участся решать не эту вот задачу, они учатся быть лабораторными крысами. Как в генетике создают чистые линии и дикий тип, так в бихевиоризме создают "хороших" подопытных животных. Крысы даже выучиваются быть "хорошими крысами для данной теории". Если крыс учат разным типам избегающего поведения, они быстро выучивают новый тип избегания. Если крыс учат в лаборатории сторонников идеи об условном рефлексе, в павловской лаборатории, крысы быстро учатся вырабатывать условные рефлексы - на звук, на цвет, на чего изволите. Можно сделать хорошую крысу для инструментальных бихевиористских реакций, можно - хорошую крысу для условных рефлексов. И природа будет подтверждать, что ей положено.

Бейтсон считал, что способность обучаться контексту... это особое обучение. Но тут уж как назвать - можно контекст, можно смысл, можно понимание, можно говорить о правилах класса поведенческих задач. Бейтсом смог различить, например, два уровня в том, что обычно называют "рефлексом любопытства" - совершенно разные вещи. одно названо "исследовательским поведением", другое "тестированием объекта". Тестирование определяет свойства объекта, выясняет содержание восприятия - скажем, можно выяснить, что объект опасен, избегать его, это будет отрицательный ответ и больше к объекту подходить не надо, поведение прекращается. Или можно исследовать объект, цель - узнать о нем, и тогда то, что он опасен - положительный результат работы и прекращать такое поведение не надо, можно исследовать другие незнакомые объекты или этот объект другим способом и пр. Вообще Бейтсон выделил 4 уровня обучения - нулевой (стимул - реакция), первый - изменение реакции при наборе статистики проб и ошибок, второй - коррекция набора альтернатив, изменение структуры выбора, третий - кратко говоря, изменение обучения II, тоже изменение структуры альтернатив.

И тогда вопрос о Deep Blue и AlphaGo получает несколько иной смысл. Наверное, можно предположить, что раз крысы (и не только) способны к обоим типам обучения, то и компьютерные программы тоже смогут овладеть обоими типами.

Отсюда я бы сказал, что совершенно точно можно будет создавать ситуации, когда наблюдающий за поведением компьютера человек будет говорить, что компьютер "понимает смысл", проявляет понимание, ловит контекст. Куда ему деваться, болезному - из этой ловушки языка еще никто не уходил.

(Можно говорить о том, что критерий сам подгребает под себя реальность. А можно вспомнить мысль Бицилли о иезуитах: этот орден не является церковным орденом, потому что целью его вместо личного спасения служит защита церкви как средства личного спасения. Он там не выйдет, там дверь закрыта).

Хорошо тренированная реальность не нуждается в понуканиях. В лаборатории крыса тренируется понимать, что относится к обстановке экспериментального обчения и на это не следует обращать внимание, а что в данном случае важно и позволит избугнуть наказания или приведет к еде - среди общей экспериментальной установки выделить звук, нарисованную фигурку или еще что, что благоугодно было экспериментатору сделать стимулом. Обучаются и экспериментаторы. Можно взять студентов и поручить им записывать в лабораторный журнал поведение крыс в клетке. Записи эти по стилю напоминают продолжение Швейка, но постепенно студенты выучиваются, шутки им приедаются, и через некоторое время они способны вести нормальный журнал наблюдений, по которому уже можно смотреть статистику действий крыс и прочие показатели.

Некоторое время назад я предложил попробовать иной взгляд на возникновение жизни. Обычно само возникновение прячут в убежище незнания и оттуда с великими трудами достают по малой подробности, при каждом движении приговаривая, что мы пока ничего не знаем. И это начало жизни проваливается все дальше - вот уже и РНК-мир кажется чуть не старым знакомым, а золото истинного происхождения лежит где-то глубже. Я предложил иную точку отсчета, происхождение жизни можно расположить много ближе, в казалось бы знакомой и сравнительно хорошо изученной области - и попытаться говорить о возникновении жизни не в терминах черной кошки в темной комнате, а формулировать вопросы теоретического характера в хорошо известной ситуации.

Так и здесь. Может быть, имеет смысл относиться к искусственному интеллекту как к уже созданному и работающему. О нем сейчас вот уже несколько десятков лет говорят в терминах "мы сделаем это в ближайшие пять лет". И он спрятан в убежище незнания - ах, пока мы на подступах, мы знаем уже много больше-чем-раньше, а скоро мы вообще такое сделаем, что будет настоящий искусственный интеллект. Интересно взглянуть с другой точки зрения - считать, что он уже некоторое время как сделан и работает, и все ожидания и теоретические наработки относить к готовому продукту. Считать, что мы достаточно натренировали реальность своими ожиданиями и то, что мы готовились наконец-достичь, уже вскипело.

Интересно это, конечно, не с точки зрения техники - что могли сделать, сделали, дело не в том, чтобы создать еще один гаджет. Интересно, что наши давно заготовленные теории про ИИ, давно лелеемые представления скажут о готовом и работающем - да вот же вокруг, вот он.