![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
vit_rПонедельник - это день, когда нужно больше всего делать, но что-либо делать хочется меньше всего. Можно пойти испить кофе, можно пошляться по Интернету, можно смотреть картинки, можно вяло изображать работу. Вот только не стоит в такой момент начинать думать. Короче, нифига не сделано, а на этот текст я убил всё утро. Точнее, не сам текст, а то, что за ним.
Стоящее ниже частично общеизвестные вещи, о которых никто почему-то не задумывается и мало кто знает, частично упрощения, частично просто мысли без объяснения. Как обычно, я не перечисляю источники и не буду спорить с теми, кто захочет доказать, что всё на самом деле совсем не так. Просто запись в дневник о современном состоянии, и почему выхода из тупика не наблюдается.
Мы мыслим образами.
Слова - это только нечёткие обозначения, порождающие образ. При этом результат индивидуален. Что человек увидит за словом зависит от контекста, опыта этого конкретного человека, его мыслей в данный момент, даже настроения. Также результат определяется тем, в какое окружение поставлено слово. Потому что мы строим не образы слов, а образ общей картины, стоящей между строк. После чего начинаем им оперировать.
Кошка.
Маленькая кошка.
Маленькая рыжая кошка.
Злая маленькая рыжая кошка.
Злая маленькая рыжая кошка ест.
Злая маленькая рыжая кошка грызёт.
Злая маленькая рыжая кошка грызёт медведя.
Добавление каждого нового элемента в целостный образ меняет не только саму картину, но и объект, на котором висит табличка «кошка».
(Естественно, для того, чтобы это осознать, нужен некоторый опыт самоконтроля. Но пример при минимальных усилиях даёт достаточно чёткое представление о механизме и заменяет несколько страниц текста с объяснениями. По-хорошему на эту тему надо писать толстую книжку с картинками, но мне влом. Так что всё будет впихнуто в один пост.)
Даже простые грамматические изменения, не несущие смысловой нагрузки, меняют образ.
кошкой
на кошке
в кошке
из-под кошки
Естественно, заядлый кошатник может во всех вариантах представлять свою конкретную любимицу. Но состояние, настроение и поза в каждом преобразовании будут меняться.
С абстракциями ничуть не лучше.
пространство
гильбертово пространство
банахово пространство
изоморфное банахово пространство
Да, у человека, который понимает эти словосочетания, со второй строчки вряд ли получится визуальный образ. Зато переключается образ абстрактный, на который навешаны свойства, теоремы, формулы и прочие связи к математической картине мира. Впрочем, связь может быть и с чем-то посторонним. Если на лекциях о банаховых пространствах преподаватель так высоко задрал голову, что сдвинул парик, словосочетание будет порождать в первую очередь воспоминания о парике. Потому как энергия связей памяти определяется эмоциями.
Не трудно заметить, что даже для чёткого и полностью сформулированного описания мы получаем не один, а множество образов. Этим определяется простота переключения в примере. Практически, сеть связей столь густая и настолько сильно зависит от контекста, момента и других факторов, что можно говорить о поле образов, аналогичном семантическому полю в лингвистике.
Но опять же, это совершенно не делает жизнь легче.
Мозг - мощный параллельный процессор, не имеющий практически ничего общего с теми понятиями и логикой, которыми оперируют информационные технологии. Ещё одна проблема заключается в том, что он нелинеен.
Наиболее простым примером является зрение.
Глаз - это не матрица точек, разбитых по двум координатам. Мы видим не точки, не плоскости и не линии. Уже на первом уровне работают параллельные связи, порождающие индикаторы границ, индикаторы направлений движения, индикаторы пространственной частоты. Практически глаз сразу производит Фурье-преобразование картинки на сетчатке, а мозг потом собирает из спектра пространственных частот визуальные образы.
Всё, конечно, не так просто, и импульсы в мозгу не вполне однозначно описываются гладкими математическими функциями. Но механизм аналогичен. Можно сказать, мы не разбираем мир по нотам, мы сразу видим визуальными аккордами.
С одной стороны, это позволяет распознавать образы в тумане и с разных ракурсов, не зависеть от размеров и раскрасок, от вариаций формы и мелких признаков. В частности, по этой причине буква «A» читается без усилий в любом нормальном шрифте без необходимости как в детстве разбирать её на элементы.
С другой стороны, такое восприятие определяется биологией «Большое, тёмное, движется - надо бежать.»
Нам не надо получать полный объём информации, чтобы принять решение. А соответствовал ли образ, созданный испуганным мозгом, реальности, или саблезубый тигр в кустах померещился? Те коллеги предков, кто задавался подобными вопросами, потомства не оставляли.
Со словами и текстом аналогично - мы непредсказуемо и нелинейно строим образ на основе сигнала, прошедшего нелинейные фильтры восприятия.
Текст получен тоже нелинейным неполным преобразованием. Его создатель пытался разложить нечёткий образ по компонентам, преобразовать их в слова и передать в одномерной линейной последовательности предложений.
В простом, определённом, формализованном и часто встречающемся контексте всё довольно просто.
1 + 1 = 2
2 * 2 = 4
8 + 9 = 17
Просто, конечно, если мы находимся в рамках школьной арифметики и десятичной системы счисления. Что, чаще всего, так и есть. Но выход из единого контекста неизбежно порождает ошибки. А контекст начинает расходиться, как только мы выходим из области элементарного.
Плюс умение преобразовать образы в слова и слова в образы требует культурного багажа и обучения. Хотя все считают, что умеют писать и читать, результаты чаще всего оказываются более чем печальны, если мы переименуем процессы в «выражать мысли» и «понимать написанное».
Кстати, программистам не стоит надеяться, что у них всё хорошо. Попробуйте обойтись без include и namespace в проекте, который сложнее примера из учебника. Сразу увидите, какие коллизии имён бывают в чётком мире исходного кода.
Как в свете всего вышесказанного выглядят слова semantic technologies, knowledge management, ontology language, natural language processing? Печально они выглядят.
Мы можем связать слова в сеть. Можем обрезать изменяемые части, набрать синонимы, вывести общие семантические центры и связать в сеть их. Можем вычленить словосочетания наибольшей длины. Можем попытаться ввести зависимость семантических связей от контекста. Можем пройтись статистическими методами и на достаточно большой выборке выделить значения, которые с большой вероятностью будут действовать опять же на достаточно большой выборке.
Что мы не можем сделать - это воспроизвести построение образов, как это происходит в мозгу. Потому что каждый новый элемент меняет результат, а также возможные пути и способы его использования. Потому что нужен контекст. Потому что нужны правила построения. Потому что текст всегда неполон и модель надо достраивать. Потому что это называется уже не «распознавать», а «думать».
Получив неограниченные вычислительные мощности и неограниченные ресурсы можно добиться восприятия трёх-четырёхлетнего ребёнка. Дальше тупик. Сеть становится слишком сложной.
Статистические методы дадут хорошее приближение в среднем. И так во всём.
Статистическая медицина хорошо работает на массах. При схождении определённых признаков определённое лекарство даст в большинстве случаев ожидаемый эффект. Но только врач, у которого за схемами стоит система, может распознать маловероятный вариант, когда эффект будет отрицательный. Или, когда к признакам добавляется что-то ещё, и заболевание оказывается не статистическим, а другим, редким и сложным, от которого лечить надо совсем по-другому.
Статистические гороскопы печатают в газетах. Желающие находят массу совпадений. Но настоящие астрологи работают с огромными томами, где на каждую комбинацию даются куча «если при этом наличествует ещё...» и «в другом варианте это может выражаться...»
Статистические программисты запихивают в код фабрики, фасады и куски кода, случайно найденные Гуглом, применяют agile с CMMI, добавляя continuous integration. И это даже как-то работает. В большинстве случаев. Особенно, если не задумываться, не заглядывать за горизонт очередного бильда и не ставить вопросов.
Современные семантические технологии тоже работают. В среднем и на больших выборках. Когда появляется конкретная задача, выясняется, что надо строить разложение на образы, построение нечёткой информационной модели и контроль ошибок восприятия. То есть, повторять работу мозга. Причём, при ограниченных ресурсах, на ограниченном корпусе разношёрстных текстов и не на уровне начальной группы детского сада, а переводя в компьютер картину мира высокооплачиваемого эксперта, при этом с минимальными затратами усилий, времени и денег.
Как это сделать - фиг знает. Вопрос даже не в том, чтобы решить задачу. Не понятно, как приблизиться к решению. А всё общение с людьми, идущими под знамёнами Knowledge Management и Semantic Web вместо надежд и озарений только навевает печаль.
Можно заметить, что про кошкодевочек тут ничего не было. Собственно, оно и не нужно. Просто к слову пришлось. Но чтобы оправдать заголовок, закончу так:
Злая маленькая рыжая кошкодевочка грызёт медведя.
Стоящее ниже частично общеизвестные вещи, о которых никто почему-то не задумывается и мало кто знает, частично упрощения, частично просто мысли без объяснения. Как обычно, я не перечисляю источники и не буду спорить с теми, кто захочет доказать, что всё на самом деле совсем не так. Просто запись в дневник о современном состоянии, и почему выхода из тупика не наблюдается.
Мы мыслим образами.
Слова - это только нечёткие обозначения, порождающие образ. При этом результат индивидуален. Что человек увидит за словом зависит от контекста, опыта этого конкретного человека, его мыслей в данный момент, даже настроения. Также результат определяется тем, в какое окружение поставлено слово. Потому что мы строим не образы слов, а образ общей картины, стоящей между строк. После чего начинаем им оперировать.
Кошка.
Маленькая кошка.
Маленькая рыжая кошка.
Злая маленькая рыжая кошка.
Злая маленькая рыжая кошка ест.
Злая маленькая рыжая кошка грызёт.
Злая маленькая рыжая кошка грызёт медведя.
Добавление каждого нового элемента в целостный образ меняет не только саму картину, но и объект, на котором висит табличка «кошка».
(Естественно, для того, чтобы это осознать, нужен некоторый опыт самоконтроля. Но пример при минимальных усилиях даёт достаточно чёткое представление о механизме и заменяет несколько страниц текста с объяснениями. По-хорошему на эту тему надо писать толстую книжку с картинками, но мне влом. Так что всё будет впихнуто в один пост.)
Даже простые грамматические изменения, не несущие смысловой нагрузки, меняют образ.
кошкой
на кошке
в кошке
из-под кошки
Естественно, заядлый кошатник может во всех вариантах представлять свою конкретную любимицу. Но состояние, настроение и поза в каждом преобразовании будут меняться.
С абстракциями ничуть не лучше.
пространство
гильбертово пространство
банахово пространство
изоморфное банахово пространство
Да, у человека, который понимает эти словосочетания, со второй строчки вряд ли получится визуальный образ. Зато переключается образ абстрактный, на который навешаны свойства, теоремы, формулы и прочие связи к математической картине мира. Впрочем, связь может быть и с чем-то посторонним. Если на лекциях о банаховых пространствах преподаватель так высоко задрал голову, что сдвинул парик, словосочетание будет порождать в первую очередь воспоминания о парике. Потому как энергия связей памяти определяется эмоциями.
Не трудно заметить, что даже для чёткого и полностью сформулированного описания мы получаем не один, а множество образов. Этим определяется простота переключения в примере. Практически, сеть связей столь густая и настолько сильно зависит от контекста, момента и других факторов, что можно говорить о поле образов, аналогичном семантическому полю в лингвистике.
Но опять же, это совершенно не делает жизнь легче.
Мозг - мощный параллельный процессор, не имеющий практически ничего общего с теми понятиями и логикой, которыми оперируют информационные технологии. Ещё одна проблема заключается в том, что он нелинеен.
Наиболее простым примером является зрение.
Глаз - это не матрица точек, разбитых по двум координатам. Мы видим не точки, не плоскости и не линии. Уже на первом уровне работают параллельные связи, порождающие индикаторы границ, индикаторы направлений движения, индикаторы пространственной частоты. Практически глаз сразу производит Фурье-преобразование картинки на сетчатке, а мозг потом собирает из спектра пространственных частот визуальные образы.
Всё, конечно, не так просто, и импульсы в мозгу не вполне однозначно описываются гладкими математическими функциями. Но механизм аналогичен. Можно сказать, мы не разбираем мир по нотам, мы сразу видим визуальными аккордами.
С одной стороны, это позволяет распознавать образы в тумане и с разных ракурсов, не зависеть от размеров и раскрасок, от вариаций формы и мелких признаков. В частности, по этой причине буква «A» читается без усилий в любом нормальном шрифте без необходимости как в детстве разбирать её на элементы.
С другой стороны, такое восприятие определяется биологией «Большое, тёмное, движется - надо бежать.»
Нам не надо получать полный объём информации, чтобы принять решение. А соответствовал ли образ, созданный испуганным мозгом, реальности, или саблезубый тигр в кустах померещился? Те коллеги предков, кто задавался подобными вопросами, потомства не оставляли.
Со словами и текстом аналогично - мы непредсказуемо и нелинейно строим образ на основе сигнала, прошедшего нелинейные фильтры восприятия.
Текст получен тоже нелинейным неполным преобразованием. Его создатель пытался разложить нечёткий образ по компонентам, преобразовать их в слова и передать в одномерной линейной последовательности предложений.
В простом, определённом, формализованном и часто встречающемся контексте всё довольно просто.
1 + 1 = 2
2 * 2 = 4
8 + 9 = 17
Просто, конечно, если мы находимся в рамках школьной арифметики и десятичной системы счисления. Что, чаще всего, так и есть. Но выход из единого контекста неизбежно порождает ошибки. А контекст начинает расходиться, как только мы выходим из области элементарного.
Плюс умение преобразовать образы в слова и слова в образы требует культурного багажа и обучения. Хотя все считают, что умеют писать и читать, результаты чаще всего оказываются более чем печальны, если мы переименуем процессы в «выражать мысли» и «понимать написанное».
Кстати, программистам не стоит надеяться, что у них всё хорошо. Попробуйте обойтись без include и namespace в проекте, который сложнее примера из учебника. Сразу увидите, какие коллизии имён бывают в чётком мире исходного кода.
Как в свете всего вышесказанного выглядят слова semantic technologies, knowledge management, ontology language, natural language processing? Печально они выглядят.
Мы можем связать слова в сеть. Можем обрезать изменяемые части, набрать синонимы, вывести общие семантические центры и связать в сеть их. Можем вычленить словосочетания наибольшей длины. Можем попытаться ввести зависимость семантических связей от контекста. Можем пройтись статистическими методами и на достаточно большой выборке выделить значения, которые с большой вероятностью будут действовать опять же на достаточно большой выборке.
Что мы не можем сделать - это воспроизвести построение образов, как это происходит в мозгу. Потому что каждый новый элемент меняет результат, а также возможные пути и способы его использования. Потому что нужен контекст. Потому что нужны правила построения. Потому что текст всегда неполон и модель надо достраивать. Потому что это называется уже не «распознавать», а «думать».
Получив неограниченные вычислительные мощности и неограниченные ресурсы можно добиться восприятия трёх-четырёхлетнего ребёнка. Дальше тупик. Сеть становится слишком сложной.
Статистические методы дадут хорошее приближение в среднем. И так во всём.
Статистическая медицина хорошо работает на массах. При схождении определённых признаков определённое лекарство даст в большинстве случаев ожидаемый эффект. Но только врач, у которого за схемами стоит система, может распознать маловероятный вариант, когда эффект будет отрицательный. Или, когда к признакам добавляется что-то ещё, и заболевание оказывается не статистическим, а другим, редким и сложным, от которого лечить надо совсем по-другому.
Статистические гороскопы печатают в газетах. Желающие находят массу совпадений. Но настоящие астрологи работают с огромными томами, где на каждую комбинацию даются куча «если при этом наличествует ещё...» и «в другом варианте это может выражаться...»
Статистические программисты запихивают в код фабрики, фасады и куски кода, случайно найденные Гуглом, применяют agile с CMMI, добавляя continuous integration. И это даже как-то работает. В большинстве случаев. Особенно, если не задумываться, не заглядывать за горизонт очередного бильда и не ставить вопросов.
Современные семантические технологии тоже работают. В среднем и на больших выборках. Когда появляется конкретная задача, выясняется, что надо строить разложение на образы, построение нечёткой информационной модели и контроль ошибок восприятия. То есть, повторять работу мозга. Причём, при ограниченных ресурсах, на ограниченном корпусе разношёрстных текстов и не на уровне начальной группы детского сада, а переводя в компьютер картину мира высокооплачиваемого эксперта, при этом с минимальными затратами усилий, времени и денег.
Как это сделать - фиг знает. Вопрос даже не в том, чтобы решить задачу. Не понятно, как приблизиться к решению. А всё общение с людьми, идущими под знамёнами Knowledge Management и Semantic Web вместо надежд и озарений только навевает печаль.
Можно заметить, что про кошкодевочек тут ничего не было. Собственно, оно и не нужно. Просто к слову пришлось. Но чтобы оправдать заголовок, закончу так:
Злая маленькая рыжая кошкодевочка грызёт медведя.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2013-02-11 02:49 pm (UTC)Разные значения слов в разных контекстах - это Ад, Содом и Израиль.
no subject
Date: 2013-02-11 03:11 pm (UTC)no subject
Date: 2013-02-11 04:33 pm (UTC)no subject
Date: 2013-02-11 04:53 pm (UTC)Про понедельник, семантические технологии и кошкодево
Date: 2013-02-12 09:11 am (UTC)no subject
Date: 2013-02-12 10:37 am (UTC)мне кажется, что сопоставляя машинный(логически-статистический) и естественный (адаптационно-билогический) подход к решению проблемы "восприятий и действий" вывод напрашивается сам собой - природа делает это по-другому:)
в качестве просто поболтать, без претензий на истину и научность:
В вашем примере с кошкодевочкой смыслы можно упорядочить, если применить метод иерархии, то есть выделения центрального образа, к которому присоединяются качества. Если в каждой новой фразе не искать похожие слова, а решать задачу выделения центрального образа, то нет проблемы увеличения количества слов и изменения смысла, а есть проблема с любой парой (и большим количеством) слов - какое из них является центральным образом, а какое(какие) - подчиненными качествами.
"...не надо получать полный объём информации, чтобы принять решение..." - иерархия выстраивается в зависимости от цели восприятия, и возможно не следует создавать иерархию сразу.
пример:
если цель восприятия - безопасность, то иерархия образ - качества:
1. злая, грызет(сейчас опасно!)- кошка(иногда частично опасно?) - маленькая, рыжая
2. медведь(часто очень опасно! -?- дополнительная информация требуется)
но если цель восприятия - домашний любимец, то иерархия другая:
1. кошка - маленькая, рыжая (моя/чужая?) - злая, грызет (сейчас опасно?)
2. медведь(?)
no subject
Date: 2013-02-12 02:45 pm (UTC)Это не получится полностью автоматически, это очень грустно делать вручную. Решение лежит где-то посредине, но люди, которые должны были бы его искать, занимаются вместо этого какой-то фигнёй.
Мозг и семантическая паутина (веб)
Date: 2013-02-14 06:15 am (UTC)Этот процесс происходит непрерывно и он постоянно меняет всю семантическую сеть.
В рамках обычной бинарной логики смоделировать работу этого механизма достаточно затруднительно. Для этого больше подходят модели нечеткой логики. Кстати американцы уже создали прототип нечеткого процессора, который должен не только реализовывать алгоритмы нечеткого управления, но и служить некоторым узлом нечеткой семантической сети.
Хочу сказать, что работы в этой области по большей части имеют гриф секретно. Однако, результаты этих работ отчетливо видны в проектах НАСА и Пентагона.
Гугл и МС тоже продвигаются в этом направлении. Но с другой стороны. Со стороны сначала накопления огромных массивов смысловой информации, которой насыщен веб, а впоследствии и ее содержательной обработки. На ютьюбе можно найти удивительную презентацию МС, где они демонстрируют синхронный автоматический перевод презентатора с английского на китайский!! С таким качеством, что вся аудитория (китайская) аплодирует. МС говорит, что через пять лет проблем с автоматическим переводом с одного языка на другой не будет в принципе. Я верю.
Так, что мы то может быть и находимся далеко от понимания, как это реализуется, но уже есть люди, которые знают как и делают это. Кстати реализация Semantic Web достаточно хорошо продвинулась за последние несколько лет.
Re: Мозг и семантическая паутина (веб)
Date: 2013-02-14 08:21 am (UTC)Машинный перевод может дать точность, но никогда не справится с подтекстом. Потому что там начинает играть роль стиль и культура. Плюс он будет буксовать на специальных текстах, потому что там значения совсем не те, что в обычной речи.
Про людей, которые "знают как и делают это" я , собственно говоря, и писал.
Re: Мозг и семантическая паутина (веб)
Date: 2013-02-14 11:58 am (UTC)Re: Мозг и семантическая паутина (веб)
Date: 2013-02-14 12:39 pm (UTC)