Про ёжика в тумане, зазнайство, языки программирования и вериги

[vit_r]

The Big Data hype is a reincarnation of the socialism in IT. Instead of creating small autonomous self-regulating entities Big Data adepts send all kind of junk into the Gosplan (the State Planning Committee, USSR).

The problem is not the volume, the variety or the velocity of data but that the new generation Gosplan is too far from places where data is born. Information sources cannot adapt to real needs and are forced to report everything possible but nothing usable.

---

Modern interfaces are created by people who sit in crowded rooms behind transparent glass walls. It is no wonder that the results of their creativity show too much unnecessary junk, cannot help with orientation and are miserably fragile.

---

My 3 favorite impediments to technology changes on the base level in IT.

1. Developers like incremental improvements but they are afraid of global changes.

2. Developers are unwilling to learn something what they do not understand.

3. A lot of today developers are simply unable to work with abstractions.

Comments

[vit_r]

Первые два наблюдения - это то, что осталось в записях после вчерашнего похода местное отделение M$ на тусовку, посвящённую Big Data, Data Meaning и AI. Последнее - бонусом из одной дискуссии по техническим вопросам.

[anonim_legion]

Вот это всё надо в Твиттер писать, и в Телеграм дублировать, сопровождая ехидными картинками. А то жаль, что такой жыр никто не видит, кроме немногочисленных посетителей DW.

[vit_r]

Третье - это просто цитата из моего ответа в одной специфической группе. Второе ушло на страницу 113 записной книжки с заголовком "3F". А первое... Если кто хочет, может взять октябрьскую открытку или что-нибудь получше, вставить туда цитату и запостить на Твиттер. Можно, даже, автора указать.

Моя задача не доказать миру, что я на коне и весь в белом, а пристроить куда-нибудь неприкаянные мысли. Заодно "немногочисленные посетители" могут что-то полезное сказать, а просто кинуть что-то в мир и считать лайки - это как-то грустно.

[juan_gandhi]

A bunch of good points. #3, I believe, has been the biggest problem since the very beginning.

As an entertainment, will add that last night I figured I need commutative groups to be passed around in my new API. Not just monoids, groups! Commutative!

[vit_r]

#3 was posted especially for you. It is not enough to make something sophisticated. To make it "applicable" you need to hide all nontrivial parts behind simple interfaces and usage rules. (The true art is to prevent such hybrid from turning into an ugly monster.)

[straktor]

первое какой-то технически безграмотный бред

наоборот, это традиционные приложения ходят за данными в Центральный Распределитель Реляционной БД, согласно постановлениям, изданным Админами ЦК Партии

бигдата наоборот, строится на ДЕцентрализованном принятии решений по совместным алгоритмам, где клиенты часто и есть серверы

кластера бигдаты стараются не иметь одной точки сбоя; обработка данных в любой момент морально готова к выходу из строя нескольких узлов, прозрачно перераспределяя нагрузку на остальные узлы

а скажем оракл бд умеет масштабировать один запрос на несколько машин? а как там со сбоями дисков при исполнении? или скажем постгрес? (я в курсе, что специальные версии есть, но в общем нет)

про тему дата мартс я умолчу, но вообще-то это свой старый и богатый мир
для них бигдата это, ну, и не такое видали


а настойчивое подчёркивание дартаньяновости автора на фоне программистов-пидорасов вызывает уже некоторую неловкость

bragging how smart you are isn't exactly a pleasant show

[vit_r]

О! Это прекрасно.

[anonim_legion]

>а скажем оракл бд умеет масштабировать один запрос на несколько машин?

Как вы себе это представляете?
Впрочем, умеет. И Оракл, и DB2, и даже MS SQL.

[vit_r]

Как вы себе это представляете?

Видимо, вместо кластера 7/24/365 за сотню тысяч выделить сотню виртуальных убожеств, а потом попытаться запустить через них процессинг кредитных карт или датамарт предприятия с пятью десятками отделений.

[straktor]

примерно эти же реплики я выдавал год назад

про сотню тысяч, про сотню убожеств

минимизируется capex

сотню убожеств можно настроить и выделить через 40 минут, поюзать и выбросить
а титаник строится полгода-год и его не перепродашь
и технически устареет он через 3 года, никто не перекупит

[vit_r]

сотню убожеств можно настроить и выделить через 40 минут, поюзать и выбросить

Можно выбрасывать сразу. Ни для каких серьёзных задач это всё равно не годится.

и технически устареет он через 3 года, никто не перекупит

Вообще-то это работает десяток лет. Непрерывно. Постоянно. Потому что любой простой в серьёзной организации - это деньги, быстро превышающие вложения в хорошее железо.

[straktor]

оу да, юз кейс оказывается бывает только один!
остальные не бывают, ну только несерьёзные и с ними никто не связывается
спасибо, для меня это новость


конець сарказма

интересно, для вас будет новостью, что 99.9% экономики -- несерьёзные организации с несерьёзными юз кейсами?
или вы себе выкололи духовные глаза 20 лет назад и не хотите видеть?
что ж, как завещал франко-эфиопско-российский гуру, не надо оспаривать знатока

[vit_r]

99.9% процентов экономики просто не производят столько данных, чтобы их нельзя было эффективнее и быстрее обрабатывать в реляционных базах. (Или сетевых, если того требует задача)

Если сайту с десятком тысяч посещений в день надо чего-то в Big Data, значит они просто не смогли найти человека, нормально разбирающегося в информационных потоках и способах их обработки.

Если смотреть, как хреново работает NoSQL и сколько там ошибок, то это лезть туда кому-то, кому кроме выпендрёжа нужно что-то ещё, совершенно не стоит.

Помнится, мы сидели с людьми из университета. Ни у кого не было такого, чтобы надо было повторять Фейсбук и Гугл. Таблицы на терабайты информации - это спокойно обходится без big data. На что-то большее просто нет реальных данных.

[straktor]

будьте добры, ссылку на документацию, пожалуйста

можно оракл дб, можно сиквел сервер

у дб2 да, есть спец версия с партиционированием с шэред носин, но это какой-то хай энд, который не пощупать + надо заранее продумывать и описывать
в бигдата оно без особых усилий, натурально, масштабируется само при возможности
само координируясь