Про рабочую среду
Dec. 1st, 2010 08:00 pmНе выдержал. Стойко сидел в стандартном окружении правильного консультанта: Винды, Офис, Лотус. Ну, почти стойко: поставил себе freemind и работал в основном в нём.
Но тут пришлось анализировать толпу экселовских документов. Не смог пойти по правильному пути вдумчивого чтения, притащил свой ноут и просто Перлом всю эту гору перелопатил. В результате работа на полторы недели выполнена за день. Ещё максимум на день можно растянуть вдумчивый анализ и запись мудрых мыслей. А потом придётся придумывать, чем полезным заняться.
Но тут пришлось анализировать толпу экселовских документов. Не смог пойти по правильному пути вдумчивого чтения, притащил свой ноут и просто Перлом всю эту гору перелопатил. В результате работа на полторы недели выполнена за день. Ещё максимум на день можно растянуть вдумчивый анализ и запись мудрых мыслей. А потом придётся придумывать, чем полезным заняться.
no subject
Date: 2010-12-01 07:12 pm (UTC)no subject
Date: 2010-12-01 08:36 pm (UTC)no subject
Date: 2010-12-01 07:34 pm (UTC)интересно как ты это сделал? у нас все что в экселях обычно настолько разношерстно что запихать это даже в сас возьмет время... так что то что пришло в экселе обычно и остается в экселе (за исключением клиентов которые прямо raw данные в экселе шлют - потому что теперь в эксель миллион строчек влезает у маленького клиента может поместиться).
no subject
Date: 2010-12-01 08:34 pm (UTC)Естественно, я практически в любой ситуации могу убедить, что результаты уникальные, важные и очень полезные. Но это умение несколько ортогонально основной деятельности.
Перл я учил где-то месяц. С заявления "Ну должно быть что-то интересное, чему я могу научиться" и до состояния местного эксперта. Вопрос был только в том, чтоб найти правильную книгу и прочитать. Кстати, день я потратил только потому, что постоянно с ним не работаю и вынужден был лазить по документации, вспоминая элементарные вещи.
В Эксель добрые люди запихивают сложные структуры. Проблема в том, чтоб понять логику и поднять её. Потому и Перл, что в поднимающий код вставляетя самодиагностика. Проблемы начинаются, когда в одну клеточку впихивают массу разнообразной информации. Тут уже нужен разбор текста.
Стандартный же путь: перевод всей красоты в логически структурированный XML. После чего это дело превращается во что угодно с помощью XSLT, который вырос из Лиспа, который язык для искусственного интеллекта. Причём в разных генерил от обычных табличек CSV до компилируемого исходного кода на С++.
Помогло? ;-)
no subject
Date: 2010-12-02 12:45 am (UTC)в моей логике нет дырки - если ты применяещь метод позволяющий тебе сделать за два дня то, что другие делают за неделю - это значит ты инвестировал что то чего другие - не. может для того чтоб быстро выбрать правильную книжку - надо было год делать что то другое, или даже если ты просто родился случайно умнее - за это все равно полагается премиум.
помогло - немножко :).
у меня нет такого обилия тех средств , в основном рубим сасом хотя програмисты имеются и если надо можно и другим, но как правило не надо. мне интересны методы и подходы.
про одну клеточку и разную информацию понятно. пример сложной структуры бы не помещал. имеются в виду данные которые могут быть много-много, много -один и тд или интерлинкнутые формулы в эксель документах?
no subject
Date: 2010-12-02 07:12 am (UTC)Метод простой: интерактивный анализ структуры на частных примерах. Потом получается входной фильтр, поднимающий за раз сотню тысяч записей, правильно их структурирующий и классифицирующий, плюс сообщающий об ошибках и проблемы, которые требуют ручного внесения и постобработки. Все известные мне тулы тупо переносят из одной таблицы в другую, что требует предварительной или пост-обработки вручную.
Структуры чаще всего деревья и перекрёстный ссылки, разложенные в плоскую таблицу. Причём, иногда это зашифровано хитрым цифро-буквенным кодом в переменных. Стуктуры в одной клетке - это чаще всего логи и отслеживание версий. Типа
Всё это можно игнорировать и считать текстом, пока результаты анализа остальных полей не зависят от того, какое у нас состояние текущее, или хуже, от того, какое состояние было на конкретный момент. Тем более, что отдельной клеточки под актуальное состояние пользователи обычно не отводят, или забывают внести актуальные значения.
Ещё мило, когда что-то закодировано толщиной шрифта или разными цветами.
no subject
Date: 2010-12-02 11:13 am (UTC)ну, если у тебя нет возможности уйти в место где продают рещения (где как раз ценятся люди которые умеют делать или лучше или эффективней или и-то-и-то), то можно же просто найти чем еще заняться в те часы когда все сделано , но их надо отсидеть.
no subject
Date: 2010-12-02 12:12 pm (UTC)Сейчас вообще задача понять, какие данные пользователи из зоопарка разнообразных систем берут и что с ними делают. После чего можно будет строить Data Warehouse и водружать над ним BI. Причём так, чтоб эти милые люди не впали в полную прострацию, увидив результат.
no subject
Date: 2010-12-02 03:36 pm (UTC)у нас просто несоответсвие дефиниций :)
для меня дата это инпут
анализ ее - аутпут
то как она 'туда' попала - средство. дата может быть скачана из системы - а может быть собрана посредством исследования и опросов, или требованием чтоб люди в организации заносили ее мануально. может придти со склада (warehouse) но для этого надо чтоб ее туда кто то сложил.
тот пример который ты привел походил на мануальное занесение человеком. и мне казалось ты адресовал аспект эффективной перекачки дата источника в место, где ее легко подвергнуть анализу. поскольку я часто сталкиваюсь с ситуациями где надо 'женить' разноисточниковую дату (а для этого ее значала надо поселить в один дом) - то мне всегда интересно какими методами пользуются продвинутые люди.
no subject
Date: 2010-12-02 03:48 pm (UTC)1. лежат где-то
2. Поднимаются чудным средством вроде Access
3. Проверяются и исправляются ручками
4. Собираются в excel в сводные таблицы
5. Исправляются и раскрашиваются ручками
6. Результаты предоставляются для анализа
Там где данных дофигищи, просто много людей, которые это "ручками" делают. Причём, в рамках реализации своих талантов и идей.
Да, я обрабатываю в основном качественные данные. Но там, где надо обсчитывать кучу цифр, превое дело - это поиск и проверка тех мест, где что-то сломалось или куда шаловливые ручки залезли и всё перепутали.
no subject
Date: 2010-12-02 04:27 pm (UTC)данные с которыми я работаю:
- кредитные бюро (количественная дата, со спец склада, большая)
- маркет ресеч и цензус (количественная и качественная, поменьше) - то есть из опросов населения частными (в т ч нашими вендорами) или государственными организациями
- банки (количественная в т.ч. номинальная, со склада)
- то же самое, но не со склада (когда нет склада и заслали програмиста в систему и он одноразово вытащил)
- транзакционая (покупки, склад есть но плохой)
- кликсрушная если речь идет о чем то связанном с е-комерсом
все это не влезает не в эксель не в аксес , и обрабатывать его там тоже неудобно
в экселе бывает
- репорты ручками , финансовые - похоже на то что ты описываешь . но зачастую интерлинкнутые . часть из них 'они' называют 'модели'.
- качественная организацоонная, рассказы-интервью, анекдотал эвиденсе, из этого надо делать и запиховать в дату
- экономические серии
- ошметки из первой категории
но у нас чем 'дофигищнее' данных - тем они более системные (вышли из системы) и менее 'ручные'.
no subject
Date: 2010-12-02 04:39 pm (UTC)no subject
Date: 2010-12-02 12:14 pm (UTC)no subject
Date: 2010-12-02 03:41 pm (UTC)no subject
Date: 2010-12-02 03:52 pm (UTC)Но клиент хочет, чтоб я сидел у него. Всё время. И лучше всего 5 дней в неделю.
Консультировать стартапы - это надо туда ехать, где они нормальные и их много. Причём, стартапы хотят, чтоб сидел не по 8 часов а по 12. Вне зависимости от того, что полезная работа может за 2 часа быть сделана.
А если б всех повышали, кому скучно...
no subject
Date: 2010-12-02 04:30 pm (UTC)если не на рабочем компе, то на том который ты с собой принес
за то что скучно конечно не повышают :)
no subject
Date: 2010-12-02 04:40 pm (UTC)no subject
Date: 2010-12-02 08:36 pm (UTC)у меня приятель имеет побочную конс фирму фсе делает онлайн
это если денег хочешь
а если развлекаться то можно читать книги
ты как консультант сделал что прошено и совесть твоя чиста
no subject
Date: 2010-12-02 08:51 pm (UTC)no subject
Date: 2010-12-02 11:57 pm (UTC)There are tons of things one could do with extra time...
no subject
Date: 2010-12-02 11:58 pm (UTC)no subject
Date: 2010-12-03 10:54 am (UTC)В Берлине только стартапов дофига. Но дофига именно потому, что у них денег нет и они ни за что платить не хотят.
Такой вот чисто немецкий анекдот: люди хотят сделать второй Гугл и при этом боятся денег и ненавидят капиталистов.