Кто где был и глобальная корреляция геолокационных данных

[dastapov]

Вопрос от malx : "http://jeffjonas.typepad.com/jeff_jonas/2009/08/your-movements-speak-for-themselves-spacetime-travel-data-is-analytic-superfood.html
что скажешь про такое вероятное будущее? :)"

Про будущее не скажу, скажу про текст по указанной ссылке.

Два основных "системных" пробоя в изложении:

Цитата: "Every call, text message, email and data transfer handled by your mobile device creates a transaction with your space-time coordinate (to roughly 60 meters accuracy if there are three cell towers in range)"
Перевод: "Любой звонок, SMS, email или передача данных при помощи мобильного устройства оставляет (в недрах оператора) запись о ваших пространственно-временных координатах (с точностью до 60 метров, если вы находитесь в зоне покрытия трех базовых станций)".
Лажи: 1)Упоминание трех базовых говорит, что автор имеет в виду "триангуляцию по базовым", о которой я уже писал стопятьсот раз
2)В записях учета стоимости (а речь явно о них) как правило остается упоминание о одной базовой. Той, которая начала обслуживать соотв. событие. Если это был звонок, и вы сидели в автомобиле, то, пока вы ездите в зоне обслуживания одного коммутатора (а это очень большая область) никто не будет генерировать доп. информацию о том, на какие базовые переключается ваше обслуживание.

Цитата: "Got a Blackberry?  Every few minutes, it sends a heartbeat, creating a transaction whether you are using the phone or not."
Перевод: "Телефоны с Blackberry раз в одну-две минуты посылают 'пинг', о чем остается запись у оператора. Не важно, используете ли вы в это момент телефон по назанчению или нет - это все равно происходит"
Лажа: основным техническим преимуществом Blackberry по сравнению с комбинацией "телефон + почтовый клиент + IMAP-idle или POP pull" является как раз то, что мобильному устройству не надо поллить ящик - по приходу новой почты сервер сделает push. Плюс ко всему, подобное "пингование" ело бы аккумулятор, как свинья помои. Соотвественно, хоть я и не спец в Blackbery, я готов дать зуб, что никакого heartbeat телефоны Blackberry не посылают.

Что интересно, ближе к концу статьи автор говорит, что "если вам удасться найти место на Земле, где на многие мили вокруг есть только одна базовая, и поселиться там, то вы будете в бОльшей безопасности [относительно определения вашего местоположения]". Т.е. мое предположение о том, что автор имеет очень мало инфы о том, какая информация о положении абонента сохраняется и где, подтверждается.

Все прочее, описанное в статье (использование хитромудрых рассчетов для корреляции данных о перемещении людей, выявление клик и кластеров, делание далеко идущих выводов) - теоретически возможно. Но есть одно "но".

Перед многими операторами (и сервисными компаниями в других областях деятельности) уже сейчас стоит задача коррелировать друг с другом разные записи о активности их собственных клиентов (а не "всех людей вообще"). Например, соотносить заказ рингтона с GPRS-сессией, в которй он был скачан.

Но в большей части случаев компании этого не делают. Потому как: 1)сложно; 2)дорого; 3)сложно; 4)дорого; 5)вложения не оправдывают результаты. И мне кажется, что на сегодняшний день потенциальная отдача от подобной аналитики в глобальных масштабах никак не может оправдать затраты на создание соответствующих вычислительных средств. И слова автора о том, что "кто-то уже сейчас может загрузить это все в Amazon S3, запустить кучу процессов на Amazon EC2 и поиметь результат на блюдечке с голубой каемочкой" - это не более, чем фигура речи и сгущение красок.

Comments

[anril.livejournal.com]

зачем триангуляция, зачем корреляции... достаточно всем продать смартфоны c gps, а потом сделать модным google lattitude :)

[http://users.livejournal.com/_adept_/]

Иииии.... ? :)
Куда (и зачем) при этом будет передаваться постоянный поток инфы о перемещениях пользователя?

[anril.livejournal.com]

ну в данный момент в гугл все передаеццо. в его «небольшой» датацентр, который как раз обучен считать всякие корреляции и хранить огромные объемы данных:) официально локейшен всегоо лишь шариться с gmail-контактами, а неофициально — это уж на усмотрение воображения паранойи:)


кстати, на моем теле (симба с60) lattitude, если «недовыйти» из него, ("yes" to "continue to share location?" while exiting) он искусно маскируется, в списке задач его ессно нету (хотя надо более продвинутый менеджер задач поставить), так что ничем кроме постоянного коннекта и соответсвенно быстрой зарядки аккума себя не выдает, след-но неосведомленному пользователю обнаружить его довольно сложно...
да и gps для определния положения не всегда нужен, достаточно чтобы рядом была wi-fi точка доступа которая засветила свое положение.

а если вырубить wi-fi и оставить соответсвенно только базовую станцию , то промах на 1-2-3км вполне обычен. правда, в наших австралийских краях станции стоят не очень плотно....

[crazy-daemon.livejournal.com]

Странно. У меня на том же симбиане с60 после такого выхода из google maps над его иконкой светится индикатор запущенности.

[anril.livejournal.com]

у меня не очень новый телеф, там нету такой фичи:)

[1master.livejournal.com]

Не знаю, где как, а на моем аппарате невыключенный вовремя GPS приведет к полностью высушенной батарее уже часа через три-четыре. Так, что незаметным это может пройти только для очень невнимательного пользователя.

[anril.livejournal.com]

ну поэтому во всяких айфонах и нужна столь мощная батарея, что аж взрывается:)

[crazy-daemon.livejournal.com]

А еще есть фигня по имени BuddyCloud: jabber клиент со встроенной геолокацией по GPS, CellInfo, WiFi и BT.

[anril.livejournal.com]

спс, гляну

[filonov.livejournal.com]

Какой такой gps? нету никакого gps. что не мешает гуглемапсу определять положение телефона с некоторой точностью.

[http://users.livejournal.com/_adept_/]

ровно потому, что есть смартфоны с gps, с помощью которых делается маппинг базовых тех сетей, о которых у гугла нет геоинформации от самих операторов.

Потом эта инфа используется теми клиентами, у которых gps нет.

[ex-ivlad.livejournal.com]

Соотвественно, хоть я и не спец в Blackbery, я готов дать зуб, что никакого heartbeat телефоны Blackberry не посылают.

Не посылают. Им приходит служебный SMS, который не попадает в inbox, а заставляет пойти и дернуть почту.

[http://users.livejournal.com/_adept_/]

Насколько мне известно, им приходит обычный WAP push SMS, который они по-своему обрабатывают, да?

[ex-ivlad.livejournal.com]

Вероятно, там какой-то особенный service indication, но я не уверен.

[xyz-moscow.livejournal.com]

нет, это происходит не так. вот описание: http://www.microsoft.com/rus/technet/solutionaccelerators/mobile/deploy/deployexchange2007/160e94df-acca-4ae7-b759-90838c83da2d.mspx
в кратце, по GPRG устанавливается TCP соединение, и по нему гоняются пакеты типа:
клиент: есть чо?
сервер молчит. время кончается, говорит: ничего нету
книент ему в этот же сокет: а теперь есть чо?
сервер молчит. внезапно приходит письмо и он в дупло кричит: Ага!
клиент качет почту и опять в дупло спраштват...

и так пока tcp сессия не отвалится по внешним причинам.
расход трафика: 100 байт на 10 минут.

вопрос вот какой: сколько трафика (и денег) потребляет установеное tcp соединение. очевидно, что мало, но всё таки?

[lionet.livejournal.com]

В статье рекомендуют делать, условно говоря, одно соединение раз в тридцать минут. И, соответственно, настроить всякие NAT'ы и stateful firewalls. Будем считать, что не тридцать минут, а пятнадцать минут является наибольшим общим деноминатором для ненастроенных по-майкрософтовски железок.

Итак, у нас есть короткий HTTP (а то и HTTPS!) запрос-ответ раз в пятнадцать минут. Один пакет TCP+IP занимает байт 60. Для соединения HTTP (от начала до конца) нужно устройству послать минимум четыре пакета (SYN, ACK, DATA, ACK). Итого, 240 байт в пятнадцать минут. Плюс, там байт сто наверняка нужно внутри HTTP в качестве служебной информации для восстановления сессии. Так что получается 340 байт на 15 минут. А это 22 байта в минуту, или 220 байт в десять минут.

Ну, конечно, если таймаут по-майкрософтовски установлен в тридцать минут, то и получаем в районе ста байт на десять минут, с учётом TCP и HTTP.

Так что тут, вроде, всё ок.

Надо иметь ввиду, что объем трафика особой роли не играет, важно время трансмиссии (= время повышенной нагрузки на батареи), которое может быть больше или меньше, в зависимости от загрузки сети и характеристик радиосоединения.

Установленное TCP соединение трафика и денег потреблять не должно, если по нему не бегают пакеты. Есть, конечно, TCP keepalive, но он измеряется в часах, а не в минутах; его можно игнорировать.

[xyz-moscow.livejournal.com]

ну про 100 байт - это условно. порядок на пальцах прикинут...
интересно, какой трафик обычно подлежит учёту у оператора? весь, или только входящий, или может даже без "служебных пакетов", хотя я в это не верю. :)
кстати московский мегафон берёт деньги за активную gprs сессию ПО ВРЕМЕНИ, если по ней не передаются пакеты.

[lionet.livejournal.com]

У интернет-операторов обычно берутся деньги за всё, что на уровне три и выше (IP, TCP, etc). Подозреваю, у мобильных операторов также, если они тарифицируют трафик.

Насчёт направлений тарификации — не в курсе.

[xyz-moscow.livejournal.com]

по GPRS конечно...

[anonymousses.livejournal.com]

Вы уверены что точно понимаете разницу между PUSH и POLL?

[lionet.livejournal.com]

А вы понимаете разницу между POLL и PULL?

[anonymousses.livejournal.com]

Даже между pull и pool. But pool closed due to AIDS.

А теперь серьёзно. В подветке, так сказать, затронули именно разницу между poll и push - применительно к BB. Но таки в ежевике - 100% push. А майкрософт может называть свою технологию чем угодно, перестать быть растянутым poll она от этого никоим образом не станет. То есть зачем они ТАК сделали в этой технологии (для данных применений) - совершенно понятно. И даже почему так обозвали - тоже понятно (нечего народ пугать). Но таки push'ем от этого она всё равно не стала... Собственно к этому пункту мой вопрос и относился, извините что Вы сразу не поняли, ага.

[lionet.livejournal.com]

Да, это COMET, а не push.

[anonymousses.livejournal.com]

Ну таки long-polling же... Хотя всё это понятно, что если не закладываться на "проприетарность", то да, иначе пока никак не вывернешься на стандартных технологиях. А МС в некотором роде всё равно молодцы. Сделали - ну и хорошо - есть выбор.

[xyz-moscow.livejournal.com]

так расскажите про push в BB. я с BB не сталкивался вообще, и кроме того, что у него много кнопок и лежачий экран ничего не знаю.

могу предположить оставшиеся варианты: TCP сокет в который сервер вдувает нотификации о новых письмах, а клиент подтверждает приём, что согласитесь то-же самое, только в профиль.
или клиент слушает udp порт, а сервер туда соответственно шлёт. на поддержание сессии трафик как бы не используется. а контроль доставки осуществляется на более высоких уровнях OSI.
подозреваю, чт тут не всё однозначно с соотношением трафика, с учётом мобильности клиента, его реконнектов, рвущихся сессий GPRS, изменения IP и прочей мобильной специфики.

[anonymousses.livejournal.com]

Там же выше уже всё сказали. Устройство не держит сессию (пусть даже не периодическим polling, а растянутым long-polling), оно спит спокойно. А вот сервер инициирует по нужному событию пинок устройства, после чего оно просыпается, стучится на сервер обычным методом и получает что ему причитается.

Разумеется, такой метод невозможен без поддержки устройством и сервером как минимимум (устройство должно уметь правильно отзываться на пинок, возможные средства коего ограничены стандартами GSM - а сервер уметь делать такой пинок, т.е. тоже как-то взаимодействовать с сетью).

[xyz-moscow.livejournal.com]

только я не понял, это базируется на SMS, или каких то друргих услугах опсоса? если так, то это гемор для предприятия. нужно заключать доп. договор с опсосом, админам настраивать взаимодействие с сотовой сетью. в общем это в ЖИЗНИ может себе позволить или достачно крупная компания, или это услуга почты от самого оператора...

[ex-ivlad.livejournal.com]

В "ЖИЗНИ" Blackberry - самая популярная в мире мобильная платформа для чтения почты, AFAIK.

Договор с оператором на именно сервисы BB за вас уже заключил RIM, вам нужно иметь договор на корпоративные тарифные планы.

[anonymousses.livejournal.com]

Да, с оператором это желательно интегрировать. Можно и без него в принципе, как я писал выше - просто стоимость доп.услуг (SMS) напрямую упадёт на Вас. Впрочем, учитывая цену пользования платформой, это такие копейки (что при личном развёртывании, что при контакте с ОСС).

[ex-ivlad.livejournal.com]

Мы тут про Blackberry говорим, а не про ущербный DirectPush, который Push только в мечтах Microsoft.

[anonymousses.livejournal.com]

Ну как верно отметили, это реально - comet (http://ru.wikipedia.org/wiki/Comet_(программирование)). Но не может же MS использовать это как марку технологии 8). Плюс окучивание масс в стиле "push это прогрессивно и дёшево" (ц).

[xyz-moscow.livejournal.com]

почитал ссылку. микросовтовский пуш в чистом виде...

[anonymousses.livejournal.com]

Не ставьте телегу впереди лошади. MS взяла технологию и адаптировав в своём продукте - обозвала "под себя" по понятным причинам (см. в англ источнике происхождение названия).

[deja-voodoo.livejournal.com]

в связи с новой директивой (ну не совсем новой), все операторы мобильной связи в ЕС, должны хранить и данные базовой, в зоне которой был закончен звонок, т.е. не только start cell, но и end cell ID

[http://users.livejournal.com/_adept_/]

О, спасибо. Не знал.

[mit-idv.livejournal.com]

Это так же, как с опасениями, что нас всех прослушивают и опознают, как по голосу, так и по содержанию. Я, занимаясь разработкой таких систем, и зная вычислительную сложность, всегда улыбаюсь.

[http://users.livejournal.com/_adept_/]

У меня тут лежит в инбоксе вопрос по этому поводу. Я отпишусь сам в меру свое дремчести, а ты прокомментируешь, ок? :)

[mit-idv.livejournal.com]

С удовольствием, также в меру своей :)

[mt6561.livejournal.com]

Кстати, давно беспокоящий меня вопрос. А можно ли на живой существующей сети (в принципе, потенциально любой) запустить запросик, который бы отловил быстро перемещающиеся терминалы?
"Быстро" - это не со скоростью больше 62,5 км/ч, а просто абстрактно очень-очень быстро?
Кому надо нести коньякКаким уровнем доступа должен обладать вопрошающий, и может ли ему это чем-то потенциально грозить?

[http://users.livejournal.com/_adept_/]

1. Берем GSM-сеть с GPRS.
2. Поднимаем на всех клиентах GPRS (иначе - расстрел, лагеря)
3. Клиенты начинают делать location update по любому чиху (а не только при пересечении границ LA)
4. Смотрим в данные по location update и считаем скорости
5. PROFIT!

[mt6561.livejournal.com]

Не, не так.
Сделать выборку по тем уже свершившимся location update, где расстояние между базами делить на время между апдейтами подозрительно большое.

[daregod.livejournal.com]

sim-сервера отлавливать?

[mt6561.livejournal.com]

Кстати! Идеальное прикрытие такого запроса! =)

[anonymousses.livejournal.com]

Автор опуса по ссылке перечитал Scroogled и уверен что оно - уже...