dastapov: (Default)
[personal profile] dastapov
В комментариях к соседней записи опять стала муссироваться тема записи всех звонков без разбора, и мне захотелось сделать короткое резюме.

Для начала текущее положение вещей

Все известные мне законы (я в курсе про Россию-Украину, Евросоюз, UK, страны Балтии) обязывают операторов делать ровно две вещи:

* Хранить (много лет) и предоставлять метаданные о разговорах (кто кому когда звонил)
* По решению суда/прокуратуры записывать разговоры конкретного абонента или предоставлять техническую возможность вести такую запись с момента поступления к ним такого предписания. Список тех, кого слушают, "не резиновый" - нельзя взять и, грубо говоря, запихнуть туда все номера всех абонентов.

Записи разговоров и тексты СМС операторы сохранять не обязаны.

А если все же обяжут?

Если вдруг эти требования ужесточатся, оператору будет:
(1) Достаточно легко начать хранить тексты СМС. Так как SMS-центров мало, они расположены централизовано, SMS мелкий - возможно даже меньше, чем объем метаданных о том, кто кому и как его послал)
(2) Не очень легко начать хранить записи всех разговоров. Так как объемы солидные, коммутаторов много, они могут быть территориально разнесены, потребуется их апгрейд, плюс возможно понадобится пост-процессинг - в процессе разговоров звонки могут "кочевать" по узлам сети, и каждый отдельно взятый коммутатор может "слышать" только часть разговора. Плюс, если вдуматься, у оператора существующая базовая сеть рассчитана на определенную нагрузку. Если начать, грубо говоря, передавать тот же объем данных дважды (пусть и без жестких realtime-требований), то потребуется либо доп. каналы связи (чтобы сразу передавать куда-то в центр и там обрабатывать), либо процессорные мощности и каналы связи (жмем в mp3, а уже потом передаем), или какие-то другие инженерные решения. Естественно, это все решаемые проблемы. Все, что я хочу сказать - задача не сводится к "поставили винт побольше, и всего делов", как это многим кажется на первый взгляд.

А вдруг оператор сам ...?

А вдруг оператор сам хранит эти данные для каких-то своих нужд, и это делается для всех абонентов без разбора?

(3) Это справедливо в отношении метаданных - по ним производится биллинг, то есть определяется объем потребленных услуг и выставляются счета.
(4) Это может быть справедливо для СМС: они могут попадать в какие-то логи на SMS-центре, быть частью бэкапов, и т.п.
* Хранить записи всех разговоров оператору никакой необходимости нет
(5) При этом я вполне допускаю, что в процессе разбирательств с какой-то проблемой оператор вполне может выборочно сохранять как СМС-ы, так и звонки - но, скорее всего, критерием выборки будет не "для вот этих абонентов", а "для вот этого оборудования".

А вдруг все-таки оператор это делает?

Пофантазируем. Может ли все-таки получится, что оператор сохраняет все записи всех звонков? Может, он из этого извлекает какую-то выгоду? Честно говоря, как я ни старался, я не смог придумать подходящего сценария кроме "группа сотрудников вступила в сговор и продает данные криминальным элементам".

Ок, насколько это реально? Проблема в том, что сначала надо эти звонки где-то сохранять. Сделать это "на вот этом сервере вот тут в закутке" - не выйдет, не те объемы (если сохранять всё). Купить для этого отдельно железо - не выйдет, по понятным причинам. Да и потом, технически проще "торговать налево" чем-то, что имеет альтернативное легитимное применение - помогать спаммерам рассылать SMS, занижать суммы счетов, торговать распечатками метаданных или кодами пополнений баланса. И то, для этого, по моим прикидкам, потребуется соучастие не двух, и не пяти и даже не десяти человек в самых разных подразделениях, и подобная затея имеет очень большие шансы на провал даже при том, что можно попытаться сделать хорошую мину при плохой игре ("да мы тут просто ... это ... тестируем ...."). А большой склад записей звонков - это чистый криминал, никаких альтернативных объяснений ему быть не может, и любой безопасник с радостью съест всех замешанных без соли и перца.

А вот моего друга кума говорила, что ей показывали распечатки или записи звонков за 2006 год ...

У меня есть два гораздо более простых (по сравнению с "оператор пишет все") объяснения этому факту. Куму прослушивали в рамках оперативных мероприятий (см. выше), или же ее собеседника прослушивали точно таким же образом.

Для удобства восприятия информация сведена в табличку

Метаданные о звонке (кто, кому, когда, как долго, в какой соте, ...)Тексты СМСЗапись разговоров
Обязывает ли закон операторов хранить и предоставлять эти данные для всех абонентов?ДаНетНет
Если оператора обяжут, легко ли ему будет хранить эти данные в полном объеме?--Да(1)Нет(2)
Обязывает ли закон осуществлять выборочную запись этих данных (по предписанию прокуратуры, ...)--ДаДа
Хранит ли оператор такие данные для всех абонентов независимо от требований закона?Да(3)Возможно(4)Нет
Хранит ли оператор такие данные выборочно?--Возможно(5)Возможно(5)



(no subject)

Date: 2012-05-18 08:22 pm (UTC)
From: [identity profile] auto194419.livejournal.com
"слушать всё" (но не записывать) можно для организации таргетированного спама SMS"ами :)

(no subject)

Date: 2012-05-18 08:24 pm (UTC)
From: [identity profile] http://users.livejournal.com/_adept_/
Я ни разу не специалист, но разве не проще тупо спамить нетаргетировано? :)

(no subject)

From: [identity profile] volodymir-k.livejournal.com - Date: 2012-05-19 07:49 am (UTC) - Expand

(no subject)

Date: 2012-05-18 08:26 pm (UTC)
From: [identity profile] balmerdx.livejournal.com
Дороговато выходит.

(no subject)

Date: 2017-02-23 09:17 pm (UTC)
From: [identity profile] scorpionrus.livejournal.com
�������� � ��������� ������� ��� �������� �����. � �� ������� ����� �������� �������� � �������� � ������ ����� ����� ����������. �� ��� �������� ���� ����� http://onlinedocs.su/nauka/625-bolhshoj-brat-sledit-za-toboj-2015.html, ����������� ��� �� ���������� � ��������� � � ����� ������������. � ������ ����� ����� �������� �������, � ������ �� � ��������. ��� ��� ������ ���������. ���������� ����� �������� ������ �������� ������, ���� � ����.

(no subject)

Date: 2017-02-27 05:58 pm (UTC)
From: [identity profile] k0tag78.livejournal.com
���������� ������ ����������� ������ ����������. ��������� ���� ��������� �������� � ����������, ������� � �����. �� ���-�� ���������� ���� ����� http://onlinedocs.su/nauka/625-bolhshoj-brat-sledit-za-toboj-2015.html. ����������� � ����� ���������� ������ ��������, ����������� ���� � ���������, � ���� ��� ���������� ���������� � �� ��������� ���� ����������. ������ ������ �������� ���� ��� � ����� ����������. ��� ��� �� ���� �������� � �������� ����, ����� �� �������� ����.

(no subject)

Date: 2012-05-18 08:40 pm (UTC)
From: [identity profile] dfaw.livejournal.com
SMS разве не сохраняются по умолчанию вместе с метаданными?

(no subject)

From: [identity profile] dfaw.livejournal.com - Date: 2012-05-18 09:35 pm (UTC) - Expand

(no subject)

From: [identity profile] http://users.livejournal.com/_adept_/ - Date: 2012-05-18 09:40 pm (UTC) - Expand

(no subject)

From: [identity profile] dfaw.livejournal.com - Date: 2012-05-18 09:43 pm (UTC) - Expand

(no subject)

From: [identity profile] dtr.myid.net - Date: 2012-05-19 12:05 am (UTC) - Expand

(no subject)

From: [identity profile] dezelent.livejournal.com - Date: 2012-05-19 01:35 am (UTC) - Expand

(no subject)

Date: 2012-05-18 09:37 pm (UTC)
wizzard: (Default)
From: [personal profile] wizzard
AMR-WB 12.65 kbps- 5.5 мбайт в час.

20м абонентов по полчаса в сутки = 60 тб/сутки.

Учитывая, что реалтайм не нужен, и особые требования к надежности - тоже, можно хранить на каждой соте или каком-то роутинг-узле rolling log, скажем, на 5-10 тб обьемом, длительностью суммарно по всем таким узлам выйдет где-то от нескольких суток до месяца.

Стоимость, по сравнению с остальными узлами - минимальна - можно даже эти данные никуда не передавать, пока люди в погонах или кто-то еще не попросят ("записи за вчерашний день"), а для них - гонять запрос параллельно на всех узлах.

Так что, по-моему, вполне реально. Но в нынешних реалиях намного проще и беспалевнее троянить смартфоны, чем отдельные товарищи (вроде CarrierIQ) успешно и занимаются.

(no subject)

Date: 2012-05-18 09:43 pm (UTC)
From: [identity profile] http://users.livejournal.com/_adept_/
А мотивация-то в чем? Кто внутри оператора инициирует такой проект, почему его не пошлет его начальник, и какой от этого будет профит? Как этот проект CEO будет представлять совету директоров или другим каким инвесторам?

(no subject)

From: [personal profile] wizzard - Date: 2012-05-18 09:54 pm (UTC) - Expand

(no subject)

From: [identity profile] dezelent.livejournal.com - Date: 2012-05-19 01:32 am (UTC) - Expand
(deleted comment)

(no subject)

From: [identity profile] http://users.livejournal.com/_adept_/ - Date: 2012-05-28 03:58 pm (UTC) - Expand

(no subject)

Date: 2012-05-18 09:47 pm (UTC)
From: [identity profile] http://users.livejournal.com/_adept_/
Мне иногда кажется, что в нынешних реалиях проще сказать "Пришли записи своих разговоров за прошлую неделю и получи бесплатную корову в Farmville", и все, только успевай разгребать :)

(no subject)

From: [personal profile] wizzard - Date: 2012-05-18 09:52 pm (UTC) - Expand

(no subject)

Date: 2012-05-19 01:36 am (UTC)
From: [identity profile] dezelent.livejournal.com
а кто должен писать разговоры, какая из существующих платформ на пути звонка это умеет делать? ну так, что бы массово.

(no subject)

Date: 2012-05-19 01:38 am (UTC)
From: [identity profile] dezelent.livejournal.com
ну и главное, если кто-то обязывает хранить нечто подобное, то они приписывают сколько лет хранить, а как только появляется нечто, что надо сто процентов хранить - то тут уже появляется такая штука как степень надежности хранения, а она дофига стоит, если это для органов. те же cdr.. очень дорого оно все..

(no subject)

Date: 2012-05-19 12:46 pm (UTC)
From: [identity profile] stilyaha-shed.livejournal.com
GSM FR - 13 Kbps, GSM HR - 5.6 Kbps

(no subject)

Date: 2012-05-19 06:15 pm (UTC)
From: [identity profile] zwstl.livejournal.com
А потом передать это в центральное хранилище.

(no subject)

From: [personal profile] wizzard - Date: 2012-05-20 08:47 am (UTC) - Expand

(no subject)

From: [identity profile] zwstl.livejournal.com - Date: 2012-05-20 09:02 am (UTC) - Expand

(no subject)

From: [personal profile] wizzard - Date: 2012-05-20 09:16 am (UTC) - Expand

(no subject)

From: [identity profile] zwstl.livejournal.com - Date: 2012-05-20 11:16 am (UTC) - Expand

(no subject)

From: [personal profile] wizzard - Date: 2012-05-20 12:51 pm (UTC) - Expand

(no subject)

From: [identity profile] zwstl.livejournal.com - Date: 2012-05-20 07:34 pm (UTC) - Expand

(no subject)

From: [personal profile] wizzard - Date: 2012-05-20 07:36 pm (UTC) - Expand

(no subject)

From: [identity profile] zwstl.livejournal.com - Date: 2012-05-20 08:34 pm (UTC) - Expand

(no subject)

From: [personal profile] wizzard - Date: 2012-05-20 08:51 pm (UTC) - Expand

(no subject)

From: [identity profile] blacklion.livejournal.com - Date: 2012-05-20 08:06 pm (UTC) - Expand

(no subject)

From: [identity profile] zwstl.livejournal.com - Date: 2012-05-20 08:38 pm (UTC) - Expand
(deleted comment)

(no subject)

Date: 2012-05-19 01:40 am (UTC)
From: [identity profile] dezelent.livejournal.com
"gsm в amr-wb перегнать налету не сильно-то большие процессорные мощности нужны. "
а если на новый год? :)

(no subject)

Date: 2012-05-19 01:42 am (UTC)
From: [identity profile] dezelent.livejournal.com
" я вчера такие туфли купила - бомба!"
ну и так далее...
"машенька, ты не поверишь, он настоящий террорист, попросил выкуп вчера, стриптиз!"

(no subject)

Date: 2012-05-19 08:13 am (UTC)
From: [identity profile] jonni.livejournal.com
По-моему частота употребления слов "бомба" и "теракт" в разговорах двух домохозяек сильно выше, чем в разговоре ждвух террористов.

;)

(no subject)

From: [identity profile] zwstl.livejournal.com - Date: 2012-05-20 12:02 am (UTC) - Expand

(no subject)

Date: 2012-05-19 09:50 am (UTC)
From: [identity profile] nponeccop.livejournal.com
Если бы можно было бы обучить настольную систему распознавать слово "бомба", это было бы в XBox. А распознание голоса, закодированного жсм, в условиях шумов - совершенно нереально. Вокодер - он же не буквы пишет, а всего лишь строит линейную модель, которую шумы сильно портят, от вокодеров до букв за 50 лет всё никак не доберутся.

(no subject)

Date: 2012-05-19 01:31 am (UTC)
From: [identity profile] dezelent.livejournal.com
вот честно, 3.5 года занималась непосредственным обслуживанием ммс&sms&ussd платформ и сопутствующих сервисов. Вот так просто, взять и начать писать смс, это первое - куда их писать, второе - надо заказывать вендору новые фичи смсц, с тем, что бы он начал писать эти самые смс, нужно что бы вендор это написал, внедрил, и оно прошло тесты и ушло в продакшн, а еще надо прикрыть чем-то попу на новый год, когда нагрузка в течении 5 минут взлетает в 10 и более раз. И это очень не малые деньги, время и силы нескольких десятков специалистов на разных уровнях. Операторы, так просто, при текущей ситуации вкладывать бабло(крупное) не будут. Оно им не надо. Единственный вариант - лобби со стороны вендоров(но по той же украине, насколько я понимаю, их как минимум два у Life один, у mts&ks другой), и этим вендорам заниматься такой фигней так же я думаю не очень надо...
мне все еще интересно, ради кого были придумки с белыми списками IMEI , которые, так и не вошли в продакшн на украине, но при этом операторы насколько я понимаю, выложили по несколько миллионов вечнозеленых енотов.

(no subject)

Date: 2012-05-19 03:09 am (UTC)
From: [identity profile] pif.livejournal.com
Классики называли это экспроприацией экспроприаторов :)
Обычно используется один из следующих способов:
1. Что-нибудь коммерчески провальное судорожно "перепиливается" в "общественно-полезное" (например - "чтобы мобильники меньше воровали") и законодательно навязывается под одобрительные крики благодарного населения.
2. Можно пропустить стадию "перепиливания", просто обязать делать что-нибудь заведомо неисполнимое, мотивируя например "защитой прав потребителей" и "штрафовать" за злостное неисполнение.

(no subject)

From: [identity profile] bogdan iusukhno - Date: 2012-05-19 09:28 am (UTC) - Expand

(no subject)

Date: 2012-05-19 05:58 am (UTC)
From: [identity profile] kray-zemli.livejournal.com
А как же запись разговора по ключевым словам? Вы же не скажете, что это городская легенда? Подвыпитый телефонист как-то мне рассказывал о "секретной" комнате ещё аналогового узла связи, набитого магнитофонами от пола до потолка. Правда, там речь шла о ведомственной АТС НПО "Вектор".

(no subject)

Date: 2012-05-19 09:37 am (UTC)
From: [identity profile] bogdan iusukhno (from livejournal.com)
Думаю, что самым правильным ответом будет такой: вы у себя дома, на современном оборудовании (гигагерцы тактовой частоты, гигабайты оперативной памяти, терабайты дискового пространства) попробуйте сделать такую систему, а потом подумайте - могли ли такое сделать N лет тому на "магнитофонах". И нам заодно всем расскажите, насколько это просто сделать. Делов-то - распознавать голос, выделять ключевые слова и всё это для сотен (а то и тысяч) одновременных разговоров.
И не надо думать, что у операторов стоят волшебные компьютеры, которые считают в 100 раз быстрее и правильнее ))) Мало кто из производителей рискует и ставит самые новые и мощные сервера. Обычно ставится то, что уже проверено и обкатано. А потом же оно ещё и стоит годами. Так что ваш ноутбук/компьютер вполне сгодится для "секретной" системы - будем ждать от вас подробностей и деталей как дома замутить такую же.

(no subject)

From: [identity profile] kray-zemli.livejournal.com - Date: 2012-05-19 09:52 am (UTC) - Expand

(no subject)

From: [identity profile] nponeccop.livejournal.com - Date: 2012-05-19 09:54 am (UTC) - Expand

(no subject)

From: [identity profile] kray-zemli.livejournal.com - Date: 2012-05-19 09:56 am (UTC) - Expand

(no subject)

From: [identity profile] kray-zemli.livejournal.com - Date: 2012-05-19 10:09 am (UTC) - Expand

(no subject)

From: [identity profile] nponeccop.livejournal.com - Date: 2012-05-19 09:43 am (UTC) - Expand

(no subject)

From: [identity profile] kray-zemli.livejournal.com - Date: 2012-05-19 09:53 am (UTC) - Expand

(no subject)

From: [identity profile] nponeccop.livejournal.com - Date: 2012-05-19 09:55 am (UTC) - Expand

(no subject)

From: [identity profile] kray-zemli.livejournal.com - Date: 2012-05-19 09:57 am (UTC) - Expand

(no subject)

From: [identity profile] bogdan iusukhno - Date: 2012-05-19 10:03 am (UTC) - Expand

(no subject)

From: [identity profile] kray-zemli.livejournal.com - Date: 2012-05-19 10:06 am (UTC) - Expand

(no subject)

From: [identity profile] kray-zemli.livejournal.com - Date: 2012-05-19 10:07 am (UTC) - Expand

(no subject)

From: [identity profile] bogdan iusukhno - Date: 2012-05-19 12:40 pm (UTC) - Expand

(no subject)

From: [identity profile] kray-zemli.livejournal.com - Date: 2012-05-19 12:50 pm (UTC) - Expand

(no subject)

Date: 2012-05-19 01:19 pm (UTC)
From: [identity profile] easyjohn.livejournal.com
Никаких больших проблем писать каналы между станциями нет.
Мы пишем входящий в контору e1 (30 линий) (у нас работа с финансовыми данными клиентов в т.ч. по телефону, так что мы должны иметь архив).
Висит коробочка в разрыв канала и от нее езернетом/usb скидывает на старую машину уровня пентиум3. Когда набивается 4 гига оно само режет на болванку. Болванки приходится ставить не чаще раза в месяц.
Т.е. технически писать потоки от базовых станций (а они так или иначе всеравно связаны, или прямо каналом или релейкой) больших затрат проца/ диска не требует.

(no subject)

Date: 2012-05-19 03:01 pm (UTC)
From: [identity profile] proforg.livejournal.com
это всё так просто только пока у вас короткие разговоры, и иx мало (как потоков так и активныx транков в ниx)
а потом - начинается ад

(no subject)

Date: 2012-05-19 01:33 pm (UTC)
From: [identity profile] stilyaha-shed.livejournal.com
Вполне себе возможно писать абсолютно все разговоры и хранить сколь угодно долго. Битрейт GSM кодека 13 Кбит/с или 780 Кбит/мин. Поделим на 8, 97,5 Кбайт/с. То есть, в 1 Tb можно хранить чуть более, чем 10 млн минут разговора. Возьмем 10 минут разговора в день на человека, тогда одного терабайта хватит для обслуживания миллиона абонентов, 365 терабайт в год. Современные SAN системы могут вмещать петабайт в стойке 48U. То есть, одной такой стойки хватит почти на три года обслуживания миллиона абонентов. Давайте обеспечим надежность, вместо одной стойки использовать три и рейд массив, где фактическая емкость уменьшается в 4 раза. Уже 12 стоек + пара-тройка шкафов с коммутационным оборудованием и батареями резервного питания.
Дорого?
Вряд ли это даже 1% от стоимости 10^10 минут разговора.

(no subject)

Date: 2012-05-19 06:28 pm (UTC)
From: [identity profile] zwstl.livejournal.com
То есть базовая еще должна это отдавать на хранилище. Фактически вкладываем в развитие сети двойнную сумму.
Хотя, даже без решения проблемы передать это в хранилище, только 12 стоек вам обойдутся в миллионы при внедрении и сотни тысяч в эксплуатации. И это не считая модификации софта.
PS. хотя про батареи резервного питания для такой системы - было немного смешно.

(no subject)

From: [identity profile] stilyaha-shed.livejournal.com - Date: 2012-05-19 09:19 pm (UTC) - Expand

(no subject)

From: [identity profile] zwstl.livejournal.com - Date: 2012-05-19 11:54 pm (UTC) - Expand

(no subject)

From: [personal profile] wizzard - Date: 2012-05-20 12:58 pm (UTC) - Expand

(no subject)

From: [identity profile] zwstl.livejournal.com - Date: 2012-05-20 07:35 pm (UTC) - Expand

(no subject)

From: [personal profile] wizzard - Date: 2012-05-20 07:43 pm (UTC) - Expand

(no subject)

From: [identity profile] zwstl.livejournal.com - Date: 2012-05-20 08:37 pm (UTC) - Expand

(no subject)

From: [personal profile] wizzard - Date: 2012-05-20 09:10 pm (UTC) - Expand

(no subject)

From: [identity profile] zwstl.livejournal.com - Date: 2012-05-20 09:19 pm (UTC) - Expand

(no subject)

From: [personal profile] wizzard - Date: 2012-05-20 10:46 pm (UTC) - Expand

(no subject)

From: [identity profile] zwstl.livejournal.com - Date: 2012-05-21 11:39 am (UTC) - Expand

(no subject)

From: [personal profile] wizzard - Date: 2012-05-21 12:02 pm (UTC) - Expand

(no subject)

From: [identity profile] zwstl.livejournal.com - Date: 2012-05-22 11:22 pm (UTC) - Expand

(no subject)

From: [identity profile] zwstl.livejournal.com - Date: 2012-05-20 09:22 pm (UTC) - Expand

(no subject)

From: [personal profile] wizzard - Date: 2012-05-20 09:13 pm (UTC) - Expand

(no subject)

From: [identity profile] zwstl.livejournal.com - Date: 2012-05-20 09:58 pm (UTC) - Expand

(no subject)

Date: 2012-05-21 06:01 pm (UTC)
From: [identity profile] ziegel.livejournal.com
народ как-то сконцентрировался на задаче хранения. Тут, конечно, уместно вспомнить, что емкости и скорости винтов, которыми здесь хвастались, появились совсем недавно, по сравнению с сетями связи.
Но это полдела.
Эти объемы надо еще вынуть из сети. В случае чистого GSM или там CDMA с TDM коммутацией это тупо увеличение коммутационного поля в полтора раза. И еще MPTY девайсов. А так-то они только для конференций и сорма, то есть их мало. А надо будет более чем дохрена. Ну и интерфейсов Е1/STM тоже. И плюс железка, в которую входит N STM-1, а внутри эти винты или там выход гигабитный к железке с винтами. Ну да, это называется медиашлюз, внезапно.
А если у нас уже современная архитектура (NGN) с медиашлюзами, так все равно потребуется вышеперечисленное. И MPTY там тоже недешевые, это ресурсы DSP - самое дорогое, что есть в шлюзе.
А если тупо зеркалировать порты на LAN свиче, то да, мы получим весь трафик. Но с одним таким нюансом :) Это же и довод, почему снимать надо с ядра, а не с БС.

Profile

dastapov: (Default)
Dmitry Astapov

April 2017

M T W T F S S
     12
3 45 6789
10111213141516
17181920212223
24252627282930

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags