dastapov: (Default)
Dmitry Astapov ([personal profile] dastapov) wrote2012-07-05 07:45 am
Entry tags:

Распознавание и анализ разговоров

В продолжение вчерашней дискуссии.

Допустим, мы как-то распознаем разговоры и сохраняем получившийся текст. Я намерено не хочу сейчас касаться ни качества "аудио", которое придется распознавать, ни качества получающегося в результате текста. Пусть даже тут у нас все будет идеально.

Расскажите мне пожалуйста, что с этими текстами делать потом? (напомню, что мы говорим про Кровавый Режим, который надеется получить с этого какой-то профит).

Суммируя вчерашние аргументы, были названы такие цели:
1)использовать тексты для бинарной классификации (террорист - не террорист, протестующий - не протестующий)
2)использовать тексты для последующего полнотекстового поиска (с целью той же бинарной классификации, но без четких критериев)
3)складировать тексты про запас с тем, чтобы потом читать про тех, кто "попал на карандаш".

Мне кажется, что для всех трех целей запись и распознавание всех разговоров будут ужасно неэффективным средством. По пунктам:

Классификация
=============
Как учить такой классификатор? Откуда взять training set тех самых true positive целевых разговоров достаточного объема?

У классификатора будут ужасные precision и recall - что с этим делать? Поясню: классы будут сильно перекошены по размеру (1 террорист на пару миллионов обычных людей), соответственно, любые неточности классификации в сумме с false positives приведут к тому, что классификатор будет практически бесполезен. Допустим, мы с вероятностью в 30% не узнаем нужный единственный разговор из миллиона, зато с вероятностью 0.01% тыкаем пальцем в ненужный - посчитайте сами, что мы получим на выходе.

Кроме того, критерии классификации - не фиксированы (сегодня ищем "химию", завтра - "болотную"), соответственно, надо постоянно создавать и учить новые классификаторы. Это сложно и вычислительно и организационно (выбор хороших критериев).

Использовать же unsupervised методы, как мне кажесят, не получится из-за размерности простанства. Грубо говоря - у нас слишком много всех возможных слов и разговоров, чтобы какой-то unsupervised алгоритм это прошерстил. Да и на выходе мы получим слишком много классов, которые потом надо будет обработать вручную. Добавим к этому, что почти наверняка нужный "один разговор из миллиона" будет объединен в один класс с мешком других, и получаем на выходе один пшик.


Полнотекстовый поиск
====================

Учитывая, что целевая аудитория (гипотетические "террористы") шифруется, поиск надо будет вести по неуникальным, "бытовым" словам. Любой желающий может поиграть с гуглом и поскать "террористов" там, и увидеть, насколько это безнадежная затея.

Читать постфактум
=================

Казалось бы, какие тут могут быть возражения - бери и читай? Но для начала надо сгруппировать разговоры "по людям", то есть вместо "это разговор между номерами А и Б" получить "это разговор между Ивановым и Петровым", и потом уже читать все разговоры Иванова. При это _надо_ исходить из предположения, что владелец контракта и тот, кто реально говорит по телефону - это могут быть разные люди. Я верю, что подобная задача решается в условиях ограниченного количества людей и аудиозаписей, но для всех-всех-всех разговоров - нереально.

Итого
=====

Вагон затрат (особенно временных), минимальный (неотличимый от нуля) выхлоп. Если бы было социально приемлемо прослушивать всех подряд, из этого вышел бы хороший PR-проект (или, иначе, security theatre) - смотрите, мол, как у нас граница на замке. Ни одна мышь не проскочет - у нас этажи сервером и кубометры винчестеров, всех поймаем. Делать же это втайне, надеясь получить какой-то результат - глупо.

Discuss?

[identity profile] knyar.livejournal.com 2012-07-05 04:28 pm (UTC)(link)
Я только за последние полгода без паспорта покупал sim-карточки в Великобритании, Ирландии, Таиланде и Малайзии. В прошлом аналогично покупал в Америке, например. Единственные страны, где при покупке sim-карточек пришлось показывать паспорт — Китай и Беларусь. И то, естественно, никакого гражданства или вида на жительство с меня не потребовали.

Да, возможно тарифы pre-paid чуть дороже контракта. Однако, мобильная связь сейчас стоит так невероятно дёшево, так что этим вполне можно пренебречь.
(deleted comment)
(deleted comment)
(deleted comment)

Re: Скажу за Латвию

[identity profile] nponeccop.livejournal.com 2012-07-05 08:39 pm (UTC)(link)
В Нигерии тоже требуют док-ты за припейд, и тоже пару лет как.

Re: Скажу за Латвию

[identity profile] proforg.livejournal.com 2012-07-05 09:53 pm (UTC)(link)
но никто не мешает купить карточку с рук на рынке, например
(deleted comment)

Re: Скажу за Латвию

[identity profile] proforg.livejournal.com 2012-07-06 12:39 am (UTC)(link)
ну с ними и 10 лет назад собирались бороться, но вот как то так и не поборолись.
при этом в соседней португалии - карточки продаются без всяких документов.
ну и про литву / латвию / этонию и многие страны ЮВА уже написали, как впрочем и про то что анонимный препейд симки часто оказываются вполне себе выгодными для постоянного использования.

Re: Скажу за Латвию

[identity profile] http://users.livejournal.com/_adept_/ 2012-07-06 06:57 am (UTC)(link)
Я думаю, что вы очень отдаленно представляете себе вычислительную сложность определения того, поменялся ли "профиль разговора" или нет с качеством, допускающим практическое применение (да-да, я опять про false positives и прочие нудные вещи).

[identity profile] http://users.livejournal.com/_adept_/ 2012-07-06 07:02 am (UTC)(link)
Вы опять начинаете передергивать. Начиналось все с того, что жители страны (не туристы) не сидят на препейде, т.к. с них требуют паспорт и это безумно дорого, и поэтому их _звонки_ будет очень легко идентифицировать.

Вам показали, что это не так, и теперь вы уводите разговор куда-то в сторону.нном.