Распознавание и анализ разговоров

[dastapov]

В продолжение вчерашней дискуссии.

Допустим, мы как-то распознаем разговоры и сохраняем получившийся текст. Я намерено не хочу сейчас касаться ни качества "аудио", которое придется распознавать, ни качества получающегося в результате текста. Пусть даже тут у нас все будет идеально.

Расскажите мне пожалуйста, что с этими текстами делать потом? (напомню, что мы говорим про Кровавый Режим, который надеется получить с этого какой-то профит).

Суммируя вчерашние аргументы, были названы такие цели:
1)использовать тексты для бинарной классификации (террорист - не террорист, протестующий - не протестующий)
2)использовать тексты для последующего полнотекстового поиска (с целью той же бинарной классификации, но без четких критериев)
3)складировать тексты про запас с тем, чтобы потом читать про тех, кто "попал на карандаш".

Мне кажется, что для всех трех целей запись и распознавание всех разговоров будут ужасно неэффективным средством. По пунктам:

Классификация
=============
Как учить такой классификатор? Откуда взять training set тех самых true positive целевых разговоров достаточного объема?

У классификатора будут ужасные precision и recall - что с этим делать? Поясню: классы будут сильно перекошены по размеру (1 террорист на пару миллионов обычных людей), соответственно, любые неточности классификации в сумме с false positives приведут к тому, что классификатор будет практически бесполезен. Допустим, мы с вероятностью в 30% не узнаем нужный единственный разговор из миллиона, зато с вероятностью 0.01% тыкаем пальцем в ненужный - посчитайте сами, что мы получим на выходе.

Кроме того, критерии классификации - не фиксированы (сегодня ищем "химию", завтра - "болотную"), соответственно, надо постоянно создавать и учить новые классификаторы. Это сложно и вычислительно и организационно (выбор хороших критериев).

Использовать же unsupervised методы, как мне кажесят, не получится из-за размерности простанства. Грубо говоря - у нас слишком много всех возможных слов и разговоров, чтобы какой-то unsupervised алгоритм это прошерстил. Да и на выходе мы получим слишком много классов, которые потом надо будет обработать вручную. Добавим к этому, что почти наверняка нужный "один разговор из миллиона" будет объединен в один класс с мешком других, и получаем на выходе один пшик.


Полнотекстовый поиск
====================

Учитывая, что целевая аудитория (гипотетические "террористы") шифруется, поиск надо будет вести по неуникальным, "бытовым" словам. Любой желающий может поиграть с гуглом и поскать "террористов" там, и увидеть, насколько это безнадежная затея.

Читать постфактум
=================

Казалось бы, какие тут могут быть возражения - бери и читай? Но для начала надо сгруппировать разговоры "по людям", то есть вместо "это разговор между номерами А и Б" получить "это разговор между Ивановым и Петровым", и потом уже читать все разговоры Иванова. При это _надо_ исходить из предположения, что владелец контракта и тот, кто реально говорит по телефону - это могут быть разные люди. Я верю, что подобная задача решается в условиях ограниченного количества людей и аудиозаписей, но для всех-всех-всех разговоров - нереально.

Итого
=====

Вагон затрат (особенно временных), минимальный (неотличимый от нуля) выхлоп. Если бы было социально приемлемо прослушивать всех подряд, из этого вышел бы хороший PR-проект (или, иначе, security theatre) - смотрите, мол, как у нас граница на замке. Ни одна мышь не проскочет - у нас этажи сервером и кубометры винчестеров, всех поймаем. Делать же это втайне, надеясь получить какой-то результат - глупо.

Discuss?

Comments

[africanec.livejournal.com]

Не о чем discuss.
Достаточно дать любому параноику часов 5 телефонной прослушки и заставить разобрать по абонентам и расшифровать в текст.
Просветление наступает через полчаса-час даже у самых упертых.

[norguhtar.livejournal.com]

Да вон уже на примере китая продемонстрировано, что великий китайский фаервол прошибается, при наличии желания.

[norguhtar.livejournal.com]

Это все понятно. Но если до конца проводить аналогию, то тут скорее закрывание двери на щеколду.

[stranger-p-a.livejournal.com]

Всё верно, но только если рассматривать проблему отдельно. А если в комплексе - картина совсем другая: допустим, натравливаем классификатор на уже отобранную по каким-то другим критериям целевую группу абонентов (например, "люди, активно засветившиеся в "ВКонтакте" в предмитинговой активности") - по этой подгруппе поиск и классификация будут на порядки более результативны.

То есть, сам по себе метод даёт немного, но в комплексе с другими - очень полезен, ИМХО.

[http://users.livejournal.com/_adept_/]

А как связать людей из вконтакта с номерами/imsi/... ?

[jonni.livejournal.com]

Специально обученные Кровавым Режымом гномики помогут, что вы как маленькие прям

;)

[aamonster.livejournal.com]

Часть законопослушных граждан уже связана с номерами.
Остальных можно попытаться вычислить, построив граф связей.

Уточнение классификаторов

[Павел Мосенцев (from livejournal.com)]

Есть событие - митинг на болотной, т.е. событие с четкой привязкой к координатам и времени. Есть массив записанных разговоров, так же имеющий привязки к координатам базовых станций и времени. Составляем граф какой номер какому звонил, расширяя его на месяц назад (мы же по условиям задачи пишем все все все :) ) На это граф накладываем людей из вконтакте и мордокнига, у многих там есть телефон в профиле.Добавляем людей из твиттера, они ведь не особенно скрываются. И получаем несколько хорошо таргетированных множеств, которые уже можно анализировать выявляя лидеров, т.е. именно тех кого и стоит слушать

[aamonster.livejournal.com]

Про supervised/unsupervised методы: если делать двуслойную сеть - первый слой сеть Кохонена, второй - звёзды Гроссберга, то при изменении критериев переучивать придётся только второй слой, а это заметно "дешевле".

Про чтение постфактум - если есть полная база "какой телефон когда с каким коннектился" - можно попробовать вытянуть хоть что-то. Если добавить к этому распознавание голоса (ну, основы) - то ещё хоть что-то.

В общем, выхлоп со всего этого можно получить, но он практически не зависит от тайности такой прослушки.

[barch.livejournal.com]

если говорить про "базу разговоров" и привязке отдельных разговоров к определенным личностям, тут я бы рассматривал задачу не изолированно от других источников информации, а в контексте всех доступных средств идентификации говорящих
в таком случае задача хоть и добирает вычислительной сложности, но выход становится значительно более достоверным
однако даже в этом случае вопрос "нахера весь этот цирк?" все равно остается актуальным
даже если предположить, что оно таки кому-то надо, то кроме распила бабла на оборудование и развертывание такого комплекса в госмасштабах, ничего другого в голову не приходит. целевое слежение за отдельными особами и агентурная работа - метод более эффективный и, что важно для суда, законный

[http://users.livejournal.com/_adept_/]

Аналогии плохие.

Руки привязаны к конкретному человеку, и это объект, а не процесс. Вот если бы мы говорили про какой-то гипотетически логгинг рукопожатий, напрмер, аналогия была бы полной.

Камеры привязан к месту и отвечают на вопросы, связанные с местом. Давайте вместо этого говорить про наблюдение за людьми на основании фотопотока с flickr, напрмер.

[http://users.livejournal.com/_adept_/]

Я что-то пропустил, и где-то уже есть повсеместное снятие всех отпечатков со всех поверхностей в конце дня?

[ghrar.livejournal.com]

вполне полезная для МВД херь. при осуществлении оперативно-розыскных мероприятий запросы к оператору так и приходят: в связи с расследованием такого-то дела прислать местоположение, распечатку звонков, тексты смс для таких-то номеров.

[http://users.livejournal.com/_adept_/]

Ну, это же несколько отличается от "аудиозаписи звонков", ага?

[pascendi.livejournal.com]

Вы просто не в курсе последних работ по автоматическому анализу текстов. Я тут в двух таких проектах поучаствовал в прошлом году и в этом.
Погуглите кластеризацию, автоматическую классификацию, анализ эмоционального отношения, ранжирование и т.п. Сейчас такая обработка делается почти в реальном времени на массивах в сотни тысяч текстовых документов, и это в коммерческих проектах -- прикиньте возможности у серьезных госструктур.

Кстати, в этой области сейчас весьма активные исследования ведут китайцы, у них патентов почти столько же, сколько у евросоюза.

[http://users.livejournal.com/_adept_/]

Я, натурально, не в курсе.

Расскажете исходя из своего опыта, что же реально получить на основании последних достижений в этой области, если тексты у нас - это распознанное аудио соотв. качества?

[norguhtar.livejournal.com]

Тут возникает куда они все это будут прятать :) Машин не маленько, мощности тоже не маленькие. Спрятать это где-то в глухих местах не получится, требуются толстые каналы связи.

[(Anonymous)]

У нас качество рапознавание было где-то 70% (немецкий язык) Что бы записать 1 минуту аудио текстом - надо использовать фактор 15 для новичков и фактор 10 для тех, кто в танке. Тренировка распознавания дело муторное и после заливки около 1000 распознанных текстов качество общего распознавания ивеличивалось где-то на 0.5%.
Ну и чем короче текст, тем распознование лучше. Ещё лучше - если говорящий - мужчина и без акцента (как-то слушал, как француз говорит по немецки - человек не поймёт). Большие трудности с названием фирм, с именами собственными. Ну и слов, которые примерно одинаково звучат - тоже много.
В целом смысл собирать такие данные есть - надо иметь только очень огромный бюджет и быть готовым, что где-то около 80% качество распознавания остановится.
Ах да - на новый год качество распознавания было 40% :)

[http://users.livejournal.com/_adept_/]

А что такое "фактор 10" или 15?

[http://users.livejournal.com/_adept_/]

И что вы там такого увидели?

Рекомендую почитать оригинальную новость, а не хреновый пересказ хренового перевода.

А то сядете опять в лужу, как с препейдом и паспортами.

[drug123.livejournal.com]

У меня те же вопросы и претензии к самой идее, но вот вайред не так давно писал вот такое: http://www.wired.com/threatlevel/2012/03/ff_nsadatacenter/all/
Причем журнал не назовешь ни параноидальным, да и не "Московский комсомолец" чай это.