![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
dastapov(заказной пост для ![[livejournal.com profile]](https://www.dreamwidth.org/img/external/lj-userinfo.gif)
en_vision) Допустим, ваш оператор делает биллинг (готовит ежемесячные счета) в течении 5-10 дней? Почему так долго? Казалось бы, делов-то - "select sum(rated_amount) from rated_calls group by contract_id", и вперед - печатать счета. Давайте попробуем разобраться, где же порылась собака.
Допустим, у компании-оператора два миллиона абонентов, которым надо выставить счета. Каждый из этих абонентов за день в среднем совершает 10 тарифицируемых событий (исходящие звонки, SMS, ...) и еще столько же нетарифицируемых (входящие звонки, SMS, ...).
За месяц получаем: 2*10^6 * 20 * 30 = 12 * 10^8 (1 млрд 200 млн). Это количество записей, прошедших через rating.
Что делает процесс биллинга в простейшем случае? Для каждого из 2-х млн абонентов он смотрит, какие контракты принадлежат каждому абоненту, выбирает звонки, сделанные контрактами, суммирует их, добавляет все необходимые ежемесячные абонплаты, и начисляет сверху налоги. По окончании расчета полученные данные засовываются в красивую печатную форму (например, в виде PostScript).
Тут все желающие уже могут провести пару простых экспериментов. Например, взять любую базу данных, засунуть в нее миллиард-другой записей и попробовать выполнить select, вынесеный мной в первые строчки поста. Результаты отмасштабировать в предположении, что у оператора процессоры будут СуперМощные, а памяти будет Дофигищща.
Все? Нет, не все. Стрижка только начата. Это мы построили самый простой биллинг, практически - сферический биллинг в вакууме.
Давайте добавим в картину мира услуги, плата за которые зависит от месячной активности абонента. Например, "абонент платит за сервис фиксированную сумму в день, но только в дни, когда он пользовался этой услугой" или "сумма ежемесячной абонплаты зависит от кол-ва дней, в течении которых контракт был активен". Чтобы рассчитывать такие суммы, нам придется делать детальный анализ таблицы событий в разрезе дней. Допустим, что такие услуги популярны, и нам надо делать это для бОльшей части абонентской базы.[1]
Давайте также добавим в картину мира так популярные нынче "бесплатные" (или входящие в абонплату) минуты/SMS-ы/MMS-ы и т.п. В терминах нашей модели это означает, что для каждого контракта существует некое кол-во минут N, и определенные (не все) звонки суммарной продолжительностью не более N должны быть исключены из счета. Учтем, что, как правило, N бесплатных минут не будут исчерпаны при помощи целого числа звонков - будет какой-то звонок, который попадет "на границу" и его придется порезать на две части - платную и бесплатную. И это тоже делает биллинг.[2]
Давайте еще учтем смену тарифных моделей. Если у абонента была модель A (X_1 грн в месяц, Y_1 "бесплатных" минут) и он 20-го числа поменял ее на модель B (X_2 грн в месяц, Y_2 бесплатных минут), то с абонента надо снять X_1*(20/30) грн и дать ему Y_1*(20/30) минут в рамках модели А, а в рамках модели B снять X_2*(10/30) грн и дать ему Y_2*(10/30) минут - пропорционально времени, которое он провел в каждой тарифной модели. Да, попутно надо не забыть пересчитать все абонплаты, которые зависят от месячной активности.[3]
Как, все еще помещаемся в пару часов? Сомневаюсь.
Погодите, но кроме счетов для абонента есть еще бухгалтерия. Надо показать, какие звонки абонента "закрывают" те или иные его платежи. Другими словами, если абонент заплатил два раза по 100 грн, а наговорил на 200 грн, то биллинг должен для каждого звонка указать, к какому платежу он "отнесен" - к первому или второму. И так для всех звонков всех абонентов.[4]
Теперь посчитаем налоги и все цифры для налоговых накладных (это, правда, можно делать только для абонентов-юрлиц).
В принципе, дальше уже можно не продолжать, думаю, что и так все должно быть понятно. Если кто-то сможет втиснуть это все в рамки нескольких часов - ему прямая дорога писать и продавать биллинговые системы. Можно миллионы будет на этом деле заработать.
На реплики "так это ж можно распараллелить на 100 серверов!" я, наверное, реагировать не буду, уж извините :)
PS
Предваряя отдельный рассказ про Intelligent Network, NextGenerationOSS, конвергентные, hot, almost-hot и другие "быстрые" решения, хочу закинуть такую "удочку": в системе, которая Сразу после события подбивает достоверный и окончательный баланс абонента, и абонент не может уйти в минус, невозможна нормальная реализация услуг, описаных в пунктах [1],[2],[3],[4].
А реализовывать такие услуги отделу маркетинга хочется. Вот и получается, что либо модные услуги, контракт и длинный биллинг, либо без модных услуг, препейд и невозможность биллинга, как такового.
UPD: тем не менее, многие все-таки решили написать мне о том, как прекрасно параллелится биллинг и, в частности, как прекрасно разделяется для этого на части база данных. Коллеги! Я сам придерживаюсь мнения, что среди биллингописателей множество идиотов. Множество - но не все. Подумайте о том, почему такое, казалось бы, тривиальное решение не было реализовано на практике кем-то из major players. А еще подумайте о том, что биллинг - он раз в месяц, а все остальные 27 дней с этой базой и этой таблицей тоже что-то происходит. Причем очень активно происходит, практически без перерыва. И разделение базы на части для этих процессов .... ээээ ... ну, скажем, не самое лучшее решение.
en_vision) Допустим, ваш оператор делает биллинг (готовит ежемесячные счета) в течении 5-10 дней? Почему так долго? Казалось бы, делов-то - "select sum(rated_amount) from rated_calls group by contract_id", и вперед - печатать счета. Давайте попробуем разобраться, где же порылась собака. Допустим, у компании-оператора два миллиона абонентов, которым надо выставить счета. Каждый из этих абонентов за день в среднем совершает 10 тарифицируемых событий (исходящие звонки, SMS, ...) и еще столько же нетарифицируемых (входящие звонки, SMS, ...).
За месяц получаем: 2*10^6 * 20 * 30 = 12 * 10^8 (1 млрд 200 млн). Это количество записей, прошедших через rating.
Что делает процесс биллинга в простейшем случае? Для каждого из 2-х млн абонентов он смотрит, какие контракты принадлежат каждому абоненту, выбирает звонки, сделанные контрактами, суммирует их, добавляет все необходимые ежемесячные абонплаты, и начисляет сверху налоги. По окончании расчета полученные данные засовываются в красивую печатную форму (например, в виде PostScript).
Тут все желающие уже могут провести пару простых экспериментов. Например, взять любую базу данных, засунуть в нее миллиард-другой записей и попробовать выполнить select, вынесеный мной в первые строчки поста. Результаты отмасштабировать в предположении, что у оператора процессоры будут СуперМощные, а памяти будет Дофигищща.
Все? Нет, не все. Стрижка только начата. Это мы построили самый простой биллинг, практически - сферический биллинг в вакууме.
Давайте добавим в картину мира услуги, плата за которые зависит от месячной активности абонента. Например, "абонент платит за сервис фиксированную сумму в день, но только в дни, когда он пользовался этой услугой" или "сумма ежемесячной абонплаты зависит от кол-ва дней, в течении которых контракт был активен". Чтобы рассчитывать такие суммы, нам придется делать детальный анализ таблицы событий в разрезе дней. Допустим, что такие услуги популярны, и нам надо делать это для бОльшей части абонентской базы.[1]
Давайте также добавим в картину мира так популярные нынче "бесплатные" (или входящие в абонплату) минуты/SMS-ы/MMS-ы и т.п. В терминах нашей модели это означает, что для каждого контракта существует некое кол-во минут N, и определенные (не все) звонки суммарной продолжительностью не более N должны быть исключены из счета. Учтем, что, как правило, N бесплатных минут не будут исчерпаны при помощи целого числа звонков - будет какой-то звонок, который попадет "на границу" и его придется порезать на две части - платную и бесплатную. И это тоже делает биллинг.[2]
Давайте еще учтем смену тарифных моделей. Если у абонента была модель A (X_1 грн в месяц, Y_1 "бесплатных" минут) и он 20-го числа поменял ее на модель B (X_2 грн в месяц, Y_2 бесплатных минут), то с абонента надо снять X_1*(20/30) грн и дать ему Y_1*(20/30) минут в рамках модели А, а в рамках модели B снять X_2*(10/30) грн и дать ему Y_2*(10/30) минут - пропорционально времени, которое он провел в каждой тарифной модели. Да, попутно надо не забыть пересчитать все абонплаты, которые зависят от месячной активности.[3]
Как, все еще помещаемся в пару часов? Сомневаюсь.
Погодите, но кроме счетов для абонента есть еще бухгалтерия. Надо показать, какие звонки абонента "закрывают" те или иные его платежи. Другими словами, если абонент заплатил два раза по 100 грн, а наговорил на 200 грн, то биллинг должен для каждого звонка указать, к какому платежу он "отнесен" - к первому или второму. И так для всех звонков всех абонентов.[4]
Теперь посчитаем налоги и все цифры для налоговых накладных (это, правда, можно делать только для абонентов-юрлиц).
В принципе, дальше уже можно не продолжать, думаю, что и так все должно быть понятно. Если кто-то сможет втиснуть это все в рамки нескольких часов - ему прямая дорога писать и продавать биллинговые системы. Можно миллионы будет на этом деле заработать.
На реплики "так это ж можно распараллелить на 100 серверов!" я, наверное, реагировать не буду, уж извините :)
PS
Предваряя отдельный рассказ про Intelligent Network, NextGenerationOSS, конвергентные, hot, almost-hot и другие "быстрые" решения, хочу закинуть такую "удочку": в системе, которая Сразу после события подбивает достоверный и окончательный баланс абонента, и абонент не может уйти в минус, невозможна нормальная реализация услуг, описаных в пунктах [1],[2],[3],[4].
А реализовывать такие услуги отделу маркетинга хочется. Вот и получается, что либо модные услуги, контракт и длинный биллинг, либо без модных услуг, препейд и невозможность биллинга, как такового.
UPD: тем не менее, многие все-таки решили написать мне о том, как прекрасно параллелится биллинг и, в частности, как прекрасно разделяется для этого на части база данных. Коллеги! Я сам придерживаюсь мнения, что среди биллингописателей множество идиотов. Множество - но не все. Подумайте о том, почему такое, казалось бы, тривиальное решение не было реализовано на практике кем-то из major players. А еще подумайте о том, что биллинг - он раз в месяц, а все остальные 27 дней с этой базой и этой таблицей тоже что-то происходит. Причем очень активно происходит, практически без перерыва. И разделение базы на части для этих процессов .... ээээ ... ну, скажем, не самое лучшее решение.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
(no subject)
Date: 2006-11-20 02:43 pm (UTC)Как человек, участвовавший в разработке биллинговой системы интернет-провайдера говорю.
(no subject)
Date: 2006-11-20 02:57 pm (UTC)Так что (as for me), ключевой фактор в объяснении "отделу маркетинга .." непрерывно ".. хочется" - и невозможность заводить под каждый чих оптимизационные фишки. :)
(no subject)
Date: 2006-11-20 03:08 pm (UTC)Про [4] вообще не совсем понятно - зачем точно вычислять, какие платежи что покрывают. А что если звонок покрывается одновоременно двумя или больше платежами? Обычно просто баланс по счету и все.
Я думаю, что проблемы в post-paid биллингах зачастую в том, что они были введены гораздо раньше pre-paid, и там все ограничения сложились исторически. Pre-paid появились гораздо позже, и скорее всего на других биллинговых платформах (думаю, что из-за этого также долгое время были ограничения по переносу номера с pre-paid на контракт). А мигрировать с одного биллинга на другой это геморройно и дорого.
(no subject)
Date: 2006-11-20 03:08 pm (UTC)При капитализьме - развивать мобильную связь или летающие автомобили - решают деньги.
(no subject)
Date: 2006-11-20 03:09 pm (UTC)1)Ну, допустим мы распараллелили подсчет - что мы будем делать с базой?
2)Допустим, мы распараллелили базу (Oracle partitioning? или как? порежем базу на куски?). Что у нас получается с процессами, которые наполняют/модифицируют эту базу в течении месяца? :)
Доводим эту мысль до экстрима - каждый абонент в одтельной базе на отдельном компе :) Ведь нужна же будет центральная сущность, которая помнит, на каком компе хранится какой абонент, nest pas? :) И ведь этой сущности прийдется роутить через себя все запросы. И ведь такая организация хранения данных похерит производительность запросов вида "select sum(...) from all_contracts" ...
(no subject)
Date: 2006-11-20 03:13 pm (UTC)(no subject)
Date: 2006-11-20 03:18 pm (UTC)Успешно? Я не соглашусь. Если на SCP нельзя завести произвольное кол-во произвольных счетчиков, то делаются костылики. Типа, вместо 30 "пакетных" минут в месяц человеку дается 1 минута в день. Которая, каждый день, "покрывает" 1 минуту разговоров. Что есть слабое подобие левой руки. Аналогично делается pro-rating (пересчет абонплаты).
А часто ли на SCP можно заводить произвольные счетчики и связанные с ними правила? А нечасто. Вот если уже вместо пары SSP+SCP завести SoftSwitch - то там можно выгнуться как угодно. Но это (софт-свитч) - что-то новое, модное и дорогое. Не все на него апгрейдятся просто "за красивые глаза".
Про [4]. В бухгалтерии, как в армии, приказы не обсуждаются и здравый смысл отключается. Т.е. нет вопроса "зачем?". Есть ответ "так точно, будет сделано!" :)
Последний абзац - сущая правда.
(no subject)
Date: 2006-11-20 03:21 pm (UTC)Так же пилить, а че с ней еще делать : )
> Ведь нужна же будет центральная сущность, которая помнит, на каком компе хранится какой абонент, nest pas?
Не совсем. Как уже замечалось, расчет абонентов (групп абонентов) слабо коррелирует друг с другом. Централизованая сущность нужна для создания суммарных отчетов управленческого и финансового учета, технического (например, оценка трафика) анализа и т.п. Т.е. для внутренних операций, которые более-менее прогнозируемы. Маршрутизация от id абонента - суть слабозатратная операция по сравнению с выгодой параллелизации. В случае же обобщающих запросов можно производить промежуточную агрегацию по нодам кластера со сведением в некой единой точке (некий служебный сервер баз данных для внутреннего пользования). Подозреваю, что в том же Оракле есть подобные решения, если нет - хороший повод их туда добавить... : )
(no subject)
Date: 2006-11-20 03:23 pm (UTC)Разумеется по окончанию включенных в стоимость плана минут N минут стоит Х баксов, но изгалятельств с разной стоимостью из-за направления нет (анахронизм стоимости межгорода был изжит давно, международка стоит одинаково вне зависимости от состояния счёта) так что от перемены слагаемых число минут не изменится :)
(no subject)
Date: 2006-11-20 03:24 pm (UTC)И ведь этой сущности прийдется роутить через себя все запросы.
Это не проблема, imho: если у вас 10 млн абонентов и 256 машин, то на простой табличный mapping ID абонента -> # машины уйдёт 10 мегабайт памяти.
И ведь такая организация хранения данных похерит производительность запросов вида "select sum(...) from all_contracts" ...
Если результаты выбираются аддитивно, то map@reduce вполне работает - запрос раздаётся всем машинам, потом результат аггрегируется обратно.
опечатался
Date: 2006-11-20 03:26 pm (UTC)(no subject)
Date: 2006-11-20 03:26 pm (UTC)А насчет [4] - это для внутренней бухгалтерии оператора нужно? Т.к. в счетах/накладных/актах я такого никогда не видел.
(no subject)
Date: 2006-11-20 03:27 pm (UTC)Как-то так Мелафон считает.
(no subject)
Date: 2006-11-20 03:29 pm (UTC)(no subject)
Date: 2006-11-20 03:32 pm (UTC)(no subject)
Date: 2006-11-20 03:35 pm (UTC)(no subject)
Date: 2006-11-20 03:36 pm (UTC)(no subject)
Date: 2006-11-20 04:18 pm (UTC)(no subject)
Date: 2006-11-20 04:20 pm (UTC)(no subject)
Date: 2006-11-20 04:22 pm (UTC)(no subject)
Date: 2006-11-20 04:27 pm (UTC)(no subject)
Date: 2006-11-20 04:28 pm (UTC)(no subject)
Date: 2006-11-20 06:21 pm (UTC)А вот в наших пенатах по-моему все, что ни попадя сперва делают на оракле ...
(no subject)
Date: 2006-11-20 10:09 pm (UTC)Напоминаю - на собственно биллинге свет клином не сошелся. Процесс билинга - раз в месяц. Что будем делать с базой потом - склеивать обратно? А перед биллингом - опять пилить? Или как?
(Рассказ о том, как ускоряется биллинг в вакууме - скипнут)
(no subject)
Date: 2006-11-20 10:15 pm (UTC)Я (наивно?) верю, что биллинг, построенный на BigTable (или как там называется творение гугла?) может бить рекорды скорости. Все равно надо строить и мерять, а то на пальцах сложно понять, что веселее - map/reduce или index range scan.
Но - пускай. Пусть он будет супер-быстр. Только вот жить этому биллингу первое время прийдется в вакууме, т.к. все-все-все прочие системы привыкли, что к биллингу можно ходить с помощью SQL, как правило - по OCI. И это - та причина, по которой биллинга на БигТейбл не будет еще очень долго.