GSM: Почему у белого медведя нос черный или Почему в смс влазит 160 символов, а не 255?

[dastapov]

Заказной пост на тему: "А про sms можно рассказать? какой там протокол, и почему сообщение ограничено 160 символами?"

Учитывая, что про SMS материалов в сети масса, ответ будет коротким.

В процессе "придумывания" SMS (а его именно "придумывали", т.к. в отличие от голоса/факса у SMS не было аналога в "проводном" мире) перед авторами спецификации встал вопрос - как передавать SMS-ы между коммутаторами? Было принято решение использовать механизмы, доступные в рамках стека протоколов SS7 (Signalling System #7). Протокол MAP (используемый MSC для передачи "сигнальной" информации о звонке в процессе коммутации - кто звонит, кому звонит, и т.п.) был расширен специальным сообщением forward_short_message, содержимое которого, собственно, и является телом SMS.

Именно отсюда ростут ноги у известного ограничения. Протокол MAP основан на протоколе TCAP, который по своей природе предусматривал работу в режиме real-time, в стиле "короткий request - короткий responce". Естественно, что ни о какой фрагментации/сессиях в стиле TCP в рамках TCAP речь не шла. MAP унаследовал эту особенность.

Вот и получилось, что 1 SMS должен был обязательно влазить в одно MAP-сообщение. Максимальный размер payload в MAP - 140 байт или (140 * 8 = 1120 бит). В такое кол-во бит можно засунуть либо 160 7-битных символов, либо 140 8-битных, либо 70 16-битных. И только сравнительно недавно мобильные терминалы научились делать SMS concatenation и обходить это ограничение.

Литература:

• http://www.telenor.com/telektronikk/volumes/pdf/3.2004/Page_187-194.pdf (очень хороший рассказ про историю возникновения SMS, рекомендую)
  
• http://en.wikipedia.org/wiki/Short_message_service (тут - еще раз рассказ про 160 символов)
  
• http://www.wirelessdevnet.com/channels/sms/features/sms.html (тут красивая картинка)
  

Comments

[egorfine.livejournal.com]

Ты еще про SMPP расскажи, только предупреди, что под катом сплошная нецензурщина ;;)))

[http://users.livejournal.com/_adept_/]

Что ты! Если я расскажу про SMPP, меня забанит abuse team. В LiveJournal порнуха запрещена :)

[blinohod.livejournal.com]

Ну, можно про мудреные способы передачи инфы по SMS. Штука истеорически полезная. Или про то, почему некоторый народ в спеках по гейтованию путает message class с esm class ;-)))

[http://users.livejournal.com/_adept_/]

"Слишишь, Гоги! На, сам расскжи!"(с)анекдот.

[blinohod.livejournal.com]

Ладно, я тогда у себя тоже тег gsm повешу :)

[http://users.livejournal.com/_adept_/]

И ссылочку сюда кинь :)

[blinohod.livejournal.com]

О!!! А может про семейство протоколов MM1-MM10 ?
Если не углубляться - сойдет за софт порно :)

[awind.livejournal.com]

однако...

[http://users.livejournal.com/_adept_/]

?

[rssh.livejournal.com]

А вот еще такой вопрос -- один мой знакомый, из тех что уехал в Штаты до или во-время распада Союза, как-то хвастался что ему прислали SMS-ку на русском, отчего у местного провайдера упала сеть. Насколько это правдоподобно ?

[blinohod.livejournal.com]

Ну, сеть то от этого вряд ли упадет, а вот SMSC, который от сообщения с содержимым не в GSM-алфавите завалился, вполне мог бы и существовать. Там же софт, который регулярно пишется настолько криво, что даже я себя начинаю чувствовать неплохим девелопером :)

[http://users.livejournal.com/_adept_/]

Учитывая, что метаданные транспортного пакета никак не зависят от содержимого SMS-а, то пострадать может только та система, которая заглядывает в payload - т.е. SMSC, да и то - врядли. Даже если бы упал/повис/сгорел SMSC, вся остальная сеть работала бы (можно было бы совершать звонки, и т.п.). Скорее всего, совпало :)

Мне рассказывали, как вкручивание лампочки на узле одного крупного интернет-провайдера совпало с выключением света во всем районе :) Скорее всего, что-то подобное и имело место.

[jerom.livejournal.com]

Мне однажды (в 1999 году) выдали в качестве интерфейса для обмена короткими сообщениями логин-пароль на ftp сервер и текстовый формат с комментарием: "Любая опечатка в имени тега, любой пробел после тега, вызывает падение нашего сервера и сообщения вообще перестают ходить. Кроме того, если номер не существует, генерируется текстовый файл, который вы обязаны забрать до следующего прохода нашего робота, иначе он упадёт. Пожалуйста, будьте осторожны!"

Это был пейджинговый оператор...

[http://users.livejournal.com/_adept_/]

Возможно, кто-то написал им систему "задешево" и исчез с радара. А отлаживать-чинить в самой конторе ее было некому. Вот и жили, как могли :)

[zverik.livejournal.com]

А почему тогда на русские сообщения выделяется 80 символов, а не 60?
И почему нельзя было сделать лимит в 140 сообщений для русского языка - всего лишь минимальная поддержка кодировок... Да и вообще, десяти бит на символ должно зватить всем, кроме африканцев и китайцев, которым и так это не нужно...

Блин, массовые опечатки =)

[zverik.livejournal.com]

60 -> 70
сообщений -> символов
зватить -> хватить

Re: Блин, массовые опечатки =)

[http://users.livejournal.com/_adept_/]

А кто сказал 80? Я проверил на трех доступных телефонах разных производителей - везде 70.

По поводу меньшего кол-ва бит на символ - возможно, оно было бы и хорошо. Но с точки зрения вселенского счастья, зачем городить еще один UTF-10, кроме UTF-8 и UTF-16?

Re: Блин, массовые опечатки =)

[zverik.livejournal.com]

Ну, когда счёт идёт на биты - оптимизация всегда полезна.. UTF-8/16 излишне избыточны, я их изначально не одобрял :)

Re: Блин, массовые опечатки =)

[http://users.livejournal.com/_adept_/]

(став в позу, с пафосом) Да? И что ты сделал для того, чтобы не допустить их всемирного распространения? :)

Re: Блин, массовые опечатки =)

[zverik.livejournal.com]

Возглавил движение против utf-8 (в котором, правда, пока лишь один участник =))

А действительно, создатели стандарта отправки сообщений могли выбрать любую кодировку, благо маловероятно, что телефоны к тому времени поддерживали юникод. Вон, выбрали семибитную кодировку, которая ведь не совпадает с ASCII, так? Могли бы заодно принять стандарт на расширенную десятибитную кодировку, а не [внезапно] использовать существующий избыточный стандарт, который ОЧЕНЬ маловероятно, что полностью поддерживается всеми телефонами на текущий момент...

Re: Блин, массовые опечатки =)

[http://users.livejournal.com/_adept_/]

По поводу того, что могли выбрать другую кодировку - Тут уже приводили фразу про верблюда и "А что у меня вообще прямое?".

Я уверен, что если найти, где копнуть историю, то высплывут тоннами подробности о том, как каждый участник консорциума тянул одеяло на себя, и в конце концов выбрали UTF-16, как вариант, который был одинаково всем неудобный.

Re: Блин, массовые опечатки =)

[zverik.livejournal.com]

Мда. Тогда другой глупый вопрос - где можно почитать про саму семибитную кодировку, в частности, про её управляющие коды? Надеюсь найти что-нибудь интересное :)

Re: Блин, массовые опечатки =)

[http://users.livejournal.com/_adept_/]

Я сегодня делал пост с ссылкой на "GSM Handbook". В нем есть appendix, а в нем - кодировка. Только похоже, что с управляющими кодами там не густо :)

[lashzcore.livejournal.com]

очень познавательно. этот вопрос меня очень интересовал. остался еще один - есть ли другие способы передачи сообщений в GSM? чтоб без ограничения в 70 юникодовых знаков? и кста, нос у белого медведя черный потому, что его кожа черного цвета ;)

[http://users.livejournal.com/_adept_/]

Написать на бумаге, сфотографировать, и передать, как ММS. разве что :)

[zverik.livejournal.com]

В MMS же можно и просто многокилобайтный текст писать? :)

[http://users.livejournal.com/_adept_/]

Нууу, это неспортивно :)

[tarantul.livejournal.com]

btw, а между телефоном и станцией какая сигнализация ходит ?

[http://users.livejournal.com/_adept_/]

Всякая :) Ее там много - LAPDm, RR, MM, CM. Интерфейс между MS и BTS называется "Um interface" (взяли название "U Interface" из ISDN и прилепили букву "m" для mobile). По этим ключевым словам в сети можно нарыть рассказки с картинками. Например, такие:

http://www.ee.surrey.ac.uk/Personal/L.Wood/constellations/tables/gsm.html

[tarantul.livejournal.com]

Как я понял в основе старый добрый ISDN.
А по физике CDMA у тебя ссылок нет ? Типы модуляции, частоты/каналы...

[http://users.livejournal.com/_adept_/]

Wish recorded (http://users.livejournal.com/_adept_/39100.html)

[gvy.livejournal.com]

Какой UTF16, там же UCS2 непомнюкакойименно был вроде. BE, кажется.

PS: а ещё во времена inmetex мы как-то с Мишкой были вечером озарены деталями реализации pycuфukaцuu такой немалой кучи того, с чем народ народ ходил, что изрядное время думали, а как теперь с ней бороться, если не циферками. И таки решили циферками, где разве что вместо 0 воткнут O.

[http://users.livejournal.com/_adept_/]

Если меня не подводит склероз, то UCS2 - это charset, а UTF-16 - это таки transport format для unicode charsets, в том числе - и для UCS2.

[kzerza.livejournal.com]

не знаю, нужно, нет, Гвинель Ле-Бодик, Мобильные сообщения. Службы и технологии SMS, EMS и MMS - http://rapidshare.com/files/3227176/SMS_EMS_MMS.rar

[http://users.livejournal.com/_adept_/]

Вроде как у меня был оригинал, но - спасибо, заначу еще и перевод :)

Reply Via Same SC

[zona007.livejournal.com]

Кстати, растолкуйте плиз такую весчь: в SMS-настройках телефонов есть такая примочка "Ответ по тому же каналу" /"Reply Via Same SC", либо нечто подобное. При этом в сигнальных сообщениях устанавливается флаг "TP-Reply-Path", т.е. телефон абонента "Б" при ответе на полученное сообщение будет посылать его (пытаться посылать) на тот же SMSC, с которого сообщение было получено.
Механизм понятен.
Вопрос: в чем прикол, зачем это нужно ?

Re: Reply Via Same SC

[http://users.livejournal.com/_adept_/]

Не знаю. ВОзможно, это пережитки времен, когда в SMS появлялись чарсеты, отличные от SMS charset, и были проблемы с передачей ответов.

как оно на самом деле

[(Anonymous)]

СМС имеет ограничение 140 байт потому что по радиоэфиру оно передается по сигнальному каналу. Сигнальный пакет имеет ограничение 160(примерно) байт. 20 байт тратится на служебную информацию (от кого, тип пакета, кодировка, протокол, тип сессии и т.п.)

оставшиеся 140 символов - под текст.

в MAP/TCAP ограничений на размер нет. в SCCP ограничение 252 байт на пакет (UNITDATA) и есть возможность посылать составные пакеты (XUNITDATA) или пакеты длиной до 4096 байт.
в MTP3/MTP2 ограничение 4096 байт. В расширенном MTP еще больше.