Hotmail получает новую систему хранения - это делает ее еще быстрее!

Hotmail получает новую систему хранения - это делает ее еще быстрее!
Hotmail получает новую систему хранения - это делает ее еще быстрее!

Видео: Hotmail получает новую систему хранения - это делает ее еще быстрее!

Видео: Hotmail получает новую систему хранения - это делает ее еще быстрее!
Видео: 22 Настройка клавиатуры и языков,работа с текстом в WP7 - YouTube 2024, Апрель
Anonim

Hotmail ежедневно получает миллиарды сообщений электронной почты, и их необходимо безопасно хранить и их необходимо легко получить. Система хранения на базе облачных вычислений Hotmail поддерживает более одного миллиарда почтовых ящиков и сотни петабайт данных (один петабайт - миллион гигабайт). И эффективно обрабатывать сотни тысяч одновременных транзакций в этом масштабе - инженерная задача. Система хранения построена с использованием технологий Microsoft, включая Windows Server и Microsoft SQL Server.

Microsoft работает над серьезным обновлением этой системы хранения. С начала этого года новая система, основанная на технологиях, разработанных в Hotmail, была запущена в пилотном кластере с использованием личных учетных записей сотрудников Microsoft. И после тщательного тестирования новая система была сертифицирована, что обеспечивает лучшую надежность по значительно более низкой цене.

Давайте рассмотрим некоторые из этих новых технологий, используемых Hotmail.

Внедрение JBOD для замены RAID:

«RAID (избыточный массив недорогих дисков) - это технология, которая позволяет подключать несколько жестких дисков к одной плате контроллера, что делает их похожими на один большой и гораздо более надежный жесткий диск (иногда называемый« логическим блоком ») программное обеспечение, использующее систему хранения ».

Hotmail использует RAID в течение длительного времени. Электронная почта хранилась на нескольких группах RAID, так что даже при сбое всего RAID сообщения могут быть восстановлены. Hotmail изучил перспективность надежности накопителей емкостью более 1 терабайта и обнаружил, что это не стоит денег с точки зрения надежности. Поскольку RAID-системы легко справляются с проблемами, затрагивающими единую систему, но не при столкновении всей машины или RAID-контроллера. Hotmail обнаружил, что наличие копий на другой машине, не использующей контроллер, было не только более надежным, но и недорогим, но менее дорогостоящим, чем конфигурация RAID.
Hotmail использует RAID в течение длительного времени. Электронная почта хранилась на нескольких группах RAID, так что даже при сбое всего RAID сообщения могут быть восстановлены. Hotmail изучил перспективность надежности накопителей емкостью более 1 терабайта и обнаружил, что это не стоит денег с точки зрения надежности. Поскольку RAID-системы легко справляются с проблемами, затрагивающими единую систему, но не при столкновении всей машины или RAID-контроллера. Hotmail обнаружил, что наличие копий на другой машине, не использующей контроллер, было не только более надежным, но и недорогим, но менее дорогостоящим, чем конфигурация RAID.

Поэтому они разработали JBOD (просто пучок дисков), где копии данных хранятся на независимых жестких дисках, контроллерах и машинах. Таким образом, контроллер жесткого диска почти полностью отключен и передает его на программное обеспечение для управления. Это системное программное обеспечение JBOD было разработано Hotmail.

Это программное обеспечение JBOD постоянно отслеживает сбои и повышает оповещение при обнаружении, тем самым инициируя процесс восстановления. Этот процесс восстановления может перезагружать машину или перезапускать процесс, исправлять повреждение данных или даже включать вмешательство человека, если это необходимо. Основным преимуществом использования Программного обеспечения является то, что он может поддерживать хорошие копии почтовых отправлений, приоритизируя действие восстановления, если он находит меньше копий. Используя это программное обеспечение, сама репликация была упрощена
Это программное обеспечение JBOD постоянно отслеживает сбои и повышает оповещение при обнаружении, тем самым инициируя процесс восстановления. Этот процесс восстановления может перезагружать машину или перезапускать процесс, исправлять повреждение данных или даже включать вмешательство человека, если это необходимо. Основным преимуществом использования Программного обеспечения является то, что он может поддерживать хорошие копии почтовых отправлений, приоритизируя действие восстановления, если он находит меньше копий. Используя это программное обеспечение, сама репликация была упрощена

“The storage system consists of a set of machines, each of which has its copy of an email message and a journal recording messages that have arrived, organized by arrival date. The machines talk to each other from time to time, compare their journals, and copy any messages that they realize haven’t been copied to all machines.“

Реализация твердотельных дисков (SSD) вместо жестких дисков.

Мы знаем, что SSD намного быстрее, чем жесткие диски. Жесткие диски, чем больше и дешевле, медленны при обработке скорости запросов.

“A normal hard drive can perform a little more than one hundred read/write operations per second, whereas some of the fastest SSDs can do over one hundred thousand operations per second.”

Хотя эта скорость идет по цене, поскольку они очень дороги / гигабайт по сравнению с жесткими дисками.

SSDs эффективно управляет постоянно меняющейся нагрузкой. Это можно объяснить тем, что Hotmail не только сохраняет сообщения электронной почты, но также отслеживает различные постоянно изменяющиеся метаданные, такие как список сообщений в папке «Входящие», чтение / непрочитанный статус сообщений, потоки цепочек и т. Д. Эти метаданные, хотя и занимают небольшую часть пространства для хранения обеспечивает максимальную нагрузку на жесткие диски из-за постоянно меняющейся природы. Таким образом, использование SSD для хранения метаданных и жестких дисков для сообщений делает лучшую и эффективную комбинацию.

Помимо этих улучшений Hotmail покажет еще много в будущих сообщениях. Развертывание новой системы хранения уже началось, и новые кластеры будут основаны на JBOD. Уже 30 миллионов пользователей находятся на JBOD, а еще 100 миллионов будут двигаться со временем.
Помимо этих улучшений Hotmail покажет еще много в будущих сообщениях. Развертывание новой системы хранения уже началось, и новые кластеры будут основаны на JBOD. Уже 30 миллионов пользователей находятся на JBOD, а еще 100 миллионов будут двигаться со временем.

Если вы заметили, Hotmail стал очень быстрым. Если вы этого не сделали - попробуйте сейчас.

Рекомендуемые: