مباحث شبکه| راه اندازی مرکز انبار داده‌های ابری گوگل با نام Mesa

مباحث شبکه| راه اندازی مرکز انبار داده‌های ابری گوگل با نام Mesa

دیتاسنتر گوگل

• 
  
• 
  
• 
  
• 
  
• 
  

طی چند سال گذشته، محققان گوگل مشغول ایجاد و ساخت یک انبار داده‌ای پیچیده و قدرتمند به نام Mesa بوده‌اند. Mesa در خارج از هسته‌ی کسب و کار گوگل یعنی تبلیغات بوجود آمد و پس از آن گوگل برای سرویس‌دهی به مشتریان تبلیغات و نیازهای داخلی خود به جمع‌آوری داده‌های متعدد از هر تبلیغ پرداخت. این داده‌ها نیاز به پردازش و ذخیره‌سازی در آن واحد داشتند که نیازمند مرکزی عظیم و قوی بود.




بر اساس گزارش‌های بدست آمده از این پروژه، داده‌های گسترده‌ی بدست آمده توسط سیستم‌های گوگل به پردازش Real time نیاز داشته و بر همین اساس نیز مرکز Mesa توسعه یافته است. Mesa در مقیاس بسیار وسیعی با این داده‌ها سر و کار داشته و تقریبا بدون وقفه در حال دریافت این داده‌هاست. Mesa به مدیریت داده‌ها در مقیاس پتابایت پرداخته و میلیون‌ها ردیف بروزرسانی را در هر ثانیه به انجام می‌رساند. این مرکز به میلیاردها درخواست که منجر به تریلیون‌ها ردیف در روز می‌شوند سرویس‌دهی می‌کند.
علاوه بر این گفته می‌شود که Mesa در مقابل اختلال‌های دیتاسنتر مقاوم بوده و برای جلوگیری از حتی یک لحظه خارج شدن از دسترس، در طول چندین دیتاسنتر متعدد در مناطق مختلف جغرافیایی نمونه سازی شده است. این احتمال وجود دارد که Mesa در نهایت منجر به ایجاد یک سرویس ابری جدید در پلتفرم ابری گوگل گردد. چنین سرویسی می‌تواند به گوگل کمک کند که تمایز و فاصله‌ی خود را در فضای نبرد ابری با رقیب قدر خود یعنی Amazon Web Services حفظ نماید. آمازون نیز از مرکز انبار داده‌ای مشابهی با نام RedShift برخوردار است. پلتفرم آمازون نیز به منظور آنالیز حجم عظیمی از داده‌ها در مقیاس پتابایت در فضای ابری توسعه داده شده است. این سرویس توسط استارت‌آپ‌های عظیمی نظیر فلیپ‌بورد، سرویس محبوب نت‌فلیکس، مصرف‌کنندگان عظیم داده‌ای نظیر ناسا به کار گرفته شده و آزمایش خود را به خوبی پس داده است. آمازون وعده داده بود که با به کار گیری RedShift هزینه‌ی ۱ ترابایت فضای ذخیره‌سازی داده‌ها در کلود را برای یک سال به زیر ۱۰۰۰ دلار تقلیل دهد. پلتفرم آژور مایکروسافت نیز با ورود به عرصه‌ی سرویس‌های ابری، هر روزه به کاهش قیمت این سرویس‌ها برای مشتریان دامن زده و بطور مرتب درست همانند گوگل به معرفی سرویس‌های ابری جدید می‌پردازد.
در نهایت چنین توسعه‌ای دور از انتظار نخواهد بود. پس از آنکه گوگل سیستم جستجو و درخواست Dremel را در یکی از پرونده‌های تحقیقاتی خود معرفی کرد، سرویس BigQuery بر پایه‌ی آن توسعه داد و آن را بعنوان یکی از سرویس‌های ابری موجود در پلتفرم ابری خود در دسترس قرار داد.
توسعه‌دهندگان Mesa از نظر معماری مجموعه‌ای از تصمیمات مهم را به منظور بهینه‌سازی آن برای ایجاد تمایز با Dremel اتخاذ کردند.

Mesa نقطه‌ی جدیدی در فضای طراحی به شمار می‌رود که با مقیاس‌پذیری سطح بالا، پایداری قدرتمند، و تضمین استانداردهای حداقلی با محدود کردن سیستم به منظور در دسترس بودن منحصر به بروزرسانی‌های دسته‌ای کنترل شده که تقریبا بصورت بی‌وقفه و در آن واحد پردازش می‌شوند گره خورده است.

​

این سیستم می‌تواند به شیوه‌های مختلفی به گوگل کمک کند که ابزار متن باز انبار داده‌ای Hive از پس آن بر نمی‌آید. همچنین تصور می‌شود که این مرکز یک سر و گردن بالاتر از موتور جستاری Presto فیسبوک قرار گیرد که به منظور فائق آمدن بر چالش‌های وقفه و تاخیر که Hive از پس آن‌ها بر نمی آمد توسعه داده شده بود. لازم به ذکر است که فیسبوک اخیرا Presto را تحت یک لایسنس متن‌باز منتشر کرد.
Mesa به شیوه‌ای توسعه یافته که به بهترین شکل بتوان آن را در دیتاسنترهای سراسر دنیا به کار بست. امروزه کاملا مشخص شده که یک سیستم پردازش ابری در ارتباط با معماری مبتنی بر دیتاسنتر می‌تواند برای مقیاس پذیرفتن بر اساس رشد بار داده‌ای و درخواستی خدمات بسیار مفید فایده و مثمر ثمر باشد.



​

منبع: زومیت
​