ایجاد و مدیریت کلاستر شبه توزیعی Hadoop + Apache Spark روی سرور مجازی CentOS در ویندوز+ دانلود ماشین مجازی آماده استفاده

در مواردی که بکارگیری ابزارهای مدیریت Big Data با اهداف یادگیری، تست، آموزش و توسعه در یک چارچوپ پردازش خوشه ای مثل Hadoop   یا  Spark  مدنظر باشد، معمولا” دو روش برای راه اندازی کلاستر آزمایشی پیشنهاد میشود : روش اول ، استفاده از بسته های آماده کلاستر مجازی که توسط شرکت هایی مثل کلودرا و هورتون ورکز ارائه شده .این روش علیرغم مزایایی همچون راه اندازی سرویسهای گوناگون وعدم نیاز به پیکربندی از طرف کاربر، دارای محدودیتهای زیادی هم هست. از جمله اینکه تقریبا” همه’ این شرکتها دسترسی کاربران ایرانی به محصولاتشان را تحریم کرده اند، چندین گیگا بایت حجم دارند و برای راه اندازی نیاز به کامپیوتری  با حافظه رم نسبتا” بالا دارند .(حداقل 8 –توصیه شده 16 گیگا بایت) دارند.  روش دوم که ما در این آموزش از آن استفاده کرده ایم راه اندازی دستی ( Manual ) کلاستر روی یک ماشین واحد ، و با معماری شبه توزیعی است. در این روش، تمام مراحل پیکربندی را خودمان انجام میدهیم و خصوصیات و اجزای کلاستری که ایجاد میکنیم را با توجه به موضوع در دست پژوهش و امکانات سخت افزاری که د …