کلان داده یا Big Data چیست

کلان داده یا Big Data چیست

بروزرسانی : 4 ماه پیش

بیگ دیتا چیست ؟‌

برای درک کردن "داده‌های بزرگ"، ابتدا باید بدانیم "داده" چیست. فرهنگ لغت آکسفورد، "داده " را به صورت زیر تعریف می‌کند:

" مقادیر، ویژگی‌ها، یا نمادهایی که توسط کامپیوتر عملیات هایی بر روی آنها انجام می‌شود. این داده ها ممکن است به شکل سیگنال‌های الکتریکی ذخیره شده باشند و به صورت سیگنال های الکتریکی منتقل می شوند و بر روی رسانه‌های مغناطیسی، نوری و یا صوتی ثبت می شوند." ​

بنابراین، "کلان داده" نیز یک داده اما اندازه ی آن خیلی زیاد است. "کلان داده" اصطلاحی است که برای توصیف مجموعه‌ای از داده‌ها استفاده می‌شود که حجم عظیمی دارد و با گذشت زمان به صورت نمایی رشد می‌کند. به طور خلاصه، چنین داده‌ای آنقدر بزرگ و پیچیده است که هیچ یک از ابزارهای مدیریت داده‌های سنتی قادر به ذخیره آن یا فرآیند موثر بر روی آن نیستند. ​

 در بحث برنامه نویسی برای وب سایت ها و اپلیکیشن هایی که با دیتای عظیم و ترافیک بالایی سروکار دارند بحث بیگ دیتا یا مدیریت اطلاعات فراوان از مسائل حایز اهمیت است چرا که باید ترافیک بالا کنترل شود و دسترسی به همه ی کاربران با سرعت بالا مقدور باشد. مثلا اگر شما سرویسی با زبان برنامه نویسی پایتون پیاده سازی کردید با بتوانید از سیستم های مثل گورنیکون و بالانس  های افقی و عمودی برای دی ان اس و همچنین کنترل ترافیک با ابزارهای دیگری استفاده کنید. تا بتوانید میلیون ها پردازش و درخواست را در ثانیه کنترل کنید.

 

مثال‌هایی از "کلان داده" ​

کلان داده یا  big data چیست ؟

 

بورس نیویورک در حدود یک درصد از داده‌های جدید تجاری را در روز تولید می‌کند. ​

 

تاثیر رسانه‌های اجتماعی

آمار نشان می‌دهد که هر روز  بیش از ۵۰۰  ترابایت از داده‌های جدید در پایگاه‌های اطلاعاتی سایت رسانه‌های اجتماعی فیس بوک وارد می‌شوند. این داده‌ها عمدتا از تصاویر،  فیلم های ویدئویی، تبادل پیغام، ثبت نظرات و غیره ایجاد می‌شوند. ​

کلان داده یا Big Data چیست ؟

 

موتور جت می‌تواند بیش از 10 ترابایت داده را در ۳۰ دقیقه از زمان پرواز تولید کند. با هزاران پرواز در روز، تولید داده‌ها به حجم  petabytes ها می‌رسد. ​

آموزش کلان داده یا Big Data

 

انواع کلان داده یا بیگ دیتا ​

داده‌های بزرگ را می توان در سه مورد دسته بندی کرد:

1-     ساختاریافته

2-     بی ساختار

3-     نیمه ساختاریافته

ساخت یافته

هر داده‌ای که قابلیت دخیره شدن، قابلیت دسترسی و پردازش را داشته باشد و به یک فرمت ثابت نیز باشد، به عنوان یک "داده ساختار یافته" در نظر گرفته می شود. به مرور زمان، استعدادها در علوم کامیپوتری بیشتر شد و به موفقیت های بیشتری در نکنیک های توسعه ی کار کردن با این داده های ساختار یافته دست یافته است. (که در آن فرمت به خوبی شناخته شده‌است)و همچنین ارزش خود را از آن استخراج می‌کند. با این حال، در حال حاضر، ما مسائلی را پیش‌بینی می‌کنیم که اندازه چنین داده‌هایی تا حد زیادی رشد می‌کند. در آینده اندازه‌های معمول این داده ها به چندین zettabyte  خواهد رسید.

آیا می‌دانید؟. ​

زتابایت به انگلیسی: Zettabyte یک واحد از اطلاعات که برابر ۱۰۲۴ اگزابایت است. کوتاه شده آن (ZB) می‌باشد.

۰۰۰ ۰۰۰ ۰۰۰ ۰۰۰ ۰۰۰ ۰۰۰ ۰۰۰ ۱ بایت = 1000 به توان 7 یا 10 به توان 21 !!!

 

با نگاه کردن به این ارقام بزرگ،  به راحتی می‌توانید درک کنید که چرا نام "کلان داده" به آنها اختصاص داده شده و چالش‌های موجود در ذخیره‌سازی و پردازش آنها را تصور می‌کنید. ​

آیا می‌دانید که داده‌های ذخیره‌شده در یک سیستم مدیریت پایگاه‌داده رابطه‌ای، یک نمونه از داده‌های "ساختار یافته" است؟!

آموزش کلان داده یا big data

 

مثال‌هایی از داده‌های ساختاریافته

یک جدول از مجموعه ای "کارمند" در پایگاه‌داده، یک نمونه از داده‌های ساختاریافته است. ​

داده های بدون ساختار

هر داده‌ای با فرمت یا ساختار ناشناخته، به عنوان داده‌های بدون ساختار طبقه‌بندی می‌شود. داده‌های بدون ساختار علاوه بر داشتن اندازه بزرگ، ، چالش‌های متعددی را از نظر پردازش آن برای استخراج ارزش آن داده ها، به وجود می‌آورد. نمونه بارز داده‌های   غیر ساختاریافته، یک منبع داده ناهمگن که شامل ترکیبی از فایل‌های متنی ساده، تصاویر، ویدئوها و غیره است.  در حال حاضر، سازمان‌های امروزی روزانه سرمایه ای از داده ها را در اختیار دارند، اما متاسفانه نمی‌دانند چگونه از آنها استفاده کنند و اطلاعات ارزشمندی را از آن داده ها استخراج و استنتاج کنند؛ چرا که این داده‌ها در قالب خام و یا بدون ساختار قرار دارند.

مثال‌هایی از داده‌های غیر ساختاریافته

خروجی که توسط "جستجوی گوگل" بازگردانده می شود

آموزش big data یا کلان داده

 

 

داده های نیمه ساختار یافته

داده‌های نیمه ساختار یافته می‌توانند هر دو نوع داده (ساختار یافته و غیرساختاریافته) را شامل شوند. ما می‌توانیم داده‌های نیمه ساختار یافته را به صورت ساختاریافته ببینیم اما این داده ی نیمه ساختاریافته، به صورتی که بخواهیم آنها را به عنوان یک جدول رابطه ای در نظر بگیریم، در DBMS  تعریف نشده است.

مثالی از داده‌های نیمه ساختار یافته، می توان به داده هایی که درون یک فایل XML  است اشاره کرد.

مثال‌هایی از داده‌های نیمه ساختار یافته

اطلاعات شخصی ذخیره‌شده در یک سند XML – ​

آموزش big data یا بیگ دیتا یا کلان داده

رشد داده در طول سال‌ها

لطفا توجه داشته باشید که داده‌های کاربردی وب، که بدون ساختار است شامل فایل‌های لاگ، فایل‌های تاریخچه معامله و غیره است. سیستم‌های OLTP برای کار با داده‌های ساختاری ساخته می‌شوند که در آن داده‌ها در روابط (جداول)ذخیره می‌شوند. ​

ویژگی‌های "کلان داده" ​

آموزش big data  - کلان داده یا بیگ دیتا

لطفا توجه داشته باشید که داده های برنامه های وب، که غیرساختاریافته هستند متشکل از فایل های log ، فایل های تاریخچه ی تراکنش ها و ... می باشد. سیستم های OLAP برای کار کردن با داده های ساختاریافته ساخته شده اند که در آن داده ها در روابط(جدول ها) ذخیره می شوند.

1)     حجم (Volume)

نام "کلان داده" مربوط به اندازه‌ای است که بسیار زیاد است. اندازه داده‌ها نقش بسیار مهمی در تعیین ارزش داده‌ها دارد. همچنین، این که آیا یک داده خاص می‌تواند به عنوان یک داده ی بزرگ در نظر گرفته شود یا نه، وابسته به حجم داده ها می باشد. بنابراین، "حجم" یک ویژگی است که باید در هنگام برخورد با "کلان داده" در نظر گرفته شود. ​

2)     تنوع (Variety)- ویژگی بعدی کلان داده ها ، تنوع است.

تنوع به منابع ناهمگون و ماهیت(طبیعت) داده‌ها، هم ساختار یافته و هم غیرساختاریافته، اشاره دارد. در گذشته ای نزدیک، تنها منبع داده ای که مورد توجه بیشتر برنامه ها قرار داشتند، صفحات گسترده و پایگاه های اطلاعاتی بودند. در حال حاضر، داده‌ها به شکل ایمیل‌ها، عکس‌ها، ویدیوها، دستگاه‌های نظارتی و کنترلی،فایل های PDF، صوت و غیره در برنامه های تجزیه و تحلیل در نظر گرفته می‌شوند. این تنوع داده های غیرساختاریافته ، مسایل خاصی را برای ذخیره‌سازی، استخراج و تحلیل داده‌ها ایجاد می‌کند.

3)     سرعت(Velocity)- عبارت سرعت، به سرعت تولید داده ها اشاره دارد.

این که داده ها چقدر سریع تولید و پردازش می‌شوند تا نیازها را برآورده کنند، پتانسیل واقعی را در داده‌ها مشخص می‌کند. ​

سرعت کلان داده ها، به سرعت جریان داده از منابعی مانند فرایندهای کسب‌وکار، لاگ های اپلیکیشن ها ، شبکه‌ها و سایت‌های ارتباط جمعی، حسگرها، تلفن های همراه و غیره جریان دارد. ​ (رشد) جریان داده ها بسیار عظیم و مداوم است.

4)     تغییرپذیری (Variability)

این امر به ناهماهنگی ایجاد شده توسط داده‌ها در زمان‌های مختلف اشاره دارد، در نتیجه مانع از پردازش و مدیریت موثر داده ها می شود.

مزایای پردازش داده‌های بزرگ: ​

توانایی پردازش "داده‌های کلان" مزایای چندگانه‌ای دارد، مثلا - ​

·       کسب و کارها می‌توانند در هنگام تصمیم‌گیری از هوش خارجی استفاده کنند .

دسترسی به داده‌های اجتماعی از موتورهای جستجو و سایت‌هایی مانند Facebook، سازمان‌ها را قادر می‌سازد تا استراتژی‌های کسب‌وکار خود را تنظیم کنند. ​

·       بهبود خدمات مشتری

سیستم‌های بازخورد(فیدبک) مشتری که به صورت سنتی انجام می گرفتند، سیستم‌های جدیدی جایگزین آنها می‌شوند. این سیستم های جدید با تکنولوژی‌های "کلان داده" طراحی شده‌اند. در این سیستم‌های جدید، از فناوری‌های کلان داده و پردازش زبان طبیعی برای مطالعه و ارزیابی واکنش‌های مصرف‌کننده استفاده می‌شود.

·       شناسایی اولیه ریسک برای محصول / خدمات

·       کارایی عملیاتی بهتر

 

لینک کوتاه این مقاله : https://avasam.ir/post/85
این سیستم برپایه ی علاقه مندی شما یک دوره ی مناسب به شما پیشنهاد میدهد
مرا بسوی بهترین دوره ی آموزشی که برای من مناسب است هدایت کن 🤖
برای استفاده ی دیگران و حمایت از ما در جامعه های زیر به اشتراک بگذارید

.:: نظرهای کاربران ::.
امید غلامی / 5 سال پیش
به این ها که آدم فک میکنه مغزش سوت میکشه...مث مقایسه خودت با کهکشان
ماهان / 5 سال پیش
اگر میخواید با داده های بزرگ کار کنید، سراغ علم مربوط بهش برید یعنی داده کاوی، در داده کاوی ما به استخراج دانش از روی داده ها می پردازیم از جمله در پزشکی می توان به پیش بینی بیماری ها، در تجارت پیش بینی بورس و پیش بینی خرید مشتری و ... اشاره کرد.
ماهان / 5 سال پیش
مهم ترین ابزار رسیدگی به داده های بزرگ اوراکل هستش.
هادی پولادوند / 5 سال پیش
به گفته‌ ی IBM, روزانه 2.5 کوئینتیلیون (2.5 ضرب در ده به توان 18) بایت اطلاعات تولید می‌شود!
دوره ی آموزش پروژه محور ساخت کافه بازار دوره ی آموزش پروژه محور ساخت فروشگاه دیجیکالا آموزش لاراول دوره ی آموزش ویو جی اس