الگوریتم رگرسیون خطی چیست ؟ چگونه کار می کند و چه کاربردی دارد ؟

الگوریتم رگرسیون خطی چیست ؟ چگونه کار می کند و چه کاربردی دارد ؟

درود به کاربران عزیز پلتفرم آموزشی زودیاک ، مرجع آموزش داده کاوی

الگوریتم رگرسیون خطی سابقه طولانی در علم ریاضیات و داده کاوی دارد. سری الگوریتم های رگرسیون خطی و چند گانه در میان متخصصین علم داده از محبوبیت بالایی برخوردار است . استفاده از رگرسیون خطی به قرن 19 میلادی برمی گردد درست زمانی که کارل فریدریش گاوس و آدرین ماری لژاندر نظریه کمترین مربعات را در سال 1821 مطرح کردند. جالب این است که این 2 دانشمند مستقل از یکدیگر توانسته بودند از رگرسیون خطی در پیش بینی حرکت ستاره های دنباله دار و سیارات استفاده کنند. در اواخر قرن 19 هم فرانسیس گالتون بر روی رابطه قد پدر و فرزندان تحقیقات خود را شروع کرد و با استفاده از الگوریتم رگرسیون خطی توانست دریابد که والدین قد بلند معمولا فرزندانشان ، قد کوتاه تری از خودشان دارند و و برعکس.

یعنی می توان گفت که رابطه قد پدر و پسر معکوس است. پدران قد بلند پسران کوتاه قد تری نسبت به خود دارند و پدران قد کوتاه ، پسران قد بلندتری نسبت به خود دارند.

الگوریتم رگرسیون خطی قدمتی 200 ساله در علم ریاضیات دارد

از این الگوریتم در سال های 1950 تا 1960 هم این الگوریتم توسط اقتصاد دانان استفاده می شود. جالب است بدانید که تا قبل از 1970 از ماشین حساب های الکترونیکی برای استفاده از این الگوریتم استفاده می شد و با توجه به توان پردازشی آن زمان ، تخمین مدل ها گاها تا یک شبانه روز به زمان نیاز داشت !!!!

اما حال که با پیشینه این الگوریتم آشنا شدیم ، بهتر است به اصل الگوریتم بپردازیم.

الگوریتم رگرسیون خطی چیست ؟

الگوریتم رگرسیون خطی ، الگوریتمی است که به دنبال کشف روابط خطی میان متغییر مستقل و وابسته است تا بتواند با کشف رابطه ، آینده را پیش بینی کند. ما 2 نوع متغییر مستقل و وابسته وجود دارد. متغییر مستقل متغییری است که مقدار آن وابسته به هیچ چیز نیست و کاملا مستقل مقدار دهی می شود اما متغییر وابسته برای مقدار گیری به متغییر مستقل و عوامل دیگر وابسته است.

هدف این الگوریتم ، کشف روابط میان متغییر مستقل و وابسته برای پیش بینی آینده است

کاربرد این الگوریتم بسیار زیاد است و مثال های بیشماری میتواند برای آن زد. مثلا همان رابطه قد پدر و فرزند ، ارتباط نمرات میان ترم و پایان ترم دانشجویان ، رابطه میان مساحت خونه و قیمت آن و ….

فرمول این الگوریتم درست همان فرمول رسم خطی است که در دوران راهنمایی و دبیرستان با آن آشنا شدیم.

در رابطه بالا y یک متغییر وابسته است و مقدار آن بر اساس a ، b و x تعیین می گردد. متغییر x هم یک متغییر مستقل است. متغییر a عرض از مبدا و b هم همان شیب خط (slope)  است .

اجازه دهید به سراغ یک مثال واقعی برویم.

فرض کنید قرار است قیمت کالا بصورت ثابت ، سالانه 20 هزار تومان گران شود. در این حالت معادله الگوریتم رگرسیون خطی به شرح زیر است.

( سال * 20) + قیمت اولیه =قیمت محصول

در مثال بالا ، سال یک متغییر مستقل  و مقدار سال کاملا مستقل است و به هیچ چیز بستگی ندارد. عدد 20 همان شیب خط است و قیمت اولیه هم همان عرض از مبدا است و قیمت محصول هم یک متغییر وایسته است که با توجه به 3 متغییر دیگر بدست می آید. حال فرض کنید قیمت اولیه محصول 100 هزار تومان باشد. براحتی می توان قیمت محصول را در 7 سال آینده پیش بینی کرد.

هزار تومان 240  = ( 70 * 20) + 100 = قیمت محصول در 7 سال آینده

براحتی ما توانستیم در یابیم که در سال هفتم قیمت محصول 240 هزار تومان است. همچنین مشخص است که هر چه میزان سال بالا برود ، قیمت بیشتر می شود و رابطه سال و قیمت کالا یک رابطه مستقیم است و با افزایش سال ، قیمت افزایش پیدا می کند.

انواع الگوریتم رگرسیون خطی :

الگوریتم خطی شامل 2 نوع الگوریتم است.

الگوریتم رگرسیون خطی ساده :

مثال قیمت کالاو معادله ای که نوشتیم در اصل یک الگوریتم رگرسیون خطی ساده بود. هنگامی که متغییر وابسته تنها با یک متغییر مستقل در ارتباط باشد به آن رگرسیون خطی ساده می گویند.

الگوریتم رگرسیون خطی چند گانه :

اگر متغییر وابسته به 2 یا چندین متغییر مستقل وابسته باشد ، رگرسیون خطی چند گانه به وجود می آید.معادله رگرسیون خطی چند گانه به شرح زیر است :

همانگونه که دریافتید تفاوت رگرسیون خطی و چند گانه در تعداد متغییر های مستقل است .

رگرسیون خطی ساده یک متغییر مستقل دارد اما چند گانه 2 یا بیش از 2 متغییر مستقل دارد.

همانگونه که پیش تر عنوان شد الگوریتم رگرسیون خطی در کنار الگوریتم درخت تصمیم یکی از پرکاربرد ترین و محبوب ترین الگوریتم های دنیای داده کاوی است و از محبوبیت بالایی در پیش بینی برخوردار است. این الگوریتم در عین سادگی دارای دقت بالایی است.

امیدوارم از آموزش الگوریتم رگرسیون خطی  لذت برده باشید.

شاد و پیروز باشید.