Penjelasan mengenai regresi linear sederhana dan berganda dimulai dari pengertian regresi linier sederhana, adalah suatu metode yang digunakan untuk melihat hubungan antara satu variabel independen (bebas) dengan variabel dependennya (terikat), hubungan tersebut diilustrasikan mempunyai hubungan garis lurus. Namun pada kenyataanya hubungan antar variabel bebas dan variabel terikat jarang sekali sesederhana itu. Biasanya banyak faktor atau dalam hal ini kita sebut banyak variabel bebas yang menentukan atau dapat mempengaruhi variabel terikat. Untuk kasus demikian maka akan diselesaikan dengan Regresi Linier Berganda. 

Terdapat beberapa cara yang dapat digunakan untuk menentukan garis regresi, yaitu:

1. Cara bebas (Kelemahan: tidak ada metode baku yang dipercaya karena tiap orang bisa beda)
2. Menghubungkan dua titik terendah dan tertinggi (Kelemahan: Persamaan regresi ini hanya menggunakan dua titik terendah dan tertinggi saja dan titik-titik yang lain tidak dihiraukan dan sangat berbahaya jika ada nilai ekstrim)
3. Membagi data menjadi dua kelompok yang sama, kemudian masing-masing dicari rata-rata nya (Kelebihan: Sudah mengikutkan semua titik karena dicari rata-ratanya, dan ini adalah cara terbaik daripada 2 cara sebelumnya. Kelemahan: rata-rata dipengaruhi nilai ekstrim masing-masing baik nilai ekstrim rendah maupun nilai ekstrim tinggi,sehingga tidak menggambarkan regresi yang sebenarnya)
4. Metode kuadrat terkecil

Konsep dasar:

• Pada suatu nilai X tertentu akan terdapat banyak kemungkinan nilai-nilai Y (Y akan terdistribusi mengikuti suatu fungsi peluang tertentu :Distribusi Normal) dengan Nilai rata-rata E(Y) dan Nilai varians σ2  tertentu
• Nilai rata-rata E(Y) diasumsikan berubah secara sistematik mengikuti perubahan nilai X, yang digambarkan dalam bentuk garis linier
• Nilai varians σ2 pada setiap nilai X akan sama

Hal pertama yang harus dilakukan dalam melakukan regresi linear sederhana adalah melakukan identifikasi model dengan menggunakan scatter plot  (diagram pencar) yang berguna untuk mengidentifikasi model hubungan antara variabel X dan Y. Bila pencaran titik-titik pada plot ini menunjukkan adanya suatu kecenderungan (trend) yang linier, maka model regresi linier layak digunakan. Setelah itu dapat dilakukan estimasi terhadap parameter model.

Asumsi yang harus terpenuhi untuk melakukan analisis regresi:

1. Yi (Variabel Tak Bebas/Dependent Variable) merupakan random variable/bersifat stochastic
2. Xi (Variabel bebas/Independent Variable) bersifat fixed/non stochastic (bukan merupakan random variable)
3. E(εi) = 0
4. E(εi εj) = E(εi2) = σ2 untuk i = j (Homoscedastic)
5. E(εi εj) = 0 untuk i ≠ j (Non autocorrelation)
6. εi merupakan random variable yang terdistribusi secara bebas dan indentik mengikuti distribusi normal dengan rata-rata 0 dan varian σ2

Metode estimasi yang digunakan pada regresi linier sederhana adalah Metode Kuadrat Terkecil (Least Square Method) dengan prinsip meminimalkan ∑εi2

Sifat-sifat estimator Least Squares:

• Jika semua asumsi yang diberlakukan terhadap model regresi terpenuhi, maka menurut suatu teorema (Gauss Markov theorem) estimator tersebut akan bersifat BLUE (Best Linear Unbiased Estimator).
• Best = Terbaik, mempunyai varian yang minimum
• Linear = Linear dalam Variabel Random Y
• Unbiased = Tak bias
• Artinya estimator tersebut akan unbiased, linier dan mempunyai varian yang minimum diantara semua estimator unbiased & linier yang lain.

Dalam regresi linier sederhana, koefisien determinasi (R2) diartikan sebagai ukuran kemampuan semua variabel bebas dalam menjelaskan varians terikat. Karena koefisien determinasi (R2) merupakan kuadrat dari koefisien korelasi (r) maka dapat rumus koefisien determinasi (R2) sama dengan rumus koefisien korelasi (r) yang dikuadratkan. 

Misalkan jika diperoleh nilai koefisien korelasi sebesar 0.92 maka koefisien determinasinya adalah 0.85 di dapat dari (0.92)2. Artinya, kemampuan variabel bebas dalam menjelaskan varian-varian variabel terikatnya sebesar 85% atau masih terdapat sekitar 15% varias variabel terikat yang dijelaskan oleh faktor lain.

Langkah membuat regresi linear:

• Cari dulu apakah kedua variabel tersebut ada hubungan linear atau tidak
• Tentukan terlebih dahulu variabel independent (x) dan variabel dependennya(y)
• Membuat diagram pencar dari data x dan y
• Dari diagram pencar tersebut akan diperoleh gambaran pola tebaran x dan y.apakah membentuk hubungan linear?jika ya,maka model regresinya adalah regresi linear sederhana,kalau tidak linear bias dicari regresinya
• Menghitung a dan b
• Menghitung y^=a+bx, dimana y^= estimasi harga y jika x disubtitusikan kedalam persamaan regresi
• Membuat garis y^=a+bx  pada sumbu x dan y

Istilah dalam regresi linear:

• Koefisien Korelasi (r) adalah nilai yang menyatakan kuat atau tidaknya hubungan antara 2 variabel
• Standar error koefisien regresi (E) adalah ukuran dari ketepatan koefisien regresi dalam memprediksi nilai populasinya.Standar error diukur berdasarkan akar kuadrat dari deviasi atau varians koefisien regresi sampel dengan koefisien regresi populasi
• Koefisien determinasi regresi(R2) adalah 

1. Nilai yang menunjukkan seberapa besar pengurangan variasi dalam Y (variabel dependent) saat satu atau lebih X (variabel independent)  masuk kedalam model regresi. 
2. Besarnya sumbangan / andil dari variabel x terhadap variasi atau naik turunnya y.

• Konstanta (a) adalah perpotongan garis regresi dengan sumbu Y (nilai estimate jika x = 0)
• Koefisien arah dari regresi linear (b) adalah nilai yang menunjukkan seberapa besar perubahan nilai Y (variabel dependen) saat X (variabel independent) bertambah satu-satuan