Метод регрессии: Регрессионный анализ — Википедия – R — значит регрессия / Habr

Регре́ссия (лат. regressio — обратное движение, отход) в теории вероятностей и математической статистике — односторонняя стохастическая зависимость, устанавливающая соответствие между случайными переменными

Этот термин в статистике впервые был использован Френсисом Гальтоном (1886) в связи с исследованием вопросов наследования физических характеристик человека. В качестве одной из характеристик был взят рост человека; при этом было обнаружено, что в целом сыновья высоких отцов, что не удивительно, оказались более высокими, чем сыновья отцов с низким ростом. Более интересным было то, что разброс в росте сыновей был меньшим, чем разброс в росте отцов. Так проявлялась тенденция возвращения роста сыновей к среднему (

Допустим, имеется выборка из двумерного распределения пары случайных переменных (X, Y). Прямая линия в плоскости (x, y) была выборочным аналогом функции

g(x)=E(Y∣X=x).{\displaystyle g(x)=E(Y\mid X=x).}

В теории вероятностей под термином «регрессия» и понимают эту функцию, которая есть ни что иное как условное математическое ожидание случайной переменной Y при условии, что другая случайная переменная X приняла значение x. Если, например, пара (X, Y) имеет двумерное нормальное распределение с E(X)=μ₁, E(Y)=μ₂, var(X)=σ₁², var(Y)=σ₂

E(Y∣X=x)=μ2+ϱσ2σ1(x−μ1),{\displaystyle E(Y\mid X=x)=\mu _{2}+\varrho {\frac {\sigma _{2}}{\sigma _{1}}}(x-\mu _{1}),}

и дисперсией

var(Y∣X=x)=σ22(1−ϱ2).{\displaystyle \mathrm {var} (Y\mid X=x)=\sigma _{2}^{2}(1-\varrho ^{2}).}

В этом примере регрессия Y на X является линейной функцией. Если регрессия Y на X отлична от линейной, то приведённые уравнения – это линейная аппроксимация истинного уравнения регрессии.

В общем случае регрессия одной случайной переменной на другую не обязательно будет линейной. Также не обязательно ограничиваться парой случайных переменных. Статистические проблемы регрессии связаны с определением общего вида уравнения регрессии, построением оценок неизвестных параметров, входящих в уравнение регрессии, и проверкой статистических гипотез о регрессии^[3]. Эти проблемы рассматриваются в рамках регрессионного анализа.

Простым примером регрессии Y по X является зависимость между Y и X, которая выражается соотношением: Y=u(X)+ε, где u(x)=E(Y | X=x), а случайные величины X и ε независимы. Это представление полезно, когда планируется эксперимент для изучения функциональной связи y=u(x) между неслучайными величинами y и x. На практике обычно коэффициенты регрессии в уравнении y=u(x) неизвестны и их оценивают по экспериментальным данным.

Представим зависимость y от x в виде линейной модели первого порядка:

y=β0+β1x+ε.{\displaystyle y=\beta _{0}+\beta _{1}x+\varepsilon .}

Будем считать, что значения x определяются без ошибки, β₀ и β₁ — параметры модели, а ε — ошибка, распределение которой подчиняется нормальному закону с нулевым средним значением и постоянным отклонением σ². Значения параметров β заранее не известны и их нужно определить из набора экспериментальных значений (x_i, y_i), i=1, …, n. Таким образом мы можем записать:

yi^=b0+b1xi,i=1,…,n{\displaystyle {\widehat {y_{i}}}=b_{0}+b_{1}x_{i},i=1,\dots ,n}

где y^{\displaystyle {\widehat {y}}} означает предсказанное моделью значение y при данном x, b₀ и b₁ — выборочные оценки параметров модели. Определим также ei=yi−yi^{\displaystyle e_{i}=y_{i}-{\widehat {y_{i}}}} — значение ошибки аппроксимации для i{\displaystyle i}-го наблюдения.

Для вычисления параметров модели по экспериментальным данным зачастую используют различные программы, предназначенные для статистической обработки данных. Однако для этого простого случая не сложно выписать подробные формулы^[4][5].

Метод наименьших квадратов даёт следующие формулы для вычисления параметров данной модели и их отклонений:

b1=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2=cov(x,y)σx2;{\displaystyle b_{1}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}={\frac {\mathrm {cov} (x,y)}{\sigma _{x}^{2}}};}

b0=y¯−b1x¯;{\displaystyle b_{0}={\bar {y}}-b_{1}{\bar {x}};}

se2=∑i=1n(yi−y^)2n−2;{\displaystyle s_{e}^{2}={\frac {\sum _{i=1}^{n}(y_{i}-{\widehat {y}})^{2}}{n-2}};}

sb0=se1n+x¯2∑i=1n(xi−x¯)2;{\displaystyle s_{b_{0}}=s_{e}{\sqrt {{\frac {1}{n}}+{\frac {{\bar {x}}^{2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}};}

sb1=se1∑i=1n(xi−x¯)2,{\displaystyle s_{b_{1}}=s_{e}{\sqrt {\frac {1}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}},}

здесь средние значения определяются как обычно: x¯=∑i=1nxin{\displaystyle {\bar {x}}={\frac {\sum _{i=1}^{n}x_{i}}{n}}}, y¯=∑i=1nyin{\displaystyle {\bar {y}}={\frac {\sum _{i=1}^{n}y_{i}}{n}}} и s_e² обозначает остаточное отклонение регрессии, которое является оценкой дисперсии σ² в том случае, если модель верна.

Стандартные ошибки коэффициентов регрессии используются аналогично стандартной ошибке среднего — для нахождения доверительных интервалов и проверки гипотез. Используем, например, критерий Стьюдента для проверки гипотезы о равенстве коэффициента регрессии нулю, то есть о его незначимости для модели. Статистика Стьюдента: t=b/sb{\displaystyle t=b/s_{b}}. Если вероятность для полученного значения и n−2 степеней свободы достаточно мала, например, <0,05 — гипотеза отвергается. Напротив, если нет оснований отвергнуть гипотезу о равенстве нулю, скажем, b1{\displaystyle b_{1}} — есть основание задуматься о существовании искомой регрессии, хотя бы в данной форме, или о сборе дополнительных наблюдений. Если же нулю равен свободный член b0{\displaystyle b_{0}}, то прямая проходит через начало координат и оценка углового коэффициента равна

b=∑i=1nxiyi∑i=1nxi2{\displaystyle b={\frac {\sum _{i=1}^{n}x_{i}y_{i}}{\sum _{i=1}^{n}x_{i}^{2}}}},

а её стандартной ошибки

sb=se1∑i=1nxi2.{\displaystyle s_{b}=s_{e}{\sqrt {\frac {1}{\sum _{i=1}^{n}x_{i}^{2}}}}.}

Обычно истинные величины коэффициентов регрессии β₀ и β₁ не известны. Известны только их оценки b₀ и b₁. Иначе говоря, истинная прямая регрессии может пройти иначе, чем построенная по выборочным данным. Можно вычислить доверительную область для линии регрессии. При любом значении x соответствующие значения y распределены нормально. Средним является значение уравнения регрессии y^{\displaystyle {\widehat {y}}}. Неопределённость его оценки характеризуется стандартной ошибкой регрессии:

sy^=se1n+(x−x¯)2∑i=1n(xi−x¯)2;{\displaystyle s_{\widehat {y}}=s_{e}{\sqrt {{\frac {1}{n}}+{\frac {(x-{\bar {x}})^{2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}};}

Теперь можно вычислить 100⋅(1−α2){\displaystyle 100\cdot \left(1-{\frac {\alpha }{2}}\right)}-процентный доверительный интервал для значения уравнения регрессии в точке x:

y^−t(1−α/2,n−2)sy^<y<y^+t(1−α/2,n−2)sy^{\displaystyle {\widehat {y}}-t_{(1-\alpha /2,n-2)}s_{\widehat {y}}<y<{\widehat {y}}+t_{(1-\alpha /2,n-2)}s_{\widehat {y}}},

где t_{(1−α/2, n−2)} — t-значение распределения Стьюдента. На рисунке показана линия регрессии, построенная по 10 точкам (сплошные точки), а также 95%-я доверительная область линии регрессии, которая ограничена пунктирными линиями. С 95%-й вероятностью можно утверждать, что истинная линия находится где-то внутри этой области. Или иначе, если мы соберём аналогичные наборы данных (обозначены кружками) и построим по ним линии регрессии (обозначены голубым цветом), то в 95 случаях из 100 эти прямые не покинут пределов доверительной области. (Для визуализации кликните по картинке) Обратите внимание, что некоторые точки оказались вне доверительной области. Это совершенно естественно, поскольку речь идёт о доверительной области линии регрессии, а не самих значений. Разброс значений складывается из разброса значений вокруг линии регрессии и неопределённости положения самой этой линии, а именно:

sY=se1m+1n+(x−x¯)2∑i=1n(xi−x¯)2;{\displaystyle s_{Y}=s_{e}{\sqrt {{\frac {1}{m}}+{\frac {1}{n}}+{\frac {(x-{\bar {x}})^{2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}};}

Здесь m — кратность измерения y при данном x. И 100⋅(1−α2){\displaystyle 100\cdot \left(1-{\frac {\alpha }{2}}\right)}-процентный доверительный интервал (интервал прогноза) для среднего из m значений y будет:

y^−t(1−α/2,n−2)sY<y<y^+t(1−α/2,n−2)sY{\displaystyle {\widehat {y}}-t_{(1-\alpha /2,n-2)}s_{Y}<y<{\widehat {y}}+t_{(1-\alpha /2,n-2)}s_{Y}}.

На рисунке эта 95%-я доверительная область при m=1 ограничена сплошными линиями. В эту область попадает 95 % всех возможных значений величины y в исследованном диапазоне значений x.

Можно строго доказать, что, если условное матожидание E(Y∣X=x){\displaystyle E(Y\mid X=x)} некоторой двумерной случайной величины (X, Y) является линейной функцией от x{\displaystyle x}, то это условное матожидание обязательно представимо в виде E(Y∣X=x)=μ2+ϱσ2σ1(x−μ1){\displaystyle E(Y\mid X=x)=\mu _{2}+\varrho {\frac {\sigma _{2}}{\sigma _{1}}}(x-\mu _{1})}, где E(X)=μ₁, E(Y)=μ₂, var(X)=σ₁², var(Y)=σ₂², cor(X, Y)=ρ.

Более того, для уже упомянутой ранее линейной модели Y=β0+β1X+ε{\displaystyle Y=\beta _{0}+\beta _{1}X+\varepsilon } , где X{\displaystyle X} и ε{\displaystyle \varepsilon } — независимые случайные величины, а ε{\displaystyle \varepsilon } имеет нулевое матожидание (и произвольное распределение), можно доказать, что E(Y∣X=x)=β0+β1x{\displaystyle E(Y\mid X=x)=\beta _{0}+\beta _{1}x}. Тогда с помощью указанного ранее равенства можно получить формулы для β0{\displaystyle \beta _{0}} и β1{\displaystyle \beta _{1}}: β1=ϱσ2σ1{\displaystyle \beta _{1}=\varrho {\frac {\sigma _{2}}{\sigma _{1}}}},

β0=μ2−β1μ1{\displaystyle \beta _{0}=\mu _{2}-\beta _{1}\mu _{1}}.

Если откуда-то априори известно, что множество случайных точек на плоскости порождается линейной моделью, но с неизвестными коэффициентами β0{\displaystyle \beta _{0}} и β1{\displaystyle \beta _{1}}, можно получить точечные оценки этих коэффициентов по указанным формулам. Для этого в эти формулы вместо матожиданий, дисперсий и корреляции случайных величин X и Y нужно подставить их несмещенные оценки. Полученные формулы оценок в точности совпадут с формулами, выведенными на основе метода наименьших квадратов.

1. ↑ Фёрстер Э., Рёнц Б., Методы корреляционного и регрессионного анализа, 1983, с. 15.
2. ↑ БСЭ. Статья «Регрессия»
3. ↑ Справочник по прикладной статистике. В 2-х т. Т. 1: Пер. с англ. / Под ред. Э. Ллойда, У. Ледермана, Ю. Н. Тюрина. — М.: Финансы и статистика, 1989. — 510 с. — ISBN 5-279-00245-3
4. ↑ Лаваньини И., Маньо Ф., Сералья Р., Тральди П. Количественные методы в масс-спектрометрии — М.: Техносфера, 2008. — 176 с. — ISBN 978-5-94836-190-1; ISBN 978-0-470-02516-1 (англ.)
5. ↑ Сергиенко В. И., Бондарева И. Б. Математическая статистика в клинических исследованиях. — 2-е изд., перераб. и доп. — М.: ГЭОТАР-Медиа, 2006. — 304 с. — ISBN 5-9704-0197-8

• Фёрстер Э., Рёнц Б. Методы корреляционного и регрессионного анализа. Руководство для экономистов. — М.: Финансы и статистика, 1983. — 304 с. — (Библиотечка иностранных книг для экономистов и статистиков).

Как легко понять логистическую регрессию / .io corporate blog / Habr

Основная идея логистической регрессии

Основная идея логистической регрессии заключается в том, что пространство исходных значений может быть разделено линейной границей (т.е. прямой) на две соответствующих классам области. Итак, что же имеется ввиду под линейной границей? В случае двух измерений — это просто прямая линия без изгибов. В случае трех — плоскость, и так далее. Эта граница задается в зависимости от имеющихся исходных данных и обучающего алгоритма. Чтобы все работало, точки исходных данных должны разделяться линейной границей на две вышеупомянутых области. Если точки исходных данных удовлетворяют этому требованию, то их можно назвать линейно разделяемыми. Посмотрите на изображение.

Указанная разделяющая плоскость называется линейным дискриминантом, так как она является линейной с точки зрения своей функции, и позволяет модели производить разделение, дискриминацию точек на различные классы.

Если невозможно произвести линейное разделение точек в исходном пространстве, стоит попробовать преобразовать векторы признаков в пространство с большим количеством измерений, добавив дополнительные эффекты взаимодействия, члены более высокой степени и т.д. Использование линейного алгоритма в таком пространстве дает определенные преимущества для обучения нелинейной функции, поскольку граница становится нелинейной при возврате в исходное пространство.

Как происходит разделение

Важно отметить, что и  и  являются исходными переменными, а выходная переменная не является частью исходного пространства в отличие от метода линейной регрессии.

• лежит в области, ограниченной точками класса «+». Тогда , будет положительной, находясь где-то в пределах (0,). С математической точки зрения, чем больше величина этого значения, тем больше расстояние между точкой и границей. А это означает большую вероятность того, что принадлежит классу «+». Следовательно, будет находиться в пределах (0,5, 1].
• лежит в области, ограниченной точками класса «-«. Теперь, будет отрицательной, находясь в пределах (-, 0). Но, как и в случае с положительным значением, чем больше величина выходного значения по модулю, тем больше вероятность, что принадлежит классу «-«, и  находится в интервале [0, 0.5).
• лежит на самой границе. В этом случае, . Это означает, что модель действительно не может определить, принадлежит ли к классу «+» или к классу «-«. И в результате, будет равняться 0,5.

Обозначим вероятностью происходящего события . Тогда, отношение шансов () определяется из , а это — отношение вероятностей того, произойдет ли событие или не произойдет. Очевидно, что вероятность и отношение шансов содержат одинаковую информацию. Но, в то время как находится в пределах от 0 до 1, находится в пределах от 0 до .

Это значит, что необходимо еще одно действие, так как используемая нами граничная функция выдает значения от — до . Далее следует вычислить логарифм , что называется логарифмом отношения шансов. В математическом смысле, имеет пределы от 0 до , а — от — до .

Таким образом, мы получили способ интерпретации результатов, подставленных в граничную функцию исходных значений. В используемой нами модели граничная функция определяет логарифм отношения шансов класса «+». В сущности, в нашем двухмерном примере, при наличии точки , алгоритм логистической регрессии будет выглядеть следующим образом:

Как обучается функция

если является частью класса «+», (здесь — выходное значение, полученное из модели логистической регрессии). Если является частью класса «-«, .

Скажем проще — механизм обучения логистической регрессии старается максимизировать среднее значение . А название этого метода — метод максимального правдоподобия. Если вы не математик, то вы сможете понять каким образом происходит оптимизация, только если у вас есть хорошее представление о том, что именно оптимизируется.

Конспект

1. Логистическая регрессия — одно из статистических методов классификации с использованием линейного дискриминанта Фишера.
2. Значением функции является вероятность того, что данное исходное значение принадлежит к определенному классу.
3. механизм обучения логистической регрессии старается максимизировать среднее значение .

Базовые принципы машинного обучения на примере линейной регрессии

Мне выпала честь сделать первый пост, и я, пожалуй, отклонюсь от своей привычной нейросетевой тематики и сделаю пост о базовых понятиях машинного обучения на примере одной из самых простых и самых полезных моделей — линейной регрессии. Я буду использовать язык питон для демонстрации экспериментов и отрисовки графиков, все это вы с легкостью сможете повторить на своем компьютере. Поехали.

Формализмы

Говорят, что программа обучается на опыте относительно класса задач в смысле меры качества , если при решении задачи качество, измеряемое мерой , возрастает при демонстрации нового опыта .

У нас есть задача, данные и способ оценки программы/модели. Давайте определим, что такое модель, и что значит обучить модель. Предиктивная модель – это параметрическое семейство функций (семейство гипотез):

• — множество параметров

1. обучение: ;
2. применение: .

Линейная регрессия

def generate_wave_set(n_support=1000, n_train=25, std=0.3):
    data = {}
    # выберем некоторое количество точек из промежутка от 0 до 2*pi
    data['support'] = np.linspace(0, 2*np.pi, num=n_support)
    # для каждой посчитаем значение sin(x) + 1
    # это будет ground truth
    data['values'] = np.sin(data['support']) + 1
    # из support посемплируем некоторое количество точек с возвратом, это будут признаки
    data['x_train'] = np.sort(np.random.choice(data['support'], size=n_train, replace=True))
    # опять посчитаем sin(x) + 1 и добавим шум, получим целевую переменную
    data['y_train'] = np.sin(data['x_train']) + 1 + np.random.normal(0, std, size=data['x_train'].shape[0])
    return data

data = generate_wave_set(1000, 250)

print 'Shape of X is', data['x_train'].shape
print 'Head of X is', data['x_train'][:10]

margin = 0.3
plt.plot(data['support'], data['values'], 'b--', alpha=0.5, label='manifold')
plt.scatter(data['x_train'], data['y_train'], 40, 'g', 'o', alpha=0.8, label='data')
plt.xlim(data['x_train'].min() - margin, data['x_train'].max() + margin)
plt.ylim(data['y_train'].min() - margin, data['y_train'].max() + margin)
plt.legend(loc='upper right', prop={'size': 20})
plt.title('True manifold and noised data')
plt.xlabel('x')
plt.ylabel('y')
plt.show()

А теперь реализуем алгоритм обучения, используя магию NumPy:

# добавим колонку единиц к единственному столбцу признаков
X = np.array([np.ones(data['x_train'].shape[0]), data['x_train']]).T
# перепишем, полученную выше формулу, используя numpy
# шаг обучения - в этом шаге мы ищем лучшую гипотезу h
w = np.dot(np.dot(np.linalg.inv(np.dot(X.T, X)), X.T), data['y_train'])
# шаг применения: посчитаем прогноз
y_hat = np.dot(w, X.T)

margin = 0.3
plt.plot(data['support'], data['values'], 'b--', alpha=0.5, label='manifold')
plt.scatter(data['x_train'], data['y_train'], 40, 'g', 'o', alpha=0.8, label='data')

plt.plot(data['x_train'], y_hat, 'r', alpha=0.8, label='fitted')

plt.xlim(data['x_train'].min() - margin, data['x_train'].max() + margin)
plt.ylim(data['y_train'].min() - margin, data['y_train'].max() + margin)
plt.legend(loc='upper right', prop={'size': 20})
plt.title('Fitted linear regression')
plt.xlabel('x')
plt.ylabel('y')
plt.show()

Как мы видим, линия не очень-то совпадает с настоящей кривой. Среднеквадратичная ошибка равна 0.26704 условных единиц. Очевидно, что если бы вместо линии мы использовали кривую третьего порядка, то результат был бы куда лучше. И, на самом деле, с помощью линейной регрессии мы можем обучать нелинейные модели.

Полиномиальная регрессия

# список степеней p полиномов, который мы протестируем
degree_list = [1, 2, 3, 5, 7, 10, 13]

cmap = plt.get_cmap('jet')
colors = [cmap(i) for i in np.linspace(0, 1, len(degree_list))]

margin = 0.3
plt.plot(data['support'], data['values'], 'b--', alpha=0.5, label='manifold')
plt.scatter(data['x_train'], data['y_train'], 40, 'g', 'o', alpha=0.8, label='data')

w_list = []
err = []
for ix, degree in enumerate(degree_list):
    # список с предрасчитанными степенями признака
    dlist = [np.ones(data['x_train'].shape[0])] + \
                map(lambda n: data['x_train']**n, range(1, degree + 1))
    X = np.array(dlist).T
    w = np.dot(np.dot(np.linalg.inv(np.dot(X.T, X)), X.T), data['y_train'])
    w_list.append((degree, w))
    y_hat = np.dot(w, X.T)
    err.append(np.mean((data['y_train'] - y_hat)**2))
    plt.plot(data['x_train'], y_hat, color=colors[ix], label='poly degree: %i' % degree)

plt.xlim(data['x_train'].min() - margin, data['x_train'].max() + margin)
plt.ylim(data['y_train'].min() - margin, data['y_train'].max() + margin)
plt.legend(loc='upper right', prop={'size': 20})
plt.title('Fitted polynomial regressions')
plt.xlabel('x')
plt.ylabel('y')
plt.show() 

На графике мы можем наблюдать сразу два феномена. Пока не обращайте внимание на 13-ую степень полинома. При увеличении степени полинома, средняя ошибка продолжает уменьшаться, хотя мы вроде были уверены, что именно кубический полином должен лучше всего описывать наши данные.

Вернемся к полиному 13-ой степени, с ним явно что-то не так. По идее, мы ожидаем, что полином 13-ой степени будет описывать тренировочный набор данных еще лучше, но результат показывает, что это не так. Из курса линейной алгебры мы помним, что обратная матрица существует только для несингулярных матриц, т.е. тех, у которых нет линейной зависимости колонок или строк. В методе наименьших квадратов нам необходимо инвертировать следующую матрицу: . Для тестирования на линейную зависимость или мультиколлинеарность можно использовать число обусловленности матрицы. Один из способов оценки этого числа для матриц — это отношение модуля максимального собственного числа матрицы к модулю минимального собственного числа. Большое число обусловленности матрицы, или же наличие одного или нескольких собственных чисел близких к нулю свидетельствует о наличии мультиколлинеарности (или нечеткой мультиколлиниарности, когда ). Такие матрицы называются слабо обусловленными, а задача — некорректно поставленной. При инвертировании такой матрицы, решения имеют большую дисперсию. Это проявляется в том, что при небольшом изменении начальной матрицы, инвертированные будут сильно отличаться друг от друга. На практике это всплывет тогда, когда к 1000 семплов, вы добавите всего один, а решение МНК будет совсем другим. Посмотрим на собственные числа полученной матрицы, нас там ждет сюрприз:

np.linalg.eigvals(np.cov(X[:, 1:].T))

Out[10]:
array([  
         9.29965299e+17+0.j        ,   4.04567033e+13+0.j        ,
         5.44657111e+09+0.j        ,   3.54104756e+06+0.j        ,
         8.36745166e+03+0.j        ,   6.82745279e+01+0.j        ,
         8.88434986e-01+0.j        ,   2.42827315e-02+0.00830052j,
         2.42827315e-02-0.00830052j,   1.17621840e-03+0.j        ,
         1.72254789e-04+0.j        ,  -5.68384880e-06+0.j        ,
         2.39611454e-07+0.j        ])

UPDATE (один из членов ложи по имени Андрей Оськин, с ником в слаке skoffer, без аккаунта на хабре, подсказывает):

Есть только одно замечание — не надо пользоваться формулой `(X^T X^{-1}) X^T` для вычисления коэффициентов линейной регрессии. Проблема с расходящимися значениями хорошо известна и на практике используют `QR` или `SVD`.

Ну, то есть вот такой кусок кода даст вполне приличный результат:

degree = 13
dlist = [np.ones(data['x_train'].shape[0])] + \
                list(map(lambda n: data['x_train']**n, range(1, degree + 1)))
X = np.array(dlist).T

q, r = np.linalg.qr(X)

y_hat = np.dot(np.dot(q, q.T), data['y_train'])
plt.plot(data['x_train'], y_hat, label='poly degree: %i' % degree)

Регуляризация

• — это коэффициент регуляризации, то, насколько сильно мы хотим учитывать условие

Линейная регрессия — Википедия

Линейная регрессия (англ. Linear regression) — используемая в статистике регрессионная модель зависимости одной (объясняемой, зависимой) переменной y{\displaystyle y} от другой или нескольких других переменных (факторов, регрессоров, независимых переменных) x{\displaystyle x} с линейной функцией зависимости.

Модель линейной регрессии является часто используемой и наиболее изученной в эконометрике. А именно изучены свойства оценок параметров, получаемых различными методами при предположениях о вероятностных характеристиках факторов, и случайных ошибок модели. Предельные (асимптотические) свойства оценок нелинейных моделей также выводятся исходя из аппроксимации последних линейными моделями. Необходимо отметить, что с эконометрической точки зрения более важное значение имеет линейность по параметрам, чем линейность по факторам модели.

Регрессионная модель

y=f(x,b)+ε, E(ε)=0{\displaystyle y=f(x,b)+\varepsilon ,~E(\varepsilon )=0},

где b{\displaystyle b} — параметры модели, ε{\displaystyle \varepsilon } — случайная ошибка модели; называется линейной регрессией, если функция регрессии f(x,b){\displaystyle f(x,b)} имеет вид

f(x,b)=b0+b1x1+b2x2+…+bkxk{\displaystyle f(x,b)=b_{0}+b_{1}x_{1}+b_{2}x_{2}+…+b_{k}x_{k}},

где bj{\displaystyle b_{j}} — параметры (коэффициенты) регрессии, xj{\displaystyle x_{j}} — регрессоры (факторы модели), k — количество факторов модели^[1].

Коэффициенты линейной регрессии показывают скорость изменения зависимой переменной по данному фактору, при фиксированных остальных факторах (в линейной модели эта скорость постоянна):

∀j bj=∂f∂xj=const{\displaystyle \forall j\quad ~b_{j}={\frac {\partial f}{\partial x_{j}}}=const}

Параметр b0{\displaystyle b_{0}}, при котором нет факторов, называют часто константой. Формально — это значение функции при нулевом значении всех факторов. Для аналитических целей удобно считать, что константа — это параметр при «факторе», равном 1 (или другой произвольной постоянной, поэтому константой называют также и этот «фактор»). В таком случае, если перенумеровать факторы и параметры исходной модели с учетом этого (оставив обозначение общего количества факторов — k), то линейную функцию регрессии можно записать в следующем виде, формально не содержащем константу:

f(x,b)=b1x1+b2x2+…+bkxk=∑j=1kbjxj=xTb{\displaystyle f(x,b)=b_{1}x_{1}+b_{2}x_{2}+\ldots +b_{k}x_{k}=\sum _{j=1}^{k}b_{j}x_{j}=x^{T}b},

где xT=(x1,x2,…,xk){\displaystyle x^{T}=(x_{1},x_{2},…,x_{k})} — вектор регрессоров, b=(b1,b2,…,bk)T{\displaystyle b=(b_{1},b_{2},\ldots ,b_{k})^{T}} — вектор-столбец параметров (коэффициентов).

Линейная модель может быть как с константой, так и без константы. Тогда в этом представлении первый фактор либо равен единице, либо является обычным фактором соответственно.

Парная и множественная регрессия[править | править код]

В частном случае, когда фактор единственный (без учёта константы), говорят о парной или простейшей линейной регрессии:

yt=a+bxt+εt{\displaystyle y_{t}=a+bx_{t}+\varepsilon _{t}}

Когда количество факторов (без учёта константы) больше 1-го, то говорят о множественной регрессии:

Y=b0+b1xi1+…+bjxij+…+bkxik+ei{\displaystyle Y=b_{0}+b_{1}x_{i1}+…+b_{j}x_{ij}+…+b_{k}x_{ik}+e_{i}}

Модель затрат организации (без указания случайной ошибки)[править | править код]

TC=FC+VC=FC+v⋅Q{\displaystyle TC=FC+VC=FC+v\cdot Q}

Простейшая модель потребительских расходов (Кейнс)[править | править код]

C=a+bY+ε{\displaystyle C=a+bY+\varepsilon }

• C{\displaystyle C} — потребительские расходы
• Y{\displaystyle Y} — располагаемый доход
• b{\displaystyle b} — «предельная склонность к потреблению»
• a{\displaystyle a} — автономное (не зависящее от дохода) потребление.

Пусть дана выборка объёмом n наблюдений переменных y и x. Обозначим t — номер наблюдения в выборке. Тогда yt{\displaystyle y_{t}} — значение переменной y в t-м наблюдении, xtj{\displaystyle x_{tj}} — значение j-го фактора в t-м наблюдении. Соответственно, xtT=(xt1,xt2,…,xtk){\displaystyle x_{t}^{T}=(x_{t1},x_{t2},…,x_{tk})} — вектор регрессоров в t-м наблюдении. Тогда линейная регрессионная зависимость имеет место в каждом наблюдении:

yt=b1xt1+b2xt2+…+bkxtk=∑j=1kbjxtj=xtTb+εt , E(εt)=0 , t=1..n{\displaystyle y_{t}=b_{1}x_{t1}+b_{2}x_{t2}+…+b_{k}x_{tk}=\sum _{j=1}^{k}b_{j}x_{tj}=x_{t}^{T}b+\varepsilon _{t}~,~E(\varepsilon _{t})=0~,~t=1..n}

Введём обозначения:

y=(y1y2…yn){\displaystyle y={\begin{pmatrix}y_{1}\\y_{2}\\…\\y_{n}\\\end{pmatrix}}} — вектор наблюдений зависимой переменой y

X=(x11x12…x1kx21x22…x2k…xn1xn2…xnk){\displaystyle X={\begin{pmatrix}x_{11}&x_{12}&…&x_{1k}\\x_{21}&x_{22}&…&x_{2k}\\…\\x_{n1}&x_{n2}&…&x_{nk}\\\end{pmatrix}}} — матрица факторов.

ε=(ε1ε2…εn){\displaystyle \varepsilon ={\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\…\\\varepsilon _{n}\\\end{pmatrix}}} — вектор случайных ошибок.

Тогда модель линейной регрессии можно представить в матричной форме:

y=Xb+ε{\displaystyle y=Xb+\varepsilon }

В классической линейной регрессии предполагается, что наряду со стандартным условием E(εt)=0{\displaystyle E(\varepsilon _{t})=0} выполнены также следующие предположения (условия Гаусса-Маркова):

1. Гомоскедастичность (постоянная или одинаковая дисперсия) или отсутствие гетероскедастичности случайных ошибок модели: V(εt)=σ2=const{\displaystyle V(\varepsilon _{t})=\sigma ^{2}=const}
2. Отсутствие автокорреляции случайных ошибок: ∀i,j, i≠j  cov(εi,εj)=0{\displaystyle \forall i,j,~i\not =j~~cov(\varepsilon _{i},\varepsilon _{j})=0}

Данные предположения в матричном представлении модели формулируются в виде одного предположения о структуре ковариационной матрицы вектора случайных ошибок: V(ε)=σ2In{\displaystyle V(\varepsilon )=\sigma ^{2}I_{n}}

Помимо указанных предположений, в классической модели факторы предполагаются детерминированными (нестохастическими). Кроме того, формально требуется, чтобы матрица X{\displaystyle X} имела полный ранг (k{\displaystyle k}), то есть предполагается, что отсутствует полная коллинеарность факторов.

При выполнении классических предположений обычный метод наименьших квадратов позволяет получить достаточно качественные оценки параметров модели, а именно: они являются несмещёнными, состоятельными и наиболее эффективными оценками.

• Е.З. Демиденко. Линейная и нелинейная регрессия. — М.: Финансы и статистика, 1981. — 302 с.
• Дж. Себер. Линейный регрессионный анализ. — М.: Мир, 1980. — 456 с. — 13 700 экз.