Вообще даже для такой банальной вещи, как линейнай авторегрессия, можно обнаружить пару любопытных закономерностей. Например, близость предсказанного к реальным значениям как функция от числа нейронов имеет явно выраженный максисум, и нейросеть работает существенно лучше, если ей нужно предсказывать вещи после того набора значений, который уже был.
Например, если брать функцию y = 0.1
sin(0.3 x) + 0.5 на двух разных интервалах (синенькое — обучающие данные, зелененькое — как должно быть дальше, красненькое — как предсказала сеть):
[1..20]: для сети из 4 нейронов:
ompldr.org , для 7 уже хуже:
ompldr.org , для 16 ваще ужас:
ompldr.org
[1..25]: для сети из 4 нейронов:
ompldr.org , для 11-13 ваще ништяк:
ompldr.org и
ompldr.org а для 21 уже ваще по пизде идет:
ompldr.org . Переобучение, чо.
Ну и начиная с некоторого числа нейронов метод Видроу-Хоффа начинает сходиться, с одной стороны, гораздо (на порядок-другой) быстрее, с другой — немного меняет вид сходимости. Тоже мог бы засрать графиками, но всем похуй же.
Voker57