Re: Вопрос по контекстному моделированию

Имя (желательно полное):

E-Mail:

URL:

Город:

Страна:

Вежливый и подробный комментарий:
(Форматируйте его, пожалуйста, как почту - короткими строками
Еnter в конце строки, пустая строка между параграфами).
> > Массу беспонтовых статей написал > > некий Schmidhuber. Можно посмотреть > > на http://citeseer.nj.nec.com > Ага, погляжу. > > -- чему учить; > Ну, я так понимаю, учить надо способности предсказания символов на основе уже виденных контекстов. То есть, сетка должна сказать, ага, мол, мы видели этот контекст уже сто раз и всегда потом шел символ такой-то, так выставим ему 0.9 вероятности а остальным раздадим поровну 0.1 :) > > -- как учить; > Это вопрос. Адаптивное обучение имеет недостатки - довольно медленная сходимость, большое время на обучение и большой объем памяти. Однако, что если мы пакуем типичные данные, скажем, текст. И тогда можно теоретически обучить сетку в оффлайне и пользоваться уже готовыми ее "знаниями". Но тут конечно оптимальности вряд ли можно ожидать. > > -- на чем учить. > На типичных данных, либо, в адаптивном варианте - на уже просмотренных данных. > > А реального кодера кроме ANN Mahoney > > я не видел. > Я просмотрел его кодеры, работают они довольно быстро и памяти требуют не столь много, как некоторые ppm. Однако, сжатие на уровне bzip2 и rar, которым особой памяти не надо. > Но тут вот какой вопрос - не меньше ли нужно кодеру на НС памяти, чем кодеру ppm? Ведь структура нейросети как бы замкнута на себя, размер занимаемой памяти фиксирован и не растет со временем, тогда как в ppm требуется динамическое создание все новых моделей. Или я не так понимаю?

Пожалуйста, заполните все поля.
И не нажимайте по два раза на кнопку! Дождитесь ответа сервера.

[an error occurred while processing this directive]