Автор: Maxim Smirnov, <ms@compression.ru>
SPb, 16 апреля 2003 года в 19:37:50
В ответ на : Re: Вопрос по контекстному моделированию от FAL
в 16 апреля 2003 года в 19:28:52:
> > -- чему учить;
> Ну, я так понимаю, учить надо способности предсказания символов на основе уже виденных контекстов. То есть, сетка должна сказать, ага, мол, мы видели этот контекст уже сто раз и всегда потом шел символ такой-то, так выставим ему 0.9 вероятности а остальным раздадим поровну 0.1 :)
Вот-вот. А что такое здесь
"контекст" ? :-|
> > -- как учить;
> Это вопрос. Адаптивное обучение имеет недостатки - довольно медленная сходимость, большое время на обучение и большой объем памяти. Однако, что если мы пакуем типичные данные, скажем, текст. И тогда можно теоретически обучить сетку в оффлайне и пользоваться уже готовыми ее "знаниями". Но тут конечно оптимальности вряд ли можно ожидать.
И чем это отличается от пулемета,
тьфу, статического ППМа?
> > -- на чем учить.
> На типичных данных, либо, в адаптивном варианте - на уже просмотренных данных.
> > А реального кодера кроме ANN Mahoney
> > я не видел. > Я просмотрел его кодеры, работают они довольно быстро и памяти требуют не столь много, как некоторые ppm. Однако, сжатие на уровне bzip2 и rar, которым особой памяти не надо.
bzip2 и rar вполне себе прилично
кушают :-)
> Но тут вот какой вопрос - не меньше ли нужно кодеру на НС памяти, чем кодеру ppm? Ведь структура нейросети как бы замкнута на себя, размер занимаемой памяти фиксирован и не растет со временем, тогда как в ppm требуется динамическое создание все новых моделей. Или я не так понимаю?
Если мы не режем связи, слои,
нейроны и не меняем функцию/пороги
активации и проч., то оно конечно
так :-)
|