Re: Вопрос по контекстному моделированию


Сайт о сжатии >> Форум #Компрессор# >> [Ответить] [Ответы]

Автор: Maxim Smirnov, <ms@compression.ru>
SPb, 16 апреля 2003 года в 19:37:50

В ответ на : Re: Вопрос по контекстному моделированию от FAL в 16 апреля 2003 года в 19:28:52:



> > -- чему учить;
> Ну, я так понимаю, учить надо способности предсказания символов на основе уже виденных контекстов. То есть, сетка должна сказать, ага, мол, мы видели этот контекст уже сто раз и всегда потом шел символ такой-то, так выставим ему 0.9 вероятности а остальным раздадим поровну 0.1 :)


Вот-вот. А что такое здесь
"контекст" ? :-|


> > -- как учить;
> Это вопрос. Адаптивное обучение имеет недостатки - довольно медленная сходимость, большое время на обучение и большой объем памяти. Однако, что если мы пакуем типичные данные, скажем, текст. И тогда можно теоретически обучить сетку в оффлайне и пользоваться уже готовыми ее "знаниями". Но тут конечно оптимальности вряд ли можно ожидать.


И чем это отличается от пулемета,
тьфу, статического ППМа?


> > -- на чем учить.
> На типичных данных, либо, в адаптивном варианте - на уже просмотренных данных.

> > А реального кодера кроме ANN Mahoney
> > я не видел.

> Я просмотрел его кодеры, работают они довольно быстро и памяти требуют не столь много, как некоторые ppm. Однако, сжатие на уровне bzip2 и rar, которым особой памяти не надо.


bzip2 и rar вполне себе прилично
кушают :-)


> Но тут вот какой вопрос - не меньше ли нужно кодеру на НС памяти, чем кодеру ppm? Ведь структура нейросети как бы замкнута на себя, размер занимаемой памяти фиксирован и не растет со временем, тогда как в ppm требуется динамическое создание все новых моделей. Или я не так понимаю?


Если мы не режем связи, слои,
нейроны и не меняем функцию/пороги
активации и проч., то оно конечно
так :-)

Ответы:



Ответить на это сообщение

Тема:

Имя (желательно полное):

E-Mail:

URL:

Город:

Страна:

Вежливый и подробный комментарий:
(Форматируйте его, пожалуйста, как почту - короткими строками
Еnter в конце строки, пустая строка между параграфами).

Пожалуйста, заполните все поля.
И не нажимайте по два раза на кнопку! Дождитесь ответа сервера.