Форум vMind.ru

Первый пермский форум по виртуализации
Текущее время: 03 апр 2020, 06:43

Часовой пояс: UTC+05:00




Начать новую тему  Ответить на тему  [ 24 сообщения ]  На страницу Пред. 1 2 3
Автор Сообщение
СообщениеДобавлено: 15 янв 2011, 14:32 
Не в сети

Зарегистрирован: 08 янв 2011, 23:33
Сообщения: 453
Благодарил (а): 10 раз.
Поблагодарили: 5 раз.
в свое время нашел на wasm
Имею честь предложить для тестирования и для игрищ свою незатейливую консолевую программу для помехоустойчивого кодирования файлов.

Недостатки:
1) Консольное приложение без GUI, три страницы ключей для вызова =)))
2) Однопроцессорная
3) Однопоточная, загрузка и счет не разделены на разные потоки, в результате чего при кодировании DVD теряется 5-10 минут на подкачку, когда вычисления прерываются
4) Простейшая “модель памяти” – матрица сидит в памяти целиком, а вектора-сообщения забивают оставшуюся память под завязку, никакой фрагментации матрицы-векторов с учетом размера доступного RAM, КЕШ-памяти, размера блока и файлов не происходит. Самоадаптации проги к количеству наличийствующих разных иерархий памяти тоже не происходит.
5) Программа использует файлы подкачки гигантских размеров, подстать нужен второй пустой HDD

Достоинства:
1) Консоль запрограммирована на распознание отдельной клавиши, Enter жать не придется =)))
2) Программа использует SSE2 и существенно ускоряется от его присутствия в процессоре
3) Реализован не один как у Айса и Пара алгоритм RS16V, а целых пять алгоритмов, из которых четыре полностью независимы и используют совершенно разный код, а один различается только матрицей. Их скорость работы в разы и в десятки раз превышает RS16V. Но они нужны все, т.к. каждый из них лучше для каких-то определенных целей, нельзя оставить только один алгоритм и упразднить все остальные.
4) Наконец-то реализован Reed-Solomon 32-бит вместо 16-битного RS16V. Теперь мощь одного проца используется целиком, а не на половину. Формальное требование в 16Гигов RAMа успешно преодолено. И конечно, RS32 ничего бы не стоил, если бы он тормозил в сравнении с RS16. Как и полагается, реализованный RS32 работает в ДВА раза быстрее элементарно из-за размерности шины-регистра. Самый быстрый в мире релиз кодов Рида-Соломона теперь у меня, а не у Айса.
5) Хотя прога и использует файлы подкачки, но зато открыто и можно указать путь для временных рабочих файлов. А вот Айс и Пар используют файлы подкачки не всегда, но зато втихоря и не известно где они лежат и хватит ли там места.


Ввиду неустранимых недостатков, перечисленных выше, прога не будет развиваться в сторону юзабилити, драг-н-дроп, всплывающих подсказок и SMS-копилок. Пусть этим занимаются другие.

Но она будет развиваться в направлении безошибочности и устойчивости.
Все воспроизводимые глюки, которые можно словить с небольшим набором файлов под отладчиком, будут по возможности исправлены. Так что тестируйте, играйтесь так сказать. Бенч-марки прилагаются, не все так плохо. В сравнении с Айсом и Паром можно получить выигрыш в разы и в десятки раз даже на живых многогиговых тестах. Торопитесь с тестированием! Не пройдет и полугода, как Айсы и Пары спиндюрят все представленные новые алгоритмы без всякой благодарности и указания первоисточника. Тогда тестировать будет уже нечего…

Для работы с подобными программами необходимо иметь представление о томах.
Том (или блок) – наименьшая единица информации, целостность которой контролируется целиком и которая также подлежит полному исправлению без конкретизации, сколько именно, какой инфы там искажено или утрачено. Изменен ли один бит, или том потерян целиком – результат совершенно один и тот же – том считается полностью утраченным. Обычный размер тома – несколько метров.
Том данных – возникает при виртуальном разбиении исходных файлов на участки по размеру тома
Том коррекции – возникает при умножении томов данных на матрицу кодирования.
При декодировании любой том коррекции может заменить утраченный том данных.
Экстра-Том, Лишний том коррекции, запасной том коррекции – сохранный том коррекции, найденный сверх необходимого числа утраченных блоков данных. Если утрачено к примеру 5 блоков данных, а найдено 7 блоков коррекции, то мы будем иметь 2 экстра-блока. Экстра блоки требуются для некоторых алгоритмов включенных в программу, обычно 30 штук. Много это или мало? Если вместо 500 блоков коррекции произвести 530 их штук так чтобы 30 штук было запасных – и при этом быстродействие возрастет в 4 раза – то почему бы и нет если есть место?

Чем больше число томов, тем более запутанные и раздробленные ошибки может исправлять программа (а не только подряд идущие), но тем больше время счета и количество необходимой памяти под матрицу.

Успехов в тестировании!!!
Канонический сырец кодека Рида-Соломона RS16C прилагается для любознательных.
Канонический - без малейшей оптимизации.


Вернуться к началу
СообщениеДобавлено: 15 янв 2011, 14:57 
Не в сети

Зарегистрирован: 06 янв 2011, 00:27
Сообщения: 471
Благодарил (а): 14 раз.
Поблагодарили: 18 раз.
http://www.wasm.ru/forum/viewtopic.php?id=29639&p=11


Вернуться к началу
СообщениеДобавлено: 15 янв 2011, 15:14 
Не в сети

Зарегистрирован: 06 янв 2011, 00:27
Сообщения: 471
Благодарил (а): 14 раз.
Поблагодарили: 18 раз.
dim-soft писал(а):
Mr.Aloof писал(а):
Скидываем кеши чз sync, запускаем снапшот чз vshadow и монтируем его как native диск чз dosdev. Ну а дальше чего хотим, то и делаем с ним...

PS: Если чесно, возьня с ntbackup меня напрягает. Его конкретная заточенность под ленточные носители очень мешает...


про vshadow и dosdev знаю и использовал для копирования работающей dbf 1С 7.7 а вот что есть sync ?

ntbackup это уходящее, в 2008 его уже нет


Положа руку на сердце, NTBackup мне нравился больше, чем Windows Server Backup.
Из плюсов WSB - поблочное копирование на DAS/SAN ресурсы. Из минусов - больший геморрой с обработкой логов и копированием на NAS!


Вернуться к началу
СообщениеДобавлено: 15 янв 2011, 15:17 
Не в сети

Зарегистрирован: 08 янв 2011, 23:33
Сообщения: 453
Благодарил (а): 10 раз.
Поблагодарили: 5 раз.
а мне нравиться бекапиться в vhd - с него можно потом и запуститься (2008R2)


Вернуться к началу
Показать сообщения за:  Поле сортировки  
Начать новую тему  Ответить на тему  [ 24 сообщения ]  На страницу Пред. 1 2 3

Часовой пояс: UTC+05:00


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 2 гостя


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Создано на основе phpBB® Forum Software © phpBB Limited
Русская поддержка phpBB