Сильные тормоза при просмотре библиотеки

Доброго дня,
Отсканировал каталоги либрусека и флибусты. Все (например /web) открывается с жуткими тормозами, по 5-10 минут, даже главная страница.
ПК нормальный, 12ГБ RAM, CPU 2.7Ghz, база лежит на достаточно быстром массиве. В чем может быть причина?

Если вы тот с кем мы общались по E-mail и объем ваших архивов с книгами 1,5Тб, то причина в том, что к сожалению я не пытался оптимизировать sopds на таких объемах. SOPDS нормально переваривает к примеру 300-500Гб книг в архивах ZIP, но дальше скорость работы действительно сильно падает. К сожалению, в ближайшее время придется смирится с этим. Через месяцок, надеюсь, освободится немного времени и попробую выполнить какие-нибудь оптимизации.

Понятно, спасибо. В целом я нашел один вариант раздачи неплохой. Когда 2-3 сканируешь все равно миллион дублей, что неудобно. Видимо и особого смысла это тоже не имеет.

Оптимизация бы не помешала. . Да и возможность увидеть, где находится дубль, что бы в последствии удалить его.