Особенности OPDS???

6 years 4 months ago #131 by rpin
rpin replied the topic: Особенности OPDS???
Вот то, что Вы просили выше по поводу долгой отработки запроса - пример картинка из  phpmyadmin c запросом, который выполнялся секунд сорок - запрос о выборке 169 авторов.

Attachment IMG_20140303_000939.jpg not found



Кстати - попробовал пользоваться разными opds-клиентами - лучше и быстрее  всего (имхо) работает cool-reader, существенно хуже работает zx-reader, и совсем плохо fbreader. Не знаю почему, но fbreader поставил антирекорд - некоторые запросы не отрабатывались, а просто отваливался по тайм-ауту...
Attachments:

Please Войти or Create an account to join the conversation.

  • rpin
  • rpin's Avatar Topic Author
  • Offline
  • Осваиваюсь на форуме
  • Осваиваюсь на форуме
More
6 years 4 months ago #135 by mitshel
mitshel replied the topic: Особенности OPDS???
В точности такой запрос у меня выполняется чуть больше одной секунды.
А сколько у Вас книг в базе?
Да, и попробуйте новую версию там этот запрос несколько изменен.

Please Войти or Create an account to join the conversation.

  • mitshel
  • mitshel's Avatar
  • Offline
  • Администратор
  • Администратор
More
6 years 4 months ago - 6 years 4 months ago #137 by rpin
rpin replied the topic: Особенности OPDS???
Я использую sopds для домашнего зеркала lib.rus.ec  - регулярно (тьфу-тьфу-тьфу) обновляется, новинки с задержкой примерно месяц, сейчас в ней около 270 000 fb2 книг - меня лично устраивает абсолютно...

Сейчас поставил версию 0.13, снес старую базу, создал новую, запустил сканирование...
Скрипт SPEED почему-то не работает, посчитал примерно - получается скорость сканирования примерно 1000-1100 книг в минуту - т.е. фактически плановое время сканирования 4,5 - 5 часов!!! Это ПРОРЫВ :woohoo: :woohoo: :woohoo:  - после суточного (24 часа!!!!) сканирования на версии 0.12. 

Попробовал во время сканирования подергать базу из CoolReader-a - на первый взгляд, с загрузкрой процессора NAS на 96%
отдает списки вполне бодро (так во всяком случае показалось).
Очень понравилась идея с разделением на русские, английские и другие - стало гораздо удобнее.
Здорово выглядит текстовое описание книги, который  нужно немного изменить - вставить разделительный символ, например " | ", чтобы выглядело так, а то выводится слитно:
Назавание книги: XXXXXX XXXXXXX | Автор(ы): YYYYYYY YYY
И этот описание нужно выводить ДО аннотации, а то она бывает достаточно длинной и не хватает места для описания (во всяком случае на CoolReader это так)

После сканирования посмотрю как будет отдавать на ненагруженном процессоре...

По поводу вывода первой заглавной, второй маленькой (если я правильно понял, то что предлагает уважаемый Conrad) - резко возражаю - на мой взляд восприятие ДВух заглавный букв гораздо ярче и доступнее, до тех пор пока не сформировано полностью слово, вот тогда разумнее писать Заглавную И Маленькую (имхо)

Да, еще некая хотелка - можно ли в процессе сканирования книг, выводить, например, количество сосканированных книг без скролинга, а просто например, раз в минуту в одно и тоже место. Но это нужно, если не особо увеличивает скорость сканирования...

Но уже сейчас примите благодарность - СПАСИБО!!!

4 марта 15-00
Вот попробовал работу SOPDS в "штатном" режиме - особой нагрузки на NAS нет, отзывчивость программы с читалкой CoolReader, скажем так приемлимая - все таки наверное сказывается слабый процессор ARM, но вполне терпимая (OPDS с сайта, например, Флибусты конечно быстрее - но там и железо совсем другое). В общем мне нравится.

Видимо обнаружил БАГ - при просмотре "По каталогам" библиотеки lib.rus.ec показывается 68 каталогов (архивов по 1000-2800 файлов fb2), при открытии любого каталога показывается не полный список файлов содержимого архива без разбора по первым буквам при превышении количества книг больше 300.
Last Edit: 6 years 4 months ago by rpin. Reason: Новые результаты тестирования

Please Войти or Create an account to join the conversation.

  • rpin
  • rpin's Avatar Topic Author
  • Offline
  • Осваиваюсь на форуме
  • Осваиваюсь на форуме
More
6 years 4 months ago #144 by mitshel
mitshel replied the topic: Особенности OPDS???

...фактически плановое время сканирования 4,5 - 5 часов!
Попробовал во время сканирования подергать базу из CoolReader-a - на первый взгляд, с загрузкрой процессора NAS на 96%
отдает списки вполне бодро (так во всяком случае показалось).

Во время первоначального сканирования в базе ничего видно не должно быть при включенной опции single_commit=yes.
Возможно получится Вам еще ускорить сканирование, если вы выполните в mysql команду:
SET GLOBAL autocommit=0;
Попробуйте и отпишитесь что получится. Возможно при положительном результате мне в проекте стоит предусмотреть опцию отключения автокоммитов.

Please Войти or Create an account to join the conversation.

  • mitshel
  • mitshel's Avatar
  • Offline
  • Администратор
  • Администратор
More
6 years 4 months ago #145 by Conrad
Conrad replied the topic: Особенности OPDS???
Объясните пожалуйста, что такое автокоммит ?

Please Войти or Create an account to join the conversation.

  • Conrad
  • Conrad's Avatar
  • Offline
  • Новый участник
  • Новый участник
More
6 years 4 months ago - 6 years 4 months ago #146 by mitshel
mitshel replied the topic: Особенности OPDS???

Conrad wrote: Объясните пожалуйста, что такое автокоммит ?

Попробуйте например здесь почитать.
Last Edit: 6 years 4 months ago by mitshel.

Please Войти or Create an account to join the conversation.

  • mitshel
  • mitshel's Avatar
  • Offline
  • Администратор
  • Администратор
More
Time to create page: 0.153 seconds