Особенности OPDS???
9 years 9 months ago #131
by rpin
rpin replied the topic: Особенности OPDS???
Вот то, что Вы просили выше по поводу долгой отработки запроса - пример картинка из phpmyadmin c запросом, который выполнялся секунд сорок - запрос о выборке 169 авторов.
Кстати - попробовал пользоваться разными opds-клиентами - лучше и быстрее всего (имхо) работает cool-reader, существенно хуже работает zx-reader, и совсем плохо fbreader. Не знаю почему, но fbreader поставил антирекорд - некоторые запросы не отрабатывались, а просто отваливался по тайм-ауту...
Attachment IMG_20140303_000939.jpg not found
Кстати - попробовал пользоваться разными opds-клиентами - лучше и быстрее всего (имхо) работает cool-reader, существенно хуже работает zx-reader, и совсем плохо fbreader. Не знаю почему, но fbreader поставил антирекорд - некоторые запросы не отрабатывались, а просто отваливался по тайм-ауту...
Please Войти or Create an account to join the conversation.
- rpin
-
Topic Author
- Offline
- Осваиваюсь на форуме
-
Less
More
- Posts: 36
- Karma: 1
9 years 8 months ago #135
by mitshel
mitshel replied the topic: Особенности OPDS???
В точности такой запрос у меня выполняется чуть больше одной секунды.
А сколько у Вас книг в базе?
Да, и попробуйте новую версию там этот запрос несколько изменен.
А сколько у Вас книг в базе?
Да, и попробуйте новую версию там этот запрос несколько изменен.
Please Войти or Create an account to join the conversation.
- mitshel
-
- Offline
- Администратор
-
Less
More
- Posts: 297
- Karma: 8
9 years 8 months ago - 9 years 8 months ago #137
by rpin
rpin replied the topic: Особенности OPDS???
Я использую sopds для домашнего зеркала
lib.rus.ec
- регулярно (тьфу-тьфу-тьфу) обновляется, новинки с задержкой примерно месяц, сейчас в ней около 270 000 fb2 книг - меня лично устраивает абсолютно...
Сейчас поставил версию 0.13, снес старую базу, создал новую, запустил сканирование...
Скрипт SPEED почему-то не работает, посчитал примерно - получается скорость сканирования примерно 1000-1100 книг в минуту - т.е. фактически плановое время сканирования 4,5 - 5 часов!!! Это ПРОРЫВ
- после суточного (24 часа!!!!) сканирования на версии 0.12.
Попробовал во время сканирования подергать базу из CoolReader-a - на первый взгляд, с загрузкрой процессора NAS на 96%
отдает списки вполне бодро (так во всяком случае показалось).
Очень понравилась идея с разделением на русские, английские и другие - стало гораздо удобнее.
Здорово выглядит текстовое описание книги, который нужно немного изменить - вставить разделительный символ, например " | ", чтобы выглядело так, а то выводится слитно:
Назавание книги: XXXXXX XXXXXXX | Автор(ы): YYYYYYY YYY
И этот описание нужно выводить ДО аннотации, а то она бывает достаточно длинной и не хватает места для описания (во всяком случае на CoolReader это так)
После сканирования посмотрю как будет отдавать на ненагруженном процессоре...
По поводу вывода первой заглавной, второй маленькой (если я правильно понял, то что предлагает уважаемый Conrad) - резко возражаю - на мой взляд восприятие ДВух заглавный букв гораздо ярче и доступнее, до тех пор пока не сформировано полностью слово, вот тогда разумнее писать Заглавную И Маленькую (имхо)
Да, еще некая хотелка - можно ли в процессе сканирования книг, выводить, например, количество сосканированных книг без скролинга, а просто например, раз в минуту в одно и тоже место. Но это нужно, если не особо увеличивает скорость сканирования...
Но уже сейчас примите благодарность - СПАСИБО!!!
4 марта 15-00
Вот попробовал работу SOPDS в "штатном" режиме - особой нагрузки на NAS нет, отзывчивость программы с читалкой CoolReader, скажем так приемлимая - все таки наверное сказывается слабый процессор ARM, но вполне терпимая (OPDS с сайта, например, Флибусты конечно быстрее - но там и железо совсем другое). В общем мне нравится.
Видимо обнаружил БАГ - при просмотре "По каталогам" библиотеки lib.rus.ec показывается 68 каталогов (архивов по 1000-2800 файлов fb2), при открытии любого каталога показывается не полный список файлов содержимого архива без разбора по первым буквам при превышении количества книг больше 300.
Сейчас поставил версию 0.13, снес старую базу, создал новую, запустил сканирование...
Скрипт SPEED почему-то не работает, посчитал примерно - получается скорость сканирования примерно 1000-1100 книг в минуту - т.е. фактически плановое время сканирования 4,5 - 5 часов!!! Это ПРОРЫВ



Попробовал во время сканирования подергать базу из CoolReader-a - на первый взгляд, с загрузкрой процессора NAS на 96%
отдает списки вполне бодро (так во всяком случае показалось).
Очень понравилась идея с разделением на русские, английские и другие - стало гораздо удобнее.
Здорово выглядит текстовое описание книги, который нужно немного изменить - вставить разделительный символ, например " | ", чтобы выглядело так, а то выводится слитно:
Назавание книги: XXXXXX XXXXXXX | Автор(ы): YYYYYYY YYY
И этот описание нужно выводить ДО аннотации, а то она бывает достаточно длинной и не хватает места для описания (во всяком случае на CoolReader это так)
После сканирования посмотрю как будет отдавать на ненагруженном процессоре...
По поводу вывода первой заглавной, второй маленькой (если я правильно понял, то что предлагает уважаемый Conrad) - резко возражаю - на мой взляд восприятие ДВух заглавный букв гораздо ярче и доступнее, до тех пор пока не сформировано полностью слово, вот тогда разумнее писать Заглавную И Маленькую (имхо)
Да, еще некая хотелка - можно ли в процессе сканирования книг, выводить, например, количество сосканированных книг без скролинга, а просто например, раз в минуту в одно и тоже место. Но это нужно, если не особо увеличивает скорость сканирования...
Но уже сейчас примите благодарность - СПАСИБО!!!
4 марта 15-00
Вот попробовал работу SOPDS в "штатном" режиме - особой нагрузки на NAS нет, отзывчивость программы с читалкой CoolReader, скажем так приемлимая - все таки наверное сказывается слабый процессор ARM, но вполне терпимая (OPDS с сайта, например, Флибусты конечно быстрее - но там и железо совсем другое). В общем мне нравится.
Видимо обнаружил БАГ - при просмотре "По каталогам" библиотеки lib.rus.ec показывается 68 каталогов (архивов по 1000-2800 файлов fb2), при открытии любого каталога показывается не полный список файлов содержимого архива без разбора по первым буквам при превышении количества книг больше 300.
Last Edit: 9 years 8 months ago by rpin. Reason: Новые результаты тестирования
Please Войти or Create an account to join the conversation.
- rpin
-
Topic Author
- Offline
- Осваиваюсь на форуме
-
Less
More
- Posts: 36
- Karma: 1
9 years 8 months ago #144
by mitshel
Возможно получится Вам еще ускорить сканирование, если вы выполните в mysql команду:Попробуйте и отпишитесь что получится. Возможно при положительном результате мне в проекте стоит предусмотреть опцию отключения автокоммитов.
mitshel replied the topic: Особенности OPDS???
Во время первоначального сканирования в базе ничего видно не должно быть при включенной опции single_commit=yes....фактически плановое время сканирования 4,5 - 5 часов!
Попробовал во время сканирования подергать базу из CoolReader-a - на первый взгляд, с загрузкрой процессора NAS на 96%
отдает списки вполне бодро (так во всяком случае показалось).
Возможно получится Вам еще ускорить сканирование, если вы выполните в mysql команду:
SET GLOBAL autocommit=0;
Please Войти or Create an account to join the conversation.
- mitshel
-
- Offline
- Администратор
-
Less
More
- Posts: 297
- Karma: 8
9 years 8 months ago #145
by Conrad
Conrad replied the topic: Особенности OPDS???
Объясните пожалуйста, что такое автокоммит ?
Please Войти or Create an account to join the conversation.
- Conrad
-
- Offline
- Новый участник
-
Less
More
- Posts: 13
9 years 8 months ago - 9 years 8 months ago #146
by mitshel
mitshel replied the topic: Особенности OPDS???
Попробуйте например здесь почитать.Conrad wrote: Объясните пожалуйста, что такое автокоммит ?
Last Edit: 9 years 8 months ago by mitshel.
Please Войти or Create an account to join the conversation.
- mitshel
-
- Offline
- Администратор
-
Less
More
- Posts: 297
- Karma: 8
Time to create page: 0.238 seconds