ошибка установки локали в главном скрипте каталога
9 years 7 months ago #197
by vconst
я включил опцию ziprescan = yes и скрипт пошел пересканировать архив заново
пока все ок, он сканит архив из амазоновского бакета не выводя ошибок, питоновский скрипт opds выдает постоянное обновление каталога и количество книг увеличивается. но оооочень медленно.... убиться можно... видать это издержки слабой виртуалки и s3fs, ну делать нечего - подожду день-два ))
vconst replied the topic: ошибка установки локали в главном скрипте каталога
после прерывания писал что всего по нулям, архив уже был отсканирован и теперь пропущенmitshel wrote: Кстати, а что значит отказывается?? Покажите его вывод что-ли.
я включил опцию ziprescan = yes и скрипт пошел пересканировать архив заново
пока все ок, он сканит архив из амазоновского бакета не выводя ошибок, питоновский скрипт opds выдает постоянное обновление каталога и количество книг увеличивается. но оооочень медленно.... убиться можно... видать это издержки слабой виртуалки и s3fs, ну делать нечего - подожду день-два ))
Please Войти or Create an account to join the conversation.
- vconst
-
Topic Author
- Offline
- Новый участник
-
Less
More
- Posts: 9
9 years 7 months ago #198
by mitshel
mitshel replied the topic: ошибка установки локали в главном скрипте каталога
Как вариант могу предложить следующее.
Если на Амазон вы закачали в точности тот-же набор файлов с книгами что и на вашем Мак-мини, то на мак-мини можно получить дамп базы данных, например так:
mysqldump sopds > sopds.sql
Затем полученный sopds.sql загружаете в базу на вашем vps ну и в принципе все должно заработать
в базе пути хранятся относительные (относительно root_path) поэтому даже при разных root_path у вас все должно заработать
Если на Амазон вы закачали в точности тот-же набор файлов с книгами что и на вашем Мак-мини, то на мак-мини можно получить дамп базы данных, например так:
mysqldump sopds > sopds.sql
Затем полученный sopds.sql загружаете в базу на вашем vps ну и в принципе все должно заработать
в базе пути хранятся относительные (относительно root_path) поэтому даже при разных root_path у вас все должно заработать
Please Войти or Create an account to join the conversation.
- mitshel
-
- Offline
- Администратор
-
Less
More
- Posts: 297
- Karma: 8
9 years 7 months ago #199
by vconst
vconst replied the topic: ошибка установки локали в главном скрипте каталога
отчитываюсь
базу сбрасывать получилось, перенести дамп тоже получилось и каталог работает нормально
но. скачивать книги удается только если файлы находятся на сервере локально. стоит их перенести на амазон - вылазят ошибки и книга не скачивается. сделал на амазоне тестовую директорию, куда положил несколько файлов fb2, сканирование проходит без ошибок, в базе появляются книги из тестовой директории, монтировал амазоновский бакет двумя разными способами /* s3fs и riofs */, но ошибки вылазят одинаковые
появляются они на том этапе, когда входишь в последний уровень каталога с отдельными книгами. то есть по клику с уровня: *Б, Всего 2 наименований* на страницу с собственно названиями книг. сколько книг, столько и ошибок подряд. следующая ошибка появляется при попытке скачать книгу, выглядят они все однотипно:
нагуглил примерно такие же проблемы при монтировании каталогов амазоновского бакета через s2fs, но конкретных решений так и не нашел.
что это может быть? вообще можно забороть эту проблему?
до этого я монтировал бакеты с помощью s3fs без проблем, ставил на vps btsync и он успешно синхронизировал файлы с компьютера и телефона на амазоновском s3
все операции делал под рутом, лень было каждый раз вбивать sudo - это могло повлиять? пермишены на все файлы в директории с флибустой на амазоне выставил в 777, отдельно потом прошелся по тестовым файлам и добавил опциями самого амазоновского хранилища для всех тестовых файлов секьюрити опшн *ол юзерс: пермишенс даунлофд, рид, райт*, не помогло
базу сбрасывать получилось, перенести дамп тоже получилось и каталог работает нормально
но. скачивать книги удается только если файлы находятся на сервере локально. стоит их перенести на амазон - вылазят ошибки и книга не скачивается. сделал на амазоне тестовую директорию, куда положил несколько файлов fb2, сканирование проходит без ошибок, в базе появляются книги из тестовой директории, монтировал амазоновский бакет двумя разными способами /* s3fs и riofs */, но ошибки вылазят одинаковые
появляются они на том этапе, когда входишь в последний уровень каталога с отдельными книгами. то есть по клику с уровня: *Б, Всего 2 наименований* на страницу с собственно названиями книг. сколько книг, столько и ошибок подряд. следующая ошибка появляется при попытке скачать книгу, выглядят они все однотипно:
Traceback (most recent call last):
File "/home/vconst/sopds-master/py/sopds.cgi", line 804, in <module>
z.write(file_path.encode('utf-8'),transname)
File "/home/vconst/sopds-master/py/zipf.py", line 1309, in write
st = os.stat(filename)
PermissionError: [Errno 13] Permission denied: '/mnt/rio/flibusta/test/./183074.fb2'
Premature end of script headers: sopds.cgi
нагуглил примерно такие же проблемы при монтировании каталогов амазоновского бакета через s2fs, но конкретных решений так и не нашел.
что это может быть? вообще можно забороть эту проблему?
до этого я монтировал бакеты с помощью s3fs без проблем, ставил на vps btsync и он успешно синхронизировал файлы с компьютера и телефона на амазоновском s3
все операции делал под рутом, лень было каждый раз вбивать sudo - это могло повлиять? пермишены на все файлы в директории с флибустой на амазоне выставил в 777, отдельно потом прошелся по тестовым файлам и добавил опциями самого амазоновского хранилища для всех тестовых файлов секьюрити опшн *ол юзерс: пермишенс даунлофд, рид, райт*, не помогло
Please Войти or Create an account to join the conversation.
- vconst
-
Topic Author
- Offline
- Новый участник
-
Less
More
- Posts: 9
9 years 7 months ago - 9 years 7 months ago #200
by mitshel
mitshel replied the topic: ошибка установки локали в главном скрипте каталога
Покажите пожалуйста еще ошибки с предидущего уровня (когда список файлов выводится) - это поможет решить проблему.
Дело в том что при выводе списка книг клиентом выполняются операции совершенно аналогичные сканированию книги.
Учитывая, что сканирование происходит нормально, а при выводе списка книг появляются ошибки, то вывод пока один:
У пользователя root из под которого вы выполняете sopds-scan.py имеются достаточны права для открытия файла книги,
а у пользователя, из под которого функционирует web-сервер (apache или www или httpd или что-то подобное) прав для открытия файлов с амазона недостаточно.
Допустим ваш www-сервер выполняется из под пользователя apache.
Попробуйте залогиниться в систему под этим пользователеми и получить доступ к файлам библиотеки (ну открыть их чем нибудь, или просмотреть например командой cat или vi).
Сообщите что получится.
Дело в том что при выводе списка книг клиентом выполняются операции совершенно аналогичные сканированию книги.
Учитывая, что сканирование происходит нормально, а при выводе списка книг появляются ошибки, то вывод пока один:
У пользователя root из под которого вы выполняете sopds-scan.py имеются достаточны права для открытия файла книги,
а у пользователя, из под которого функционирует web-сервер (apache или www или httpd или что-то подобное) прав для открытия файлов с амазона недостаточно.
Допустим ваш www-сервер выполняется из под пользователя apache.
Попробуйте залогиниться в систему под этим пользователеми и получить доступ к файлам библиотеки (ну открыть их чем нибудь, или просмотреть например командой cat или vi).
Сообщите что получится.
Last Edit: 9 years 7 months ago by mitshel.
Please Войти or Create an account to join the conversation.
- mitshel
-
- Offline
- Администратор
-
Less
More
- Posts: 297
- Karma: 8
9 years 7 months ago - 9 years 7 months ago #201
by vconst
vconst replied the topic: ошибка установки локали в главном скрипте каталога
вот логи с чистого листа, сразу после ребута:
был произведен вход в категорию типа *К, Всего 1 наименований*
первая ошибка при входе - когда появился список книг из одной штуки
вторая - при тапе по *скачать книгу*
//upd
обычный пользователь может просматривать все файлы на примонтированном бакете, всем им сделаны пермишены 777
[Tue Apr 08 08:43:44 2014] [notice] Apache/2.2.22 (Ubuntu) PHP/5.4.9-4ubuntu2.4 configured -- resuming normal operations
[Tue Apr 08 08:46:46 2014] [error] [client 83.149.9.84] Traceback (most recent call last):
[Tue Apr 08 08:46:46 2014] [error] [client 83.149.9.84] File "/home/vconst/sopds-master/py/sopds.cgi", line 890, in <$
[Tue Apr 08 08:46:46 2014] [error] [client 83.149.9.84] fo=codecs.open(file_path.encode("utf-8"), "rb")
[Tue Apr 08 08:46:46 2014] [error] [client 83.149.9.84] File "/usr/lib/python3.3/codecs.py", line 884, in open
[Tue Apr 08 08:46:46 2014] [error] [client 83.149.9.84] file = builtins.open(filename, mode, buffering)
[Tue Apr 08 08:46:46 2014] [error] [client 83.149.9.84] FileNotFoundError: [Errno 2] No such file or directory: '/mnt/r$
[Tue Apr 08 08:46:46 2014] [error] [client 83.149.9.84] Premature end of script headers: sopds.cgi
[Tue Apr 08 08:46:51 2014] [error] [client 83.149.9.84] Traceback (most recent call last):
[Tue Apr 08 08:46:51 2014] [error] [client 83.149.9.84] File "/home/vconst/sopds-master/py/sopds.cgi", line 804, in <$
[Tue Apr 08 08:46:51 2014] [error] [client 83.149.9.84] z.write(file_path.encode('utf-8'),transname)
[Tue Apr 08 08:46:51 2014] [error] [client 83.149.9.84] File "/home/vconst/sopds-master/py/zipf.py", line 1309, in wr$
[Tue Apr 08 08:46:51 2014] [error] [client 83.149.9.84] st = os.stat(filename)
[Tue Apr 08 08:46:51 2014] [error] [client 83.149.9.84] FileNotFoundError: [Errno 2] No such file or directory: '/mnt/r$
[Tue Apr 08 08:46:52 2014] [error] [client 83.149.9.84] Premature end of script headers: sopds.cgi
был произведен вход в категорию типа *К, Всего 1 наименований*
первая ошибка при входе - когда появился список книг из одной штуки
вторая - при тапе по *скачать книгу*
//upd
обычный пользователь может просматривать все файлы на примонтированном бакете, всем им сделаны пермишены 777
Last Edit: 9 years 7 months ago by vconst.
Please Войти or Create an account to join the conversation.
- vconst
-
Topic Author
- Offline
- Новый участник
-
Less
More
- Posts: 9
9 years 7 months ago - 9 years 7 months ago #202
by mitshel
mitshel replied the topic: ошибка установки локали в главном скрипте каталога
Тепрь хотелось бы увидеть:
1. значение параметра root_path из файла конфигурации
2. Реальный путь где лежат книги
1. значение параметра root_path из файла конфигурации
2. Реальный путь где лежат книги
Last Edit: 9 years 7 months ago by mitshel.
Please Войти or Create an account to join the conversation.
- mitshel
-
- Offline
- Администратор
-
Less
More
- Posts: 297
- Karma: 8
Time to create page: 0.127 seconds