ошибка установки локали в главном скрипте каталога
9 years 7 months ago - 9 years 7 months ago #191
by vconst
vconst created the topic: ошибка установки локали в главном скрипте каталога
ободренный успехом установки opds флибусты на домашнем сервере, решил попробовать сделать то же самое в облаке. выбрал для этого Digital Ocean, там у меня есть самый простой vps за 5 баксов. на амазоновский S3 залил всю флибусту, примонтировал ее к vps через s3fs, поставил и настроил sopds. каталог при логине нормально запрашивал логин и пароль, а дальше все падало с ошибкой 500
сначала грешил на настройки апача, пробовал поместить в каталоги простые html файлы - и они нормально открывались, а скрипт sopds.cgi - падал. в логах доступа апача коннект проходил нормально, а вот в логах ошибок нашелся косяк:полез в скритп, закаментил там строчку с установкой русской локали, и скрипт заработал
в питоне я ничего не понимаю, но мне кажется это не очень критичная строка. или нет?
после этого ошибок больше не было и скрипт запускался нормально
теперь другая проблема, но в ней еще надо разбираться, может что то пропустил
виртуалка в нидерландах слабенькая, памяти мало, одно ядро, да еще и коннект до амазоновского s3 в америке почему то не быстрый. в итоге скрипт сканирующий библиотеку фигачился часов двадцать, против двух часов микмини. но после редактирования питоновского скрипта - в базе данных не нашлось ни одной книжки... попробую локально закинуть небольшой архив с книгами и пущу его на сканирование. если заработает - надо будет искать проблему в другом месте
система на виртуалке такая: Ubuntu 12.04.4 LTS (GNU/Linux 3.2.0-58-virtual i686)
//update
локально небольшой архив с книгами в тестовой директории отсканировался нормально, каталог работает и книги скачиваются успешно. сейчас буду пробовать с тестовым файлом на амазоне
сначала грешил на настройки апача, пробовал поместить в каталоги простые html файлы - и они нормально открывались, а скрипт sopds.cgi - падал. в логах доступа апача коннект проходил нормально, а вот в логах ошибок нашелся косяк:
[Mon Apr 07 12:57:06 2014] [error] [client 81.211.32.120] Traceback (most recent call last):
[Mon Apr 07 12:57:06 2014] [error] [client 81.211.32.120] File "/home/const/sopds-master/py/sopds.cgi", line 300, in <module>
[Mon Apr 07 12:57:06 2014] [error] [client 81.211.32.120] locale.setlocale(locale.LC_ALL,'ru_RU.UTF-8')
[Mon Apr 07 12:57:06 2014] [error] [client 81.211.32.120] File "/usr/lib/python3.3/locale.py", line 573, in setlocale
[Mon Apr 07 12:57:06 2014] [error] [client 81.211.32.120] return _setlocale(category, locale)
[Mon Apr 07 12:57:06 2014] [error] [client 81.211.32.120] locale.Error: unsupported locale setting
[Mon Apr 07 12:57:06 2014] [error] [client 81.211.32.120] Premature end of script headers: sopds.cgiв питоне я ничего не понимаю, но мне кажется это не очень критичная строка. или нет?
после этого ошибок больше не было и скрипт запускался нормально
теперь другая проблема, но в ней еще надо разбираться, может что то пропустил
виртуалка в нидерландах слабенькая, памяти мало, одно ядро, да еще и коннект до амазоновского s3 в америке почему то не быстрый. в итоге скрипт сканирующий библиотеку фигачился часов двадцать, против двух часов микмини. но после редактирования питоновского скрипта - в базе данных не нашлось ни одной книжки... попробую локально закинуть небольшой архив с книгами и пущу его на сканирование. если заработает - надо будет искать проблему в другом месте
система на виртуалке такая: Ubuntu 12.04.4 LTS (GNU/Linux 3.2.0-58-virtual i686)
//update
локально небольшой архив с книгами в тестовой директории отсканировался нормально, каталог работает и книги скачиваются успешно. сейчас буду пробовать с тестовым файлом на амазоне
Last Edit: 9 years 7 months ago by vconst.
Please Войти or Create an account to join the conversation.
- vconst
-
Topic Author
- Offline
- Новый участник
-
Less
More
- Posts: 9
9 years 7 months ago - 9 years 7 months ago #192
by mitshel
mitshel replied the topic: ошибка установки локали в главном скрипте каталога
Ну с локалью видимо не знает ваш VPS русской локали... Я потестирую скрипт, возможно действительно можно эту строку убрать.
Теперь если не трудно напишите после 20 часов сканирования sopds-scan.py - выдал информацию о количестве отсканированных книг ??? Были ли какие-нибудь ошибки при выпонении сканера?
Далее для тестирования в такой ситуации установите опцию
single_commit = no
при этом сканироваться возможно будет еще несколько медленнее, но коммиты будут выполнятся для каждой книги, в итоге в базе у вас данные будут появлятся сразу после добавления каждой книги и проверить при помощи клиента добавляются книги или нет вы сможете сразу после начала сканирования.
Теперь если не трудно напишите после 20 часов сканирования sopds-scan.py - выдал информацию о количестве отсканированных книг ??? Были ли какие-нибудь ошибки при выпонении сканера?
Далее для тестирования в такой ситуации установите опцию
single_commit = no
при этом сканироваться возможно будет еще несколько медленнее, но коммиты будут выполнятся для каждой книги, в итоге в базе у вас данные будут появлятся сразу после добавления каждой книги и проверить при помощи клиента добавляются книги или нет вы сможете сразу после начала сканирования.
Last Edit: 9 years 7 months ago by mitshel.
Please Войти or Create an account to join the conversation.
- mitshel
-
- Offline
- Администратор
-
Less
More
- Posts: 297
- Karma: 8
9 years 7 months ago #193
by vconst
vconst replied the topic: ошибка установки локали в главном скрипте каталога
на амазоновском vps скрипт тоже не запускался, пока не закаментил установку локали. надо как то обойти этот момент, ведь устанавливать каталог могут не только на русские домашние машины с убунтой где есть русская локализация
сколько книг было отсканированно я так и не узнал. запустил скрипт в пятницу на рабочем макинтоше через ssh и не озаботился при коннекте установить сессию скрин или тмукс, что бы из дома продолжить наблюдение. он целый день работал добавляя книги в базу, но конца я так и не дождался. в итоге пришлось просто закрыть терминал и конца сканирования я ессно не увидел, направить лог в файл я тоже не додумался. mea culpa, но я не подозревал, что сканирование будет выполняться так медленно
сколько книг было отсканированно я так и не узнал. запустил скрипт в пятницу на рабочем макинтоше через ssh и не озаботился при коннекте установить сессию скрин или тмукс, что бы из дома продолжить наблюдение. он целый день работал добавляя книги в базу, но конца я так и не дождался. в итоге пришлось просто закрыть терминал и конца сканирования я ессно не увидел, направить лог в файл я тоже не додумался. mea culpa, но я не подозревал, что сканирование будет выполняться так медленно
Please Войти or Create an account to join the conversation.
- vconst
-
Topic Author
- Offline
- Новый участник
-
Less
More
- Posts: 9
9 years 7 months ago - 9 years 7 months ago #194
by mitshel
mitshel replied the topic: ошибка установки локали в главном скрипте каталога
Так при закрытии терминала скорее всего скрипт прекратил свою работу так и не послав в базу ни одного коммита.
А насчет setlocale вы правы, только вот я уже не помню что меня заставило это строчку вписать. Очень даже вероятно что ее можно убрать из проекта... На досуге проверю.
А насчет setlocale вы правы, только вот я уже не помню что меня заставило это строчку вписать. Очень даже вероятно что ее можно убрать из проекта... На досуге проверю.
Last Edit: 9 years 7 months ago by mitshel.
Please Войти or Create an account to join the conversation.
- mitshel
-
- Offline
- Администратор
-
Less
More
- Posts: 297
- Karma: 8
9 years 7 months ago - 9 years 7 months ago #195
by vconst
а что сделать, что бы скрипт выполнялся в фоне и при отключении рабочего компа от впс? открыть сессию в тмукс, а скрипт поставить в фон черех ctrl-z и bg?
как обнулить базу книг? скрипт даже с опцией -s отказывается пересканировать тестовую библиотеку из амазоновского бакета, после того, как я грубо и не ласково прервал его ctrl-c. можно целиком грохнуть поддиректорию db и повторить шаги по созданию таблиц?
vconst replied the topic: ошибка установки локали в главном скрипте каталога
вот я ламер!mitshel wrote: Так при закрытии терминала скорее всего скрипт прекратил свою работу так и не послав в базу ни одного коммита.
а что сделать, что бы скрипт выполнялся в фоне и при отключении рабочего компа от впс? открыть сессию в тмукс, а скрипт поставить в фон черех ctrl-z и bg?
как обнулить базу книг? скрипт даже с опцией -s отказывается пересканировать тестовую библиотеку из амазоновского бакета, после того, как я грубо и не ласково прервал его ctrl-c. можно целиком грохнуть поддиректорию db и повторить шаги по созданию таблиц?
Last Edit: 9 years 7 months ago by vconst.
Please Войти or Create an account to join the conversation.
- vconst
-
Topic Author
- Offline
- Новый участник
-
Less
More
- Posts: 9
9 years 7 months ago - 9 years 7 months ago #196
by mitshel
mitshel replied the topic: ошибка установки локали в главном скрипте каталога
Для обнуления базы просто заново загрузите в нее
db.sql
tables.sql
genres.sql
после этого база будет пустая
в фоне можно запустить так
nohup sopds-scan.py &
Ну или через screen.
Вообще скрипт sopds-scan.py у меня выполняется ежедневно при помощи cron.
На самом деле однозначно установите в конфигурации single_commit = no.
при такой настройке даже если вы остановите скрипт, при его повторном запуске он пропустит уже отсканированные книги.
Кстати, а что значит отказывается?? Покажите его вывод что-ли.
db.sql
tables.sql
genres.sql
после этого база будет пустая
в фоне можно запустить так
nohup sopds-scan.py &
Ну или через screen.
Вообще скрипт sopds-scan.py у меня выполняется ежедневно при помощи cron.
На самом деле однозначно установите в конфигурации single_commit = no.
при такой настройке даже если вы остановите скрипт, при его повторном запуске он пропустит уже отсканированные книги.
Кстати, а что значит отказывается?? Покажите его вывод что-ли.
Last Edit: 9 years 7 months ago by mitshel.
Please Войти or Create an account to join the conversation.
- mitshel
-
- Offline
- Администратор
-
Less
More
- Posts: 297
- Karma: 8
Time to create page: 0.152 seconds