Проекту avito2rss требуется больше прокси-серверов. В настоящее время используется только три. Так как им приходится обслуживать уже 2328 фидов, время обновления каждого фида выросло до двух часов. Если у вас есть постоянно включенный VPS, вы можете поднять у себя squid3, который будет использовать скрейпер avito2rss для обновления фидов:
http://dump.bitcheese.net/files/ekolote/squidy.tar.gz
В basic-passwords задайте любой пароль и отправьте его в xmpp:komar@bitcheese.net вместе с адресом вашего VPS’а.
В rc.local находится пример, как эту херню запускать при старте.
Спасибо.
Цоперайт © 2010-2016 @stiletto.
@windowsadmin Тащем-та,
basic_ncsa_authподдерживает ещё кучу всего. Просто выбери другой алгоритм.@komar > Не страшно, наверное.
Я был просканирован какой-то хуетой на вторую минуту после
service squid start. Current status: ебусь с поддержкой более нормальных хешей вbasic_ncsa_auth.@l29ah Кстати, я поглядел на то, что было в net-proxy, и большинство самого известного говна — mitmproxy, tinyproxy, polipo — не умеет в аутентификацию.
@nebeda Впервые слышу. Если обломлюсь с
basic_ncsa_auth, погляжу. Спасибо.@minoru Я ещё на Privoxy хотел глянуть, но у меня к тому моменту уже поставился Squid. И началось…
Настроил. У кого-то проблемы остались ещё, помощь нужна?
@l29ah 1. Попробуй просто набрать в командной строке
squid -f путь_к_конфигу. Ошибки есть? Какие?2. Убери из конфига запись про
cache_log, перезапусти squid и попялься в /var/log/squid/cache.log (можешь сюда запостить, я гляну тоже).3. Если предыдущие два шага ничего аномального не показывают, но авторизоваться на проксе все равно не получается, то у тебя скорее всего проблемы с
basic_ncsa_auth. Если у тебя естьhtpasswd, пользуйся им. Если нету — обращайся, я умею обходиться Интернетом и vim :P@minoru s/авторизоваться/аутентифицироваться/
@l29ah Видимо, да; мне час назад тоже не ответил.
@anonymous Комар заботится о нас. Как я уже упоминал в /42G, меня на вторую минуту после запуска прокси уже кто-то сканил. На непривилегированном, не-well-knows, блять, порту!
@minoru *не-well-known
@anonymous Гм, и правда. Поклянчу у него IP тогда.
@nebeda Я увижу, откуда он постучался сегодня. Если у Комара есть планы как-то менять инфраструктуру, то я могу ему навредить своими догадками об адресе. Проще тупо спросить.
@nebeda Что значит «сохранить хуйню про пароль»?
@nebeda А. Ну вот, видишь, как вредны догадки? Я ведь нигде не предлагал выбросить аутентификацию по паролю, ты это прочёл между строк.
@nebeda Чтобы не грузили почём зря CPU, пытаясь подобрать пароль (если найдутся желающие, конечно).
@nebeda fail2ban ещё настраивать нужно, а тут одну строчку в конфиг прописать и забыть.
Бля, чувак, каждый раз, когда играю на своей ESP LTD F-50, вспоминаю, что нашёл объявление через avito2rss. Топ спасибо, пойду подниму скрейпер.
@komar Ну или что там у тебя в /0
@like-all Я ещё не проснулся толком и плохо соображаю.