FXIX
quietadult писал:
Сажу лишь - что это данные аккаунтов одного из крупных ресурсов. Естественно, используется не 1 адрес и не 1 сервер. Есть мастер-сервер, что раздаёт задания очередям по amqp. Очереди в свою очередь запускают парсинг в несколько потоков, используя списки прокси-листов.
В Мире очень много ресурсов, где нужно оперировать с таким объёмом данных.
когда мне надо было многопоточность я решал это через лок-файл.
1. скрипт пустой файл лочит
2. идет в бд забирает строку
3. ставит ей флаг "не трогать"
4. файл разлочивает
5. и пошла работа скрипта
как только файл разлочился - его подхватывает другой экземпляр скрипта, идет забирать свободную строку, и работает. итд
запускаешь 100500 экземпляров(сколько оперативки и канала хватит) 1 скрипта. и наслаждаешься многопоточностью.
"раздать задачу" самое легкое место. и быстрое. наносекунды ). его и ставим в последовательное исполнение. все остальное параллельно.
может и хуже питона, зато без мутных-замутных пхп-либ. и без питона.
я к тому что поменьше максимализма.