Новая тема   Ответить

 S_Flash
Есть файл 100Кб+, который раз в несколько секунд надо некоторым способом парсить скриптом. Т.е. каждый раз при запуске php скрипта (как я сказал довольно часто) файл подгружается и некоторым способом обрабатывается. Возможно PHP попробует оптимизировать и загонит этот файл в память, а возможно и нет.

Как лучше поступить дабы не нагружать дисковый IO? Пока из идей загнать файл в кеш, но этот способ на крайний вариант. Может в php 7 есть что-то на этот случай.

 Ailk
есть ссд, и похуй на ио =)
там от 40тысяч до полутора миллионов ио против 160 на всяких крутящихся.

 DF™
Я не вижу особой проблемы при таких нагрузках - "файл 100Кб+, который раз в несколько секунд". Вот для 10-100 запросов в секунду это более актуально, к тому же у ОС есть свой дисковый кеш.

Для справки, в PHP тоже есть разделяемая память в которую можно загнать этот файл и/или другие данные. Это лучше SSD!
http://php.net/shmop
http://www.ibm.com/developerworks/ru/library/os-php-shared-memory/index.html

 Stek
Если файл открывается на чтение, то пофигу абсолютно. Это очень легкая операция и к тому же кешируемая системой. 99.999% ресурсов сожрет именно парсинг.
Тут лучше оптимизировать так, что бы кешировался результат парсинга.

 rickdeckard
кешируй в php результаты парсинга - т.е. оптимизировать парсер и поменять способ хранения.
далее просто подключаеш $data = include "твой файл c данными.php"
так php заиспользует opcache- а там само разберется в файл кешировать или в память.

 S_Flash
Ailk: Да, SSD и он тоже не резиновый.
DF™: Что-то такое я и искал.
Stek: Есть подозрение, что сисетма кеширует, но как всегда бывает и система вроде дефолтная, а какой-то парметр админ отключил, так как он по какой-то странной причине, ну хотел именно так! Сталкивался с подобным, когда админы отключают кеширование вебсервера без обьяснения причин или временно, затем забыл включить. Сервисы работают на мониторинге, админа мало волнует остальные детали.
rickdeckard: Можно и так попробовать. Спасибо. Замечу, что бывает, что и этот кеш отключали мне админы в одном из ДЦ, как типа не приносящий особого эффекта, что, как минимум мне казалось странным.

 Axel
Если это лог, который модифицируется постоянно или нечто похожее на лог. То тут возможно стоит хранить/изменять/читать этот лог в/из памяти(memcache|redis|APCu или вообще в tmpfs).
Если же это просто файл для чтения, с набором неких данных, то он 100% закешируется системой в cached Mem(если свободной памяти достаточно).

 S_Flash
Axel: Это просто csv данные только для чтения, для обработки входящих извне данных.
Пока сделал влоб через file_get_contents.

 johndoe2
Если постоянно читается один и тот же файл такого размера, очень вероятно система его держит в дисковом кэше.

Если же дисковый кэш настолько загружен, что файл каждый раз считывается с диска, то проблема с IO не в том месте, где ты её ищешь.

По shmop и прочему. Меня терзают смутные сомнения, что разбор csv (не руками, а fgetcsv/ str_getcsv) быстрее разделяемых способов хранения просто потому, что не нужен затратный unserialize.

Если у скрипта очень тяжелый старт (загрузить большую кучу данных, что-то посчитать и только после этого он готов к работе), тогда смысл что-то делать есть. В твоем случае смысла не видно.

Если ты в неведении о текущей загруженности IO, посмотри в вывод
Код:
(первый блок не смотри, это общая статистика с момента загрузки; дальше раз в 2 секунды выводится текущая статистика).

Последи за колонками avgqu-sz (средняя длина очереди) и %util (общая загруженность). Если значения постоянно сидят близко к нулю, пусть всё работает как есть.

 Ailk
http://php.net/manual/ru/splfileobject.fgetcsv.php
Для парсинга цсв файлов. Сравни потребление памяти этим и через file_get_contents.
(пример1 и 2)

 S_Flash


Там немного не стандартный csv и парсиь его удобно регуляркой, так как имеет значение в 99% только вхождение ключевика в файл.

 Yacc
Можно смешать код и данные: разбирать цсв по крону и модифицировать код основного скрипта подставляя сразу готовые данные.

Плохо, но эффективно. Так обычно гадость всякая делает.

 taj
Давно не писал на php, но может есть смысл демонизировать скрипт и сделать event loop, а не рестартить его раз в несколько секунд? Если старт ресурсоёмок само собой (много либ, коннектов куда-нибудь и т.д.)

Как уже выше писали - размер файла не тот что бы париться, скорее всего будет сидеть в кеше

 Ailk
Yacc писал:
Или, подогревать кеш результата парсинга кроном, и уже не так гадостно будет