Новая тема   Ответить

 vaal
Возникает вопрос:
а при каком количестве файлов тумбнашек в ОДНОЙ папке это начнет подгружать систему? На данный момент около 7к тумбов в одной папке находиться. Думаю, что с ростом количества тумб в ОДНОЙ папке начнутся тормоза (?).

Стоит ДТР, который (как я предполагаю) делает уникальное имя файла для тумбы для конкретной папки thumbs.
То есть можно ручками перенести уже готовые нарезанные тумбы в другие папки, не забыв поменять в файле N_base.dat путь к этим тумбам. Например, выставить граничное значение, пусть 10к тумб для 1 папки, после которого переносить в папку thumbnails1,2,...

На данный момент это тока мысли вслух Но, думаю, что реально сталкивались с этой проблемой.
Отпишите, плз, кто с подобным сталкивался.

 perdola
Я наверное чего-то не понимаю , но разве кол-во тумб в папке влияет на скорость? Если я не ошибаюсь при выводе морды из БД берутся линки на тумбы и выводятся, без индексации каталога с тумбами. Или я не прав?

 BAD guy
с точки зрения системы папка с файлами вроде полностью читается, хотя могу ошибаться...

лучше всего админам хоста стукни они более квалифицировано ответят

 Core
ничего кроме ФТП в этой папке тормозить не должно.

 Core
BAD guy писал:

вебсервер по идее не может так тупо работать, зачем ему вся папка, если запрашивается один файл?

 Bross
Сталкивался, но только не ДТР
Предел папки 32 тысячи файлов
Желательно иметь не более 1-2 тыс файлов в папке.

 AlexanderX
Да причем тут веб-сервер? Там есть таблица файловых дескрипторов или что-то подобное, смотря как файловая система организована. Поиск сама операционная система осуществляет. Так что действительно, ничего кроме ФТП в этой папке тормозить не должно.

А, действительно, предел конечно есть.

 ToDO
слышал очень много раз:
большое количество файлов в папке подгружает сервак. не знаю с чем связано, но очень много где это проскальзывало.
слышал оптимальную цифру <500-1000
но это все по старой памяти.
лучше действительно узнать у админов.

 dos622
при обращении к файлу ось тыриться в файловую таблицу (fat, ntfs,ext3 etc) при большом количестве файлов в одном каталоге этой табличке становиться плохо. из за чего тормозит вся ось. или по вашему мнению апач тумбы из воздуха собирает? на моей памяти раз было что гигнулась вся инфа на диске из за того что таблицу разкарячило.

 vaal
Понятно, что количество файлов в 1й папке не может быть большим. Другой вопрос-в абсолютном значении 2000, 5000 или сколько?

 Bross
Если у тебя скази винты и стоит один рес где файлов 7 тыс в папке тумбнэйлс, то ты может и не почувствовать. А если их 10 ресов по 7 штук файлов в папке тумбнэйлс, то ты почуствуешь хорошо.

Админы АН и МайкФокс говорили, что оптимально держать до 1-2 тыс файлов в одной папке. Конечно,чем меньше тем лучше.

 vaal


Как раз на AH и сижу

По поводу оговоренных выше 7к тумбов. С чего все и началось...

На самом деле 7к тумбов равняется 7*3 К файлов, т к ДТР делает для каждой тумбы small-file и original-file на каждую тумбу.

Тоже спрашивал админов АН-сказали 1000-2000-нормально для одной папки, думаю расскидать тумбы по разным папкам.

 Twister
однозначно сказывается
поэтому все файлоемкие системы типа сквида и дробят кеш на многоуровневые подпапки.

дтр у меня начинал тормозить систему гдето с 20к, Джою в свое время отписал о будущей проблеме, он обещал в какомто из следующих релизов пофиксить.

 Phoenix66
У меня по 30К тубмов в одной папке лежит на нескольких сиджах. Не тормозит. Но вообще да, папка занимает 1мег из-за этого. Другое дело, что если памяти достаточно, то оно все равно в кэше сидит.

Опять таки, если на морде тумбы с разных произвольных мест, то если оно раскидано по папкам, все одно серверу придется почти все их тягать по очереди, что будет по сути то же самое, а то и еще хуже.

Проблема сводится исключительно к наличию памяти для кэширования.

 Gonja
Феникс как всегда абсолютно прав, респект
У меня сейчас около 170к тумб в папке - долбаный Комус не предусматривал и не собирается предусматривать по-моему возможности раскидывания по разным папкам. Тоже сейчас на АХ, кстати. Мощный сервак и достаточно памяти - и никакой лишней загрузки даже не возникает. Все равно все используемые тумбы валяются в кэше.
Хотя вообще конечно это не есть гуд, и если памяти перестанет хватать, то эта лишняя работа станет заметна. Я уже не раз подумывал пообщаться с автором скрипта по этому поводу.
Вообще вроде физический предел для Фри в районе то ли 0.5, то ли 1М файлов в директории.

 dos622
ну давайте тада еще поговори о сбоках ядра, и о кеше на винтах
вот сктати сказевые в этом плане рулят

 Gabber
А когда скази не рулили то?

 vaal
Я не понимаю, что стоит в скрипте предусмотреть автораскидывание, описанное мною выше?

 Alt76
По идее все ротаторы умные уже разделяют тумбы на папки. по крайней мере протон и смарт самбз точно.
Че заморачиватся этим? это дело ротаторов а не людей ;-)