20 июня 2002 года мы объявили о приеме вопросов, адресованных Директору Отдела Технологий компании
Google Крейгу Сильверштейну (Craig Silverstein), и получили их достаточное количество. Ниже следуют ответы Крейга на 10 вопросов, которые мы ему отослали, плюс "бонусный" ответ на дополнительный вопрос, выбранный самим Крейгом. (Да, Крейг читает Slashdot. Это ясно видно из его ответов.)
1. Интересно узнать (вопрос от lblack)
Складывается впечатление, что Google предлагает передовые и хорошо проработанные программные решения, которые, похоже, всегда имеют солидную техническую поддержку.
Любопытно — кто источник нововведений? Команда специалистов по "железу", которая выстраивает передовую архитектуру и создает, тем самым, более комфортные условия для работы команде программистов, или программисты, которые говорят: "Посмотрите, что мы сотворили!", после чего специалисты по "железу" бросают все, и начинают воплощать их идеи?
Я понимаю, что должен существовать определенный уровень совместных усилий, но настолько ли все гармонично, или одна из действующих сил, все-таки, увлекает за собой другую?
В действительности, нововведения не предлагаются ни специалистами по "железу", ни программистами, их предлагает рынок. Мы смотрим вокруг, и спрашиваем: "Какой следующий продукт мы должны создать?", и затем выясняем, какое программное и компьютерное обеспечение нам потребуется, чтобы этот продукт заработал, и работал хорошо. Если подобные размышления приводят к выводу: "Ох, нужно уложиться в две недели, чтобы подготовить коды для всеобщего использования, поэтому у нас полно времени, чтобы заказать, привезти и установить необходимые нам 2000 машин", — примерно в такой среде развиваются инновации в
Google [:-)]
2. Инструменты/технологии управления сетью (Вопрос от kaladorn)
Какие технологии помогают поддерживать хозяйство сервера Google? Какого рода применяются инструменты для автоматического мониторинга и сообщения о неполадках? Являются ли они самодельными, open-source, или COTS с определенными доработками (скрипты и т.п.)? И если бы вам пришлось указать на одну из областей сетевого управления и сказать "здесь мы можем кое-что улучшить или использовать более эффективные инструменты", на какую бы область вы обратили внимание?
Почти все технологии, используемые для поддержки хозяйства сервера Google, самодельные. Созданная нами система настолько эффективна, что для обслуживания более 10000 компьютеров требуется пригоршня операторов.
Естественно, мы очень выигрываем от нашей большой избыточности: в отличие от многих компаний, нам не нужно немедленно беспокоиться, если умрет один, два, или сотня компьютеров, потому что почившие компьютеры имеют достаточное количество клонов.
Самый большой вопрос, возникающий при управлении более чем 10000 компьютеров, состоит в том, что основанные на визуализации инструменты управления сетью становятся неприемлемыми для выполнения задачи: даже если UI (user interface) очень хорош, зачастую происходит слишком много процессов (читай: неправильных процессов), чтобы можно было работать эффективно. На этом уровне вам помогут инструменты, которые в состоянии не только определить проблему, но и устранить ее. Несомненно, что написать подобный общий инструмент довольно сложно, в силу того, что обычно "устранение проблем" очень зависит от используемого приложения.
3. Как лидер рынка...(Вопрос от Marx_Mrvelous)
Хорошо известно, что вы используете Linux в своих мега-кластерах. Хотелось бы узнать, обращались ли к вам Microsoft, Sun, или HP в попытке перевести вашу систему на их платформы?
Я не могу представить, что подобных обращений не было. Должно быть, это было серьезным решением с вашей стороны - инвестировать средства в одну технологию, поэтому довольны ли вы полученным результатом?
С нами связывались некоторые распространители. Однако, преимущества Linux для нас довольно важны: это среда, с которой наши разработчики хорошо знакомы, она предлагает непревзойденную техническую поддержку (обычно мы общаемся непосредственно с автором кода, когда у нас возникают с ним проблемы), и она дешевая — очень важный аргумент, когда в вашем распоряжении более 10000 компьютеров. Я думаю, Linux хорошо работает у нас в силу нашей технологической культуры. Наши инженеры с удовольствием принимают участие в решении проблем ядра (kernel). Для компаний, которые хотят иметь возможность сообщать об ошибках типа "Наша сеть работает медленно", и привлекать сторонних специалистов для решения подобных проблем, Linux вряд ли станет идеальным решением.