The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка  RSS
"OpenNews: Как Yahoo оптимизирует работу своих серверов"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы Разговоры, обсуждение новостей (Public)
Изначальное сообщение [Проследить за развитием треда]

"OpenNews: Как Yahoo оптимизирует работу своих серверов"  
Сообщение от opennews on 30-Янв-06, 22:36 
В документе  "Hacking Apache HTTP Server at Yahoo! (http://public.yahoo.com/~radwin/talks/yapache-apachecon2005.htm)" (PDF версия (http://public.yahoo.com/~radwin/talks/yapache-apachecon2005.pdf)) рассказывается как организована работа Apache на серверах работающих под управлением FreeBSD и Linux в Yahoo,  какие действия предпринимаются для того чтобы выжать максимальную производительность.


Во второй презентации  "HTTP Caching and Cache-busting for Content Publishers (http://public.yahoo.com/~radwin/talks/http-caching-apachecon2005.htm)" (PDF версия (http://public.yahoo.com/~radwin/talks/http-caching-apachecon2005.pdf)) говориться об используемых в Yahoo технологиях кэширования динамического и статического контента.


В 2002 году Yahoo перешла на использование PHP в качестве основного языка для  web-разработки, в обзоре "PHP at Yahoo! (http://public.yahoo.com/~radwin/talks/php-at-yahoo-zend2005.pdf)" показано как удалось вписать PHP в инфраструктуру Yahoo и почему был выбран именно PHP. Основная дилемма была mon_php  или mod_perl, по производительности при большой нагрузке mod_perl  выигрывал, но требовал для работы больше памяти.

На сайте Игоря Сысоева можно найти (http://www.sysoev.ru/#13.01.2006) интересный комментарий, по вопросу оптимизации через увеличение буфера сокета во FreeBSD, позволю себе процитировать текст:


"<small>Время общения Apache с клиентом сведено к минимуму — ровно для того, чтобы скопировать запрос и ответ: сначала запрос клиента полностью принимается accept-фильтром httpready, а затем весь ответ записывается в огромный, 224K, буфер сокета, после чего сокет сразу же закрывается (-DNO_LINGCLOSE). У этого метода есть и преимущества, и недостатки. Один из недостатков — суммарный объём данных, который можно использовать под буфера сокетов (mbuf clusters) около 360M, по крайней мере, во FreeBSD/i386 4.x с адресным пространством ядра в 1G. Это означает, что при среднем размере ответа в 50K одна машина может обслуживать примерно до 7,000 одновременных соединений. Впрочем, во FreeBSD 6.0 и на amd64 этот объём должен быть больше. Кроме того, адресное пространство ядра может увеличить до 2G или даже до 3G. Одно из преимуществ — возможность быстро отдавать в большое TCP window клиента, но, с другой стороны, без keep-alive это окно приходится разгонять каждый раз заново.</small>"


URL: http://public.yahoo.com/~radwin/talks/yapache-apachecon2005.htm
Новость: https://www.opennet.ru/opennews/art.shtml?num=6887

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх | ^

 Оглавление

Сообщения по теме [Сортировка по ответам]

2. "Как Yahoo оптимизирует работу своих серверов"  
Сообщение от Аноним on 30-Янв-06, 23:16 
В тексте не говорится, что в Yahoo работают сервера под Linux.
Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх | ^

3. "Как Yahoo оптимизирует работу своих серверов"  
Сообщение от Free (??) on 31-Янв-06, 07:28 
Но, тем не менее, упоминается как увеличивать SendBufferSize и для Фри, и для Линуха.
Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх | ^

4. "Как Yahoo оптимизирует работу своих серверов"  
Сообщение от злобный on 31-Янв-06, 07:36 
а что будет если ответ превышает 224 кб ?
будет резаться на части по 224 ?
Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх | ^

5. "Как Yahoo оптимизирует работу своих серверов"  
Сообщение от toivo on 31-Янв-06, 18:08 
Лесом ответ такого размера. Хотя всякое случается...
Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх | ^

6. "Как Yahoo оптимизирует работу своих серверов"  
Сообщение от Игорь Сысоев on 31-Янв-06, 21:13 
Нет, не будет резаться. По мере освобождения буфера Апач будет добавлять в него данные. Проблема в том, что если клиент медленный, то Апач будет его ждать в течение времени, необходимого для передачи полного ответа минус 224К. Очевидно, ответы этих серверов укладываются в 224К.
Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх | ^

7. "Как Yahoo оптимизирует работу своих серверов"  
Сообщение от volos on 31-Янв-06, 21:24 
Там Linux/FreeBSD
Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх | ^

8. "Как Yahoo оптимизирует работу своих серверов"  
Сообщение от Алексей (??) on 01-Фев-06, 01:51 
А что, если ответ укладывается в 224К - то Апач его засунет в буфер, и на этом обработку запроса закончит? Т. е. сразу будет готов работать с другим подключением?
Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх | ^

9. "Как Yahoo оптимизирует работу своих серверов"  
Сообщение от Игорь Сысоев on 01-Фев-06, 09:00 
При условии, что Апач собран с -DNO_LINGCLOSE, да, сразу готов работать с другим соединением.
Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх | ^

11. "Как Yahoo оптимизирует работу своих серверов"  
Сообщение от RomanG (??) on 19-Фев-06, 10:32 
Вот тут можно посмотреть, на чем Максим этот сервер (https://www.opennet.ru/) делал (вторая половина странички):
https://www.opennet.ru/guide.shtml
Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх | ^


Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2022 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру