The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Архитектура Twitter"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Архитектура Twitter"  +/
Сообщение от opennews (??) on 14-Мрт-11, 10:20 
В статье (http://www.insight-it.ru/masshtabiruemost/arkhitektura-twitt.../) представлено обобщение доступных материалов об организации работы проекта Twitter, входящего в десятку самых популярных сайтов в мире. Ежесекундно в Twitter публикуется около тысячи заметок и просматривается около 1.2 млн, число запросов к API составляет приблизительно 70 тысяч в секунду (6 миллиардов запросов к API в день). Инфраструктуру проекта обслуживает более тысячи серверов. Базовые составляющие интерфейса Twitter написаны с использованием Ruby  (используется REE (http://www.rubyenterpriseedition.com/)) и Ruby on Rails (http://rubyonrails.org/), для реализации некоторых внутренних систем и обработчиков API используется язык Scala (http://www.scala-lang.org/).


Для работы с БД задействованы MySQL, Apache Cassandra (http://cassandra.apache.org/), FlockDB (https://github.com/twitter/flockdb) (распределенная БД, ориентированная на хранение графов) и  Hadoop (http://hadoop.apache.org/). В ...

URL: http://www.insight-it.ru/masshtabiruemost/arkhitektura-twitt.../
Новость: https://www.opennet.ru/opennews/art.shtml?num=29897

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Архитектура Twitter"  +2 +/
Сообщение от k0l0b0k (??) on 14-Мрт-11, 10:20 
>Инфраструктуру проекта обслуживает более тысячи серверов
>Базовые составляющие интерфейса Twitter написаны с использованием Ruby (используется REE) и Ruby on Rails, для реализации некоторых внутренних систем и обработчиков API используется язык Scala.

а вот написали бы на C++, и твиттер был бы более экологически чистый.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

7. "Архитектура Twitter"  +5 +/
Сообщение от Аноним (??) on 14-Мрт-11, 11:17 
> а вот написали бы на C++, и твиттер был бы более экологически
> чистый.

А вот начали бы писать на С++, может к 2015 году и ввели бы сайт в строй, а к 2020 отладили бы. А потом оказалось бы, что все нужно переписывать, так как решение не масштабируется под десятикратный рост аудитории в год.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

10. "Архитектура Twitter"  –2 +/
Сообщение от Карбофос (ok) on 14-Мрт-11, 12:38 
бред какой-то несёте...
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

13. "Архитектура Twitter"  +2 +/
Сообщение от User294 (ok) on 14-Мрт-11, 14:11 
> так как решение не масштабируется под десятикратный рост аудитории в год.

Ага, пых масштабируется, а плюсы - нет :). А чем они так принципиально отличаются? И какого хрена книгоморда юзает компилежку php -> C++ -> native code? Или у книгоморды проблемы с масштабируемостью, а у твиттера их нет?
  

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

17. "Архитектура Twitter"  +/
Сообщение от yelbota on 14-Мрт-11, 15:54 
LLVM там.
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

22. "Архитектура Twitter"  +/
Сообщение от Анонима on 15-Мрт-11, 19:47 
На правах выдёргивания из контекста:
"Реализован этот механизм простым bash-скриптом, который просматривает агрегированные логи за последние 60 секунд, подсчитывает количество китов/роботов..."

facepalm.jpg

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Архитектура Twitter"  +/
Сообщение от Аноним (??) on 14-Мрт-11, 10:28 
И все-равно периодически твиттер очень медленный... Периодически не открываются списки фолловеров (если их действительно много), и прочее. Твиттер удобно юзать только с помощью клиентов. Через веб юзать долго, тормозно и хлопотно.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "Архитектура Twitter"  +/
Сообщение от Аноним (??) on 14-Мрт-11, 11:05 
Вы хотите сказать клиенты подключаются к какой-то особой быстрой базе данных?
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

8. "Архитектура Twitter"  –1 +/
Сообщение от Аноним (??) on 14-Мрт-11, 11:20 
Напрямую к БД - так будет точнее. Когда это скрипты могли работать в реалтайме?
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

11. "Архитектура Twitter"  +1 +/
Сообщение от бедный буратино (ok) on 14-Мрт-11, 13:10 
У Обамы и Медведева - правительственный коннект, с мигалками и охраной.
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

14. "Архитектура Twitter"  +2 +/
Сообщение от User294 (ok) on 14-Мрт-11, 14:13 
> с мигалками и охраной.

Так вот ты какой, QoS + SSL...

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

12. "Архитектура Twitter"  +/
Сообщение от Aqueelone email on 14-Мрт-11, 13:56 
Ну же написано про сервер приложений Unicorn.
Цитата с Unicorn (http://unicorn.bogomips.org/):
Unicorn is an HTTP server for Rack applications designed to only serve fast clients on low-latency, high-bandwidth connections and take advantage of features in Unix/Unix-like kernels. Slow clients should only be served by placing a reverse proxy capable of fully buffering both the the request and response in between Unicorn and slow clients.
----
То есть --- сие только для быстрых клиентов с минимальными задержками и толстыми каналами.
Если Вы не такой...
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2023 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру