Официальный сайт студ.городка НГТУ
Программирование и БД » Вопрос спецам по разработке вэб-сервисов при большой нагрузке 

#1  10.07.08 11:00

Вопрос спецам по разработке вэб-сервисов при большой нагрузке

Хотелось бы услышать мнение специалистов, которые разрабатывают(ли) вэб-сервисы, выдерживающие большую нагрузку. На каком языке лучше делать разработку? Вэб-сервис предполагает активное использование БД. Почитав маненько просторы инета, решил, что сам вэб-сервис лучше реализовать в виде FastCGI сервера на Си/Си++.

P.S. высказывая свое мнение постарайтесь обосновать выбор...

Исправлено Jaguar (10.07.08 11:00)

Offline

#2  10.07.08 11:20

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

собственно php, как бы смешно это не звучало. Пример ngs.ru

nginx + php (fastcgi) + cache

все вопросы в аську или джабер

Offline

#3  10.07.08 11:29

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

A-Lex написал(а):

собственно php, как бы смешно это не звучало. Пример ngs.ru

nginx + php (fastcgi) + cache

все вопросы в аську или джабер

Напиши лучше статью о высоконагруженных системах на базе нгса

Offline

#4  10.07.08 16:05

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

Про www.1nsk.ru:

1. 7 серверов обслуживающих его в двух дата-центрах
2. сайт написан на php5, использует mysql в качестве СУБД, apache2 в качестве backend, nginx в качестве frontend, memcache в качестве кэша, в некоторых случаях используется кэширование smarty (полностью создается статичная копия для незарегистрированных пользователей и поисковиков), используется eaccelerator к php5, шаблонизатор - smarty
3. используется master-slave репликация, оба дата-центра юзают один мастер, слейвы есть в каждом ДЦ, при необходимости расширения устанавливается дополнительный слейв
4. Используется одно хранилище файлов в которое пишутся все статические файлы, отдача идет с серверов-кешей (nginx через proxy_store (перехват 404 и последующее скачивание) с хранилища, файлы на серверах-кэшах убиваются по atime, ядро портала генерирует для всех статических файлов уникальные имена, дабы proxy_store работал корректно) серверов кэшей может быть много, балансировка нагрузки осуществляется на базе views & round robin bind’a, выгода подхода - можно ставить дешевые сервера, не нужен raid для серверов-кэшей, можно добиться ускорения размазывая файлы по нескольким дискам.
5. Ядро умеет обрабатывать ошибки потери мастера (ограниченная функциональность) и слейва (все плохо), умеет использовать кэшировать запросы в memcache для зарегистрированных пользователей и smarty'ёвое кэширование целиком страницы для поисковиков.

Offline

#5  10.07.08 16:11

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

Диман, вопрос был про вэб-сервисы, а не организацию вэб-приложения типа "Портал" или "Сайт"... имеется в виду вэб-сервисы по типу Google Maps API или некоторые вэб-сервисы, которые предоставляют апи для флэш игр... Сообщение клиентов с вэб-сервисом посредством SOAP или XML-RPC

Offline

#6  10.07.08 16:57

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

Ну раз так то

Jaguar написал(а):

сам вэб-сервис лучше реализовать в виде FastCGI сервера на Си/Си++

Offline

#7  10.07.08 17:17

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

Jaguar, тада я хз...поделися потом инфой,интересна :)

Offline

#8  10.07.08 18:04

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

A-Lex, шаришь, Леха... :) это-то понятно... хотел узнать, может кто тестировал... тот же FastCGI перловый тоже достаточно быстр... если бы были в инете обзоры или сравнения, но при этом не тестирование фрэймворков типа зенда и т.п.

Offline

#9  10.07.08 19:28

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

кста, для интересующихся интересная набла http://dklab.ru/chicken/nablas/49.html

ЗЫ У нас специально сишника взяли, почту писать

Исправлено A-Lex (10.07.08 19:29)

Offline

#10  10.07.08 21:09

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

Мощные веб-сервисы особо не приветствуются в России. Почему? Вопрос филосовский. Вот, например что пишут на одном из блогов.

Почему в России JSF менее популярен чем в европе и америке?
Опубликовано SergeySmirnov в 6. июня 2008 - 1:25. Eclipse jsf RichFaces

Это действительно вопрос, а вовсе не ответ, как может показаться. Было уже несколько попыток создать около-JSFные сайти в России и на украине. Только что-то они живут совсем не долго. Я имеею ввиду сайты конечно. JSF то вроде еще живет. Может и JSF 2.0 к концу года появится. Хотябы в качестве спеки.
Ну так почему? И какой из этого следует вывод?
» Блог пользователя SergeySmirnov Для комментирования войдите или зарегистрируйтесь
имхо, мощная
Опубликовано asm в 29. июня 2008 - 4:11.

имхо, мощная технология и спецы стоят не дешево... на всяких пхп дешевле будет.но вот крупные интранет/интернет системы на jsf заказывают много и они живут.а вообще, действительно, русский менталитет "что б работало, и по дешевле"...
»
Для комментирования войдите или зарегистрируйтесь
у меня другое мнение...
Опубликовано anton в 12. июня 2008 - 19:38.

Зарубежом вообще j2ee сильно востребована, потому что в свое время компаниям, которые не считают бабки, задвинули коммерческие решения "энтерпрайз" типа Websphere и Weblogic. В России же предпочитают все делать дешево и сердито - на php+apache+mysql. Отсюда и непопулярность jsf - его некому продавать. И вообще java в России не очень любят (несмотря на то, что HotSpot Vm делалась в Питере)
»
Для комментирования войдите или зарегистрируйтесь
Курица или яйцо
Опубликовано SergeySmirnov в 6. июня 2008 - 19:09.

Так это наверное проблема курицы и яйца. Технология не популярна, вот и никто не пишит. А если никто не пишет, отуда же популярность возьмется.

Offline

#11  11.07.08 00:07

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

drug_detei, на счет явы скажу так: у нас даже в универе педагоги авторитарно заявляют, что ява очень тормозная, хоть и кроссплатформенна...
Честно говоря, я не хочу разводить тут холивар. Почти наверняка найдется парочка, которая будет до усрачки поливать Си/Си++ и "говноязыки", типа ява... ( Серега, намек ;) ) Вопрос стоит достаточно конкретно. Если вы выдвигаете какого-то кандидата под задачу вэб-сервиса, то и поясняйте свой выбор. Примерами, технологиями... Пост выше - голословное имхо, ничем не обоснованно.

Offline

#12  11.07.08 08:59

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

Jaguar, ты бы хоть рассказал что за веб сервис. Мне не совсем ясно как выбор технологий для разработки чего-либо может быть определен только степенью нагрузки на сервер.

P.S. по-поводу java... Сколько людей столько и мнений. Везде есть плюсы и минусы. Я читал несколько статей (позже постараюсь выложить ссылки) с результатами сравнения быстродействия С++ и java и ни в одной из них небыло написано однозначного ответа что быстрее работает.
Что за преподаватели кстати заявляют о тормознутости java ? Я год назад закончил НГТУ и мнению не всех преподавателей я бы стал доверять.

Offline

#13  11.07.08 10:02

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

_|ex написал(а):

Что за преподаватели кстати заявляют о тормознутости java ?

Романов Е.Л.

Offline

#14  11.07.08 10:17

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

_|ex написал(а):

Мне не совсем ясно как выбор технологий для разработки чего-либо может быть определен только степенью нагрузки на сервер.

Я и не говорю, что выбор технологии определяется только нагрузкой. Вообще, применение той или иной технологии определяется познаниями/предпочтениями разработчика в рамках конкретной задачи. Например, для разгрузки прослойки работы с БД можно много чего придумать/применить. Если работать с той же явой, то применение c3p0 достаточно лихо разгружает базу. Кэширование тоже снижает.

_|ex написал(а):

ты бы хоть рассказал что за веб сервис.

Вопрос пока стоит в вашем опыте и в ваших предпочтениях, но с примерами и мотивациями. Вэб-сервис должен понимать запросы, давать ответы, активно использовать БД. Делать это он должен быстро и выдерживать достаточно большое количество клиентов.

Offline

#15  11.07.08 10:41

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

Jaguar написал(а):

что ява очень тормозная, хоть и кроссплатформенна...

бгггг, на память денег не хватило что ли?:))
PS http://shootout.alioth.debian.org/
http://shootout.alioth.debian.org/gp4/benchmark.php?test=all&lang=java&lang2=gcc

Offline

#16  11.07.08 11:10

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

Jaguar, так вопрос только про оценку аппаратного быстродействия?

Самым известной организацией проводящей универсальные интегральные тесты является TPC (Transaction Processing Performance Council – Совет по Обработке Транзакций).  TPC является независимой некоммерческой организацией, созданной для исследования обработки транзакций и производительности систем управления базами данных (СУБД) и распространения объективной и воспроизводимой информации о производительности в тестах TPC для компьютерной индустрии.
Кроме результатов тестов производительности в рамках тестов TCP рассчитывается относительный критерий производительность/стоимость, включающий стоимость программного и аппаратного обеспечения и стоимость владения в течение эксплуатации.

вроде тестов четыре, TPC-App TPC-C TPC-E TPC-H. самым показательным считается TPC-C. Велкам на http://www.tpc.org/information/results.asp

Исправлено drug_detei (11.07.08 11:30)

Offline

#17  11.07.08 12:33

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

drug_detei написал(а):

так вопрос только про оценку аппаратного быстродействия?

Я ни одного слова не написал про аппаратную часть. Вопрос оценки программных средств при одинаковых аппаратных условиях.

Offline

#18  11.07.08 12:34

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

XuMiX, пасиб за ссылки... если бы ты мне еще сделал расшифровку по аське ... :)

Offline

#19  11.07.08 18:07

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

A-Lex написал(а):

кста, для интересующихся интересная набла http://dklab.ru/chicken/nablas/49.html

ты обсуждение на форуме читал?
http://groups.google.com/group/highload … 6e985e1c00
тут тоже обсуждают его статью...

Offline

#20  23.07.08 09:40

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

наткнулся на интересную статейку:
http://algolist.manual.ru/web/servers.php
никаких цифр не приводится... дается только общий обзор используемых технологий в вэб-серверах... кстати, судя по этой статье, пхп проигрывает перлу... даже если сделать по выше написанной набле сокращение числа инклудов до одного... единственное, что в данном случае вероятно спасет пхп - это мемкэшкры...

Offline

#21  23.07.08 11:02

Re: Вопрос спецам по разработке вэб-сервисов при большой нагрузке

Jaguar, php всегда проигрывает perl когда речь идёт оо обработке текстовых данных. На счёт спасение пыха, то мемкэш не панацея, необходимо ещё как минимум кэширование промежуточных результатов работы скрипта, например APC

Offline

Программирование и БД » Вопрос спецам по разработке вэб-сервисов при большой нагрузке 

ФутЕр:)

© Hostel Web Group, 2002-2025.   Сообщить об ошибке

Сгенерировано за 0.038 сек.
Выполнено 14 запросов.