Сравнение производительности гипервизоров. Маркетинговая агония.


Сегодня я бы хотел поговорить об одной текущей PR-акции VMware. Недавно компания заказала «независимое тестирование» производительности гипервизора vSphere 5 и Hyper-V R2 SP1 компании Principled Technologies. В качестве задачи в виртуальных машинах устанавливался SQL Server, к которому с различных внешних клиентов шли автоматизированные обращения. Производительность вычислялась, как сумма выполненных транзакций. Главным результатом, пропагандируемым адептами VMware является 18.9% преимущество vSphere над Hyper-V в количестве транзакций. VMware публикует документ на своём сайте и активно спамит его заказчикам, как результат «независимого тестирования». Давайте попробуем разобраться, в чём там дело, и почему VMware бьётся в маркетинговой агонии с придуманными тестами.

Начнём с изучения методики тестирования и результатов, предлагаемых для ознакомления в более подробном документе на сайте Principled Technologies, проводивших это тестирование. В качестве тестовой системы использовался сервер DELL PowerEdge R710 с 96ГБ памяти и дисковые хранилище DELL EqualLogic PS5000XV. Гостевые виртуальные машины с Windows Server 2008R2 SP1 конфигурировались 4ГБ памяти. Тестирование проводилось в два этапа: сначала для 24 виртуальных машин (суммарный объём памяти в ВМ равен памяти на сервере), а далее тестировалась «масштабируемость» на 30 виртуальных машинах (требующих в данной конфигурации 120ГБ памяти, при наличии 96ГБ на сервере).

Очевидно, что «независимое тестирование» ставило себе вполне конкретную задачу получить озвученный выше результат. Что можно сказать про предложенный механизм тестирования?

По непонятным соображениям основной упор (и 18.9% разница в результатах) делалась на тестирование конфигурации, когда объём потребляемой машинами памяти превышает объём физической памяти. Цель очевидна – показать возможность Memory Overcommitment. Не важно, что это не рекомендуется в реальной среде самой VMware. Не важно, что по новым правилам лицензирования vSphere, заказчик лицензирует vRAM не за физически доступную, а за максимально назначенную память (то есть в данном случае, на сервере с 96ГБ требуется лицензировать не менее 120ГБ памяти, раз там созданы 30 машин с 4ГБ. Не важно, что четверть памяти обеспечивается файлом подкачки). Не важно, что часть продуктов самой VMware не поддерживаются на серверах с разрешенным Overcommitment (например новомодный vSphere Storage Appliance). Главное было получить некие цифры. Посмотрим на них..

Даже в первом случае c 24ВМ, очевидно, что сам гипервизор также требует некий объём памяти, так что и для 24 машин выделить реальные 96ГБ в такой конфигурации невозможно. Результаты тестирования 24 машин показывают примерно одинаковые результаты в производительности, vSphere выигрывает пару процентов, как я понимаю, за счёт того что Hyper-V как раз не хватает этих самых 2% памяти.

Далее запускаются ещё шесть машин, так чтобы в случае VMware суммарный объём памяти достиг 120ГБ (с использованием Overcommitment), а Hyper-V имел 30 машин примерно по 3ГБ. Результат вполне прогнозируемый.

Отдельно скажу, что для виртуальных машин с SQL ставился буфер в 10%. Не рекомендованное значение в 5%, и не значение по умолчанию в 20%, а некое промежуточное, что несколько настораживает. Также очень настораживает факт, что в документе, подробно описывающем версии ОС и SQL, оборудования и драйверов ни слова не сказано о том, какое издание SQL Server использовалось. Как вы знаете, Standard Edition не поддерживает динамическую память. Для сервера с 30 запущенными виртуальными машинами с SQL покупать лицензии Standard будет дороже, чем две процессорные Enterprise, однако, вряд ли это беспокоило Principled при тестировании.

Также нельзя не отметить интересный факт. В описании процесса тестирования указано, что после загрузки всех виртуальных машин, перед запуском теста предлагалось подождать один час. Интересно почему? Очевидно, что для эффективной демонстрации технологии Transparent Page Sharing это было необходимо. В реализации vSphere TPS не работает в реальном времени, а лишь оптимизирует одинаковые блоки памяти раз в час (значение можно увеличить). Указав один час ожидания перед запуском теста, Principled честно даёт понять, что рассчитывает получить от этого увеличения производительности. Очевидно, что в реальной жизни это неприменимо, как уже не раз обсуждалось, с Windows 2008/7/R2, а также с Linux, технология TPS работает неэффективно.

Как можно оценивать тест и его результаты? Думаю, что все прекрасно понимают, что в промышленных средах Overcommitment никто использовать не будет. Сама VMware это не рекомендует в своей документации, однако для теста было решено рекомендациями пренебречь. Для ситуации, когда Overcommitment (почти) не использовался разница в 2% производительности это убедительная победа бесплатного Hyper-V над vSphere, где для работы с 96ГБ памяти требуется купить две лицензии Enterprise или три Standard (можно, конечно, и две Enterprise Plus, одной не хватит, ибо лицензируется каждый процессор).

А теперь попробуем оценить это с точки зрения адепта VMware. Overcommitment – классная технология, которую адепты используют в промышленных внедрениях. Технология позволяет получить 18.9 преимущества над Hyper-V – победа! Однако? Однако нужно купить две лицензии vSphere Enterprise за $6990. Может быть проще купить второй сервер, и запустить на нём ещё виртуальные машины Hyper-V за те же деньги? Или удвоить память и количество машин на первом сервере за те деньги, которые можно сэкономить, отказавшись от vSphere? Это я предлагаю решать вам самим. К статье прилагаю более подробную презентацию, которая описывает эту агонию маркетолухов VMware, выпустившим такое «независимое тестирование» у себя на сайте. Рекомендуеися к ознакомлению всем, кто получил в виде спама от VMware результаты этого тестирования.

Я бы с удовольствием поучастсвовал в реальном тестировании - где мы бы публично оговорили методологию, создали бы скрипты инсталляции, конфигурации и тестирования, и дали бы независимому лицу провести само тестирование. Однако, увы, лицензионное соглашение vSphere до сих пор не позволяет никому публиковать результаты тестирования, если методология не была одобрена VMware. Что за методологии там одобряют мы только что поняли. Буду рад злобным комментариям!

Comments (38)

  1. Templier, т.е. использование Overcommitment в боевой среде с Вашей точки зрения это приемлимо? Полагаю, ситуация при обращении в официальную поддержку будет такой же, как с 32-процессорными машинами в Hyper-V – Вас попросят привести конфигурацию к поддерживаемой

  2. Alex A says:

    За 30000 я планировал докупить 64 16ГБ модуля памяти (HP 500666-B21), а не 16 блейдов.

    Блейды уже были заложены Templier, я лишь предложил для своего сценария вместо G6 взять G7 (разница порядка 500 долларов на рынке), в которых больше слотов для памяти, и где подогнанный сценарий VMware с треском пролетает.

  3. Andrey Beshkov says:

    Был случай когда менеджер VMware Скот Драммонд рассылал клиентам видео порочащее Hyper-V. Затем когда был пойман за руку и публично пошел на попятную.

    blogs.technet.com/…/hyper-v-winning-daily-vmware-fud-reaching-new-heights.aspx

    blogs.technet.com/…/day-two-of-the-scott-drummond-vmware-fud-fiasco.aspx

    Вероятно это бенчмарк из той же серии. Припекло и цель сохранить клиентов любыми путями.

    При учете изменения лицензирования выглядит как попытка заработать по крупному напоследок.

  4. Templier says:

    Предположение о том что машин у меня мало – повеселило.

    Равно как и ваши познания в VMware (примеры – ESXi5 free с 8 гигами ОЗУ или TPS vs Large Pages).

    Я хоть не позорюсь и не заявляю, что лучше вас знаю Hyper-V.

    Впрочем, жду ссылки на документ, содержащий "Make sure the host has more physical memory than the total amount of memory that will be used by ESX plus the sum of the working set sizes that will be used by all the virtual machines running at any one time".

    Потому что до сих пор считаю, что в ЭТОМ случае TPS может отработать БЕЗ потери производительности.

  5. Templier says:

    А, забыл учесть Windows Datacenter Edition (10 штук на 5 серверов)

    +700000р или 23333$.

    Итого, по MS итоговый ценник без управляющих лицензий на 21 процессор ~ 152500$.

  6. Anonymous says:

    Спасибо адептам от Microsoft и от VMWare з интересные примеры и расчеты.

    To Alex A. Kibkalo: То что VMWare кинуло своих пользователей на память и ядра факт, но вот нефакт того что Microsoft не поступит также (вслед за главным конкурентом). Для примера возмем SQL 2012, который тепер лицензируется поядерно. Да, есть определенные бонусы для подписчиков SA и возможно вытащить из Microsoft больше лицензий, но прецедент уже есть и куда повернется все через пару лет никто незнает.

    Как конечный заказчик и человек, который непосредственно отвечает за работу кластеров Hyper-V (их у меня 2) у меня есть большая претензия к сетевой подсистеме на Hyper-V. А конкретней агрегация каналов и VLANизация.

    и еще Alex, а не подскажите ли откуда инфа об финале SCVMM 2012. После вашей фразы зашел на портал лицензированния и SCVMM 2012 нет в списке доступных закачек. В гугле тоже ничего не нашлось (хотя может не так искал)

  7. Templier says:

    Ай-ай, Алексей, как не стыдно 🙂

    Сравнивать модель лицензирования нового гипервизора VMware и старого гипервизора Microsoft.

    Вот тут (searchservervirtualization.techtarget.com/…/VMware-shops-eye-new-System-Center-2012-licensing-for-virtualization) говорят, что ориентировочная стоимость нового бандла System Center VMM 2012 составляет не ~1200$, а ~3600$ на сокет.

    Что, как вы понимаете, в корне меняет наши с вами подсчеты.

    Я не поленился еще раз пересчитать вариант с лицензиями vSphere Std на корзинку HP, полную BL620c G7(каждый на 512GB), Memory Overcommitment = 30%.

    Решение VMware стоит ~206000$. Против этой цифры вы вроде не протестовали, пересчитывать я ее не стал.

    Для Microsoft я все же возьму три лезвия, а не пять 😉

    Итак:

    Новое шасси – 10000$ (в старом нет места)

    Три блейда – 18300$

    Памяти под завязку – 32(слоты)*3*600$(16GB)= 57600$

    Коммутаторы в шасси – 20000$

    Шесть лицензий на Windows Datacenter – 12600$

    И 16+6 лицензий на управляющий пакет SCVMM 2012 – 22*3600 = 79200$

    Итого, 197700$.

    В оставшиеся 10000$ еще одно лезвие вы не впихнете – стоимость лицензий не даст.

    Сравнение по честной памяти – 4096GB(VMware) vs 5632(Microsoft). Если учитывать проклинаемый Memory Overcommitment 30% ~ 5300GB(VMware) vs 5632 (Microsoft).

    В общем-то, недолго Microsoft'у рвать VMware. До выхода SCVMM2012.

    P.S. С лицензиями Enterprise/Enterprise Plus ситуация немного выправляется – Microsoft больше памяти может выиграть 😉

    Но начинает серьезно сливать по функционалу, озвученному мной несколько комментариев назад.

  8. Alex A says:

    Templier, давайте поиграем в ваш сценарий.

    Вы заказали музыку себе, позвольте для ОПТИМАЛЬНОГО сценария на Microsoft мне внести изменения.

    Я буду заказывать не прошлое поколение блейд серверов, а новое – типа BL620c G7 (32 DIMM) или BL490c G7 (18 DIMM)

    За замену блейда я заплачу примерно 600 долларов (10000 за 16 блейдов). Только теперь мне не нужно менять модули с 16 на 32. Я просто докуплю по 4 модуля в сервер.

    Потрачу суммарно около 30000. Добавлю еще 32 лицензии SMSD (для полного System Center, – не прошу вас добавить полный Management Suite) – 40000.

    Windows Datacenter покупается для обоих платформ одинаково.

    Итого, я заплатит вдвое меньше вас, но не имею проблем с производительностью (overcommitment на 30% приведет к спаду производительности в среднем на 10-15% на машину). Также моя конфигурация будет поддерживаться. Увы, ваша нет. Overcommitment не попадает под SVVP – если память, используемая ВМ на 1 мегабайт более физической, в поддержке Microsoft вам будет отказано.

    Ах, так у меня же есть еще 100000…. Я докуплю памяти. Еше по 8 подулей в сервер в случае 620с или еще по два в случае 490с. Буду иметь на 40% больше машин чем VMware, за те же деньги, без упадка производительности, с поддержкой.

    Если будем расти вврех (по памяти, например с 32ГБ модулямя) или в ширь (с количеством серверов), то будет лишь жарче – у нас нет налога на vRAM и цена при увеличении растет линейно (без скачка с Acceleration Kit).

    Давайте продолжим, становится интересно…

  9. Alex A says:

    Templier, я рад что мы пришли к общим выводам

    1) Тестирование PRINCIPLED было "синтетическим", результат его ожидаемым, но за те же деньги на платформе Microosoft достижимо большее количество виртуальных машин (за счёт добавления памяти или за счёт увеличения количества серверов).

    2) По ценам – я предлагал использовать блейды 490, которых в корзине 16, а не 8. Хорошо, пусть будет 620, тогда мне нужно не 5 блейдов, а 2 чтобы достичь одинакового количества ВМ (при меньшей цене), и иметь три полных дополнительных сервера просто за деньги, которые можно сэкономить на стоимость VMware, давая мне на 25% больше рейтинг физической памяти к вашей виртуальной.

    3) SVVP это не манипуляции. Microsoft тестирует лишь эмуляцию железа. Если вы добавляете любые функции, недоступные на железе (VMotion, overcommitment, FT) и испытываете проблемы, вас потребуют это отключить при обращении в поддерджку – это разумно.

    4) Новое лицензирование с vRAM позволяет Microsoft громить VMware, о чем пока что знают не все. Приходите сегодня на TechEd, мы это будем обсуждать

    Цель заметки был не холивор, что VMware дорого и неэффективно, а лишь что тестирование, которое они рассылают основано на ложных предпосылках, а результат в реальной среде противоположен.

  10. Anonymous says:

    Вы, кстати, выкидывая MS DPM и VMW DR, ставьте Veeam Backup 6 – поддерживает обе инфраструктуры 😉

    Жаль не смог посмотреть сессию – работал на стенде. Можно будет посмотреть в записи?

  11. Бесполезно спорить опираясь на цены лицензий.

    Приходит продавец и предлагает другую цену на VMware. Сам сталкивался: говорю руководству, что цена VMware такая, а вот Hyper-V дешевле, а мне отвечают, что нет – по VMware интегратор нам предлагает совсем другие цены!

    Бесполезно спорить опираясь на фичи.

    Hyper-V пришел позже и догоняет по фичам. И его всегда будут сравнивать с VMware. Даже по тем параметрам и фичам, которые давно уже стали рудиментом! И даже по тем сценариям работы, которые кажутся надуманными или смешными (вроде десятикратного Overcommitment в продакшен).

    Бесполезно даже опираться на логику.

    На вопрос: почему  VMware? – руководство дает ответ: VMware это лидер, там такие фичи! А на вопрос: а они нужны? так ли надо за них платить? – следует ответ: а вдруг… а вот если возникнет ситуация… а вот наши соседи купили…а Hyper-V вот это не может… !

    Поэтому Hyper-V "умоет" VMware только тогда, когда Microsoft скажет: у нас есть все что есть в VMware и даже больше.

    А пока есть давление интеграторов и гипноз лидерства VMware в головах руководителей – Hyper-V не будет рассматриваться в первую очередь.

  12. Alex A says:

    Я правильно понимаю, что перед глазами типичный пример сравнительного расчёта от адепта VMware?

    Для лицензий мы считаем физическую память, а вот для количества машин считаем память + 30%.

    Вы их "забыли" лицензировать? Обычно это я вижу на сайте VMware в сравнении фич EnterprisePlus с Hyper-V,  а далее цена следует от Standard.

    И, конечно, в вашем сценарии 16 лицензий на сервер для 16 серверов дало 16*16=… 128 ???

    По моим подсчетам их будет 16*16*1.3=333 лицензии (стандартная "экономия" VMware для бенчмарков в действии). Даже с учётом Acceleration Kit и без лицензий Windows я вижу уже 333000$ (в вашем примере указано вдвое меньше – и туда заложили 16 лицензий Datacenter при том что нужно 32)

    Кстати, вы же не считаете, что у вас в vSphere есть что-то близкое по управлению к System Center? Попрошу добавить сюда мониторинг, оркестрацию, патч менеджмент и бэкап. Можно по отдельности, можно Suite'ами. Мериться предложили вы, давайте. Прошу утвердить мой расчёт количества vSphere Std – 333, а не 128. Прошу рассчитать лицензии управления, хотя бы VMware Operation Management Suite и решение по резервному копированию – вы же сравниваете себя с полным System Center (или мне его не считать, заменив на System Center Essentials – 100$ на узел с функционалом и так выше вашего?)

    Сразу скажу, как я буду считать далее. Я добавлю C7000 (порядка 10000), 5 блейдов (15000) и по 32 модуля памяти в каждый. (32*5*600=96000) + мне нужно на 10 лицензий Windows Datacenter более (заметьте, что вам их нужно не 16, а 32 – они на сокет). На это я потрачу 140000.

    Даже без ваших продуктов управления у меня в заначке еще порядка 190000$. А давайте я на них куплю еще 8 блейдов с 32ГБ памяти и с Windows Datacenter?

    Имею теперь 29 блейдов с 512ГБ (15ТБ RAM) памяти против ваших 16ти с оверкоммитментом (нужно делать оверкоммитмент 87% чтобы меня догнать). Без поддержки от Microsoft, против рекомендаций VMware..

    Давайте продолжим..

  13. Alex A says:

    Антон, а давай посчитаем?

    На примере этого же оборудования.

    Один сервер R710 в заданной конфигурации стоит порядка $8000 (без внутренних дисков)

    Такой же сервер с удвоенным объёмом памяти стоит порядка $11000

    На VMware нужно примерно $7000 на лицензии (в конфигурации статьи, где 30 машин используют 120GB памяти) – это без любых фишек, не входящих в саму vSphere и без vCenter (так что не добавляйте мне VMM, который стоит в разы дешевле).

    Имееем $15000 за конфигурацию с VMware на 30 машин и $11000 за Hyper-V на 48 машин.

    Приведу к общему знаменателю по количеству машин.

    Три сервера с VMware за $45000 дают примерно столько же машин, сколько два Hyper-V (с удвоеной памятью), но Hyper-V обходится вдвое дещевле ($22000) – к тому же, как вы правильно заметили, на VMware нужно еще электричество, охлаждение итд, ибо эффективность ниже и серверов больше

    Для Hyper-V я могу и утроить память, примерно за $16000 за сервер с 75 машин (то же что стоит VMware на 30 машин). Удвоение памяти в случае VMware приведёт к удвоению стоимости лицензий и будет только хуже.

    Давайте уж порассуждаем открыто. Жду комментариев. Дайте свою конфигурацию, когда VMware может быть сравнимо по стоимости.

  14. Alex A says:

    Комментарий был следующим постом. Что именно не ясно?

    ESXi как бесплатный гипервизор был нишевым решением (без VI) до версии 4.1. Теперь с ограничением в 8ГБ о нем можно забыть.

    Пулы ресурсов это функционал VMM2012 (он уже финaл). Полноценный P2V опять таки часть VMM (и такого у VMware нет, – попробуйте сконвертировать ProLiant варой, помучайтесь). По ценам – VMM Workgroup – 500$ на пять хостов.

    Бесплатный P2V for Software Assurance есть на сайте MS.

  15. Alex A says:

    Первая цитата есть явно в "Understanding Memory Resource Management in VMware vSphere® 5.0"

    http://www.vmware.com/…/mem_mgmt_perf_vsphere5.pdf

    Host memory size should be larger than guest memory usage. For example, it is unwise to run a virtual machine with a 2GB working set size in a host with only 1GB of host memory. If this is the case, the hypervisor has to reclaim
    the virtual machine’s active memory through ballooning or hypervisor swapping, which will lead to potentially serious virtual machine performance degradation

    Про Large Pages и TPS там же

    In hardware-assisted memory virtualization (for example, Intel EPT Hardware Assist and AMD RVI Hardware Assist6) systems, ESXi will automatically back guest physical pages with large host physical pages (2MB contiguous memory region
    instead of 4KB for regular pages) for better performance due to less TLB misses. In such systems, ESXi will not share those large pages because:

    • The probability of finding two large pages having identical contents is low

    • The overhead of doing a bit-by-bit comparison for a 2MB page is much larger than for a 4KB page

    However, ESXi still generates hashes for the 4KB pages within each large page. Since
    ESXi will not swap out large pages, the large page will be broken into small pages during host swapping so that these pre-generated hashes can be used to share the small pages before they are swapped out. In short, we may not observe
    any page sharing
    for hardware-assisted memory virtualization systems until host memory is overcommitted.

    То есть, TPS даёт нулевую эффективность на EPT/RVI (практически все современные серверы, что есть в списке совместимости vSphere5) системах, пока память используемая ВМ не превысит физическую. Далее начнётся разбиение страниц на 4КБ кусочки, раз в час (раз
    в Mem.ShareScanTime от 10 до 600 минут с рекомендуемым умолчанием в 60) он будет пытаться найти одинаковые, в этот момент времени производительность будет падать. Интересно провести тест с запуском в ВМ на пару часов чего-то по чтению-записи в память, и сравнить
    два результата для Mem.ShareScanTime равным 10 и 600 минутам. Первый будет медленнее.

    Про 32-процессора две вещи.

    Первая традиционна для маркитекторов VMware – парой страниц назад вы били себя
    пикулаками в грудь, что сравниваете то ли бесплатный гипервизор, то ли Standard (ибо с треском пролетаете по ценам при сравнении Enterprise Plus), но конечно же далее вы фичи незайтейливо упоминаете именно EntPlus.

    Вторая, как заметил Денис – поддержка. И если в случае Hyper-V R2 я могу для любой ВМ (включая бесплатный гипервизор без VMM) поставить до 64 (а не 32) процессоров, оно будет работать в неподдерживаемом режиме до проблемы… при проблеме я выключу ВМ, верну
    4, позову поддержку, решу вопрос,… и верну сколько мне нужно. У вас же Overcommitement ведёт к неподдерживаемой конфигурации всего сервера, вам придётся выключать не одну ВМ дабы добиться поддерживаемого статуса, а отключать набор технологий, не валидируемых
    по SVVP, что чревато перезагрузкой всех ВМ. А если вы там что-то говорили про бесплатный гипервизор, то в отличии от Hyper-V Server R2, в VMware hypervisor нет ни HA ни VMotion…

    По поводу 8ГБ. My fault, VMware мутит воду слишком часто.

    В первый раз VMware кинул своих клиентов (используещих ESX/ESXi 3.5) с вводом версии 4.0, где ввёл налог на ядра. Если у вас много ядер – извольте купить ADVANCED или Enterprise Plus (я не просто так выделил Advanced). Те у кто пользовался Enterprise теперь
    не смогли иметь много ядер в процессоре, пока не купят Enterprise Plus

    Во второй раз VMware кинул с релизм vSphere 5 и вводом налога на память (aka vRAM entitlement).

    Далее кого-то там уволили и налог немного снизили (подняли максимум памяти, в том числе с 8ГБ для бесплатного гипервизора)

    В третий раз кидалово произошло с тем же vSphere 5 – как мы помним, с выходом 4 был создан Advanced SKU с хорошим функционалом и возможностями, отчасти большими чем Enterprise, но за меньшую цену. С выходом vSphere 5 данный SKU был аннулирован. Все кто имели
    так рекомендованный Advanced в режими SnS бесплатно получили обновление до Enterprise…. Ой… так ведь поддержка на Enterprise стоит существенно дороже? А продлить поддержку на Advanced по старой цене нельзя? Вот такое вот счастье.

    Давайте вернёмся к тестированию от Principled. Громить VMware мы тут сможем до конца её дней, но тематика немного другая.

  16. Alex A says:

    1, вы используете бесплатный гипервизор, как я понимаю.

    Я не спорю, в 4.1 это было очень даже не плохое решение. Теперь лишь 8ГБ памяти на сервер. И в этому случае ограничение жестко техническое.

    Как вы планируете использовать его далее?

    Или вы таки готовы переплачивать в разы за конвертер? У нас есть бесплатный P2V Converter, есть полный в SCVMM (или вы в случае ESXi и vCenter не покупали?). В VMM нет проблем с разграничением доступа и квотированием. Добавить сюда бесплатный VMM SSP 2.0 и квотирование становится более навороченным, чем у VMware.

    Цена VMM в минимальном варианте – 500USD на пять серверов (VMM Workgroup Edition + SSP 2.0), а сам Hyper-V бесплатен – за такие деньги вы даже на один процессор никакой лицензии от VMware не купите.

  17. Alex A says:

    Templier – вроде бы особо эмоций нет, просто развенчание очередного бреда, который пиар маректологи VMware активно распространяют. Завтра на TechEd обсудим более широко.

    Давайте сводить цифры. Задайте любую конфигурацию, которую вам удобно для VMware, посчитайте стоимость конфигурауции + лицензий. Серверов на 10-20, чтобы опять не было дыма, – предлагать за едорого Essentials, а через год требовать оплатить уже по полной дополнительные и старые серверы при необходимости расширения.

    Вы дайте свою конфигурацию, стоимость и оценку количества машин на ней. Я вычту стоимость лицензий VMware, добавлю SMSD, а на разницу добавлю памяти. И посчитаю количество машин. Будем считать, что процентная разница в количестве машин и будет судить показателем эффективности. Не нравится? Предлагайте другой вариант.

    Также буду рад предложению измерить производительность предлагаемым VMware способом (сумму выполненных на всех ВМ транзакций) на системах, стоящих одинаково. И чем больше рейтинг консолидации (чем больше машин и памяти), тем сильнее будет проигрыш VMware, что вы прекрасно понимаете. Монолит рушится, моя задача предупредить заказчиков во время отойти в сторону, чтобы обломками не раздавило.

  18. Templier says:

    Пока набивал – опечатался. Стоимость планки 16GB от HP – 600$, а не 500$. Итоговая стоимость памяти – 96000$ посчитана для правильной стоимости!

  19. Годный срыв покровов, но и рекомендовать такой "наш ответ Чемберлену" в PPTX я бы не стал – оформление и подача материала страшнее второй мировой войны 🙂

  20. Templier says:

    Столько эмоций 🙂

    Алексей, вы же занимаетесь тем же самым – выискиваете слабые места у VMware и давите на них же.

    Я прекрасно помню ваше предложение приехать в первопрестольную и сравнить гипервизоры на равном железе для оценки того, чей Memory Overcommitment круче.

    Также я прекрасно помню, что VMware EULA против открытых публикаций тестов без согласования с ними. Поэтому я предложил вам связаться с московскими коллегами. Судя по отсутствию сравнения в блоге – руки у кого-то из вас не дошли :))

    Конкретно по той тематике вы предложили следующие условия:

    – создаем и запускаем виртуалки. Ждем, кто раньше загнется;

    – используем Win2k8 R2 с тулзами/компонентами внутри;

    – не используем своп от VMware.

    При этом явно используются следующие предпосылки с вашей стороны:

    – ESXi использует ~ 512-1GB памяти для развертывания в нее своего образа. Именно благодаря этому и стало возможным его эффективное использование на флеш-носителях. Попробуйте долго использовать на флешке Hyper-V Server 😉

    – Win2k8 R2 поддерживает Memory Ballooning от MS, равно как и еще пара-тройка ОС, в отличие от пары десятков поддерживаемых ОС в VMware (поддерживаемых в плане Memory Balloon);

    – мне не известны способы выключения свопа без выключения остальных техник (в частности, ballooning). Либо они вместе выключены (при резервировании памяти), либо вместе включены. Вы о таком способе обмолвились, но раскрыть мне тайное знание отказались. Дескать, вы проводили сравнение с партнером VMware, они-то в курсе, а спросить их вы не можете.

    Точно так же можно предложить аналогичное сравнение с включенным свопом на SSD. Я даже догадываюсь, кто победит, причем с приличным отрывом по любым попугаям 😉

    По поводу неиспользования Memory Overcommitment в реальной среде: VMware не рекомендует планировать инфраструктуру на основе этой технологии (закладывая 20, 30 или 50%). Использовать ее она не запрещает вообще-то. Найдете официальное опровержение – с радостью посмотрю.

    Технология TPS с большими страницами не работает ровно до тех пор, пока на хосте хватает памяти. Как только свободной памяти становится меньше 6%, страницы радостно бьются на мелкие куски и дедуплицируются (http://www.vsphere.ru/…/transparent-page-sharing-tps-and-large-pages).

    VMware Converter таки бесплатный, и пролианты им конвертируются на раз. Пробовал несколько раз, последний на прошлой неделе.

    ESXi Free поддерживает до 32 ГБ vRam.

    Цена  vSphere Essentials – 500$. За эти деньги вы получаете лицензию на vCenter и три двухпроцессорных сервера, vRam – 32GB на процессор (192GB всего).

    Особенно радуют фразы типа "давайте посчитаем сферический сервер в вакууме".

    Считать надо не только (и не столько количество памяти на сервер) стоимость сервера, сколько внешнюю инфраструктурную обвязку (LAN/SAN), UPS, Cooling, …

    Я могу свести цифры так, что большее количество серверов от любого вендора потребует как минимум дополнительные свитчи (2SAN_SW+2LAN_SW от HP > 20000$). Как максимум, дополнительную корзину и свитчи, либо модернизацию схемы электропитания и охлаждения, там суммы еще веселее окажутся.

  21. Кирилл, вопрос-то не в святости, в однобокости подхода, заключающегося в закрытости результатов. А именно на их основаны эпистолярные документы, пруфы на которые привел Леша.

  22. Templier says:

    Окей, открытый пример подгонки задачи под результат.

    В качестве серверной платформы берем BL460c G7.

    VMware:

    В корзину c7000 умещается 16 двухпроцессорных лезвий. Нам интересен вариант, когда на лезвии стоит 12*16GB=192GB RAM. С учетом overcommitment 30%, который на части больших инфраструктур все же получают, нам потребуется третья лицензия vSphere Enterprise Plus на хост. Ну и представим, что у нас есть виртуалки, которым так или иначе вынь да выдай 3993,6GB (16*192*1.3).

    Итого 3*16=48 лицензий. Берем стартовый пакет VMware vSphere Enterprise Plus Acceleration Kit (6CPU) и 42 лицензии допом. Техподдержку откидываю, так как в противном случае и у MS придется начать считать CAL, SA и тд. Получаем 22000$+42*3500$=169000$. Большая сумма, да.

    MS:

    Нам надо нарастить 30% памяти за счет выбора большей памяти либо большего количества серверов.

    В данные лезвия можно поставить 32GB память вместо 16GB. Разница в стоимости на планку ~ 4400$, дада 😉 (по данным с price.ru)

    В нашем случае надо 5 серверов оснастить бОльшими планками памяти, это 60 планок по 32 GB. 60*4400$=264000$. УПС? 🙂

    Фигня, скажете вы, мы купим вторую корзину, это окажется дешевле.

    Давайте посчитаем.

    Тут цифры я беру от своей балды, если у вас есть более адекватные – велком

    1 корзина (~500000р)+2LAN/SAN_SW(~600000р)+5 серверов(~500000р)+60 планок 16GBпамяти (~2'280000). Итого – 3'880000р или 129300$.

    Сколько стоит инфраструктурная обвязка 21 сервера по SMSD? SCCM+SCOM+VMM+DPM?

  23. Templier says:

    Не согласен.

    Во-первых, вы так и не привели мне в пример документ, где VMware не рекомендует использование Memory Overcommitment в производственных средах. Как по мне, тогда по умолчанию он был бы выключен, вообще-то.

    Во-вторых, ничего не ответили по поводу поддержки 32-процессорных ВМ в Hyper-V R2 SP1. Они поддерживаются, или это фича, в отличие от vSphere 5?

    По поводу общих выводов.

    1) Я не считаю сравнение синтетическим. Сравнение специально было сделано, чтобы показать эффективность от технологии TPS и того, что даже на SQL-серверах можно добиться работы Memory Overcommitment. Да, вы нашли некоторые несоответствия в условиях тестирования. Опять же, насколько они повлияли на результат мы с вами не знаем.

    Опять же, если оглядываться на динамическую память, буферы и т.п., то в первом примере (тестирование 24ВМ) vSphere точно порвал бы Hyper-V. Еще бы, у вас на vSphere SQL живет на 4ГБ, а на Hyper-V – 1Гб (startup memory).

    Возьмем "мой" контроллер домена, Win2k8 R2. Выдано 4 гигабайта ОЗУ. Из них общей (shared) памяти – 630MB. Ах да, память с нулями, скажете вы 😉

    Обнуленная память (zero) – 44MB.

    vSphere ESX 4.1 U1, процессоры 2*Xeon E5345.

    Это 630MB сэкономленной памяти, которая не влияет на производительность виртуальной системы. Это не своп, архивация и прочие методики.

    Так что вы несколько неправы, заявляя про неэффективность TPS при работе с Windows 2008 R2.

    2) Ок. За те же деньги большее количество ВМ – скорее всего так.

  24. Alex A says:

    Templier, забьём последний гвоздь в over-subscription (использование больше памяти, чем есть на физическом узле) цитатами из родных документов от VMware: "Performance Tuning Best Practices for ESX Server" и "Performance Tuning Best Practices for vSphere"

    Цитата 1: Make sure the host has more physical memory than the total amount of memory that will be used by ESX plus the sum of the working set sizes that
    will be used by all the virtual machines running at any one time.

    –Performance Tuning Best Practices for ESX Server 3

    Цитата 2: if the working set is so large that active pages are continuously being swapped in and out (that is, the swap I/O rate is high),
    then performance may degrade significantly. To avoid swapping in specific virtual machines please
    configure memory reservations for them (through the VI Client)
    at least equal in size to their active working sets
    . But be aware that configuring resource reservations can limit the number of virtual machines one can consolidate on a system.

    –Performance Tuning Best Practices for ESX Server 3 page 15

    Цитата 3: …hypervisor swapping is a guaranteed technique to reclaim a specific amount of memory within a specific amount of time. However, hypervisor swapping may severely penalize guest performance. This occurs when the hypervisor has no knowledge
    about which guest physical pages should be swapped out, and the swapping may cause unintended interactions with the native memory management policies in the guest operating system. For example, the guest operating system will never page out its kernel pages
    since those pages are critical to ensure guest kernel performance. The hypervisor, however, cannot identify those guest kernel pages, so it may swap them out
    . In addition, the guest operating system reclaims the clean buffer pages by dropping them.
    Again, since the hypervisor cannot identify the clean guest buffer pages, it will unnecessarily swap them out to the hypervisor swap device in order to reclaim the mapped host physical memory.

    –Understanding Memory Resource Management in VMware ESX Server p. 9-10;

    Цитата 4: ESX also uses host-level swapping to forcibly reclaim memory from a virtual machine.
    Because this will swap out active pages, it can cause virtual machine performance to degrade significantly.

    –Performance Tuning Best Practices for vSphere page 23

    Цитата 5: The only problem is that when large pages is used, Page Sharing needs to find identical 2M chunks (as compared to 4K chunks when small pages is used) and the likelihood of finding this is less (unless guest writes all zeroes to 2M chunk) so ESX
    does not attempt collapses large pages and thats [sic] why memory savings due to TPS goes down when all the guest pages are mapped by large pages by the hypervisor.

    communities.vmware.com/…/1262016

    Краткая выжимка: "Убедитесь, что память, используемая виртуальными машинами vSphere размещена в физической памяти. Избегайте свопирования памяти на диск, оно существенно влияет на производительность"

    Цитата 5 дана чтобы объяснить, почему в "независимом тестировании" машины сначала загрузили, а затем дали постоять час перед запуском короткого теста. TPS иначе бы не сработал.

    В вашем примере с контроллером – перезагрузите машину и СРАЗУ посмотрите статистику. Очевидно, что когда у вас машин мало (а это именно ваш случай), они за память не борятся и через час TPS показывает синтетическую оптимизацию, которой в случае большого
    количества реально загруженных машин не будет.

    К вашему выводу "Ок. За те же деньги большее количество ВМ – скорее всего так." я добавлю – "каждая ВМ покажет больше производительности, в виду использования физической памяти". И машин больше, и производительность каждой выше, и поддержку получаем безусловно.
    О чём спор?

  25. Alex A says:

    Templier, начинать заново рассчеты предлагаю после написания заметки по SC2012.

    Скажу лишь так – адепт VMware, писавший статью на TechTarget увидел корректную цену в 3607 за SC2012 Datacenter, но не увидел, что позиция лицензирует ДВА сокета, а не один.

    То есть лицензий нужно вдвое меньше.

    В сравнении с тем что мы уже обсуждали, для решения на SC2012 не нужны никакие управляющие продукты (все роли SC2012 бесплатны), ни SQL – Вся виртуализация и управление покрываются бесплатным гипервизром + SC2012 Datacenter.

    На наивное предположение что VMwhere будет успешно как-то конкурировать с SC2012 по функционалу я улыбнусь. Вот уж где, а в управлении, даже сравнивать нечего.

  26. Templier says:

    Пардон, затупил.

    НО серверов BL620c G7 в корзине не 16, а всего 8 😉

    h10010.www1.hp.com/…/3709945-3709945-3328410-241641-3722793-4268686.html

    32*16GB*1.3=665,6Gb. На хост лицензий надо 21. На корзинку – 168 vSphere Std.

    Повторяем расчеты: лицензии VMware – 169200$ + лицензии Server Datacenter – 36800$. Итого 206000$. Ужас-ужас.

    Update Manager и vCenter Orchestrator входят в лицензию vCenter.

    Окей, MS DPM можете выкинуть и считать только SCOM, SCCM, SCVMM, SCORC, потому что встроенный Data Recovery на таких масштабах не рулит. Мне этого будет достаточно. Функционал по управлению только хостами будет примерно аналогичный.

    И, Алексей, я призываю не меряться функционалом, иначе я пойду от противного – возьму vSphere Enterprise Plus и другие облачные продукты VMware и попрошу у вас так или иначе повторить имеющийся там функционал. Например, за деньги. Типа vShield Endpoint и VMSafe API, Host Profiles, Distributed Switch, Storage DRS, VAAI, Storage and Network IO Control, CPU/Memory HotAdd и т.д.

    При покупке новой корзины вы выбрали, видимо, самый дешевый вариант с парой вентиляторов и блоков питания. Ну да ладно. – 10000$

    Также стартовая цена на сервера 6100$, а не 3000$.

    Ради бога, добавляйте 5 блейдов. – 30500$

    Память – 5*32*500$ = 96000$

    Вы забыли коммутаторы ~ 20000$ (2LAN+2FC).

    10 дополнительных лицензий Windows Server Datacenter по 2100$ – 21000$.

    26 лицензий на управляющие пакеты по 1250$ (у вас проскальзывала цифра) – 32500$ Сможете подогнать цифры только на "SCOM, SCCM, SCVMM, SCORC" – буду рад.

    Итого – 210000$.

    6656GB(MS) vs 5324,8GB(VMware) при сходной стоимости.

    Круто, у вас памяти больше на 20%.

    С одной стороны – убедили, что VMware дороже MS и иначе не будет, даже на синтетическом примере. С другой, я доказал (как минимум) самому себе, что в два раза больше памяти по той же цене вы не поставите. Это маркетинговая чушь. Не говоря уже о том, что получить большие скидки на софт ГОРАЗДО легче, чем на свеженькое железо. И вам, как представителю софтверной компании это должно быть известно. Особенно, когда софта покупается на миллионы.

    P.S. 32 процессора в Hyper-V R2 официально поддерживаются или это фича?

    P.P.S. И, кстати, манипуляции с поддержкой/неподдержкой функционала в SVVP на мой взгляд свидетельствуют только о том, что MS как минимум не выигрывает по всем фронтам. Равно как и повышение стоимости лицензий VMware, кстати.

    P.P.P.S. Ход с vRam в принципе, неплохой, так как старая схема лицензирования по процессорам себя исчерпала. Как раз наши с вами расчеты это подтверждают – без нее MS Hyper-V R2 вообще нечего противопоставить vSphere на больших объемах памяти с любыми видами лицензий. Кроме как заявлений о том, что Memory Overcommit – какашка 🙂

  27. Templier says:

    Хм. А с пруфлинками можно?

    Погуглил цитату №1 – почему-то только проMS блоги с этой цитатой попадаются.

    Вот здесь – http://www.vmware.com/…/Perf_Best_Practices_vSphere4.1.pdf – почему-то нет этой цитаты.

    В VI3 – http://www.vmware.com/…/vi_performance_tuning.pdf – почему-то тоже.

    Пока ссылку не дадите – незачет!

    Цитата №2 – подмена понятий. Memory overcommitment это не только SWAP. Про Transparrent Page Sharing в цитате ни слова. И, кстати, дословно сказано, что если активно используемый набор памяти попадает в своп, тогда мы замечаем снижение производительности. Там же добавлено, что если свопится неиспользуемая (по мнению гипервизора) память, то тормозов может и не быть.

    Цитата №3 и 4 – аналогично. Ах какой ужас – hypervisor swap очень медленный. В тесте, который вы активно ругаете, он не использовался, либо использовался по минимуму.

    Цитата №5 – я гляжу, у нас и форумы за документацию пойдут?

    Пожалуйста, ссылка с KB – kb.vmware.com/…/1021896

    Large pages are crucial for performance when using hardware-assisted MMU. In such cases, ESX backs the guest physical address space with 2MB pages whenever possible. Even if the guest is accessing a 4KB page in its physical address space, ESX might allocate 2MB of memory to back the 2MB region that contains that 4KB page.

    Because the use of large pages commits 2MB of memory at a time, this policy can cause memory to be allocated to a virtual machine more quickly than if large pages are not used. If the guest sparsely accesses memory in its physical address space, such a virtual machine may have more memory allocated to it than it needs. Moreover, if a 2MB region of guest memory is backed with a large page, the constituent 4KB pages cannot be page shared. This results in lower memory savings via page sharing in an under-committed system. However, the performance benefits of large pages for the MMU and TLB remain.

    !!In addition, if memory becomes over-committed on the system, the vmkernel and vmm can break large pages as necessary and reclaim memory by sharing pages, by ballooning, or by swapping. So, while this policy might cause more of the host's available memory to be allocated than would be the case if large pages were not used, it should cause neither performance nor scheduling problems for the virtual machines that use it.!!

    Вопрос о неработоспособности TPS с большими страницами снят?

  28. Templier says:

    А нет, вру.

    В vi_performance_tuning.pdf эта цитата была.

    Правда, в последующих документах она отсутствует.

  29. Templier says:

    Да пожалуйста.

    Тогда уж и я внесу изменения для оптимального сценария. Вы же не считаете, что Hyper-V R2 = vSphere 5 Enterprise Plus по функционалу? 🙂

    Возьмем лицензии vSphere Standard, которые более похожи по функционалу, благо Memory Overcommitment там тоже есть.

    Берем 8 BL620c G7 и vSphere Std. MO – 30%, память традиционно 16GB.

    Итак, на сервер мы получаем 32*16=512GB памяти, собственно, 16 лицензий vSphere Standard на сервер. Всего потребуется 128 лицензий vSphere Standard, 1 vCenter Standard + 16 лицензий Windows Datacenter.

    Берем Acceleration Kit(vCenter Std+8vSphere Std) – 10000$+120*995$ и 16 лицензий DataCenter (~2300$). Итого = 166200$.

    Напомню, данная инфраструктура дает нам 8*32*16*1,3 = 5324,8GB ОЗУ.

    Дайте мне на Hyper-V столько же памяти.

    Ваш ход, Алексей.

  30. averonesi says:

    Спасибо! Побольше бы таких разоблачений!

  31. Кирилл says:

    Нормально люди пишут. Это же их работа. А то вы так разнервнечались что можно подумать, что те маркетологи что работают в MS – святые. Люди-то не дураки и знают что в воде тонет а что плават.

  32. Dmitry says:

    Да, VMware далеко до "Get the Facts"

  33. yakov says:

    Да просто одни люди придумали новую политику лицензирования, а другие теперь думают как поднимать продажи 🙂

    Положа руку на сердце, у vmware сейчас функционал конечно получше. Но как выйдет Win8, новый System Center, Nexus то разница уже будет не существенной. А вот разница в цене останется огромной.

  34. 1 says:

    Да ладно все хороши. Любой вендор тянет одеяло на себя.

    Я лично, как продолжал использовать ESXi так и продалжаю. Дело даже не в гипотетической производительности, а просто в банальном удобстве:

    1) очень легко разграничить доступ на пул ресурсов, в том же Hyper-V для этого какие-то грабли нужно использовать

    2) есть vmware конвертер, который почти из любого формата виртуалки позволяет сделать свою виртуалку. В бесплатном гиперв таких удобств отродясь не было.

  35. Антон says:

    > Может быть проще купить второй сервер, и запустить на нём ещё виртуальные машины Hyper-V за те же деньги?

    Не проще. Электричество, охлаждение, обслуживание стоит бОльших денег.

  36. 1 says:

    >>Давайте уж порассуждаем открыто. Жду комментариев.

    Простите, а где мой комментарий в ответ на  3 Nov 2011 10:12 AM?

    В который раз не пропускаюся комментарии, которые хоть как-то противоречат хвалебным речам microsoft.

  37. альфа-тестер says:

    Алекс, расскажите пожалуйста, где вы будете покупать 16 лезвий BL620c G7 с памятью за 30000?

    я тоже хочу там прикупить пару десятков, по таким-то ценам!

  38. Anton Masyan says:

    зашел в пост посмотреть на холивар. и на тебе, действительно, сражаются. )

    одно точно, вмваре гнет цены, а с новой политикой лицензирования по памяти, бррр, вообще бред какой то.

Skip to main content