LinkedIn's Azure-beweging gaat minder over schaal en meer over de snelheid van innovatie

Hoe Barracuda Microsoft Azure gebruikt om applicatiebeveiliging aan klanten te leveren Nitzan Miron, VP van applicatiebeveiligingsservices bij Barracuda Networks, bespreekt het door Azure geleverde WAF-as-a-Service-productaanbod aangekondigd op Microsoft Ignite 2019

Must-read cloud

  • Cloud computing in 2020: voorspellingen over beveiliging, AI, Kubernetes, meer
  • De belangrijkste cloud-vooruitgang van het decennium
  • Top desktop as a service (DaaS) -providers: Amazon, Citrix, Microsoft, VMware en meer
  • Cloud computing-beleid (TechRepublic Premium)

LinkedIn is zo geïnvesteerd in het runnen van zijn eigen datacenters dat het zijn eigen versie van het Open Compute Project (OCP) is gestart op basis van het 19-inch rack, Open19. Het heeft ook aanzienlijke hoeveelheden code bijgedragen aan het SONiC-netwerkbesturingssysteem van Microsoft ter ondersteuning van functies die het nodig heeft voor zijn eigen datacenternetwerk. Maar nu is het van plan om naar Azure te verhuizen.

Een paar maanden na de eerste aankondiging ging TechRepublic met LinkedIn CTO Raghu Hiremagalur zitten om te vragen waarom het bedrijf overstapt naar de cloud en welke vooruitgang er tot nu toe is geboekt. En nee, zegt hij, het is niet omdat Microsoft ze bezit of onder druk zet - het gaat om de mogelijkheid om te schalen met nieuwe hardware en diensten die LinkedIn nooit voor zichzelf zou kunnen bouwen.

Echte hyperscale

Raghu Hiremagalur, CTO at LinkedIn.

" data-credit="Image: LinkedIn" rel="noopener noreferrer nofollow">

Raghu Hiremagalur, CTO op LinkedIn.

Afbeelding: LinkedIn

Ten eerste, terwijl Open19 voor een groot deel bezig was met het vereenvoudigen en verlagen van de kosten voor het exploiteren van een datacenter, neemt de overstap naar Azure de noodzaak weg om nieuwe datacenters te bouwen.

Microsoft Azure: een handleiding voor insiders (gratis PDF)

Tien jaar geleden hadden de problemen van LinkedIn allemaal te maken met het beschikbaar houden van de website naarmate het verkeer groeide, en het heeft zich meerdere jaren geconcentreerd op de overstap naar microservices en net voldoende capaciteit om leden te bedienen. Toen begon het na te denken over het opschalen van het netwerk en het bouwen van een actief-actieve datacenterarchitectuur. In de afgelopen drie jaar is dat verschoven naar proberen datacenters te bouwen zoals de hyperscale clouds zoals Azure, waarbij het netwerk wordt aangepast aan de behoeften van de applicaties die erop draaien in plaats van de applicatieontwikkelaars te vragen om te werken met de beschikbare infrastructuur, bandbreedte en latentie.

Maar het doet dat in middelgrote datacenters in plaats van de gigantische datacenters van hyperscale cloud, en het probleem had meer kans dat de ruimte bijna vol was dan de stroom. LinkedIn heeft ongeveer 250.000 servers in vijf datacenters - en dat aantal groeit elk jaar met een derde. Het heeft ook 20 aanwezigheidspunten en collega's met 4.000 netwerken, maar dat is niet te vergelijken met Azure.

"We zijn in het westen van de VS, het oosten van de VS, Singapore en Texas; het zijn letterlijk 57 regio's", legt Hiremagalur uit. "Op Microsoft's backbone kunnen rijden is een onmiddellijk pluspunt: het is waarschijnlijk een van de beste netwerkbackbones die er is vanuit een privé-backbone-standpunt, en ze hebben 160-plus edge-locaties met Azure Front Door. Dus onze mogelijkheid om onze leden worden veel beter dan waar we nu zijn, omdat we hun sessies kunnen beëindigen in de buurt van waar ze zijn. "

LinkedIn doet meer dan het gebruik van Azure-connectiviteit, zegt Hiremagalur: "Ons plan is om al onze workloads - productie, offline compute, huidige compute - naar Azure te verplaatsen. Op een gegeven moment willen we geen datacenters bedienen ."

Dat komt niet omdat LinkedIn zijn datacenters niet kon laten groeien: de komende vijf jaar ziet Hiremagalur geen problemen met het opschalen van zijn netwerk, datacentercapaciteit, vermogen of andere infrastructuurvereisten.

LinkedIn verhuist niet naar de cloud omdat dit wel moet. Maar het is de moeite waard om eens een redelijk verstorende migratie van complexe workloads door te nemen voor de mogelijkheden die Azure biedt: behendigheid.

"Of het nu gaat om elasticiteit en capaciteit, of om gebruik te maken van Azure-investeringen met hun geavanceerde infrastructuur met Azure Front Door, of hun netwerkbackbone, of het werk dat ze doen op maat silicium, en het datacenter en netwerkwerk waarmee ze bezig zijn versneld netwerken en FPGA en opslaginnovatie ... Dat zijn allemaal dingen waar we na verloop van tijd toegang toe zouden willen hebben, "zegt Hiremagalur. "En dat zijn geen dingen die we onafhankelijk in onszelf zouden investeren - het is voor ons niet logisch om daar zelf in te investeren."

LinkedIn zal ook cloud AI-tools zoals AzureML overnemen. "De Azure-mogelijkheden met de dingen die ze doen in de AI-ruimte zijn verbluffend. Het niveau van GPU-berekening dat ze hebben, zouden we zeker aanzienlijk profiteren, " zegt Hiremagalur.

Meerjarige migratie

Deel uitmaken van Microsoft betekent dat LinkedIn een geavanceerde kijk krijgt op wat er op Azure aankomt. Hiremagalur wil aan de slag met een migratie die daar enkele jaren over doet. "Gezien de hoeveelheid tijd die we denken dat het ons zal kosten om onze workloads naar Azure te verplaatsen, wilden we het proces nu starten en klaar zijn om al die goedheid te benutten, als dat allemaal voor ons klaar is."

Ondertussen zal LinkedIn doorgaan met zijn eigen productontwikkeling, maar tegelijkertijd zal het zich voorbereiden op de verhuizing - en nadenken over wat het kan stoppen als het eenmaal op Azure draait.

"Over het algemeen moeten de interfaces die onze infrastructuurbouwstenen, zoals opslagindexering, bieden aan de rest van de engineeringorganisatie, constant blijven of op zijn minst zeer vergelijkbaar, dus onze infrastructuurteams zullen het zware werk doen om onze infrastructuurbouwstenen aan te passen om op de openbare cloud te draaien, "zegt Hiremagalur.

Maar hij wil niet eindigen met een kopie van de huidige infrastructuur van LinkedIn, alleen in de cloud. "Dit is een kans voor ons om computers en opslag uit te splitsen. We hebben de mogelijkheid om elasticiteit op extreme schaal te benutten om te werken met de dagelijkse werkdrukpatronen die LinkedIn heeft met de meeste gebruikers die inloggen tijdens werkuren. Dat zijn dingen die we willen om te profiteren van onze weg naar Azure. "

LinkedIn maakt gebruik van zeer grote grafische databases; er is veel Kafka (die werd ontwikkeld op LinkedIn en daar tegen 2015 meer dan een biljoen evenementen per dag afhandelde), en de Samza-streamverwerkingssystemen die bovenop Kafka zijn gebouwd, zoals offline computeren en machine learning. Het is zeer netwerkintensief: voor elke byte van gegevens die vanuit gebruikersactiviteit in een LinkedIn-datacenter komt, wordt ongeveer 1000 bytes oost-west-verkeer gegenereerd in het datacenter (analyse van die informatie voor de LinkedIn-grafiek en systemen voor machinaal leren zoals aanbevelen mensen die je misschien kent).

"We zullen deze aggregatie van netwerk en opslag op grote schaal kunnen benutten, samen met de mogelijkheid om zelfstandig te berekenen en opslag te schalen. We zijn een zeer data-zwaar systeem, dus in staat zijn om die twee dingen te beheren als twee afzonderlijke eenheden is ook een groot pluspunt voor ons ", zegt Hiremagalur.

"Hoe lager de latentie van het netwerk, des te meer u kunt doen met traversals van de grafische database, " merkt hij op. "De mogelijkheid om onze grafiek op zeer interessante manieren te doorkruisen, vereist uiteraard zeer goede, zeer goed ontworpen gedistribueerde systemen, maar ook topnetwerken. Ik kijk uit naar de mogelijkheid om serverloos op schaal te zijn voor dit soort werklast en zich geen zorgen te maken over hoe deze dingen op gang komen en eindigen. Die dingen zijn geweldige kandidaten voor serverloos computergebruik. "

Speciaal rapport: Bereid je voor op serverloos computergebruik (gratis PDF)

Dat is een architecturale verandering waar LinkedIn naar zou hebben gekeken of het naar Azure is verhuisd of in zijn eigen datacenters is gebleven. Maar de verhuizing betekent dat er infrastructuurgebieden zijn die LinkedIn volledig aan Azure kan overdragen.

"Het exploiteren van een grootschalige werklast in een openbare cloud is iets anders dan het zelf beheren van zaken, waar we 100 procent controle hebben over letterlijk alles. Dus we zullen moeten leren een site op een zeer stabiele manier te bedienen met die veranderingen, " Hiremagalur zegt.

In plaats van na te denken over hardware- en servicefouten, zullen ingenieurs moeten plannen voor upgradecycli waar ze geen controle over hebben, legt Hiremagalur uit. "We moeten leren reageren op signalen dat Azure ons van dienst zal zijn en uitzoeken hoe we workloads kunnen verplaatsen of pauzeren. De manier waarop we de beveiliging beheren, zal anders zijn. De lagen van de stapel waarop we 100% controle hebben, zullen gewoon krimpen: we hebben geen controle over het netwerk, we hebben geen controle over de ongelijksoortige datasets. Dus de manier waarop we denken over infosec moet evolueren, de manier waarop we denken over perimeterbeveiliging moet evolueren. "

Dat is het gebruikelijke verhaal over cloudmigratie - je verplaatst een applicatie niet naar een andere server, je verplaatst wat je nodig hebt om een ​​ander soort abstractie te krijgen. Zodra je het werk hebt gedaan, is de beloning dat je je kunt concentreren op problemen op een hoger niveau.

"Ik zie dit als ons vermogen om ons te concentreren op gebieden waar we unieke waarde leveren en leunen op onze tegenhangers in Azure, om dingen te doen die ze op extreme schaal doen en heel, heel goed doen, " zegt Hiremagalur. "Ik visualiseer dit als een stijging van de zeespiegel: de dingen die voor ons onder water gaan, zijn dingen waar we gewoon op leunen voor Azure. De rest hiervan zijn dingen die we blijven doen, en waar we nog een ton meer op kunnen focussen."

On-prem is het nieuwe mainframe

Het Open19-initiatief gaat niet weg, zegt Hiremagalur. "We hebben er al veel waarde aan gehad: we hebben het geïmplementeerd in onze datacenters, we hebben al een heleboel technologie bijgedragen aan OCP en we zullen met hen blijven samenwerken."

Maar afgezien van gigantische organisaties zoals Facebook die hun eigen cloud beheren, verwacht Hiremagalur ook dat meer en meer bedrijven na verloop van tijd voor veel van hun workloads naar de publieke cloud gaan, omdat hun eigen ontwikkelaars dit zullen eisen.

"Als u de komende vijf tot tien jaar geen toegang hebt tot innovaties die zich in de openbare cloud voordoen, wordt uw bedrijf mogelijk op dezelfde manier gezien als bedrijven die op mainframes draaien - en geen enkel bedrijf wil zich in die positie bevinden ."

Cloud en Everything as a Service-nieuwsbrief

Dit is uw favoriete bron voor het laatste nieuws over AWS, Microsoft Azure, Google Cloud Platform, XaaS, cloudbeveiliging en nog veel meer. Maandagen bezorgd

Schrijf je vandaag in

Zie ook

  • Multicloud: Een spiekbriefje (TechRepublic)
  • Hybride cloud: een gids voor IT-professionals (download van TechRepublic)
  • Top cloudproviders 2019: AWS, Microsoft, Azure, Google Cloud; IBM zet hybride in beweging; Salesforce domineert Saas (ZDNet)
  • Beste cloudservices voor kleine bedrijven (CNET)
  • Microsoft Office versus Google Docs Suite versus LibreOffice in 2018 (Download.com)
  • Cloud computing: meer dekking die u moet lezen (TechRepublic op Flipboard)

© Copyright 2020 | mobilegn.com