Apache Hadoop är en öppen källkodslösning för distribuerad beräkning av stora datamängder
Big data är en marknadsföringsterm som omfattar hela idén om data som utvinns från källor som sökmotorer, köpmönster i matbutiker som spåras genom poängkort osv. I den moderna världen har internet så många datakällor att det oftare än inte blir oanvändbart utan bearbetning, och bearbetning skulle ta otroligt lång tid för en enda server. Enter Apache Hadoop
Mindre tid för datahantering
Genom att utnyttja Hadoop-arkitekturen för att distribuera bearbetningsuppgifter över flera maskiner i ett nätverk minskas bearbetningstiderna astronomiskt och svar kan bestämmas inom rimlig tid. Apache Hadoop är uppdelat i två olika komponenter: en lagringskomponent och en bearbetningskomponent. I enklaste termer gör Hadoop en virtuell server av flera fysiska maskiner. I själva verket hanterar Hadoop kommunikationen mellan flera maskiner så att de samarbetar tillräckligt nära att det verkar som om det bara finns en maskin som arbetar med beräkningarna. Data distribueras över flera maskiner för att lagras och bearbetningsuppgifter tilldelas och samordnas av Hadoop-arkitekturen. Den här typen av system är ett krav för att omvandla rådata till användbar information i skala av Big Data-insatser. Tänk på mängden data som tas emot av Google varje sekund från användare som skickar in sökförfrågningar. Som en total mängd data skulle du inte veta var du ska börja, men Hadoop kommer automatiskt att minska datamängden till mindre, organiserade delmängder av data och tilldela dessa hanterbara delmängder till specifika resurser. Alla resultat rapporteras sedan tillbaka och samlas in i användbar information.
Enkelt att konfigurera en server
Även om systemet låter komplext är de flesta av de rörliga delarna dolda bakom abstraktion. Att konfigurera Hadoop-servern är ganska enkelt, installera bara serverkomponenterna på maskinvara som uppfyller systemkraven. Det svårare är att planera nätverket av datorer som Hadoop-servern kommer att använda för att distribuera lagrings- och bearbetningsroller. Detta kan innebära att konfigurera ett lokalt nätverk eller ansluta flera nätverk över Internet. Du kan också använda befintliga molntjänster och betala för en Hadoop-kluster på populära molnplattformar som Microsoft Azure och Amazon EC2. Dessa är ännu enklare att konfigurera eftersom du kan snurra upp dem ad hoc och sedan avveckla klustren när du inte längre behöver dem. Den här typen av kluster är idealiska för testning eftersom du bara betalar för den tid Hadoop-klustret är aktivt.
Bearbeta dina data för att få den information du behöver
Stora datamängder är en extremt kraftfull resurs, men data är värdelös om den inte kan kategoriseras och omvandlas till information. För närvarande erbjuder Hadoop-kluster ett extremt kostnadseffektivt sätt att bearbeta dessa datamängder till information.
