El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència
HOME Els meus cursos Finalitzats
◄ Anterior
◄

Escriure un programa MapReduce

Següent ►
►

En aquest tema, aprendrem a escriure un programa MapReduce des de zero. MapReduce és un model de programació per al processament i generació de grans conjunts de dades amb un algorisme paral·lel, distribuït en un clúster. El model es compon de dos passos principals: el pas Map i el pas Reduce.

Objectius d'aprenentatge

  • Comprendre l'estructura bàsica d'un programa MapReduce.
  • Escriure un programa MapReduce senzill.
  • Executar i provar el programa en un entorn Hadoop.

Estructura d'un programa MapReduce

Un programa MapReduce típic es compon de tres parts principals:

  1. Mapper: Processa les dades d'entrada i genera un conjunt de parells clau-valor intermèdia.
  2. Reducer: Agafa els parells clau-valor generats pel Mapper i els combina per produir el resultat final.
  3. Driver: Configura el treball MapReduce i llança el procés.

  1. Mapper

El Mapper és responsable de processar les dades d'entrada i generar parells clau-valor intermèdia. Aquí teniu un exemple d'una classe Mapper en Java:

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class TokenizerMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String[] tokens = value.toString().split("\\s+");
        for (String token : tokens) {
            word.set(token);
            context.write(word, one);
        }
    }
}

  1. Reducer

El Reducer agafa els parells clau-valor generats pel Mapper i els combina per produir el resultat final. Aquí teniu un exemple d'una classe Reducer en Java:

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();

    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result);
    }
}

  1. Driver

El Driver configura el treball MapReduce i llança el procés. Aquí teniu un exemple d'una classe Driver en Java:

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

Executar el programa MapReduce

Pas 1: Compilar el codi

Compila el codi Java utilitzant javac:

javac -classpath `hadoop classpath` -d wordcount_classes TokenizerMapper.java IntSumReducer.java WordCount.java

Pas 2: Crear un fitxer JAR

Crea un fitxer JAR amb les classes compilades:

jar -cvf wordcount.jar -C wordcount_classes/ .

Pas 3: Executar el treball MapReduce

Executa el treball MapReduce utilitzant el fitxer JAR creat:

hadoop jar wordcount.jar WordCount /ruta/al/input /ruta/al/output

Exercici pràctic

Exercici 1: Comptar paraules en un fitxer de text

  1. Escriu un programa MapReduce que compti el nombre d'ocurrències de cada paraula en un fitxer de text.
  2. Compila el codi i crea un fitxer JAR.
  3. Executa el treball MapReduce en un clúster Hadoop.

Solució

El codi proporcionat anteriorment és una solució per a aquest exercici. Assegura't de seguir els passos per compilar i executar el programa.

Resum

En aquest tema, hem après a escriure un programa MapReduce senzill. Hem vist com definir les classes Mapper i Reducer, així com configurar i llançar el treball MapReduce amb una classe Driver. També hem practicat compilant i executant el programa en un entorn Hadoop. Amb aquests coneixements, estàs preparat per escriure i executar els teus propis programes MapReduce per processar grans conjunts de dades.

◄ Anterior
◄
Següent ►
►
El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència
© Copyright 2024. Tots els drets reservats