MapReduce编程

Question

我已经在java上完成了这段代码，它收集有关照片的各种信息并将结果提取到文本文件中。 我想将此程序转换为与 MapReduce 模型一起运行。 我是 MapReduce 编程的新手。任何帮助将不胜感激！ 谢谢

import java.io.*;
import java.util.*;
import java.net.*;

import javax.xml.parsers.ParserConfigurationException;

import org.xml.sax.SAXException;

import com.aetrion.flickr.people.User;
import com.aetrion.flickr.photos.Photo;
import com.aetrion.flickr.photos.PhotoList;
import com.aetrion.flickr.photos.PhotosInterface;
import com.aetrion.flickr.photos.SearchParameters;
import com.aetrion.flickr.photosets.PhotosetsInterface;
import com.aetrion.flickr.test.TestInterface;
import com.aetrion.flickr.people.PeopleInterface;
import com.aetrion.flickr.groups.*;
import com.aetrion.flickr.groups.pools.*;


import com.aetrion.flickr.*;

public class example2{

public example2() {



}

/**
* @param args
* @throws FlickrException
* @throws SAXException
* @throws IOException
* @throws ParserConfigurationException
*/

@SuppressWarnings("deprecation")
public static void main(String[] args) throws IOException, SAXException, FlickrException, ParserConfigurationException { // TODO Auto-generated method stub

FileWriter out = new FileWriter("photos.txt");

//Set api key
String key="apikey";
String svr="www.flickr.com";
REST rest=new REST();
rest.setHost(svr);

//initialize Flickr object with key and rest
Flickr flickr=new Flickr(key,rest);
Flickr.debugStream=false;

//initialize SearchParameter object, this object stores the search keyword
SearchParameters searchParams=new SearchParameters();
searchParams.setSort(SearchParameters.INTERESTINGNESS_DESC);
searchParams.setGroupId("group_id");

//Initialize PhotosInterface object
PhotosInterface photosInterface=flickr.getPhotosInterface();
//Execute search with entered tags
PhotoList photoList=photosInterface.search(searchParams,500,1);

if(photoList!=null){
//Get search result and check the size of photo result
for(int i=0;i<photoList.size();i++){
//get photo object
Photo photo=(Photo)photoList.get(i);

System.out.print(photo.getId()+"\t");
out.write(photo.getId()+"\t");

System.out.print(photo.getOwner().getId()+"\t");
out.write(photo.getOwner().getId()+"\t");

Photo photo1=photosInterface.getPhoto(photo.getId());


if(photo1.getGeoData() != null ){
System.out.print("latitute="+photo1.getGeoData().getLatitude()+"\t");
out.write(photo1.getGeoData().getLatitude()+"\t");

System.out.print("longitude="+photo1.getGeoData().getLongitude()+"\t");
out.write(photo1.getGeoData().getLongitude()+"\t");
}
else {System.out.print(photo1.getGeoData()+"\t");
out.write(photo1.getGeoData()+"\t\t"+photo1.getGeoData());}
System.out.println("");
out.write("\n");



}
out.close();
}
}}

Answer 1

我不确定这对于 Hadoop 来说是否是一个好的用例，除非您有大量的搜索结果需要处理，并且处理占整个程序的很大一部分。搜索本身不能并行执行：只能在 for 循环中进行处理。

如果您想在 Hadoop 中并行处理一个搜索，您首先必须在 Hadoop 外部执行搜索**，并将结果输出到文本文件（例如 ID 列表）。然后，编写一个映射器，它获取 ID、获取照片，并执行当前在 for 循环中执行的处理，发出带有获取的属性的字符串（您当前正在将其打印到 System.out） ）。 Hadoop 将为结果列表中的每个 ID 单独运行此映射器。

我认为这不值得，除非您计划进行其他处理。需要考虑的一些替代方案：

• 使用map-reduce 并行执行大量不同的搜索。您的程序本质上不会发生变化——它只会在映射函数而不是 main() 循环中运行。或者您的搜索可能发生在映射器中，发出结果，并且您的处理可能发生在减速器中。您的输入将是搜索词列表。

• 忘记map-reduce，只需使用线程池并行运行处理即可。查看java.util.concurrent 中的各种Executors。

---

** 另一种让整个过程在 Hadoop“内部”运行的黑客方法是在映射函数内运行搜索，逐个发出结果。使用包含一行文本（虚拟值）的输入文件，以便您的映射器仅运行一次。然后在减速器而不是映射器中进行图像获取。

---

更新：

如果您有一堆不同的组 ID 需要搜索，那么您可以使用第一种“替代”方法。

正如您所建议的，使用组 ID 和 API 密钥作为输入。每行放一个，用制表符或您可以轻松解析的内容分隔。如果您希望它们在不同的映射器中运行，您还必须将它们分成不同的文件。如果您只有与节点一样多的组 ID，您可能只想在每个文件中放入一行。将 TextInputFormat 用于 Hadoop 作业。包含组 ID 和 API 密钥的行将是值 - 使用 value.toString().split("\t") 将其分成两部分。

然后，在映射器内运行整个搜索。对于每个结果，使用 context.write(key, value) （或 output.collect(key, value)，具体取决于您的版本）写入照片 ID 作为键和以您的属性作为值的字符串。这两者都必须转换为 Hadoop 的 Text 对象。

我不会为此提供大量代码——调整 Hadoop MapReduce 教程。唯一真正的区别：

• 使用job.setOutputValueClass(Text)，并更改其中显示IntWritable的位置
  映射器类签名：

  公共静态类Map
      扩展 Mapper {
  

• 只需禁用减速器。取出reducer类，并更改它：

  job.setMapperClass(Map.class);
  job.setCombinerClass(Reduce.class);
  job.setReducerClass(Reduce.class);
  

  进入此：

  job.setMapperClass(Map.class);
  job.setNumReduceTasks(0);
  

如果您对使其工作有具体问题，请随时询问。不过，请先投入一些研究工作。

Answer 2

我不同意蒂姆·耶茨的回答。您的搜索可以很好地并行化。
我的方法如下：

1. 实现一个映射器，它将大部分搜索查询作为输入（您必须自己对它们进行分块，因为这些东西不是序列文件），然后执行查询并将结果写入文件系统。键是 ID，值是您的附加信息。
2. 实现一个减少，使数据成为你想要的任何东西（第一步的输出）。

我已经使用 YouTube API 完成了此操作，因此它可以很好地并行化。但您必须注意配额限制。您可以使用 Thread.sleep(PERIOD_OF_TIME) 很好地处理它们。
这仅适用于您有大量搜索查询的情况，如果您有用户输入搜索字符串，则 MapReduce 不是（最佳）方法。