用Java StringTokenizer分裂令牌

Question

我有一个看起来像这样的数据集：

drawdate    lotterynumbers  meganumber  multiplier
2005-01-04  03 06 07 12 32  30            NULL
2005-01-07  02 08 14 15 51  38            NULL
etc.

以及以下代码：

public class LotteryCount {

    /**
     * Mapper which extracts the lottery number and passes it to the Reducer with a single occurrence
     */
    public static class LotteryMapper extends Mapper<Object, Text, IntWritable, IntWritable> {

        private final static IntWritable one = new IntWritable(1);
        private IntWritable lotteryKey;

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {

            StringTokenizer itr = new StringTokenizer(value.toString(), ",");
            while (itr.hasMoreTokens()) {
                lotteryKey.set(Integer.valueOf(itr.nextToken()));
                context.write(lotteryKey, one);
            }
        }
    }

    /**
     * Reducer to sum up the occurrence
     */
    public static class LotteryReducer
            extends Reducer<IntWritable, IntWritable, IntWritable, IntWritable> {
        IntWritable result = new IntWritable();

        public void reduce(IntWritable key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;

            for (IntWritable val : values) {
                sum += val.get();
            }

            result.set(sum);
            context.write(key, result);
        }
    }
}

实际上是官方Apache Hadoop文档中的单词计数，只是对我的数据集进行了一些自定义。

我会收到以下错误：

Caused by: java.lang.NumberFormatException: For input string: "2005-01-04"

我只是有兴趣计算每个绘制彩票号码的出现。如何使用来自代码的StringTokenizer来执行此操作？我知道我必须将整个行分开，因为令牌仪是“喂”整个。我该如何将彩票名单分开然后数量计算？

先感谢您

Answer 1

我只是有兴趣计算每个绘制彩票号码的出现。如何使用来自代码的StringTokenizer来执行此操作？我知道我必须将整个行分开，因为令牌仪是“喂”整个。我该如何将彩票名人分开然后计算？

我该如何进行彩票名单

drawdate    lotterynumbers  meganumber  multiplier
2005-01-04  03 06 07 12 32  30            NULL
2005-01-07  02 08 14 15 51  38            NULL

然后对它们

• ， LINE ，包括分隔数据字段的标签字符，就像您发布的那样。
• 它使用StringTokenizer与将其定义为单个选项卡字符（\ t）定义的令牌分隔符（）
• hasmoretokens（）直到所有令牌均为所有令牌看到，沿途打印每个人。
• 输出包括左+右支架，以显示每个令牌的边界。例如，“ 30”具有一个尾随的空间字符，如果不使用[]字符，它与“ null”前面的领先的whitesapce相同。

String line = "2005-01-04   03 06 07 12 32  30            NULL";
StringTokenizer tokenizer = new StringTokenizer(line, "\t");

while (tokenizer.hasMoreTokens()) {
    String token = tokenizer.nextToken();
    System.out.println("token: [" + token + "]");
}

这是输出：

token: [2005-01-04 ]
token: [03 06 07 12 32 ]
token: [30 ]
token: [          NULL]

您可以采用这种方法，处理所有行，对选项卡字符进行令牌化，然后使用第二代币作为您的“彩票名称”数据来完成您喜欢的事情。

Answer 2

第一个问题 - 在传递到MapReduce之前，您需要删除文件的标头。

其次 - 您所显示的数据集中没有逗号，因此“，”不应将其提供给StringTokenizer。尝试“ \ t”接下来

- 并非所有令牌都是整数，因此盲目调用integer.valueof（itr.nexttoken（））将无法使用。第一列是日期。您可以在循环丢弃日期之前调用itr.nexttoken（），但是最后您需要在结尾处处理null。

最终，映射者不需要解析任何东西。您还可以计算还原器中的字符串。