为什么我的程序只能获取部分网页源码？

Question

我有一个程序可以提取网页的源代码并将其保存到 .txt 文件中。如果一次只完成一个，它就可以工作，但是当我突然浏览 100 个页面的循环时，每个页面源开始在 1/4 到 3/4 之间被切断（似乎是随意的）。关于为什么或如何解决这个问题有什么想法吗？

最初的想法是循环对于 java 来说太快了（我从 php 脚本运行这个 java），但后来认为从技术上讲它不应该进入下一个项目，直到当前条件完成为止。

这是我正在使用的代码：

import java.io.*;
import java.net.URL;

public class selectout {

public static BufferedReader read(String url) throws Exception{
    return new BufferedReader(
        new InputStreamReader(
            new URL(url).openStream()));}

public static void main (String[] args) throws Exception{
    BufferedReader reader = read(args[0]);
    String line = reader.readLine();
    String thenum = args[1];
    FileWriter fstream = new FileWriter(thenum+".txt");
    BufferedWriter out = new BufferedWriter(fstream);
    while (line != null) {

          out.write(line);
          out.newLine();
        //System.out.println(line);
        line = reader.readLine(); }}
}

PHP 是一个基本的 mysql_query while(fetch_assoc) 从数据库中获取 url，然后运行 ​​system("java - jarcrawl.jar $url $filename");

然后，fopen并fread新文件，最后将源保存到数据库（之后>escaping_strings 和 这样的）。

Answer 1

完成每个文件的写入后，您需要关闭输出流。在 while 循环之后，调用 out.close();和 fstream.close();

Answer 2

您必须刷新流并将其关闭。

finally{  //Error handling ignored in my example
    fstream.flush();  
    fstream.close();  
}