零基础写Java知乎爬虫之将抓取的内容存储到本地

零基础写Java知乎爬虫之将抓取的内容存储到本地

说到java的本地存储，肯定使用IO流进行操作。

首先，我们需要一个创建文件的函数createNewFile：

复制代码 代码如下:

public static boolean createNewFile(String filePath) { 

        boolean isSuccess = true; 

        // 如有则将"\\"转为"/",没有则不产生任何变化 

        String filePathTurn = filePath.replaceAll("\\\\", "/"); 

        // 先过滤掉文件名 

        int index = filePathTurn.lastIndexOf("/"); 

        String dir = filePathTurn.substring(0, index); 

        // 再创建文件夹 

        File fileDir = new File(dir); 

        isSuccess = fileDir.mkdirs(); 

        // 创建文件 

        File file = new File(filePathTurn); 

        try { 

            isSuccess = file.createNewFile(); 

        } catch (IOException e) { 

            isSuccess = false; 

            e.printStackTrace(); 

        } 

        return isSuccess; 

    }

然后，我们需要一个写入文件的函数：

复制代码 代码如下:

public static boolean writeIntoFile(String content, String filePath, 

            boolean isAppend) { 

        boolean isSuccess = true; 

        // 先过滤掉文件名 

        int index = filePath.lastIndexOf("/"); 

        String dir = filePath.substring(0, index); 

        // 创建除文件的路径 

        File fileDir = new File(dir); 

        fileDir.mkdirs(); 

        // 再创建路径下的文件 

        File file = null; 

        try { 

            file = new File(filePath); 

            file.createNewFile(); 

        } catch (IOException e) { 

            isSuccess = false; 

   &nbspmOtpkPGvdy;        e.printStackTrace(); 

        } 

        // 写入文件 

        FileWriter fileWriter = null; 

        try { 

   &nhttp://bsp;        fileWriter = new FileWriter(file, isAppend); 

            fileWriter.write(content); 

            fileWriter.flush(); 

        } catch (IOException e) { 

            isSuccess = false; 

            e.printStackTrace(); 

        } finally { 

            try { 

                if (fileWriter != null) 

                    fileWriter.close(); 

            } catch (IOException e) { 

                e.printStackTrace(); 

            } 

        } 

        return isSuccess; 

    }

我们把这两个函数封装到一个FileReaderWriter.java文件中以便后续使用。

接着我们回到知乎爬虫中。

我们需要给知乎的Zhihu封装类加个函数，用来格式化写入到本地时的排版。

复制代码 代码如下:

public String writeString() { 

        String result = ""; 

        result += "问题：" + question + "\r\n"; 

        result += "描述：" + questionDescription + "\r\n"; 

        result += "链接：" + zhihuUrl + "\r\n"; 

        for (int i = 0; i < answers.size(); i++) { 

            result += "回答" + i + "：" + answers.get(i) + "\r\n"; 

        } 

        result += "\r\n\r\n"; 

        return result; 

}

OK，这样就差不多了，接下来吧mian方法中的System.out.println改成

复制代码 代码如下:

// 写入本地 

        for (Zhihu zhihu : myZhihu) { 

            FileReaderWriter.writeIntoFile(zhihu.writeString(), 

                    "D:/知乎_编辑推荐.txt", true); 

        }

运行，便可以看到本来在控制台看到的内容已经被写到了本地的txt文件里：

大体一看没什么问题，仔细看看发现问题：存在太多的html标签，主要是和
。

我们可以在输出的时候对这些标记进行处理。

先把
换成io流里面的\r\n，再把所有的html标签都删除，这样看起来便会清晰很多。

复制代码 代码如下:

public String writeString() { 

    // 拼接写入本地的字符串 

    String result = ""; 

    result += "问题：" + question + "\r\n"; 

    result += "描述：" + questionDescription + "\r\n"; 

    result += "链接：" + zhihuUrl + "\r\n"; 

    for (int i = 0; i < answers.size(); i++) { 

        result += "回答" + i + "：" + answers.get(i) + "\r\n\r\n"; 

    } 

    result += "\r\n\r\n\r\n\r\n"; 

    // 将其中的html标签进行筛选 

    result = result.replaceAll("
", "\r\n"); 

    result = result.replaceAll("<.>", ""); 

    return result; 

}

这里的replaceAll函数可以使用正则，于是所有的<>标签在最后就都被删除了。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。