想写一个用网页提取源码的小程序,求大神解答问题
我想写一个程序提取网页源码,然后筛选需要的信息显示出来,可是提取源码的程序弄出来了,发现要是一些动态网站好像不能提取,比如说12306之类的,但是百度的可以正常提取,提取出来写入文件,我想知道如何正常提取这类网页的源码,就像在这个网页上点击查看源文件那样的完全程序代码:
import *; import *; public class TextUrl { public static void main(String args[]) throws Exception{ try{ PrintWriter pw = new PrintWriter(new FileWriter("F://fuck.txt")); URL url = new URL("http://www.); InputStreamReader isr = new InputStreamReader(url.openStream()); BufferedReader br = new BufferedReader(isr); String result = null; while((result = br.readLine())!=null) { pw.println(result); System.out.println(result); } br.close(); isr.close(); }catch(Exception ae) {ae.printStackTrace();} } }