jsoup带cookies（jsoup是什么意思）

本文目录一览：

• 1、Jsoup发送http请求，get和post两种方式，分别带参数和不带参数
• 2、求真正有效的可以模拟登录新浪微博的java代码，后续可以用Jsoup进行抓取。急急！！登录成功马上给分！
• 3、java的Jsoup登录有验证码网页获取登录后的cookie
• 4、Jsoup或者HttpClient抓取web页面时，data，userAgent，cookie()，timeout()，post();为什么要设置这些？

Jsoup发送http请求，get和post两种方式，分别带参数和不带参数

dependency

groupIdorg.jsoup/groupId

        artifactIdjsoup/artifactId

version1.10.3/version

/dependency

public void JsoupGet() throws Exception{

Connection connect = Jsoup.connect(“;password=lisi”);

// 带参数开始

connect.data(“username”,”zhangsan”);

connect.data(“password”,”lisi”);

// 带参数结束

Document document = connect.get();

System.out.println(document.toString());

}

public void JsoupPost() throwsException{

Connection connect = Jsoup.connect(“;password=lisi”);

// 带参数开始

connect.data(“username”,”zhangsan”);

connect.data(“password”,”lisi”);

// 带参数结束

Document document = connect.post();

System.out.println(document.toString());

}

求真正有效的可以模拟登录新浪微博的java代码，后续可以用Jsoup进行抓取。急急！！登录成功马上给分！

package jsoupTest;

import java.io.IOException;

import java.util.ArrayList;

import java.util.HashMap;

import java.util.List;

import java.util.Map;

import org.jsoup.Connection.Method;

import org.jsoup.Connection.Response;

import org.jsoup.Jsoup;

public class JsoupTest {

  public static void main(String[] args) throws IOException {

    MapString, String map = new HashMap();

    //map.put请根据自己的微博cookie得到

    Response res = Jsoup.connect(“别人的主页id”)

        .cookies(map).method(Method.GET).execute();

    String s = res.body();

    System.out.println(s);

    String[] ss = s.split(“scriptFM.view”);

    int i = 0;

    // pl_content_homeFeed

    // pl.content.homeFeed.index

    ListString list = new ArrayList();

    for (String x : ss) {

// System.out.println(i++ + “======================================”);

// System.out.println(x.substring(0,

// x.length()  200 ? 200 : x.length()));

// System.out.println(“===========================================”);

      if (x.contains(“\”html\”:\””)) {

        String value = getHtml(x);

        list.add(value);

        System.out.println(value);

      }

    }

    // content=ss[8].split(“\”html\”:\””)[1].replaceAll(“(\\\\t|\\\\n)”,

    // “”).replaceAll(“\\\\\””, “\””).replaceAll(“\\\\/”, “/”);

    // content=content.substring(0,

    // content.length()=13?content.length():content.length()-13);

    // System.out.println(Native2AsciiUtils.ascii2Native(content));

  }

  public static String getHtml(String s) {

    String content = s.split(“\”html\”:\””)[1]

        .replaceAll(“(\\\\t|\\\\n)”, “”).replaceAll(“\\\\\””, “\””)

        .replaceAll(“\\\\/”, “/”);

    content = content.substring(0,

        content.length() = 13 ? content.length()

            : content.length() – 13);

    return Native2AsciiUtils.ascii2Native(content);

  }

java的Jsoup登录有验证码网页获取登录后的cookie

首先是jar仓库：

dependency

groupIdorg.seleniumhq.selenium/groupId

artifactIdselenium-java/artifactId

version[3.0.1,)/version//获取最新的版本库

/dependency

dependency

groupIdorg.jsoup/groupId

artifactIdjsoup/artifactId

version1.8.2/version

typejar/type

/dependency

代码：

public static void getIndex2() {

//之前运行程序发现生成了N多个chrome driver进程，搞不懂为什么会有那么多进程产生，网上查了下，说起这个service有用，拿来试下，效果未知

ChromeDriverService service = new

ChromeDriverService.Builder().usingDriverExecutable(new

File(“./driver/chromedriver.exe”)).usingAnyFreePort().build();

try {

service.start();

} catch (IOException ex) {

Logger.getLogger(kechengbiaoIndex.class.getName()).log(Level.SEVERE, null, ex);

}

//end

//正式开始

//先定义浏览器驱动，我用chrome浏览器，网上下载一个chromedriver.exe，启动时需要加载

System.getProperties().setProperty(“webdriver.chrome.driver”, “./driver/chromedriver.exe”);

Jsoup或者HttpClient抓取web页面时，data，userAgent，cookie()，timeout()，post();为什么要设置这些？

userAgent让服务器感觉访问者更像一个真实的浏览器在访问，cookie是看服务器需不需要,timeout还需要解释吗，你不设置有一个默认的超时时间