vlambda博客
学习文章列表

搭建Tomcat源码阅读环境,无bug运行。答应我,和我一起学习Tomcat,不要放弃!

本篇约4.9千字,阅读时长约15分钟。无bug运行Tomcat源码,分享学习Tomcat心得。

  • 一、前言

  • 二、运行Tomcat源码

    • 1、下载源码

    • 2、Tomcat8.5.9源码运行

    • 3、Tomcat10.0.6源码运行

  • 三、搭建源码阅读环境

  • 四、总结:如何阅读源码

This browser does not support music or audio playback. Please play it in Weixin or another browser.
今天是6月7日,高考加油!

一、前言

(前言啰嗦了几句,可直接跳过,看源码运行搭建)

Tomcat,一个熟悉而又陌生的运行web的工具。平时新搭建一个web项目,就是照着已有的项目复制改改,遇到问题就百度,调个参数,改个路径,就能解决。

但是,配置文件中这个参数是什么作用?文件为什么要放在这个路径下?一无所知!有时候百度很久也解决不了,一耗就是几天,效率很低,要是懂源码就好了。于是下定决心,一定要彻底搞懂Tomcat源码。

找书来看,书写的很好:先从整体架构开始介绍,Tomcat由连接器和容器组成,serverserviceHostContext,各种容器嵌套直接给整懵了,看了半天书,啥也记不住,打退堂鼓了,半途而废了。断断续续,半年一年,一直在前几章徘徊,搁浅了多少次,拿起放下,我的自信心都快耗没了。。。

不能光看书,得比对着源码看,下载了源码,总算是有点上道了。书中Tomcat版本可能和自己下载的源码版本不一样,描述上会有一些差异,有些类已经删除了,有些方法重构了,但是不可否认的是,前人写的书,起到非常好的引导作用,万事开头难,开个好头就成功了一半。

后来看了一段时间书和源码,发现还是不够,书中的描述比较概括,比对源码看方法调用栈,真的是全靠猜,和理论对上了,就是猜想合理。不行,一定要运行源码,debug一下,做学问,哪能靠猜!

二、运行Tomcat源码

1、下载源码

Tomcat各版本源码:https://archive.apache.org/dist/tomcat/

Tomcat安装包:https://tomcat.apache.org/

为什么又要下载源码,又要下载安装包?

源码中webapps是没有编译的,需要用安装包里的替换,并且Tomcat用的是ant+build.xml依赖管理,这种方式比较老,现在都用mavengradle了,所以可以手动换成maven,但是有些包在maven仓库中找不到,可以从Tomcat安装包lib目录下获取。

我这里下载的是两个版本,Tomcat8.5.9Tomcat最新版本(10.0.6),后面会分别讲解两个版本的源码运行搭建过程。

2、Tomcat8.5.9源码运行

下载好的apache-tomcat-8.5.9-src,用IDEA打开并引入:File --> Project Structure --> Modules --> + --> import module。

搭建Tomcat源码阅读环境,无bug运行。答应我,和我一起学习Tomcat,不要放弃!
源码完整目录

(1)新建pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

 
    <modelVersion>4.0.0</modelVersion>
    <groupId>org.apache.tomcat</groupId>
    <artifactId>Tomcat8.5.9</artifactId>
    <name>Tomcat8.5.9</name>
    <version>8.5.9</version>
 
    <build>
        <finalName>Tomcat8.5.9</finalName>
        <sourceDirectory>java</sourceDirectory>
        <resources>
            <resource>
                <directory>java</directory>
            </resource>
        </resources>
        <testResources>
           <testResource>
                <directory>test</directory>
           </testResource>
        </testResources>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>2.3</version>
                <configuration>
                    <encoding>UTF-8</encoding>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>
 
    <dependencies>
        <!--test会用到-->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.easymock</groupId>
            <artifactId>easymock</artifactId>
            <version>3.4</version>
        </dependency>

        <!--org.apache.catalina.ant用到-->
        <dependency>
            <groupId>ant</groupId>
            <artifactId>ant</artifactId>
            <version>1.7.0</version>
        </dependency>

        <!--org.apache.naming.factory.webservices.ServiceRefFactory用到-->
        <dependency>
            <groupId>wsdl4j</groupId>
            <artifactId>wsdl4j</artifactId>
            <version>1.6.2</version>
        </dependency>

        <!--org.apache.naming.factory.webservices用到-->
        <dependency>
            <groupId>javax.xml</groupId>
            <artifactId>jaxrpc</artifactId>
            <version>1.1</version>
        </dependency>

        <!--org.apache.jasper.compiler.JDTCompiler用到-->
        <dependency>
            <groupId>org.eclipse.jdt.core.compiler</groupId>
            <artifactId>ecj</artifactId>
            <version>4.5.1</version>
        </dependency>
    </dependencies>
</project>

(2)替换webapps和加 lib 包

因为源码包webapps下示例项目WEB-INF/classes/下的.java没有编译,没有.class文件,所以可将整个webapps删除,并复制安装包中的webapps到源码包。

源码包中新建lib目录,从安装包中的lib目录复制jasper.jar到源码包的lib目录。这样做的目的有两个:

  • Tomcat运行时会默认扫描lib目录,没有lib目录虽然不会报错,但是控制台会有警告日志,提示lib目录不存在。
搭建Tomcat源码阅读环境,无bug运行。答应我,和我一起学习Tomcat,不要放弃!
缺少lib包警告
  • 安装包lib下jar包很多,没必要都复制过来,按需复制了 jasper.jar,虽然 jasper.jar中的代码和源码中的 org.apache.jasper完全重了,但是这个jar包里有非常重要的配置信息,定义了 javax.servlet.ServletContainerInitializer的实现类是 org.apache.jasper.servlet.JasperInitializerTomcat启动时, Context的生命周期监听器 ContextConfig.configureStart会扫描lib目录下的jar里面的配置信息,做一些类初始化操作。这里就是主动实例化 JasperInitializer,不然访问 jsp就会报错。(百度的教程千篇一律,都是在源码里写死加一个 JasperInitializer的初始化,不推荐这样做,一定要找到原因。)
搭建Tomcat源码阅读环境,无bug运行。答应我,和我一起学习Tomcat,不要放弃!
解决JasperInitializer不能初始化问题

(3)运行Bootstrap#main

org.apache.catalina.startup.Bootstrap#mainTomcat一键启停的源头,运行这个main方法之前需要指定一下配置的位置,Tomcat必须要引用server.xml等配置才可以运行起来。

需要先了解两个概念:

  • catalina.homeTomcat安装目录,也是公共目录,如bin、lib都是所有web共享的。
  • catalina.baseweb项目部署目录,也是工作目录,如conf、logs、webapps等,web可私有。

Tomcat读的一些配置,默认都是在这两个目录下,比如confwebappslib等。我这里VM options设置了catalina.homecatalina.base都是源码目录,并指定了Log的配置。

-Dcatalina.home=C:/study/tomcat/apache-tomcat-8.5.9-src
-Dcatalina.base=C:/study/tomcat/apache-tomcat-8.5.9-src
-Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager
-Djava.util.logging.config.file=C:/study/tomcat/apache-tomcat-8.5.9-src/conf/logging.properties
搭建Tomcat源码阅读环境,无bug运行。答应我,和我一起学习Tomcat,不要放弃!
Edit Configurations...

(4)运行并访问

完成以上三步,就可以运行了:

搭建Tomcat源码阅读环境,无bug运行。答应我,和我一起学习Tomcat,不要放弃!
运行起来了,耶

如果test目录有报错,可删除报错的位置(最好不要删除整个test目录,可以自己在test目录里写测试类debug)。正常运行后,在浏览器中访问http://127.0.0.1:8080/ , 点击页面中的超链接如DocumentationConfiguration等都可以正常访问。

搭建Tomcat源码阅读环境,无bug运行。答应我,和我一起学习Tomcat,不要放弃!
ROOT首页
搭建Tomcat源码阅读环境,无bug运行。答应我,和我一起学习Tomcat,不要放弃!
/docs/config

(5)-config指定配置路径运行

webapps下的web项目是会自动部署的,但是实际生产中,不太可能让所有的web项目都部署在webapps下,不太可能启动一个Tomcat,运行所有web,一旦一个web运行异常导致Tomcat挂了,其他web也会受到影响。所以一般通过-config指定配置,一个web运行一个Tomcat,保证进程隔离。

# Program arguments, example1.conf是定制的server.xml配置
-config C:/study/tomcat/conf/example1.conf start
搭建Tomcat源码阅读环境,无bug运行。答应我,和我一起学习Tomcat,不要放弃!
-config start

example1.conf:

<?xml version='1.0' encoding='utf-8'?>
<Server port="8112" shutdown="SHUTDOWN">
  <Listener className="org.apache.catalina.core.AprLifecycleListener" SSLEngine="on" />
  <Listener className="org.apache.catalina.core.JreMemoryLeakPreventionListener" />
  <Listener className="org.apache.catalina.mbeans.GlobalResourcesLifecycleListener" />
  <Listener className="org.apache.catalina.core.ThreadLocalLeakPreventionListener" />

  <GlobalNamingResources>
    <Resource name="UserDatabase" auth="Container"
              type="org.apache.catalina.UserDatabase"
              description="User database that can be updated and saved"
              factory="org.apache.catalina.users.MemoryUserDatabaseFactory"
              pathname="conf/tomcat-users.xml" />

  </GlobalNamingResources>

  <Service name="Catalina">

    <Executor name="tomcatThreadPool" namePrefix="catalina-exec-" maxThreads="20" minSpareThreads="20" />
 
    <Connector executor="tomcatThreadPool"  port="8012" protocol="org.apache.coyote.http11.Http11NioProtocol"
               connectionTimeout="60000"
  acceptCount"10000" 
               redirectPort="8443"  URIEncoding="UTF-8"  maxPostSize="-1" maxHttpHeaderSize ="102400"/>

    <Engine name="Catalina" defaultHost="demo1">
 
      <Realm className="org.apache.catalina.realm.LockOutRealm">
        <Realm className="org.apache.catalina.realm.UserDatabaseRealm"
               resourceName="UserDatabase"/>

      </Realm>
      <Host name="demo1" >
        <!-- Context 指定web项目路径 -->
        <Context path="/" reloadable="true" docBase="C:/study/tomcat/web/example1"  workDir="C:/study/tomcat/web/example1/WEB-INF/work/" >
   <Resources>
      </Resources>
        </Context>
        <Valve className="org.apache.catalina.valves.AccessLogValve" directory="C:/study/tomcat/logs/"
               prefix="example1." suffix=".txt"
               pattern="%h %l %u %t &quot;%r&quot; %s %b" />


      </Host>
    </Engine>
  </Service>
</Server>

3、Tomcat10.0.6源码运行

apache-tomcat-8.5.9-src的搭建过程差不多,稍有不同的地方是一些依赖需要调整。(Tomcat10.0.6中直接复制整个安装包的lib到源码包中运行不会报错,所以可整个复制过去)

pom.xml比8.5.9版本多两个依赖jakartaee-migrationbiz.aQute.bndlib

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

 
    <modelVersion>4.0.0</modelVersion>
    <groupId>org.apache.tomcat</groupId>
    <artifactId>Tomcat10.0.6</artifactId>
    <name>Tomcat10.0.6</name>
    <version>10.0.6</version>
 
    <build>
        <finalName>Tomcat10.0.6</finalName>
        <sourceDirectory>java</sourceDirectory>
        <resources>
            <resource>
                <directory>java</directory>
            </resource>
        </resources>
        <testResources>
           <testResource>
                <directory>test</directory>
           </testResource>
        </testResources>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>2.3</version>
                <configuration>
                    <encoding>UTF-8</encoding>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>
 
    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.easymock</groupId>
            <artifactId>easymock</artifactId>
            <version>3.4</version>
        </dependency>
        <dependency>
            <groupId>ant</groupId>
            <artifactId>ant</artifactId>
            <version>1.7.0</version>
        </dependency>
        <dependency>
            <groupId>wsdl4j</groupId>
            <artifactId>wsdl4j</artifactId>
            <version>1.6.2</version>
        </dependency>
        <dependency>
            <groupId>javax.xml</groupId>
            <artifactId>jaxrpc</artifactId>
            <version>1.1</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.tomcat/jakartaee-migration -->
        <!-- 10.0.6 新加 -->
        <dependency>
            <groupId>org.apache.tomcat</groupId>
            <artifactId>jakartaee-migration</artifactId>
            <version>1.0.0</version>
        </dependency>

        <!-- 10.0.6 新加 -->
        <dependency>
            <groupId>biz.aQute.bnd</groupId>
            <artifactId>biz.aQute.bndlib</artifactId>
            <version>5.3.0</version>
            <scope>provided</scope>
        </dependency>
    </dependencies>
</project>

依赖中去掉了ecj,因为这个依赖maven仓库中最新版本也满足不了Tomcat10.0.6,需要从Tomcat10.0.6的安装包lib中复制ecj-4.18.jar到源码包的lib下,同时需要手动指定依赖:

搭建Tomcat源码阅读环境,无bug运行。答应我,和我一起学习Tomcat,不要放弃!
ecj-4.18

依赖调整好以后,其他操作都和apache-tomcat-8.5.9-src一样。但是运行10.0.6后控制台输出有一些乱码,也不是中文乱码,尝试调试编码,没有解决。(有解决乱码的同学可以告知一下)

搭建Tomcat源码阅读环境,无bug运行。答应我,和我一起学习Tomcat,不要放弃!
Tomcat10也运行起来了,但是有乱码。。

三、搭建源码阅读环境

阅读学习Tomcat源码,需要三件事:

  1. 看书入门,这里推荐两本关于Tomcat的书《Tomcat内核设计剖析》汪建 和《Tomcat架构解析》刘光瑞。
  2. 搭建Tomcat源码运行环境,并debug。
  3. 阅读Tomcat最新源码https://github.com/apache/tomcat,多版本比对源码。Tomcat在 Github中开源,可 git clone 最新代码到本地。阅读最新源码有一个好处就是可以看到每次修改的提交记录。

如下是本人搭建的源码阅读环境,可git clone一起学习:

https://gitee.com/stefanpy/tomcat-source-code-learning

四、总结:如何阅读源码

搭建源码阅读环境必不可少,一定要做到手里有书,眼里有源码,心里有debug。

书,具有引导和总结作用,Tomcat源码那么多,那么复杂,不知道从哪里开始读。可以先跟着书的目录,按章学习,从整体到细节,从外到内,从简到繁,快速建立起一个Tomcat基础架构网络:

  1. Tomcat是一个HTTP服务器和 Servlet容器,有两个核心组件:连接器和容器,链接器实现HTTP功能,容器实现装载 Servlet的功能。
  2. 一个 Server可以包含多个 Service,一个 Service包含多个 Conector和一个 Engine,一个 Engine包含多个 Host,一个 Host包含多个 Context,一个 Context包含多个 Wrapper,这些容器名称和层次关系是不是有些晕?一个Context就是一个熟悉的web服务, Wrapper可以理解为对 Servlet的包装。
搭建Tomcat源码阅读环境,无bug运行。答应我,和我一起学习Tomcat,不要放弃!
Tomcat整体架构-来自网络
  1. 请求的响应从 连接器-->容器-->连接器。连接器负责对外交流,接收请求做一些封装,然后交由容器处理,容器处理完后再返回给连接器做响应。
连接器和容器-来自网络
  1. 连接器、容器,从哪个开始学习呢?连接器涉及网络编程,HTTP协议等;容器里有类加载、各种设计模式,职责链、观察者(事件监听)模式用的最多,容易理解吸收。如果对网络编程(NIO、net、HTTP)不是很熟悉的,可以先从容器学起,如果对RPC框架Netty等熟悉的,那连接器就简单了。
  2. 带着任务和问题研究Tomcat源码。把整个Tomcat源码学习的艰巨工程划分为多个小任务,带着疑问去研究学习。比如可以先从日常熟悉的 server.xml配置开始,搞懂里面的配置,为什么这么配置,这个路径为什么这样;带着问题就是Tomcat如何做热加载?如何部署加载一个web项目?如何处理一个请求?Tomcat生命周期是怎么实现的,如何做到一键启停?Tomcat为什么要自定义类加载器,如何打破双亲委派?等等。带着任务和问题,及时正向反馈,才能坚持把Tomcat这块硬骨头啃下来。

学习Tomcat源码也有一段时间了,中间半途而废多次,摸摸索索总结出一套适合自己的学习方式,真的,万事开头难,好的开头,成功一半,好的方法,事半功倍。后面会把我学习Tomcat源码的心得、过程持续分享出来,希望对你有用。

如若文章有错误理解,欢迎批评指正,同时非常期待你的留言和点赞。
如果觉得有用,不妨点个在看,让更多人受益。