Java Agent

    利用Java Agent这一特性衍生出了APM(Application Performance Management，应用性能管理)、RASP(Runtime application self-protection，运行时应用自我保护)、IAST(Interactive Application Security Testing，交互式应用程序安全测试)等相关产品，它们都无一例外的使用了Instrumentation/JVMTI的API来实现动态修改Java类字节码并插入监控或检测代码。

    Java Agent有两种运行模式：

    1. 启动Java程序时添加-javaagent(Instrumentation API实现方式)或-agentpath/-agentlib(JVMTI的实现方式)参数，如java -javaagent:/data/XXX.jar LingXeTest。
    2. JDK1.6新增了attach(附加方式)方式，可以对运行中的Java进程附加Agent。

    这两种运行方式的最大区别在于第一种方式只能在程序启动时指定Agent文件，而attach方式可以在Java程序运行后根据进程ID动态注入Agent到JVM。

    让我们来运行一个Java的HelloWorld程序。

    HelloWorld示例代码：

    程序运行结果：

    1. Hello World...

    首先我们需要修改：javaweb-sec/javaweb-sec-source/javasec-agent/src/main/resources/MANIFEST.MF文件中的Premain-Class配置为com.anbai.sec.agent.JavaSecHelloWorldAgent，然后再执行如下命令使用Maven构建Agent Jar包：

    Maven构建完成后在javaweb-sec/javaweb-sec-source/javasec-agent/target目录会自动生成一个javasec-agent.jar文件，这个文件也就是我们写好的用于处理HelloWorld程序输出结果的Java Agent程序。

    JavaSecHelloWorldAgent动态替换HelloWorld字符串示例代码：

    1. /*
    2.  * 灵蜥Java Agent版 [Web应用安全智能防护系统]
    3.  * ----------------------------------------------------------------------
    4.  * Copyright © 安百科技（北京）有限公司
    5.  */
    6. package com.anbai.sec.agent;
    8. import java.lang.instrument.ClassFileTransformer;
    9. import java.lang.instrument.Instrumentation;
    10. import java.security.ProtectionDomain;
    11. import java.util.Arrays;
    13. /**
    14.  * Creator: yz
    15.  * Date: 2020/1/2
    16.  */
    17. public class JavaSecHelloWorldAgent {
    19.     /**
    20.      * 替换HelloWorld的输出字符串为"Hello Agent..."，将二进制转换成字符串数组，替换字符串数组并生成新的二进制
    21.      *
    22.      * @param className   类名
    23.      * @param classBuffer 类字节码
    24.      * @return 替换后的类字节码
    26.     private static byte[] replaceBytes(String className, byte[] classBuffer) {
    27.         // 将类字节码转换成byte字符串
    28.         String bufferStr = Arrays.toString(classBuffer);
    29.         System.out.println(className + "类替换前的字节码:" + bufferStr);
    31.         bufferStr = bufferStr.replace("[", "").replace("]", "");
    33.         // 查找需要替换的Java二进制内容
    34.         byte[] findBytes = "Hello World...".getBytes();
    36.         String findStr = Arrays.toString(findBytes).replace("[", "").replace("]", "");
    38.         // 二进制替换后的byte值，注意这个值需要和替换的字符串长度一致，不然会破坏常量池
    39.         byte[] replaceBytes = "Hello Agent...".getBytes();
    41.         // 把替换的字符串byte转换成byte字符串
    42.         String replaceStr = Arrays.toString(replaceBytes).replace("[", "").replace("]", "");
    44.         bufferStr = bufferStr.replace(findStr, replaceStr);
    46.         // 切割替换后的byte字符串
    47.         String[] byteArray = bufferStr.split("\\s*,\\s*");
    49.         // 创建新的byte数组，存储替换后的二进制
    50.         byte[] bytes = new byte[byteArray.length];
    52.         // 将byte字符串转换成byte
    53.         for (int i = 0; i < byteArray.length; i++) {
    54.             bytes[i] = Byte.parseByte(byteArray[i]);
    55.         }
    57.         System.out.println(className + "类替换后的字节码:" + Arrays.toString(bytes));
    59.         // 返回修改后的二进制
    60.         return bytes;
    61.     }
    63.     /**
    64.      * Java Agent模式入口
    65.      *
    66.      * @param args 命令参数
    67.      * @param inst Agent Instrumentation 实例
    68.      */
    69.     public static void premain(String args, final Instrumentation inst) {
    70.         // 添加自定义的Transformer
    71.         inst.addTransformer(new ClassFileTransformer() {
    73.             /**
    74.              * 类文件转换方法，重写transform方法可获取到待加载的类相关信息
    75.              *
    76.              * @param loader              定义要转换的类加载器；如果是引导加载器，则为 null
    77.              * @param classBeingRedefined 如果是被重定义或重转换触发，则为重定义或重转换的类；如果是类加载，则为 null
    78.              * @param protectionDomain    要定义或重定义的类的保护域
    79.              * @param classfileBuffer     类文件格式的输入字节缓冲区（不得修改）
    80.              * @return 返回一个通过ASM修改后添加了防御代码的字节码byte数组。
    81.              */
    82.             @Override
    83.             public byte[] transform(ClassLoader loader, String className, Class<?> classBeingRedefined,
    84.                                     ProtectionDomain protectionDomain, byte[] classfileBuffer) {
    86.                 // 将目录路径替换成Java类名
    87.                 className = className.replace("/", ".");
    89.                 // 只处理com.anbai.sec.agent.HelloWorld类的字节码
    90.                 if (className.equals("com.anbai.sec.agent.HelloWorld")) {
    91.                     // 替换HelloWorld的输出字符串
    92.                     return replaceBytes(className, classfileBuffer);
    93.                 }
    95.                 return classfileBuffer;
    96.             }
    97.         }, true);// 第二个参数true表示是否允许Agent Retransform，需配合MANIFEST.MF中的Can-Retransform-Classes: true配置
    98.     }
    100. }

    我们需要在运行HelloWorld的时候添加-javaagent:jar路径参数，例如：

    程序执行结果：

    1. com.anbai.sec.agent.HelloWorld类替换前的字节码:[....省去两则一致的数据, 87, 111, 114, 108, 100, ...]
    2. com.anbai.sec.agent.HelloWorld类替换后的字节码:[....省去两则一致的数据, 65, 103, 101, 110, 116, ...]
    3. Hello Agent...

    由上可以看到程序的最终执行结果已经被我们动态的修改为了：Hello Agent...，这种方式是最为简单暴力的修改二进制中的字符串值的方式在实际的业务场景下很显然是不可行的，因为只要修改后的字符串长度不一致就会破坏常量池导致程序无法执行，为了能够精准有效的修改类字节码我们通常会使用ASM库。

    1. 动态添加自定义的Transformer(addTransformer)。
    2. 动态修改classpath(appendToBootstrapClassLoaderSearch、appendToSystemClassLoaderSearch)。
    3. 动态获取所有JVM已加载的类(getAllLoadedClasses)。
    4. 动态获取某个类加载器已实例化的所有类(getInitiatedClasses)。
    5. 直接修改已加载的类的字节码(redefineClasses)。
    6. 动态设置JNI前缀(setNativeMethodPrefix)。
    7. 重加载指定类字节码(retransformClasses)。

    Instrumentation类方法如下：

    java.lang.instrument.ClassFileTransformer是一个转换类文件的代理接口，我们可以在获取到Instrumentation对象后通过addTransformer方法添加自定义类文件转换器。

    示例中我们使用了addTransformer注册了一个我们自定义的Transformer到Java Agent，当有新的类被JVM加载时JVM会自动回调用我们自定义的Transformer类的transform方法，传入该类的transform信息(类名、类加载器、类字节码等)，我们可以根据传入的类信息决定是否需要修改类字节码，修改完字节码后我们将新的类字节码返回给JVM，JVM会验证类和相应的修改是否合法，如果符合类加载要求JVM会加载我们修改后的类字节码。

    ClassFileTransformer类代码：

    重写transform方法需要注意以下事项：

    1. ClassLoader如果是被Bootstrap ClassLoader(引导类加载器)所加载那么loader参数的值是空。
    2. 修改类字节码时需要特别注意插入的代码在对应的ClassLoader中可以正确的获取到，否则会报ClassNotFoundException，比如修改java.io.FileInputStream(该类由Bootstrap ClassLoader加载)时插入了我们检测代码，那么我们将必须保证FileInputStream能够获取到我们的检测代码类。
    3. JVM类名的书写方式路径方式：java/lang/String而不是我们常用的类名方式：java.lang.String。
    4. 类字节必须符合JVM校验要求，如果无法验证类字节码会导致JVM崩溃或者VerifyError(类验证错误)。
    5. 如果修改的是retransform类(修改已被JVM加载的类)，修改后的类字节码不得新增方法、修改方法参数、类成员变量。
    6. addTransformer时如果没有传入retransform参数(默认是false)就算MANIFEST.MF中配置了Can-Redefine-Classes: true而且手动调用了retransformClasses方法也一样无法retransform。
    7. 卸载transform时需要使用创建时的实例。