动态编程神器! 探秘.Net中的AI时代秘密武器-N

动态编程神器! 探秘.Net中的AI时代秘密武器-Natasha框架全解析

在开发领域，我们经常会遇到需要动态加载和执行代码的场景。对于Python、JavaScript、Lua等脚本语言，动态性是它们的天性，而对于需要预先编译的语言，如C#，动态执行似乎并不那么直观。但随着AI的普及，例如我们想在C#程序中动态执行AI生成的代码段，这就要求我们能在运行时编译和执行C#代码。接下来，让我为你介绍一个强大的框架——Natasha。

Natasha：动态地构建你的.Net世界

Natasha是一个基于Roslyn的C#动态程序集构建库。它允许开发者在程序运行时动态地构建域、程序集、类、结构体、枚举、接口和方法等。这意味着开发者可以在不停止应用程序的情况下，为其增加新的程序集。

Natasha框架具备域管理和插件管理功能，支持域的隔离和卸载，实现了热插拔。它提供了完善的错误提示，自动添加引用，并且拥有完整的数据结构构建模板，从而让开发者专注于程序集脚本的编写。更何况它还有着跨平台的优势，并且对netcoreapp2.0+ / netcoreapp3.0+都兼容。

Natasha的使用场景

你可能会好奇，这样一个动态编译库是如何彰显其价值的？其实，动态编译技术是支撑如今.NET生态不可或缺的重要部分。无论是在官方还是非官方的库中，动态编译的技术都扮演着“服务”的角色。其核心是MSIL，官方为我们提供了Emit技术来编写IL代码。但Emit的编写和维护并不友好，给开发者带来了诸多挑战。

Roslyn的出现仿佛开启了新世界的大门，它使得Emit变得透明，并允许我们直接用C#进行动态编译。Natasha就是在这样的基础上发展起来的，经过精心设计与不断迭代，它正成为动态编译领域的佼佼者。

Natasha的简单应用场景

借助Natasha，你可以实现众多有趣而实用的功能，如创建AOP代理类或动态构建Controller来实现动态API，甚至在程序启动时与CodeFirst兼容的ORM一起使用，动态创建表结构，甚至通过动态执行AI创建的代码段，这是个非常有趣的事情！

不可否认，这些功能的实现需要一定的编程基础。例如，下面的代码展示了如何使用Natasha快速开始一个域，并利用其插件管理功能。

```
// 开始创建域var domain=new NatashaDomain();// 创建非主域var domain=new NatashaDomain(key);
// 加载插件var assembly=domain.LoadPlugin(pluginPath);
// 使用程序集比较器domain.SetAssemblyLoadBehavior(AssemblyCompareInfomation.UseHighVersion);
// 封装APIdomain.LoadPluginWithHighDependency(PluginPath);
```
在智能编译模式下，你可以使用如下代码快速地进行编译，Natasha将智能地合并元数据和Using声明，并进行语义检查。
- ```
AssemblyCSharpBuilder builder=new AssemblyCSharpBuilder();var myAssembly=builder.UseRandomDomain() .UseSmartMode() .Add("public class A{ }") .GetAssembly();
```
  Natasha的轻便编译模式
  对于更加轻便的编译需求，Natasha提供了简洁编译模式。该模式会合并当前域的元数据和Using声明，并关闭语义检查，提供一种更加灵活快速的编译方式。
  - AssemblyCSharpBuilder builder=new AssemblyCSharpBuilder();var myAssembly=builder.UseRandomDomain() .UseSimpleMode() .Add("public class A{ }") .GetAssembly();
    
    元数据管理与微调
    Natasha也提供了完整覆盖和部分覆盖引用和using代码的能力。例如，合并共享域的引用和using代码可以使用以下方法：
```
builder.WithCombineReferences(item=> item.UseAllReferences());builder.WithCombineUsingCode(UsingLoadBehavior.WithAll);
```
  如果希望合并当前域的引用和using代码或者使用自定义的引用，可以使用如下方法：
  - builder.WithCurrentReferences();builder.WithCombineUsingCode(UsingLoadBehavior.WithCurrent);// 使用自定义的元数据引用builder.WithSpecifiedReferences(someMetadataReferences);
    脚本教程
    对于编写和加载脚本，Natasha采用灵活的配置API来覆盖using代码，并添加编译选项。这允许开发者指定脚本中要使用的C#语言版本，以及如何处理using指令。
    // 配置语言版本builder.ConfigSyntaxOptions(opt=> opt.WithLanguageVersion(LanguageVersion.CSharp6));// 添加脚本并覆盖Using Codebuilder.WithCombineUsingCode(UsingLoadBehavior.WithAll).Add(myCode);// 自定义覆盖Using Codebuilder.Add("script", UsingLoadBehavior.WithCurrent);
    
    高级编译技巧
    Natasha提供了一系列的With、Set和Config系列API来精细控制编译过程。你可以配置编译选项、诊断信息级别，甚至启用或关闭某些特殊的编译行为。例如，启用语义检查或添加语义处理插件：
    // 启用语义检查builder.WithSemanticCheck();//增加语义处理插件builder.AddSemanticAnalysistor();
    
    动态调试
    使用Natasha进行动态源代码调试是轻而易举的。开启调试模式可以帮助你更深入地了解代码执行情况，Natasha提供了多种选项来写入调试信息：
    builder.WithDebugCompile(item=> item.WriteToFile()); // 调试信息写入文件builder.WithDebugCompile(item=> item.WriteToAssembly()); // 调试信息整合到程序集builder.WithReleaseCompile(); // 设置为Release模式
    
    生成程序集
    在程序集被编译前，你可以使用Natasha提供的API来进行各种配置，比如设置程序集名称或输出选项：
    
    builder.SetAssemblyName("MyAssembly");builder.WithSemanticCheck(); // 启用语义检查builder.WithFileOutput("path/to/dll", "path/to/pdb", "path/to/xml"); // 文件输出配置
    
    使用 Codecov 的扩展
    Natasha还提供了一个Codecov扩展，可帮助你获取代码覆盖率数据。首先你需要引入DotNetCore.Natasha.CSharp.Extension.Codecov扩展包，然后像下面这样使用：
    
    builder.WithCodecov();Assembly asm=builder.GetAssembly();List<(string MethodName, bool[] Usage)>? coverageData=asm.GetCodecovCollection();Show(coverageData);
    上面的Show方法将遍历并显示每个方法的执行情况。这是一种很好的方式来监测你的代码如何执行，确保质量和可靠性。
    
    Natasha 的类型扩展
    最后，Natasha提供了类型扩展来帮助你更轻松地处理类型信息。例如，获取运行时或开发时的类型名称，或者检查类型是否实现了某个接口：
    typeof(Dictionary<string,List<int>>[]).GetRuntimeName(); // 获取运行时类型名称typeof(Dictionary<string,List<int>>).IsImplementFrom<IDictionary>(); // 检查是否实现指定接口
    
    当然这个项目也是开源的，不论是学习思路还是代码设计方案，查看下面的项目地址都是不错的选择
    https://github.com/dotnetcore/Natasha
    
    后面我会使用Natasha尝试通过AI来生成c#代码并动态执行，可以关注我，并持续关注我的下一步行动！

介

Lapis是一个为Lua语言设计的Web应用开发框架，它主要针对OpenResty，这是一个基于Nginx的高性能Web平台。Lapis不仅提供了一个简洁而强大的API来构建Web服务，还支持现代Web开发中的多种需求，包括路由、模板、数据库集成、安全性等。

核心特性

1. 高性能

Lapis利用OpenResty的强大性能，通过LuaJIT在Nginx内部运行Lua代码，实现了高性能的处理能力。这意味着开发者可以享受到接近C语言级别的执行效率，同时保持Lua语言的简洁性和灵活性。

2. 异步编程

Lapis支持Lua协程，允许开发者编写看起来是同步的代码，但实际上是异步执行的。这种方式可以显著提高应用程序的并发处理能力，同时避免了回调地狱，使代码更加清晰易读。

3. 路由和URL匹配

Lapis提供了一个灵活的路由系统，允许开发者定义各种URL模式，并将其映射到相应的处理函数。这使得URL的设计和处理变得简单而直观。

4. 模板系统

Lapis内置了HTML模板系统，支持etlua模板语言，允许开发者以一种声明式的方式编写HTML页面。此外，Lapis的模板系统还提供了HTML构建器语法，使得HTML的生成既安全又便捷。

5. 数据库集成

Lapis支持PostgreSQL、MySQL和SQLite等多种数据库，提供了一个强大的模型层抽象，使得数据库操作变得简单。开发者可以通过继承Model类来创建自己的数据库模型，并轻松地进行数据的增删改查操作。

6. 安全性

Lapis提供了CSRF保护和会话支持，帮助开发者构建更安全的Web应用。通过内置的安全特性，可以有效地防止跨站请求伪造等常见的Web安全威胁。

开发示例

基础路由示例

local lapis=require "lapis"
local app=lapis.Application()


app:match("/", function(self)
  return "Hello world!"
end)


return app

带参数的路由示例

app:match("/profile/:username", function(self)
  local username=self.params.username
  return "Welcome, " .. username .. "!"
end)

使用类定义路由

local lapis=require "lapis"
local app=lapis.Application()


class extends lapis.Application
  "/":=>
    "Hello world!"


  ["/profile/:username"]:=>
    local username=@params.username
    "Welcome, " .. username .. "!"


return app

数据库模型示例

local Model=require("lapis.db.model").Model


class Users extends Model


local app=lapis.Application()


app:get("/users", function(self)
  local users=Users:select("*")
  return { render=true, users=users }
end)


return app

模板渲染示例

local lapis=require "lapis"
local app=lapis.Application()


app:match("/", function(self)
  return self:render("index")
end)


return app

结语

Lapis是一个功能强大且高效的Web开发框架，它结合了Lua语言的灵活性和OpenResty的性能优势。无论是构建简单的Web服务还是复杂的Web应用，Lapis都是一个值得考虑的选择。随着社区的不断壮大和生态系统的完善，Lapis有望成为Lua Web开发领域的重要力量。

索公众号：暗网黑客

可领全套网络安全课程、配套攻防靶场

FBI-Analyzer

FBI-Analyzer是一个灵活的日志分析系统，基于golang和lua，插件风格类似ngx-lua。

使用者只需要编写简单的lua逻辑就可以实现golang能实现的所有需求，点击跳转实现原理。

现实中可作为WAF的辅助系统进行安全分析，点击跳转实例。

可快速迁移waf中行为分析插件(非实时拦截需求，需要缓存计算数据的逻辑)至本系统，避免插件在处理请求时发起过多对数据缓存(redis等)的请求而导致WAF性能下降，帮助waf减负。

实现这个项目的目的其实也是加深下对lua虚拟机的认识

以及其他语言通过插件的方式调用lua脚本的工作原理，本项目因为只是单纯的lua虚拟机，不是luaJIT，所以不能使用ffi也不能引用三方so的方法。

当然使用lua插件化的性能最佳的语言肯定是C，但是因为太菜了

所以只能以golang来实现，但是就目前观察看下来，处理性能还是可以的。

跳过介绍，使用说明点击跳转。

特点

插件编写灵活

简单的需求在配置文件中完成其实挺不错的

但是在一些较为复杂的需求面前，配置文件写出来的可能比较抽象

或者说为了简化配置就要为某个单独的需求专门在主项目里写一段专门用来处理的逻辑，可以是可以，但没必要。

在使用openresty一段时间后，发现灵活的插件真的会减轻不少的工作量。接下来基于一个相对复杂的小需求来进行插件编写，点击跳转插件示例。

需求：对5分钟内的访问状态码40x的ip进行针对统计，5分钟内超过100次的打上标签锁定10分钟，供WAF进行拦截。

这种肯定也可以在waf中写插件，但是当类似需求多了，那么一条请求处理就可能会产生多次请求，影响waf性能。

这样的话只让waf发起一条请求读取下分析结果就可以直接进行拦截，将工作量转移给旁路系统，不影响线上服务。

插件秒级生效

在线上环境运行示例风控插件，能涉及到的业务总QPS高峰大概有十万。

(虽然是背着领导偷偷跑的，但是因为完全旁路于业务，所以问题不大。

插件目前使用主动监测的方式进行更新(说白了，for循环)

但是其实可以使用inotify通过修改事件来驱动插件更新

我这里没写是因为我还没写完服务端更新的操作，vim编辑保存文件会删除旧文件创建新文件导致文件监控失败，有点憨批所以没搞。

LogFarmer中实时传日志的方式就是使用事件驱动，实现比较简单。

插件更新时会自动编译缓存，供协程调用，避免每次都会要编译脚本运行。

动图中演示注释和运行打印日志方法来检测插件生效的速度。

灵活自定义的函数库

以打印日志为例

类型是自定义的access日志GoStruct

丰富的三方依赖支撑

golang能够使用的所有方法都可以被lua使用，通过如上的定义方式，添加进lua虚拟机供lua使用。

例如样例lua策略脚本中，使用的redis模块和方法实际是使用的golang内的redis三方库。

类型是redis.pipeliner

已内置的lua函数库和变量

-- 写成lua的table是这样
fbi={
    var={
        __metatable={
            __index=getVarFunctin
        }
    },
    log=logFunction,
    ERROR=level_error,
}

内置全局变量

fbi

类型是redis.pipeliner

-- 写成lua的table是这样
fbi={
    var={
        __metatable={
            __index=getVarFunctin
        }
    },
    log=logFunction,
    ERROR=level_error,
}

内置UserData变量

用于在单个lua协程中传递变量

access

类型是redis.pipeliner

pipeline

类型是redis.pipeliner

内置模块

redis

-- 类型都是lua中的类型。ok是bool类型，err是nil或者string类型，result是string或number类型，str是string类型
-- redis单条请求方法
local redis=require("redis")
-- 方法名都和redis方法类似
local result, err=redis.hmget(key, field)
local ok, err=redis.hmset(key, field, value)
local result, err=redis.incr(key, field)
local ok, err=redis.expire(key, second)
local ok, err=redis.delete(key)
-- redis批量请求方法
local redis=require("redis")
local pipeline=redis.pipeline
-- 新建一个pipeline
pipeline.new()
local result, err=pipeline.hmget(key, field)
local ok, err=pipeline.hmset(key, field, value)
local result, err=pipeline.incr(key, field)
local ok, err=pipeline.expire(key, second)
local ok, err=pipeline.delete(key)
local err=pipeline.exec()
pipeline.close()

-- 类型都是lua中的类型。ok是bool类型，err是nil或者string类型，str是string类型
-- 项目在定义给lua用的golang正则方法时，缓存了每个待匹配模式，比如"^ab"，提升速度和性能
local re=require("re")
local ok, err=re.match("abcabcd", "^ab")
local str, err=re.find("abcabcd", "^ab")

time

local time=require("time")
local tu=time.unix() -- 时间戳
local tf=time.format() -- 格式化时间 2020-05-31 00:15
local zero=time.zero -- 1590829200, 基准时间，用于跟当前时间做差取余算时间段

项目运行流程和手册

说明

目前只写了kafka的数据输入，且日志格式为json，后期看情况加。

如需对接自家日志，需要在rule/struct.go中定义下日志格式，可以网上找json2gostrcut的转换；

再在lua/http.go对照日志struct进行对应参数对接即可。

type AccessLog struct {
    Host    string  `json:"host"`    // WAF字段，域名
    Status  int     `json:"status"`  // WAF字段，状态码
    XFF     string  `json:"XFF"`     // WAF字段，X-Forwarded-for
    ...
}
// 注意下类型就好,lua里面数字都是number类型。
func GetReqVar(L *lua.LState) int {
    access :=L.GetGlobal("access").(*lua.LUserData).Value.(*rule.AccessLog)
    _=L.CheckAny(1)
    switch L.CheckString(2) {
    case "host":
        L.Push(lua.LString(access.Host))
    case "status":
        L.Push(lua.LNumber(access.Status))
    case "XFF":
        L.Push(lua.LString(access.XFF))
    ...
    default:
        L.Push(lua.LNil)
}

初次使用可通过打印一些变量来测试，例如

local var=fbi.var
local log=fbi.log
local ERROR=fbi.ERROR
log(ERROR, "status is ", tostring(var.status), ", req is ", var.host, var,uri, "?", var.query)
-- 可能输出 [error] status is 200, req is www.test.com/path/a?id=1

项目运行流程

安装

按照go.mod里的配置就行
kafka三方库需要安装librdkafka，参照

https://github.com/confluentinc/confluent-kafka-go#installing-librdkafka

redis三方库前几天刚更新，每个执行函数的参数都加了个ctx，如果不会改的话，go get 7.3版本即可
https://github.com/go-redis/redis/tree/v7

现阶段软件配置

日志源：Kafka

数据缓存：Redis

配置文件样例

# redis配置
redis: "127.0.0.1:6379"
password: ""
db: 9
# kafka配置
broker: 192.168.1.1:9092
groupid: group-access-test-v1
topic: 
- waflog
offset: latest
# 项目日志配置
path: Analyzer.log

使用方式

git clone https://github.com/C4o/FBI-Analyzer
go build main.go
./main

1.如果没有redis和kafka，没有关系，修改main.go的最后几行即可。通过print或log方法进行输出。

原始代码

    // 初始化redis,连接和健康检查
    red :=db.Redis{
        RedisAddr: conf.Cfg.RedAddr,
        RedisPass: conf.Cfg.RedPass,
        RedisDB:   conf.Cfg.DB,
    }
    // 初始化kafka配置
    kaf :=db.Kafka{
        Broker:  conf.Cfg.Broker,
        GroupID: conf.Cfg.GroupID,
        Topic:   conf.Cfg.Topic,
        Offset:  conf.Cfg.Offset,
    }
    // 启动lua进程
    for i :=0; i < runtime.NumCPU(); i++ {
        go lua.LuaThread(i)
        go kaf.Consumer(lua.Kchan, i)
    }
    // 本地模拟消费者，不使用kafka
    //go lua.TestConsumer()
    // redis健康检查卡住主进程，redis异常断开程序终止
    red.Health()

更新代码

    // 初始化redis,连接和健康检查
    //red :=db.Redis{
    //    RedisAddr: conf.Cfg.RedAddr,
    //    RedisPass: conf.Cfg.RedPass,
    //    RedisDB:   conf.Cfg.DB,
    //}
    // 初始化kafka配置
    //kaf :=db.Kafka{
    //Broker:  conf.Cfg.Broker,
    //GroupID: conf.Cfg.GroupID,
    //Topic:   conf.Cfg.Topic,
    //Offset:  conf.Cfg.Offset,
    //}
    // 启动lua进程
    for i :=0; i < runtime.NumCPU(); i++ {
        go lua.LuaThread(i)
        //go kaf.Consumer(lua.Kchan, i)
    }
    // 本地模拟消费者，不使用kafka
    lua.TestConsumer()
    // redis健康检查卡住主进程，redis异常断开程序终止
    // red.Health()

2.如果模块或参数使用不对，可在日志中查看lua脚本哪一行报错。

[root@localhost FBI-Analyzer]# cat Analyzer.log | grep "#" | head -n 5
2020/05/27 13:28:21 [error] Consumer error: 10.205.241.146:9092/bootstrap: Connect to ipv4#10.205.241.146:9092 failed: No route to host (after 4ms in state CONNECT) (<nil>)
2020/05/27 13:41:44 [error] coroutines failed : scripts/counter.lua:5: bad argument #3 to incr (value expected).
2020/05/27 13:41:49 [error] coroutines failed : scripts/counter.lua:5: bad argument #3 to incr (value expected).
2020/05/27 13:41:54 [error] coroutines failed : scripts/counter.lua:5: bad argument #3 to incr (value expected).
2020/05/27 13:41:59 [error] coroutines failed : scripts/counter.lua:5: bad argument #3 to incr (value expected).

本项目在现实中的应用

WAF体系

拦截中心

项目地址：https://github.com/C4o/IUS

实时日志传输模块

项目地址：https://github.com/C4o/LogFarmer

web安全体系化视频教程，在线免费观看！

渗透视频教程+进群+领工具+靶场

扫码白嫖！

作者：leviath

转载自：https://www.freebuf.com/sectool/238366.html

在线咨询

上一篇：推动安全浏览：微软为Edge浏览器引入自动HTTPS
下一篇：使用CefSharp和Javascript实现网络爬

您的项目需求

*请认真填写需求信息，我们会在24小时内与您取得联系。

整合营销服务商