我要评论flume自定义sink数据至mysql
一、介绍
sink不断地轮询channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个flume agent。
sink是完全事务性的。在从channel批量删除数据之前，每个sink用channel启动一个事务。批量事件一旦成功写出到存储系统或下一个flume agent，sink就利用channel提交事务。事务一旦被提交，该channel从自己的内部缓冲区删除事件。
sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、null、hbase、solr、自定义。官方提供的sink类型已经很多，但是有时候并不能满足实际开发当中的需求，此时我们就需要根据实际需求自定义某些sink。
官方也提供了自定义sink的接口：
https://flume.apache.org/flumedeveloperguide.html#sink根据官方说明自定义mysink需要继承abstractsink类并实现configurable接口。
实现相应方法：
- configure(context context)//初始化context（读取配置文件内容）
- process()//从channel读取获取数据（event），这个方法将被循环调用。
使用场景：
读取channel数据写入mysql或者其他文件系统。
二、需求
使用flume接收(id,name,string)数据，并在sink端给每条数据进行切分，编写jdbc驱动将数据保存到mysql数据库。
三、编写mysink
package com.flume.flume;
import org.apache.flume.*;
import org.apache.flume.conf.configurable;
import org.apache.flume.sink.abstractsink;
import java.sql.connection;
import java.sql.drivermanager;
import java.sql.preparedstatement;
import java.sql.sqlexception;
public class mysink extends abstractsink implements configurable {
private string msgprefix;
/**
* 用来保存数据,不断调用次方法
* @return
* @throws eventdeliveryexception
*/
@override
public status process() throws eventdeliveryexception {
//获取sink对应的channnel
channel channel = getchannel();
connection connection = null;
preparedstatement statement = null;
//获取事务对象
transaction transaction = channel.gettransaction();
try{
//开启事务
transaction.begin();
//从channel中获取数据
event event = channel.take();
//切割数据
string data = new string(event.getbody());
string[] arr = data.split(",");
string id = arr[0];
string name = arr[1];
int age = integer.parseint(arr[2]);
//保存到mysql
//1、获取connect
connection = drivermanager.getconnection("jdbc:mysql://hadoop102:3306/test?usessl=false","root","123321");
statement = connection.preparestatement("insert into test values(?,?,?)");
savetomysql(id,name,age,connection,statement);
//模拟数据保存
//system.out.println(msgprefix+":"+new string(take.getbody()));
//提交事务
transaction.commit();
return status.ready;
}catch (exception e){
transaction.rollback();
}finally {
//关闭事务
transaction.close();
if(statement!=null)
//5、关闭
{
try {
statement.close();
} catch (sqlexception e) {
e.printstacktrace();
}
}
if(connection!=null) {
try {
connection.close();
} catch (sqlexception e) {
e.printstacktrace();
}
}
}
return status.backoff;
}
public void savetomysql(string id,string name,int age,connection connection,preparedstatement statement) throws sqlexception {
//2、获取statement对象
//sql注入 【 select * from table where name='zhangsan' or 1=1】
//connection.createstatement();
//3、赋值
statement.setstring(1,id);
statement.setstring(2,name);
statement.setint(3,age);
system.out.println(id+","+name+","+age);
//4、保存
statement.executeupdate();
}
/**
* 获取sink的配置属性
* @param context
*/
@override
public void configure(context context) {
msgprefix = context.getstring("msg.prefix");
}
}
四、编写flume脚本
#定义agent a1.sources = r1 a1.channels = c1 a1.sinks = k1 #定义source a1.sources.r1.type = netcat a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = 9999 #定义channel a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactioncapacity = 1000 #定义sink a1.sinks.k1.type = com.atguigu.flume.mysink a1.sinks.k1.msg.prefix = message #定义source、channel、sink之间的绑定关系 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1
五、测试
1.启动flume
[hadoop@hadoop102 ~]$ cd /opt/module/flume/ [hadoop@hadoop102 flume]$ bin/flume-ng agent -c conf/ -n a1 -f job/mysik.config -dflume.root.logger=info,console
2.启动nc端口
[hadoop@hadoop102 ~]$ nc hadoop102 9999 1,ttt,8 ok
3.客户端输出
4.查看mysql数据库
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持代码网。
发表评论