Mdrill测试数据写入程序的示例分析
Mdrill测试数据写入程序的示例分析，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
需要写入数据的表的sql：
CREATE TABLE tv (
thedate string,
tv string
)
写入的java代码：
import java.io.BufferedWriter;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class ImportData {
static Configuration conf = null;
static FileSystem fs = null;
public static void main(String[] args) throws IOException {
conf = ConfigurationUtil.getConf();
fs = FileSystem.get(conf);
// TODO Auto-generated method stub
String pathStirng = "/group/tbdp-etao-adhoc/p4padhoc/tablelist/tv";
// 生成一年的文件夹(365个)，并将数据写入到文件夹中 文件夹名称：dt=20140201
Calendar calendar = Calendar.getInstance(); // 创建一个日历对象
calendar.setTime(new Date());
calendar.set(2013, 1, 1);
SimpleDateFormat sf = new SimpleDateFormat("yyyyMMdd");
while (calendar.get(Calendar.YEAR) < 2014) {
System.out.println(sf.format(calendar.getTime()));
String dateStr = sf.format(calendar.getTime());
String path = pathStirng + "/dt=" + dateStr;
mkdir(path);
writeTVData(path, dateStr);
calendar.add(Calendar.DAY_OF_YEAR, 1);
}
fs.close();
}
/**
* 写入100000条数字
* @param dir
* @throws IOException
*/
public static void writeTVData(String dir, String dateStr)
throws IOException {
FSDataOutputStream fos = null;
OutputStreamWriter osw = null;
BufferedWriter bw;
fos = fs.create(new Path(dir + "/data.txt"), false);
osw = new OutputStreamWriter(fos);
bw = new BufferedWriter(osw);
//给data.txt 一行行追加数据
for (int i = 0; i < 100000; i++) {
StringBuffer strBuffer = new StringBuffer();
strBuffer.append(dateStr);
strBuffer.append((char) 1);
strBuffer.append(i);
strBuffer.append(System.lineSeparator());
bw.write(strBuffer.toString());
}
bw.close();
osw.close();
fos.close();
}
public static void mkdir(String dir) throws IOException {
Path p = new Path(dir);
if (!fs.exists(p)) {
fs.mkdirs(p);
}
}
}
关于Mdrill测试数据写入程序的示例分析问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注行业资讯频道了解更多相关知识。
