PIG 的几种 storage

PIG 现在除了默认的 PigStorage(对应使用制定分隔符分割的文本格式,默认为 tab) 以外还提供了

  • BinStorage,默认情况下 map/reduce job 的存储方式,用户也可以使用(可以 load 也可以 store),builtin;
  • JsonLoader/JsonStorage,前者需要指定 schema,builtin
  • TextLoader 用来读入文本,每行一个 chararray,builtin
  • AvroStorage(org.apache.pig.piggybank.storage.avro )用来读取和存储 avro 格式的文件,读取也需要 schema,或者指定或者有个 schema 文件
  • CVSLoader(org.apache.pig.piggybank.storage)用来载入 CVS 文件
  • DBStorage(org.apache.pig.piggybank.storage)用于写入 DB,需要指定数据库驱动和使用的 SQL 语句
  • HadoopJobHistoryLoader(同上)呃,这也行…
  • IndexedStorage(同上),支持 per-record seek 的存储
  • MultiStorage(同上),产生多个 output directory,根据用户指定的规则进行拆分
  • RegExLoader 与 MyRegExLoader(同上),根据 RE 对 log 进行分析
  • SequenceFileLoader(同上),用来读取 sequence file
  • XMLLoader(同上),用来 load XML 文件的内容,需要提供 schema。
  • HBaseStorage(org.apache.pig.backend.hadoop.hbase)用来从 HBase 里面读入和写入数据
  • HDataStorage(org.apache.pig.backend.hadoop.datastorage )看不出来干啥的…
  • TableLoader/TableStorer(org.apache.hadoop.zebra.pig)用来处理 zebra 格式的数据,好像现在没啥人用了?

如果希望自己提供 storage 需要继承 LoadFunc/StoreFunc(其实都会构造 Reader/Writer 来完成实际的工作)和实现 StoreFuncInterface

———————
Arise, lift up the lad, and hold him in your hand; for I will make him a great nation.

Advertisements
PIG 的几种 storage

发表评论

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / 更改 )

Twitter picture

You are commenting using your Twitter account. Log Out / 更改 )

Facebook photo

You are commenting using your Facebook account. Log Out / 更改 )

Google+ photo

You are commenting using your Google+ account. Log Out / 更改 )

Connecting to %s