<< Database Watch 2014年8月号で #CLUBDB2 のBluemix回が紹介されました | main | #clubdb2 次回9/5(金)はNoSQLのDBaaS "Cloudant"について解説します >>

IBM版Hadoop BigInsights v3にはDB2をベースにしたBig SQL機能が搭載。SQLでHadoopデータにアクセスが可能に

IBM版のHadoopである、InfoSphere BigInsightsの新バージョンv3について記者発表が行われて、それが記事になっています。

- Database Watch(2014年8月版):BlueMixのクラウドデータベースサービス/SQL on Hadoopは普及するか? (3/3) - @IT
オープンソースの分散処理のためのフレームワークである「Apache Hadoop」をIBMが独自の技術を加えて製品化したのが「IBM InfoSphere BigInsights(以下、BigInsights)」です。いわば機能強化したIBM版Hadoop。

BigInsights v3.0の新機能はいろいろあるのですが、目玉が"Big SQL"機能です。これはHadoopのHDFS上に置かれたデータをSQLでアクセスできるようにする仕組みです。
この仕組み自体はBigInsights v2.xからありましたし、「HadoopのデータがSQLでアクセスできる」というソフトウェアは他にもあります。

しかし、BigInsights v3のBig SQL機能は「リッチなSQLが使える」という他にはない特徴があります。他の"HadoopにSQLアクセスできるソリューション"は、SQLが使えるとはいってもかなり制限が厳しくて、サブクエリーすら使えないような実装だったり、関数がほとんど使えなかったりということが多いのですが、BigIntighstsの新機能は「ANSI規格のSQL 2011に完全に準拠」しています。それはどうやって実装したかというと...

- 日本IBM、Hadoop機能を搭載した最新のInfoSphere BigInsightsの機能を紹介 | マイナビニュース
BIG SQL 3.0では、ANSIのSQL 2011に準拠しているほか、クエリの書き換えや最適化により、精度の向上や高速化が図られているという。
また、JDBC/ODBCドライバはDB2と同一のものが利用できるほか、Python、Ruby、Perlなどの多くの言語も利用できる。


つまり、中のSQLエンジンはDB2からの移植なんですね。そのために利用できるSQLや通信プロトコルがDB2と同じになっていて、既存のJDBC/ODBCなどでDB2につながるプログラムがそのまま使えるというわけです。

- [ 2/2 ] 「エンタープライズに必要なのはSQLとの互換性」、IBM版Hadoop「InfoSphere BigInsights」の姿 | IT Leaders
SQLの利用やMapReduceプログラミングの簡素化は、Hadoopエコシステムである「Hive」や「Pig」などを使えば可能である。Big SQLも構造的にはHiveとほぼ同じ。だが、ANSI規格のSQL 2011に完全に準拠するほか、次のような強化を図っている。
・アプリケーションの可搬性:周辺環境とのデータ共有、種々のファイルフォーマットのサポート、「Cognos」や「SPSS」といったIBM製分析ツールとの連携
・パフォーマンス:SQLクエリを最適化するリライト、DB2派生のオプティマイザ、複数処理の同時実行に対するスループットの最適化、実行結果のキャッシングなどメモリーの有効活用、Hiveに比較して最大42倍の高速化
・フェデレーション(周辺との連携):複数データソースを統合するSQLの実行、DB2やNeteezaのIBM製品に加え、TeradataやOracleなどをサポート
・エンタープライズ要件への対応:OS認証、Kerberos、LDAPといった認証形態のサポート、ユーザー個別のセキュリティ、監査、TLSによる通信経路の暗号化


実際に動かしてみると分かるのですが、psコマンドで見てみるとdb2という名前のプロセスが多数起動しますし、SQLコマンドプロンプトもDB2そのものです。HDFS上で動くようにDB2のSQLエンジンを移植したという感じですね。

Hadoopを使うにはMapReduceで処理を書く必要があったのですが、SQLであればこのあたりの敷居が大きく下がります。JDBCやODBCで既存のGUIツールをつなげてデータ閲覧するのにも使えますね。

BigInsightsには、無料版の「Quick Start Edition」が存在します。通常のインストール版に加えて、VMwareイメージ版もありますので、とりあえず試すだけであれば、インストール不要ですぐに使いはじめることができます。

Hadoop上のデータをSQLでアクセスすることに興味がある方はぜひ試してみてください。

- IBM InfoSphere BigInsights Quick Start Edition: 概要

コメント
コメントする(emailやurlは無記入でもOKです)









この記事のトラックバックURL (※SPAM対策のため、元記事のPermalink URLへのリンクがないものはトラックバックされません)
トラックバック
検索
著書
DB2cover_small.jpg
DB2の管理方法を解説した本を書きました。
ad
リンク集
about this site
recommend
プログラマのためのSQL 第4版
プログラマのためのSQL 第4版 (JUGEMレビュー »)
ジョー・セルコ
名著が第4版として、内容拡充されて発売されました。SQLの考え方を基礎からしっかり学習したい方にお勧めです。
recommend
recommend
WebSphere Application Server 構築・運用バイブル 【WAS8.5/8.0/7.0対応】
WebSphere Application Server 構築・運用バイブル 【WAS8.5/8.0/7.0対応】 (JUGEMレビュー »)
串宮 平恭,達見 圭介,田中 孝清,原口 知子,福崎 哲郎,盛林 哲
WebSphere Application Serverの運用管理本が出ました!WAS v7〜v8.5まで幅広いバージョンに対応しています。
recommend
recommend
Effective Java 第2版 (The Java Series)
Effective Java 第2版 (The Java Series) (JUGEMレビュー »)
Joshua Bloch
すべてのJava開発者必読の書が大幅改訂されて第2版になりました!。
文法などは解説していませんが、Java言語でプログラムを書くにはどういう事に気をつけるべきかという事が非常に端的に、かつ明確な理由とともに解説されています。
第2版ではJava SE 6対応がなされ、第1版で提案してJava SEに取り込まれた部分は整理され、新しい機能であるGenericsやアノテーションについての記述が多数追加されています。以前に増してお勧めできる書になりました。
まだ読んだことが無いJava開発者はぜひ読んでみてください。
recommend
 (JUGEMレビュー »)

基礎的なSQLは書けるようになったけど、今ひとつSQLのルールになんとなくしっくりこない、腑に落ちない。そんな人にお勧めの入門書です。SQLの根底に流れる基本的な考え方をやさしく解説してくれています。(レビューはこちら)
recommend
SQLパズル 第2版 プログラミングが変わる書き方/考え方
SQLパズル 第2版 プログラミングが変わる書き方/考え方 (JUGEMレビュー »)
ジョー・セルコ,Joe Celko
SQL入門を終えて、SQL中級/上級者になりたいと考えている方にぴったりのトレーニング本です(レビューはこちら)
recommend
XML-DB開発 実技コース
XML-DB開発 実技コース (JUGEMレビュー »)
下佐粉 昭,野間 愛一郎,久保 俊彦,高橋 賢司
XML-DBのやさしい入門書です。XMLの基礎から、XPath,XQueryの解説、設計の基礎、Javaでのプログラミング等盛りだくさんの内容です。
recommend
データベースパフォーマンスアップの教科書 基本原理編
データベースパフォーマンスアップの教科書 基本原理編 (JUGEMレビュー »)
エンコアコンサルティング
DBMSの基本的な内部構成、動作についての考え方をやさしく解説してくれています。(レビューはこちら)
recommend
メインフレーム実践ハンドブック z/OS(MVS),MSP,VOS3のしくみと使い方
メインフレーム実践ハンドブック z/OS(MVS),MSP,VOS3のしくみと使い方 (JUGEMレビュー »)
神居 俊哉
メインフレームの技術について、基礎概念から、実践的な使い方までを網羅した初めての解説書です。
recommend
 (JUGEMレビュー »)

CSSの概念/基礎をしっかりと解説してくれるCSS入門書。サイトへの実践的な適用方法も解説されています(レビューはこちら)
無料のDB2 Express-C
DB2 Express-C ダウンロード
recent entries
categories
recent comments
  • DB2の正式名称が"Db2"に変更。dashDB for TransactionもDb2 on Cloudに名称変更
    Taco (06/24)
  • DB2でインスタンスを追加で作成するには
    SIM (03/18)
  • DB2でインスタンスを追加で作成するには
    晩衛 (03/17)
  • SQLの学習サイト
    SIM (03/26)
  • SQLの学習サイト
    DB (03/25)
  • IBMとマイクロソフトが提携!AzureでDB2やWebSphereが、IBMクラウドでSQL Serverが提供される事に
    sim (10/25)
  • IBMとマイクロソフトが提携!AzureでDB2やWebSphereが、IBMクラウドでSQL Serverが提供される事に
    INA (10/24)
  • OpenSSLのHeartbleed脆弱性(CVE-2014-0160)は、DB2には影響ありません
    SIM (04/24)
  • OpenSSLのHeartbleed脆弱性(CVE-2014-0160)は、DB2には影響ありません
    oda (04/23)
  • IBM BLU for Cloudの日本語ガイド
    SIM (03/13)
recent trackbacks
archives