こんにちは
火曜日担当の倉垣です。
月曜日は金環日食がありましたね。
皆さんはご覧になったでしょうか？
私は見ていません。
DWHの構造
さて、今回はDWHのデーター構成についてお話ししたいと思います。
普段扱っているDBといえばRDBMSで、多くの場合データーを正規化して業務に活用します。
しかし、DWHでは考え方が異なり、わざと正規化しない場面も多々あります。
DWHで求められることは多くの場合、「大量のデーターを短時間で分析すること」ですので、それに合わせた構造となっているのです。
この正規化しないデータベースはスタースキーマと呼ばれる構造で構築されます。
スタースキーマは、下記の図１のように一つの実績情報テーブルに星のように分析の視点となるテーブルが紐づいているものです。
例えば、売上データを格納した実績情報テーブルには、日付や店舗、商品等が格納されたテーブルが紐づくことになります。
紐づくテーブルは複数でも、1つでもかまいません。テーブルやデーター間の関係は後で定義できます。
例えば日付テーブルは年、月、週及び日といったデータを１つのテーブルに持たせることが多いと思いますが、図１のように年、月、週、日毎に別々のテーブルとして用意しておくことも可能です。
図１ スタースキーマの例
データキューブ
スタースキーマによるテーブル間の紐づけやデータそのもの等をまとめたオブジェクトがMS SQL Server ではデータキューブと呼ばれるものになり、これを活用することで検索が早くなります。
また、データキューブは分析する視点毎に階層化できますので、ドリルダウン及びドリルアップといった分析手法にも簡単に対応できます。
ただし、結合等の複雑な処理には向いていません。
ちなみに分析の対象となる列のことをメジャー、分析の軸となる列のことをディメンションと呼びます。
販売個数や売上額等がメジャー、日付や商品等の分析の軸となるものがディメンションです。上記の図１ですと、中心の大きな箱がメジャーとなり、回りの小さな箱がディメンションです。
しかし、データキューブは単純な集計は得意なのですが、テーブルの結合等は苦手とします。
データーキューブの作成時に簡単な処理結果を格納できる計算列の追加はできますが、テーブルの結合はできません。
テーブルを結合させたり、新たな列を追加したり、テキストファイルからデーターを取り込んだりしたい場合にはデータキューブ作成前にソースデーターを加工する必要があります。
ソースデーターの加工にはSSIS(SQL Server Integration Services)を利用します。SSISで様々なデーターソースから取り込んだデーターを変換して格納できるようになります。
データキューブを活用することで集計値を多次元で分析できるBIシステムを短時間で構築することができます。
みなさんの会社でも、大量に存在するデーターを無駄にせず、自社の成長に活用できるようにBIシステムを構築してみてはいかがでしょうか？
i.e.seaではITインフラ構築の他、BIシステム構築に関するご相談も承っております。
また、ITインフラのコスト削減、仮想化及びクラウドへの移行等に興味はありませんか？
お見積りは無料ですので、お気軽にご相談ください。
Author Archives: 倉垣
SQL Server 2012 BI
こんにちは、火曜日担当の倉垣です。
先週、スマートフォンEXPOが開催され、盛況のうちに閉幕しました。
弊社も出展させていただいたのですが、たくさんの方に来ていただき大変ありがたかったです。
SQL Server 2012 BI
3回ほど前のBlogでSQL Server 2012の話を掲載させていただきました。
ところで、SQL Serverは単にRDBMSとしての機能以外に、BI機能が標準で実装されています。
SQL Serverを購入するとBI機能がGUIによる豊富な管理機能と共にすぐに活用できるのです。
そこで、今回は SQL Server 2012のBIの一部をご紹介したいと思います。
データキューブ作成の概要
BI構築で一番重要な部分はやはり設計です。
どんな情報を見たいのか？そしてそのためにどのようなデーターが必要となるのか？この部分をしっかりと考えていないと、多くの工数をかけて誰にも必要とされないシステムを構築してしまいます。
とはいえ、設計の前にシステム的にはどのような流れで構築するのか興味があると思います。
そこで今回は、SQL Server 2012 のBI機能の中でも特にデーターキューブの作成についてご紹介します。
大雑把にBIの構築は、下記のような流れで進みます。
1. データソースの作成 – 分析対象となるデーターの取得元を設定します。
2. データソースビューの作成 – データーの取得元から分析に必要とするデーターを選択します。
3. キューブの作成 – 多次元分析のためのデーターの塊を設定します。
4. ディメンションの作成 – 分析の視点を設定します。
5. データベースの処理 – 設定した内容からデーターキューブやディメンションといったオブジェクトを作成します。
上記の作業で構築したデータキューブは”Analysis Service”と呼ばれるサービス上で提供されます。
ちなみに”Analysis Service”を構築するための作業は全てVisual Studio上で行います。
1. データソースの作成
分析対象となるデーターをどこから持ってくるのかを設定します。
分析対象となるデーターはSQL Server上のデータベースはもちろん、Oracle等の他社製品からも持ってこれますし、ファイルからも取り込めます。
定期的にデーターを取り込みたい場合や取り込む前にデーターを加工したい場合には、”Integration Service”を使います。SQL Server 2012からは、”Integration Service”もVisual Studio上で作業を行います。
2. データソースビューの作成
データーの取得元から分析に必要とするデーターを選択します。
3. キューブの作成
多次元分析のためのデーターの塊を設定します。
分析の視点を切り替えて、様々な確度からデーターを分析するために使用します。
キューブを作成することでデーター分析の視点を切り替えることが簡単にできるようになります。
また、あらかじめこのデーターキューブを作成しておくことによって、分析時の検索パフォーマンスが向上します。
4. ディメンションの作成
分析の視点を設定します。
データーキューブそれ自体はデーターの塊なので、それだけでは何もわかりません。
日付別、商品別及び店舗別等のデーターを分析するための視点をここで設定します。
ここで設定した視点でデーターキューブを分析することになります。
5. データベースの処理
設定した内容からデーターキューブやディメンションといったオブジェクトを作成します。
単に、設定しただけではデーターキューブやディメンションといったオブジェクトは作成されません。
データベースの処理を行って、はじめて分析を実行できるようになります。
今回はここまでです。
とりあえずこれでVisual Studio上でデータキューブの中身を確認できるようになります。
データキューブを活用すれば、簡単に様々な角度から情報を分析できるようになります。
Excel等のクライアントアプリケーションによるデータキューブへのアクセス方法については次回以降にご紹介したいと思います。
i.e.seaではITインフラ構築の他、BIシステム構築に関するご相談も承っております。
また、ITインフラのコスト削減、仮想化及びクラウドへの移行等に興味はありませんか？
お見積りは無料ですので、お気軽にご相談ください。
リーンスタートアップ
ゴールデンウィークが終わってしまいました。
皆さんは楽しい休日を過ごされたでしょうか？
MVPの活用
新しい商品やサービスの開発で困った経験があったり、今現在困っている方はいらっしゃるでしょうか？
私は困っています。
そこで今回は“リーン・スタートアップ”の紹介です。
リーンスタートアップは、エリック・リース氏が提案する新製品・サービスのための開発手法のことです。
この手法には様々なアイデアが詰まっているのですが、私が特に気に入ったのはMVPの活用です。
MVPとは「必要最小限の機能しか実装していない製品」のことで、これを利用者に提供し、何度も試してもらうのだそうです。
試してもらう度に少しづつ機能を増やし、その結果を分析し製品に反映するのです。
（分析方法等については書籍に詳しく書かれていますのでそちらを参照してください。）
上記のサイクルをなるべく短い頻度で実行することで、製品がお客さんにとって真に価値あるものに育っていきます。
アプローチ手法
しかし、１つ疑問が浮かびませんか？
MVPとは未完成な製品です。これを公開することで会社の評判が悪くなるのではないか？
私もそう感じました。
何故なら、「お客さんに見せる前に、必要な機能はできる限り開発しておくべき」と考えていたからです。
しかし、特に問題はないそうです。
では何故、このような手法で問題ないのでしょうか？
それは、開発初期の未完成な製品を利用してくれるのは、アーリーアダプターと呼ばれる好奇心旺盛で失敗に寛容な人たちだからです。
むしろアーリーアダプターは完成済みの製品には興味を示してくれません。
アーリーアダプターは、荒削りで改良の余地がたくさんあるけれども、そのコンセプトが面白いものに興味を示してくれるようです。彼らは、開発元と一緒になって製品を育てることが楽しいのではないでしょうか？
では、いつまでもこのアプローチ手法で問題ないのでしょうか？
やはりそれは問題があるようで、どこかのタイミングで完成度の高い製品にする必要があるそうです。
そのタイミングというのは、アーリーアダプターを開拓しつくし、一般の人々（マジョリティ）に売り出そうとする時期です。
いつまでも同じアプローチ手法ではなく、時期によって変えるというのは面白いですね。
私たちi.e.seaも、インフラ構築にリーンスタートアップの手法を活用をうまく活用できないか考えていきたいと思います。
i.e.seaではITインフラ構築に関するご相談を承っております。
ITインフラのコスト削減、仮想化及びクラウドへの移行等に興味はありませんか？
お見積りは無料ですので、お気軽にご相談ください。
ITインフラのコスト削減
こんにちは
火曜日担当の倉垣です
みなさんは楽しいGWを過ごされているでしょうか？
私は特に何もありません。
さて、今回はコスト削減に関するお話しです。
コスト削減を阻む壁
私はITインフラのコスト削減策をお客様に提案する機会があるのですが、その際によく耳にする言葉があります。
それはやはりコストです。
どのお客様もコスト意識が高いですね。
こういったコスト意識の高いお客様は、ITインフラのコスト削減策を提案してもなかなか乗り気になってくれません。
何故なら、施策を実行してもどのくらいの効果があるかわからず、その上コスト削減策自体にもそれなりのコストが発生することが容易に想像できるからです。
また、ITインフラは直接売上を上げるものではなく、基本的にお金が出ていくだけのものです。
「多少不便だが、壊れていないのだから今のままでもいい。効果がよくわからないものにコストはかけられない。」
このような考えではないでしょうか？
しかし、古いITインフラはじわじわと見えないところから企業を機能面やコスト面といった部分から浸食していきます。
ITインフラの老朽化は、シロアリに家の土台を喰われているようなものです。
普段はシロアリの被害に気付かないですが確実に家は浸食されています。
定期的にメンテナンスしないと、ある日突然倒壊してしまうのです。
社内ITインフラエンジニアの悩み
一方、自社のITインフラ更改を進めたいと考えている社内ITインフラエンジニアも同様の問題を抱えています。
「自社の老朽化したITインフラの更改を行いたい。しかし経営層が乗り気ではない」。
こんな状況を打破するにはどうすればいいのでしょうか？
私は、コスト面でのインパクトの説明が一番有効であると考えています。
その施策の１つがコスト削減額の売上高換算です。
コスト削減額がどれだけの売上高に相当するのか示すのです。
これを計算すると、考えていた以上にITインフラのコスト削減額の影響が大きいことに気付かされます。
例えば会社の売上高経常利益率が5%の場合、年間100万円のコスト削減額は2000万円の売上に相当します。
また、売上は必ずしも計画どおりに上がるものではありませんが、ITインフラのコスト削減は事前にしっかりと計画することでほぼ確実に実行できます。
さらに、ITインフラの更改はコスト削減額以上に様々な利便性をもたらします。
セキュリティ向上、システム安定性の向上及び新機能の活用等です。
また、現在の経営はITなしでは成り立ちません。強いITインフラがあればこそ、機動的な経営に取り組めるのです。
是非皆さんも自社のITインフラを見直し、削減したリソースで売上を向上させる施策に取り組んでください。
i.e.seaではITインフラ構築に関するご相談を承っております。
ITインフラのコスト削減、仮想化及びクラウドへの移行等に興味はありませんか？
お見積りは無料ですので、お気軽にご相談ください。
SQL Server 2012
はじめまして
火曜日担当となりました”倉垣”です。
これからしばらくの間、よろしくお願いします。
SQL Server 2012
4/1よりMicrosoftのSQL Server 2012が提供開始となりました。
新製品ということで当然いくつもの有用な機能が搭載されました。
以下にその代表的なものを挙げます。
・SQL Server AlwayOn
・カラムストアインデックス
・Power View
・PowerPivot
・Data Quality Services
・File Table
・SQL Server Data Tools
様々な新機能が追加されましたが、その中でも私が特に注目している技術は”カラムストアインデックス”です。
これは新しいタイプのインデックスで、このインデックスの利用で場合によっては100倍ものパフォーマンス向上効果があるそうです。
しかし、このインデックスは、何にでも使えるかというとそういうわけでもありません。
大量のデータを集計する際には効果がありますが、それ以外ではそれほど効果がない場合や、むしろパフォーマンスを低下させてしまう場面もあります。
カラムストアインデックスの動作
カラスストアインデックス以外のクラスタ化インデックスや非クラスタ化インデックスを利用した場合は、データーベースを参照する際に、参照したい列以外に行全体を読み込む必要があります。
一方、カラムストアインデックスは列単位に作成されます。
そのため、データーベースを参照する場合はインデックスとそれに対応した列だけが読み込まれることになります。
”インデックスが作成されている列”だけしかロードされないため、データーをメモリ上に展開するまでの時間を短縮できるわけです。
カラムストアインデックスでは列単位にまとめてページに格納することで、よけいなIOの発生を抑制しています。
上記の理由から、カラムストアインデックスは大量の集計処理等の場合は抜群のパフォーマンスを発揮するわけです。
しかしながら、列単位にインデックスを作成しているため、複数列を参照する処理は得意ではありません。
また、列単位にまとめてページに格納しているため連続したデーターの処理は得意ですが、ランダムに配置されたデーターの処理は苦手です。
ですから、カラムストアインデックスのために従来のインデックスが不必要となるわけではありません。
用途によって使い分けることになります。
ERP等のOLTP系システムではクラスタ化インデックスや非クラスタ化インデックス、BI等のOLAP系システムではカラムストアインデックスといった具合です。
どの技術でもそうですが、メリット・デメリットを把握し、適材適所で活用する必要がありますね。
i.e.seaではITインフラ構築に関するご相談を承っております。
ITインフラのコスト削減、仮想化及びクラウドへの移行等に興味はありませんか？
お見積りは無料ですので、お気軽にご相談ください。