スキップしてメイン コンテンツに移動

今使わないと時代遅れになるApache Drill(OLAP・統計用)

投稿者:
Apache Drillは
Apache財団がサポートしている
データコネクタエンジンの一つである。

csv、json、Parquet、RDBなど
異なるデータタイプでも繋いで
統計などを作成するのができるのですごい！

Google Analyticsなどのデータを
CSVに落としてRDBの会員データと繋いで
イベントの検索と統計を抽出したり、

オンラインゲームパブリッシャーなどの
異なるDBを使うしかない分野で
最高のパフォーマンスをもたらすエンジンなので
必ず導入を検討した方がいいと思います。

詳細はDocumentationを…

しかし！
まだまだ弱点があり、
それを記録します。
もし改善できたらいいけど
色々試した結果を残しますので
導入にご参考を！

これはODBC・JDBCみたいなものではない！
OpenOLAPみたいに
Selectのみできるツールなので
今までのR-OLAPのお悩みの方に最適だと思います。

テーブル名に決まりがあります。
規則がはっきり分かりませんが、
deviceという名のテーブルはダメ！
もしこの様な読み取れないテーブル名があったら
DBMSからViewを作成するのをお薦めします。

そして use dfs.tmp などの
書き込みができるファイルシステムを選択すると
自分のViewなどが作れますよ！

JSONとかCSVのフィールドの読み取りが
上手くできないケースがあるが、
それはSubQueryで解決できる

Flattenマニュアル
ネスト(Nest、繰り返し)構造のJSONファイルをQueryする

Apache Parquet(パケイ？)フォーマットに
すると統計がより高速になる。
https://parquet.apache.org/
Parquetはファイルの記録方法の一つであり、
HDFS(Hadoop File System)との相性がいい、
HDFSに記録するときParquetにして
読み取ると大きいデータの統計が上手くいける！
今まで4TBまでのテキストを試しましたが
まだまだ行けそうです！
ファイル分け方などのコツが必要ですが…。
適当にするとCSVより遅くなるケースもあります。
https://dev.classmethod.jp/cloud/aws/amazon-athena-using-parquet/

ということで
データ構造の理解と
Queryの能力によって
まだまだ無限の可能性を持っている
と思ってます！


ラベル:

コメント

コメントを投稿

このブログの人気の投稿

コピペができないときチェックすべきこと！ :: よく迷うUiPathのコツ

投稿者:
UiPath( https://uipath.com )はMicrosoft社のWWFを改良した製品なのでVisual Studioより初心者向けに使いやすくなっている。 しかし、初心者がそのまま使うにはかなりのハドルがある。 理由は基本開発者向けの開発ツールを無理やり便利に作ってみたとしても開発の概念と考え方がないと結構躓くことが多い。 そのなかで私もよく迷ったりしていることの一つを整理しとく。 基本Activityはすぐコピぺができるので多数のUiPath Studioを開いて開発してたりする。 ここでコピペをしても反応ないときがよくある。 この場合はこれをチェックすること！ 1．Sequenceがなく一つのActivityしかないところにはペーストできないのが多い。 例えば、ifの処理ボックスにはSequenceが最初はない。 そのボックスに一つのActivityはペーストできるのに2個目からはなぜか反応ない。 それで分からないまま新しいActivityを追加してたりしたが、 あそこにSequenceを入れたら解決ができるのだ！ 2．正常にペーストできるはずのところに反応ない。 この場合はPackageが合わなくペーストが効かないケースが多い。 DESIGN＞Manage Packagesをクリックしてコピー元のパッケージにインストールされているのにコピー先にインストールされてないパッケージを探す！ パッケージを一々見るのが難しい！と思ったら メモ帳からファイルがあるフォルダにあるproject.jsonファイルを開いてみる！ あそこにJSONの形式でインストールされたパッケージが見えるので比較しやすくなる！ ちなみにコピペをすると変数の宣言が大変だと思うが、 そこでもコツがあるのだ！ 変数の宣言はなるべく細かくしてSequence単位で管理できるようにする。 全てに影響がある変数はしょうがないから一番広く宣言するけど。 初心者向けの説明だと、 Variablesというところをクリックして変数を開いたらScopeという範囲が見える！ 大体Sequenceボックスの名前を変えてないのでSequenceがすらりと表示されてるはずが、Sequenceボックスの名前を付けてたら見やすくなる。 あ...
コメントを投稿
続きを読む

面倒くさいORACLEの文字化け状況

投稿者:
ORACLEはそもそもUTF-8をサポートしてほかの言語はサポートはしているって書いてますが親切ではないようです。 現在サーバー側は昔からUS7ASCIIに設定して日本語を入れてしまい、データは7ビットASCIIモードで読み取りながら日本語のコートがOS側とクライアント側で変換しない必要があります。 クライアント側で文字化けの解決にはNLS_LANGの設定が効くクライアントが必要ですが、一部の有料クライアントにはサポートするようです。 接続構造は参考に https://www.oracle.com/technetwork/jp/content/charcterset-250314-ja.pdf の19スライドのように クライアントからNLS_LANGをUS7ASCIIに設定しても その設定した言語にもらったUTF-8のデータをクライアントが変換すると NLS_LANGを設定しても意味がないようです。 ORACLE SQL Developerがこの様です。 ODBCと直接接続は必ずUTF-8に変換してしまうのでUS7ASCIIになっているDBからはクライアントをいくら変換しても文字化けのままです。 必ずOCI接続を通じてクライアント側から読み取らないとUS7ASCIIは勝手に変換されますね。 この全ての条件が満たした無料クライアントはA5mk2の2.9.1バージョンだけですね。 A5MK2 ver.2.9.1 : https://a5m2.mmatsubara.com/download/a5m2_2.9.1_x64.zip 2.9.1 バージョンでサーバーを設定する場合Uicode変換を強制に無視するオプションがあります。 多分このバージョンの時点ではUTF-8をメインにして設計したDBが少なかったから文字化け対応のためできたオプションでしょう。 しかし、A5mk2の新しいバージョンにもまた結果の変換をしないオプションがなくなって文字化けしてしまいます。開発者はもうUTF-8ではないDBはないと思ってるでしょう。まだまだ残ってますよ～。 クライアント側からの変換などに参考になればと思います！ まだ直接お仕事になさってますか？ もう遅いです！ソフトウェアロボットにお仕事を任せてどの位自分の作業分量が減ってるかをご確認ください！ https://talklowy-jp.b...
コメントを投稿
続きを読む

UiPath - Excelのシート名が存在した場合の処理

投稿者:
UiPath.Excel Activityは活用方法によってかなり強力ですが、隠れて探せない項目が多すぎて困ったりします。 公式ドキュメントもいまいちだし…。 Excelを自動化するには協力なUiPathの機能の中でSheetの判断処理を残します。 今まではシートがあったら何とかしようとしたら見つける方法が分からなく、ErrorのExceptionで判断したりしましたが、 workbook.GetSheets.Contains("<sheet name>") があったのをいまさら見つけました； 早速試してみましたが、 messageboxにworkbookとか書いてみても出てこない…。 これはExcel Application Scopeを利用しなければなりませんでした！ まずExcel Application ScopeにExcelファイルを登録！ Excel Application Scope Activityの属性にOutputにwbを入力して変数に入れます。 変数に入れてからMessageBoxに wb.GetSheet.Contains("Sheet1") を入力してみると成功！ 「wb.」をおした時点でいっぱい出てきましたね。 ググってみても詳しく出て着なかったのでここにまず記録 giip - Free UiPath and Rpa Integrated Orchestration Service https://giipasp.azurewebsites.net
コメントを投稿
続きを読む