スキップしてメイン コンテンツに移動

投稿

ラベル(統合)が付いた投稿を表示しています

[giip] 一緒にgiip RPA(サーバー運用自動化ツール)を作りませんか?

giipの日本語バージョンを新しいgitに移しました! giipを活用したスクリプトの共有などにお使い頂ければと思います。 サービスページ : http://giipweb.littleworld.net (フロントは英語だけどログインすると日本語対応しています。そしてフロントは誰でも自分なりのフロントが作れるのでご連絡ください) 英語版 : https://github.com/LowyShin/giip (giip関連scriptもあります!) 文書(Wiki) : https://github.com/LowyShin/giip-ja/wiki # 概要 世の中の全てのデバイス(サーバーとパソコン及びモバイル・IoTデバイスまで)の完全自動運用には何が必要でしょうか。 今までのDevOpsシステムは元々開発者が設計して作ったので開発者の観点でしか見れなかったです。 なので広大なシステムの設計には手動でしかできないと言っちゃうところがありました。 ここでSystem Architecture(システムアーキテクチャ)が設計したシステムならどうすべきなのかを考えました。 SFI(SONY Finance International)の金融システム運用経験とNexonの大規模オンラインゲームの運用及びハッカとの戦い、そしてLOL(League Of Legends、Riot Games社)の300Gbpsが超える莫大なトラフィックを運用した経験その他様々な規模の300サービス以上を運用した経験を活かしてシステム運用アーキテクチャを2007年作りました。 これが今までもメインに使っているgiip RPA(Robotics Process Automation)エンジンです。 10年以上を作り続けているgiipエンジンには次の哲学が含まれています。 ## KVS(Key Value Store) 全てのシステムのデータを収集するために非整形データタイプのJSONをデータベースのように使う為にKVS(Key Value Store)の概念を導入しました。 ## MSA(Micro Service Architecture) 全ての機能は追加・削除が可能にする為全ての機能を独立して作り上げてます。 一つの機能だけ

今使わないと時代遅れになるApache Drill(OLAP・統計用)

Apache Drillは Apache財団がサポートしている データコネクタエンジンの一つである。 https://drill.apache.org/ csv、json、Parquet、RDBなど 異なるデータタイプでも繋いで 統計などを作成するのができるのですごい! Google Analyticsなどのデータを CSVに落としてRDBの会員データと繋いで イベントの検索と統計を抽出したり、 オンラインゲームパブリッシャーなどの 異なるDBを使うしかない分野で 最高のパフォーマンスをもたらすエンジンなので 必ず導入を検討した方がいいと思います。 詳細はDocumentationを… https://drill.apache.org/docs/ しかし! まだまだ弱点があり、 それを記録します。 もし改善できたらいいけど 色々試した結果を残しますので 導入にご参考を! これは ODBC・JDBCみたいなものではない ! OpenOLAPみたいに Selectのみできるツールなので 今までのR-OLAPのお悩みの方に最適だと思います。 テーブル名に決まりがあります。 規則がはっきり分かりませんが、 deviceという名のテーブルはダメ! もしこの様な読み取れないテーブル名があったら DBMSからViewを作成するのをお薦めします。 そして use dfs.tmp などの 書き込みができるファイルシステムを選択すると 自分のViewなどが作れます よ! https://drill.apache.org/docs/create-view/ JSONとかCSVのフィールドの読み取りが 上手くできないケースがあるが、 それはSubQueryで解決できる Flattenマニュアル https://drill.apache.org/docs/flatten/ ネスト(Nest、繰り返し)構造のJSONファイルをQueryする http://nagix.hatenablog.com/entry/2014/12/18/191324 Apache Parquet(パケイ?)フ