スキップしてメイン コンテンツに移動

投稿

今使わないと時代遅れになるApache Drill(OLAP・統計用)

Apache Drillは Apache財団がサポートしている データコネクタエンジンの一つである。 https://drill.apache.org/ csv、json、Parquet、RDBなど 異なるデータタイプでも繋いで 統計などを作成するのができるのですごい! Google Analyticsなどのデータを CSVに落としてRDBの会員データと繋いで イベントの検索と統計を抽出したり、 オンラインゲームパブリッシャーなどの 異なるDBを使うしかない分野で 最高のパフォーマンスをもたらすエンジンなので 必ず導入を検討した方がいいと思います。 詳細はDocumentationを… https://drill.apache.org/docs/ しかし! まだまだ弱点があり、 それを記録します。 もし改善できたらいいけど 色々試した結果を残しますので 導入にご参考を! これは ODBC・JDBCみたいなものではない ! OpenOLAPみたいに Selectのみできるツールなので 今までのR-OLAPのお悩みの方に最適だと思います。 テーブル名に決まりがあります。 規則がはっきり分かりませんが、 deviceという名のテーブルはダメ! もしこの様な読み取れないテーブル名があったら DBMSからViewを作成するのをお薦めします。 そして use dfs.tmp などの 書き込みができるファイルシステムを選択すると 自分のViewなどが作れます よ! https://drill.apache.org/docs/create-view/ JSONとかCSVのフィールドの読み取りが 上手くできないケースがあるが、 それはSubQueryで解決できる Flattenマニュアル https://drill.apache.org/docs/flatten/ ネスト(Nest、繰り返し)構造のJSONファイルをQueryする http://nagix.hatenablog.com/entry/2014/12/18/191324 Apache Parquet(パケイ?)フ

一人暮らしのコツなんて!(モノの整理編)

知り合いとの話の最中 私が一人暮らしのコツがが多いって言われました! これを見ている皆さんが もっと知ってると思ってますが・・・ しかし! わざっと書いてる理由は 私より知っている貴方に 助言を求めているためです! 一人暮らしのコツを コメントに残してください! まず 私は引越しが多いほうで 部屋には引き出しよりは コロコロできるトランクケースが多いです! コムサ(COMME CA)などで たまに1000円で売ってたり 上野のカバン専門店でも千円で売ってたりしてますので 一人で引っ越しするとき 結構楽になります。 するとカバンにものを入れたら 出すのが面倒に・・・ カバンごとに出すものを 分けるのもコツです。 いつこのカバンを開けばいいかを考えて ものを入れるのです。 安いものはいくつのカバンに1こずつ 入ってたりしますが 時間の無駄にならないのでいいんです。 そしてカバンにものを入れたら 一回は写真撮影! それをクラウドのドライブに入れちゃいます。 私はGoogle Driveは共有用、 Onedrive(マイクロソフトさん)は個人用にしています。 理由は 無料版の場合Onedriveは リンクを作ってしまうと 共有を細かく設定できないからです。 さて、 クラウドドライブに入れたらコメントをします。 何番(番号をつけてます)トランクには何が入ったとか そのリンクを全てGoogle Mailに登録(下書き) すると検索のとき役に立ちます! ものの区別には透明ビニルがいいので 100円ショップから冷蔵庫に食べ残しを入れる ビニル袋パックを購入(20枚でジッパーがあってお得!)し ものを分けて入れます。 洗濯パウチも必須ですね。 ランドリーにも楽だし カバンに入れても見えるし出しやすい! 他にあったらまた書きます。 じゃ、楽しい一人暮らしを!

東京がもう150年になりましたね!お祭り!

初音ミクちゃんがメインにイラストが気に入って探してみました。 特に私はミクちゃんが広告以外には会ったことないからよく分かりませんがこんなに有名人だったんですね。(°▽°) https://www.tokyo-150.jp/ サイトに入ると 色んなイベントがありました! 是非リンクに入ってみてください。 一生一回ですかね次の記念祭まで生き残っているかな( ^ω^)・・・ と思ってちょっと見ようかと思っています。

自分で集めた情報とファイルなどをちゃんと検索してますか?

ブラウザのお気に入りを見てみると以外に多い! 前回探してお気に入りに入れたのに 探せなくてまた検索し直し…。 自分のディスクから ファイル名が覚えられなくて 検索しても出てこない! いつか撮った写真が見つからない! という経験が無い方いらっしゃいますかね。 インターネットに消費する時間は なんと 100分! ( https://webtan.impress.co.jp/e/2017/08/02/26474 ) この中で情報を探すために 時間を消費するのも かなりの時間になるのはみなさんが よく知ってると思います。 そろそろ自分で見つけた情報を 整理しないと…ですね。 あなたは10年前に「これ、いいね!」と思って 記録した情報(ファイル・URLなど)がすぐ探せますか? すぐ探せなければそれはあなたの情報とは言えません。 そして、有能な人々は自分の整理方法があります。 メモの仕方とか…。 しかし私は昔のやり方が必ずいいとは言えません。 私なりの方法があります! それでは、 現在の情報の整理のコツを公開しましょう。 まず知っておくことは 「クラウド時代」の変化です。 クラウド時代に個人には どんな意味があるのでしょうか? これは 「全ての情報(ファイル・写真・動画・テキストなど)が URLに変換できる」 とのことです。 自分のハードディスクのファイルさえ クラウドシンクまたは NASを購入すると 自分のURLを作成する機能が付いている のもあるんです! ということは URLを集め タグをうまくつければ OKですね! メインに検索をかけるのは ブログでもEvernoteでも Gmailでもいいんです。 自分で検索しやすいのを選択します。 そして URLとタグを一緒に入れちゃいます。 じゃ、 「個人情報が漏れない?」 との心配があるのでしょ? 私の場合は グーグルドライブ(Google Drive)に 公開せずにアップロードします。 そこでURLだけ入れれば このURLが盗まれても グーグル

英語をより楽に勉強できる方法

英語ができなくて良い機会が失われた経験があるでしょう。 GoogleさんもMicrosoftさんも英語で面接をしてます。 私がエンジニアですが技術より言語の学びが優先だと思います。 知り合いの中で技術は低いが英語が上手い人が私より良い道を歩いてます。 それは会話ができなければ技術も通じないとのことでしょう。 それで色々お試ししましたところ 情報を公開しようとしてます! まず、 Khan Academy( https://www.khanacademy.org/ )に入会! これはSalman Khanという人が自分の親戚に数学を教えるために試したやり方が色んな人が参加してグーグルさんとマイクロソフトさんが投資をした 完全無料教育サービス です。 しかし、これは英語でしか話してないので初心者の方には無理があるでしょう。 それでも、この記事をお読みになられた方は基本的な文法は学んだ方だと考えときます。 そして TEDアプリ( https://www.ted.com/ ) をダウンロード。 日本語の字幕がある映像の中で自分の好みの映像を選んでください。 有名なスピーカが話したことが多いので話し方など良い勉強になります。 次は MeetUp( https://www.meetup.com/ja-JP/ ) でしょ。 英会話グループを探して加入。 自分のレベルに合わせて参加してら良い友達もできるし勉強にもなります。 電車で単語ばっかり暗記している方が見つかりますが、 それも悪くは無いけど効率はどうかと思います。 やはり勉強は楽しく!自分の好みでは無いと! 映画も良いしドラマも良いです。それともゲームとか旅行もあるでしょう。 自分の趣味から始めるのが大切だと思います。 もしドロンが趣味だとしたらわざわざググってみる。 そして英語のページから探すんです。 最初は無理があるけど好きなイメージなどが見つかったら読みたいでしょ? そのページをスクリーンショットかプリントでも良いです。 その文書の単語を探して読んでみるのが第一歩ですね。 最初は辛いでしょ。 私の場合には最初には単語10個だけ探しました。 1日10個だけ辞書から探して残りは捨てる。 さらに10個をその場で暗記してそれで終わり。 翌日3~4個し

PHP multipart/form-data ファイルアップロード(PHP公式ホームページサンプル)

<form action="" method="post" enctype="multipart/form-data"> <p>Pictures: <input type="file" name="pictures[]" /> <input type="file" name="pictures[]" /> <input type="file" name="pictures[]" /> <input type="submit" value="Send" /> </p> </form> <?php foreach ( $_FILES [ "pictures" ][ "error" ] as  $key  =>  $error ) {     if ( $error  ==  UPLOAD_ERR_OK ) {          $tmp_name  =  $_FILES [ "pictures" ][ "tmp_name" ][ $key ];          $name  =  $_FILES [ "pictures" ][ "name" ][ $key ];          move_uploaded_file ( $tmp_name ,  "data/ $name " );     } } ?>

giipサービスを活用した簡単Linuxバックアップ

Linuxバックアップはtar.gzなどを使ってディレクトリを圧縮することが多いです。 簡単に圧縮ファイルを作るのを自動化する方法をお教えします。 giipサービスの特徴はgoogle ID(gmail)だけで入会いらず、インストール要らない、機密情報を保管しないで自動化管理ができることです。 さらにたくさんのサーバーを管理しても中央で自動化管理ができるので便利です。 ほとんどの機能は無料のままで使えます。 大量のログなどに制限があるので小さい規模での管理は楽です。 AWSを使っても自社管理サーバでも全て自動化管理ができるのでAWSを使っている方でも是非お試しください。 下記のtar.gzで圧縮するスクリプトソースと登録手順があるリンクを参考してください。 http://giipwiki.littleworld.net/mspdocs/index.php?title=LinuxShellBackup Free Infrastructure information management tool  Global Infrastructure Information Platform  http://giip.littleworld.net Subscribe and publish your links as a book with friends  My Favorite Link Share  http://link.littleworld.net