スキップしてメイン コンテンツに移動

投稿

ラベル(shell)が付いた投稿を表示しています

lftpを利用してサーバーとGithubを同期させろ!

特定サーバーはFTPしか使えない状況。 そのサーバーから毎日のデータを読み取りGithubにアップしてほかのサーバーにDeployしないといけない状況です。 ここでrsyncはFTPを介して使えないためlftpというツールを見つけました!Linuxならすぐインストールできるので気軽にインストール apt install lftp ubuntuなのでaptを使いました。もしCentOS系列ならyumでやってみてください。 ファイルは毎日増え続けるため今日と昨日の日付のファイルのみ同期させたい。 サーバーからは削除したりするけど同期元は削除されたら困る。 とのことで 日付を今日と昨日をキャッチする Today= `date '+%Y-%m-%d'` Yesterday= `date +%Y-%m-%d --date '1 day ago'` まずはgitレポジトリーに移動して同期 cd  /home/giip/syncfiles git pull origin master githubから同期したらlftpを利用してファイルを同期 lftp -c  "set ftp:list-options -a; open 'ftp://GEBEDREAM:KFn \$ tMef@93.46.41.5'; cd /; lcd /home/Projects/gebedream/files/company; mirror --use-cache --verbose --allow-chown --allow-suid --no-umask --parallel=2 --log=/var/log/lftp.log --include-glob * ${Today} * --include-glob * ${Yesterday} * " ワイルドカードを利用して対象ファイルを絞らないと全てをダウンロードしてチェックしちゃうので時間がかなりかかる。 --include-glob * ${Today} * --include-glob * ${Yesterday} * 同期が終わったら git pushでgithubにアップします。 git add  . git commit -m  "daily sync by 

[giip] 一緒にgiip RPA(サーバー運用自動化ツール)を作りませんか?

giipの日本語バージョンを新しいgitに移しました! giipを活用したスクリプトの共有などにお使い頂ければと思います。 サービスページ : http://giipweb.littleworld.net (フロントは英語だけどログインすると日本語対応しています。そしてフロントは誰でも自分なりのフロントが作れるのでご連絡ください) 英語版 : https://github.com/LowyShin/giip (giip関連scriptもあります!) 文書(Wiki) : https://github.com/LowyShin/giip-ja/wiki # 概要 世の中の全てのデバイス(サーバーとパソコン及びモバイル・IoTデバイスまで)の完全自動運用には何が必要でしょうか。 今までのDevOpsシステムは元々開発者が設計して作ったので開発者の観点でしか見れなかったです。 なので広大なシステムの設計には手動でしかできないと言っちゃうところがありました。 ここでSystem Architecture(システムアーキテクチャ)が設計したシステムならどうすべきなのかを考えました。 SFI(SONY Finance International)の金融システム運用経験とNexonの大規模オンラインゲームの運用及びハッカとの戦い、そしてLOL(League Of Legends、Riot Games社)の300Gbpsが超える莫大なトラフィックを運用した経験その他様々な規模の300サービス以上を運用した経験を活かしてシステム運用アーキテクチャを2007年作りました。 これが今までもメインに使っているgiip RPA(Robotics Process Automation)エンジンです。 10年以上を作り続けているgiipエンジンには次の哲学が含まれています。 ## KVS(Key Value Store) 全てのシステムのデータを収集するために非整形データタイプのJSONをデータベースのように使う為にKVS(Key Value Store)の概念を導入しました。 ## MSA(Micro Service Architecture) 全ての機能は追加・削除が可能にする為全ての機能を独立して作り上げてます。 一つの機能だけ