Archiv rubriky: GIT

Jak rozdělit GIT repozitář na více menších a zachovat/promazat historii

Semtam se stane, že se aplikace rozroste, moduly přibývají a jejich doménový model se začně čím dál více lišit. Nastal čas aplikaci rozdělit. Prvním krokem, ještě před úpravami kódu by mělo být rozdělení GIT repozitáře. Můžeme na to jít více způsoby:

1. Zkopírovat repozitář a vymazat z něj nepotřebné soubory

Je to rychlé a vcelku bezpečné. V repozitáři nám ale zůstane kompletní historie souborů ostatních aplikací a klonování každého repozitáře bude kvůli tomu trvat zbytečně dlouho.

2. Založit nový, čistý repozitář a commitnout do něj jen potřebné soubory

Je to opět rychlé a vcelku bezpečné. V repozitáři nám ale nezůstane ani historie souboru oddělované aplikace. Budeme sice mít zálohu v podobě originálního repozitáře před rozdělením, nebude se s tím ale moc pohodlně pracovat.

3. Použít git filter-branch a upravit historii zkopírovaného repozitáře

Moje oblíbená varianta. Je sice náročnější na čas a snadno se při ní udělá nějaká chyba. Odměnou je ale čistý repozitář, který obsahuje jen soubory oddělované části aplikace včetně jejich historie. Nyní si ukážeme jak na to.

Naklonujeme si originální repozitář

$ git clone git@bitbucket.org:user/repo.git new-app

Přepneme se do složky repozitáře a projistotu odstraníme jeho remote.

$ git remote remove origin

Získáme seznam všech souborů v historii včetně smazaných

Tento krok není nutný, pokud nejste puntičkáři jako já 🙂 Můžeme snadno odstranit jen soubory, které aktuálně v repozitáře nechceme. Nebo si můžeme dát trochu více práce a odstranit i soubory, které jsme už dávno smazali nebo přejmenovali. K tomu ale potřebujeme zjistit, které to byly. Pro začátek si tedy vypíšeme všechny soubory, které kdy byly do repozitáře přidány. Výstup nasměrujeme do nějakého souboru, aby se nám s ním lépe pracovalo.

$ git log --pretty=format: --name-only --diff-filter=A | sort -u > all-files.txt

Nyní přišel čas otevřít si výstupní soubor v editoru a nechat v něm jen souboru, které chceme smazat. Musíme dát pozor, abychom si nesmazali soubory, které už sice v repozitáři nejsou, ale jejich přejmenované verze chceme. V případě odstraňování celých složek můžeme ponechat jen složku místo kompletního výpisu jejich souborů.

Jakmile budeme hotovi, použijeme připravený soubor v příkazu git filter-branch k promazání historie.

$ git filter-branch --force --index-filter \
    "git rm -r --cached --ignore-unmatch `cat all-files.txt | tr '\n' ' '`" \
    --prune-empty -- --all

Nyní je načase aplikaci otestovat (v nejlepším případě spustit testy), zda jsme neodmazali něco důležitého. Nejspíše bude nutné kvůli odmazaným souborům trochu kódu upravit. Poté si můžeme přidat nový remote a udělat první push.

$ git remote add origin git@bitbucket.org:user/new-app.git
$ git push -u origin --all
$ git push origin --tags # pokud máte nějaké tagy

V této fázi jsou ještě stále staré revize zálohovány pod refs/original. Pokud je chcete z repozitáře úplně odstranit, musíme to udělat ručně.

$ git for-each-ref --format='delete %(refname)' refs/original | git update-ref --stdin
$ git reflog expire --expire=now --all
$ git gc --prune=now

Eventuelně můžeme místo toho udělat čerstvý clone našeho již vyfiltrovaného remotu.

Jak bezpečně distribuovat hesla v gitu

Pokud už jste někdy rozcházeli deployment aplikace pomocí gitu, asi jste narazili na problém, jak na produkční server bezpečně dostat hesla. Mít je v plaintextu v GITu moc bezpečné není 🙂 Přesto ale je způsob, jak je v gitu mít bezpečně – zašifrovat je. Jak to udělat a jak je při deploymentu do produkce rozšifrovat?

Pokud nemáte, nainstalujte si na produkčním server GPG. Na Unbuntu/Debian se to dělá takto:

$ apt-get install gnupg

Pro generování klíčů budeme potřebovat hodně entropy, doporučuji tedy nainstalovat i Haveged, viz. můj minulý článek.

Nyní se potřebujeme přepnout pod uživatele, pod kterým probíhá deployment. V mém případě je to uživatel web. Pod tímto uživatelem vygenerujeme základní keypair. Důležité: nezadávejte při generování klíčů žádné heslo, jen volbu potvrďte entrem.

$ gpg --gen-key
gpg (GnuPG) 1.4.16; Copyright (C) 2013 Free Software Foundation, Inc.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

gpg: directory `/home/web/.gnupg' created
gpg: new configuration file `/home/web/.gnupg/gpg.conf' created
gpg: WARNING: options in `/home/web/.gnupg/gpg.conf' are not yet active during this run
gpg: keyring `/home/web/.gnupg/secring.gpg' created
gpg: keyring `/home/web/.gnupg/pubring.gpg' created
Please select what kind of key you want:
   (1) RSA and RSA (default)
   (2) DSA and Elgamal
   (3) DSA (sign only)
   (4) RSA (sign only)
Your selection? 1
RSA keys may be between 1024 and 4096 bits long.
What keysize do you want? (2048) 4096
Requested keysize is 4096 bits
Please specify how long the key should be valid.
         0 = key does not expire
        = key expires in n days
      w = key expires in n weeks
      m = key expires in n months
      y = key expires in n years
Key is valid for? (0) 
Key does not expire at all
Is this correct? (y/N) y

You need a user ID to identify your key; the software constructs the user ID
from the Real Name, Comment and Email Address in this form:
    "Heinrich Heine (Der Dichter) "

Real name: Deployment User
Email address: web@mydomain.tld
Comment: Deployment User
You selected this USER-ID:
    "Deployment User (Deployment User) "

Change (N)ame, (C)omment, (E)mail or (O)kay/(Q)uit? O
You need a Passphrase to protect your secret key.

You don't want a passphrase - this is probably a *bad* idea!
I will do it anyway.  You can change your passphrase at any time,
using this program with the option "--edit-key".

We need to generate a lot of random bytes. It is a good idea to perform
some other action (type on the keyboard, move the mouse, utilize the
disks) during the prime generation; this gives the random number
generator a better chance to gain enough entropy.
+++++
...+++++
We need to generate a lot of random bytes. It is a good idea to perform
some other action (type on the keyboard, move the mouse, utilize the
disks) during the prime generation; this gives the random number
generator a better chance to gain enough entropy.
.+++++
.......+++++
gpg: /home/web/.gnupg/trustdb.gpg: trustdb created
gpg: key 6C791601 marked as ultimately trusted
public and secret key created and signed.

gpg: checking the trustdb
gpg: 3 marginal(s) needed, 1 complete(s) needed, PGP trust model
gpg: depth: 0  valid:   1  signed:   0  trust: 0-, 0q, 0n, 0m, 0f, 1u
pub   4096R/6C791601 2016-01-15
      Key fingerprint = B690 9E58 FA2C EAE6 008F  1A2E 88CD 1D28 6C79 1601
uid                  Deployment User (Deployment User) 
sub   4096R/BF95086E 2016-01-15

Teď když máme vygenerovaný keypair, vyexportujeme veřejný klíč, nejlépe do souboru:

$ gpg --armor --export web@mydomain.tld > public.key

To by bylo pro produkční server zatím vše. Nyní si na našem vývojovém stroji vygenerujeme keypair stejně jako na produkčním serveru. Tentokrát ale doporučuji zadat heslo, na které se se vás GPG při šifrování a dalších operacích bude ptát. Poté importujeme veřejný klíč produkčního serveru.

$ gpg --import public.key
gpg: key 6C791601: public key "Deployment User (Deployment User) " imported
gpg: Total number processed: 1
gpg:               imported: 1  (RSA: 1)

Importovaný klíč podepíšeme, tím řekneme GPG, že důvěřujeme jeho původu:

$ gpg --sign-key web@mydomain.tld

pub  4096R/6C791601  created: 2016-01-15  expires: never       usage: SC  
                     trust: unknown       validity: unknown
sub  4096R/BF95086E  created: 2016-01-15  expires: never       usage: E   
[ unknown] (1). Deployment User (Deployment User) 


pub  4096R/6C791601  created: 2016-01-15  expires: never       usage: SC  
                     trust: unknown       validity: unknown
 Primary key fingerprint: B690 9E58 FA2C EAE6 008F  1A2E 88CD 1D28 6C79 1601

     Deployment User (Deployment User) 

Are you sure that you want to sign this key with your
key "Developer User (Developer User) " (1BDC2E07)

Really sign? (y/N) y

You need a passphrase to unlock the secret key for
user: "Developer User (Developer User) "
4096-bit RSA key, ID 1BDC2E07, created 2016-01-15

gpg: problem with the agent - disabling agent use
Enter passphrase:

Teď přijde ta hlavní část. Zašifrujeme veřejným klíčem produkčního serveru konfigurační soubor s hesly:

$ gpg --output prod.conf.gpg --encrypt --recipient web@mydomain.tld prod.conf

Zašifrovaný soubor .gpg pak můžeme bez problémů commitnout do gitu. Bez privátního klíče produkčního serveru jeho obsah nikdo nepřečte. Na produkčním serveru pak v deployment procesu nastavíme rozšifrování tohoto souboru pomocí privátního klíče, který už na serveru máme.

$ gpg --output local.conf --decrypt prod.conf.gpg
gpg: encrypted with 4096-bit RSA key, ID BF95086E, created 2016-01-15
      "Deployment User (Deployment User) "

Sloučení commitů do jednoho pomocí git rebase

Slučování commitů v GITu se nazývá squashing.

Sloučení commitů se pak provede příkazem rebase kde 4 je počet commitů včetně posledního:

git rebase -i HEAD~4

Slovo pick se pak krom jednoho commitu zamění za squash:

pick 01d1124 Adding license
squash 6340aaa Moving license into its own file
squash ebfd367 Jekyll has become self-aware.
squash 30e0ccb Changed the tagline in the binary, too.

Takto rebasenutý repozitář je pak u pushnutých commitů potřeba do remotu odeslat pomocí:

git push origin +master