Migración de Datos

Indice

Problemas de sincronización de Outlook con ZCO

De los casos reportados existen dos tipos:

Corrupción de datos

Solo reinstalar el Conector y esperar que repare el ZDB, si no, empezar de 0 😢

Carpetas con Tipo Incorrecto

Esto pasó porque imapsync copió carpetas que las agregó un tercer programa, probablemente un antivirus o algo de Outlook. He aquí un ejemplo del error generado por ZCO (local failure):

This e-mail was generated for technical support purposes.

Sync Type: Delta Sync
Sync Token (before request): 1922
Sync Token (most current): 1922
Store: Zimbra - Carolina Sanchez
ZCO Version: 8.7.0.1548
Server Version: 8.6.0_GA_1211
Error IDs:
id (2051) type(message)

Lo fome es que ese error no dice en realidad cual es la carpeta mala sólo dice que hay un error de tipo: se recibió message, pero tampoco dice que tipo esperaba. Para saber cual es el folder con problema debes acceder al Log que genera ZCO, y ahí encontrarás algo como:

Could not open parent folder because IDM returned non-folder (id: 943  type: 0)

En ese log vemos que el Folder con problema es el 943, así que revisamos todas las carpetas para la cuenta (csanchez@gobiernosantiago.cl), de paso lo hacemos en ambos servidores:

# ZBOX
zmmailbox -z -m csanchez@gobiernosantiago.cl gaf
        Id  View      Unread   Msg Count  Path
----------  ----  ----------  ----------  ----------
         1  unkn           0           0  /
        16  docu           0           0  /Briefcase
        10  appo           0          32  /Calendar
        14  mess           0           0  /Chats
         7  cont           0           0  /Contacts
         6  mess           0           1  /Drafts
        13  cont           0           4  /Emailed Contacts
       257  mess           0           0  /Fuentes RSS
         2  mess           1         791  /Inbox
       943  mess           0           0  /Infected Items
         4  mess           1           1  /Junk
      1525  docu           0           0  /Notes
         5  mess           0         204  /Sent
        15  task           0           0  /Tasks
         3  unkn           0          17  /Trash

# GOB. STGO
zmmailbox -z -m csanchez@gobiernosantiago.cl gaf
        Id  View      Unread   Msg Count  Path
----------  ----  ----------  ----------  ----------
         1  unkn           0           0  /
        16  docu           0           0  /Briefcase
        10  appo           0          25  /Calendar
        14  mess           0           0  /Chats
         7  cont           0           0  /Contacts
         6  mess           0           0  /Drafts
        13  cont           0          53  /Emailed Contacts
       264  unkn           0           0  /Fuentes RSS
         2  mess           4         661  /Inbox
       265  unkn           0           0  /Infected Items
         4  mess           0           0  /Junk
       263  docu           0           0  /Notes
         5  mess           0         177  /Sent
        15  task           0           0  /Tasks
         3  unkn           0           5  /Trash

De los ejemplos anteriores se puede ver que la carpeta en cuestión es la llamada Infected Items, y que su tipo en GOB es diferente a Zbox:

En ZBOX: View: mess
En GOB: View: unkn

Como lo arreglamos?

zmsoap -z -m csanchez@gobiernosantiago.cl FolderActionRequest/action @id="943" @op="update" @view="unknown"

Por qué Outlook no muestra los mensajes nuevos al sincronizar?

La sincronización de Outlook funciona en base al orden en que el mensaje fue ingresado en la Base de Datos del servidor y no por la fecha del mensaje. Supongamos que importamos 3 mil mensajes a una casilla mientras ingresan nuevos correos:

# Mensajes se importan en grupos de 300
----------------------------
|  300 mensajes importados | - 1er grupo, Outlook descarga
----------------------------

----------------------------
|  300 mensajes importados | - 2d grupo
----------------------------

----------------------------
|  2 mensajes nuevos       | 
----------------------------

...

----------------------------
|  300 mensajes importados | - Último grupo
----------------------------

En este ejemplo Outlook debe primero sincronizar los 600 mensajes antiguos antes de los 2 mensajes nuevos, y esto puedo tomar tiempo si los mensajes contienen mucha data (Gigabytes).

Obtener SyncToken de una casillas

# 1. Obtener Mailbox Id
$ zmprov gmi ltomic@gobiernosantiago.cl | grep mailboxId
mailboxId: 1813

# 2. Buscar el Token en la DB
$ mysql zimbra -e 'select change_checkpoint from mailbox where id=1813\G'
*************************** 1. row ***************************
change_checkpoint: 8116

Entonces el SYNC_TOKEN que debe usar Outlook es: 8116 o menor, nunca mayor

IMPORTANTE

Los export en tgz copiarlos a mailbox-05.zboxapp.com:/opt/zimbra/backup/gobstgo/ para evitar llenar disco del server,
Al terminar la importación de una cuenta mover los redologs a mailbox-05:/opt/zimbra/backup/redo/,
No copiar datos de Gob a Zbox durante el día, se satura el enlace y se quedan sin servicio.

Correcto uso de Imapsync

Este script de imapsync está archi-probado para funcionar bien y no duplicar correos.

export host1="127.0.0.1"
export host2="mail.zboxapp.com"
export port1="7143"
export port2="143"
export auth2="ADMIN_USER_2"
export pass2="ADMIN_PASS_2"
export auth1="ADMIN_USER_1"
export pass1="ADMIN_PASS_1"
export username="pserrano@gobiernosantiago.cl"

imapsync \
  --maxsize 52428800 --buffersize 8192000 \
  --useheader 'Message-Id' --useheader 'Message-ID' --useheader 'Received' \
  --nosyncacls --subscribe --syncinternaldates \
  --authmech1 PLAIN  \
  --addheader \
  --exclude '(?i)\b(Junk|Spam|Trash)\b' \
  --skipheader 'X-*' \
  --regexflag 's/\\\\(?!Answered|Flagged|Deleted|Seen|Recent|Draft)[^\s]*\s*//ig' \
  --regextrans2 's,:,-,g' \
  --regextrans2 's,\",'\'',g' \
  --regextrans2 's,\s+(?=/|$),,g' \
  --regextrans2 's,^(Briefcase|Calendar|Contacts|Emailed Contacts|Notebook|Tasks)(?=/|$), $1 Folder,ig' \
  --host1 "$host1" --host2 "$host2" \
  --port1 "$port1" --port2 "$port2" \
  --user1 "$username" --user2 "$username" \
  --password1 "$pass1" --authuser1 "$auth1" --password1 "$pass1" \
  --password2 "$pass2" --authuser2 "$auth2" --password2 "$pass2" \
  --regextrans2 's,&AAo-|&AA0ACg-|&AA0ACgANAAo-(?=/|$),,g' \
  --exclude "Chats" \
  --exclude "Contacts" \
  --exclude "Drafts" \
  --exclude "Fuentes RSS" \
  --exclude "Junk" \
  --exclude "Unwanted" \
  --exclude "Trash" \
  --exclude "Elementos eliminados" \
  --exclude "Infected Items" \
  --exclude "INBOX/Infected Items" \
  --exclude "Contactos respondidos1" \
  --exclude "Elementos infectados" \
  --exclude "Infected Items1" \
  --exclude "Infected Items1" \
  --exclude "Notas1" \
  --exclude "Quarantine1" \
  --exclude "Fuentes RSS1" \
  --exclude "Contactos sugeridos1" \
  --errorsmax 500 \
  --fast

Corregir duplicados

En caso de que una casilla tenga correos duplicados, seguir los siguiente paso:

# 1. Obtener el mailboxId de la cuenta
$ zmprov gmi jgutierrez@gobiernosantiago.cl
mailboxId: 1558
quotaUsed: 15514280416

# 2. Obtener id mboxgroup
$ expr 1558 % 100
58

# 3. Obtener IDs de mensajes duplicados de la DB

# Mismo `blob_digest`
$ mysql mboxgroup58 -e "select a.id,b.id,a.change_date,b.change_date,a.blob_digest,b.blob_digest FROM mail_item a \
INNER JOIN ( SELECT id,subject,type,recipients,blob_digest,date,sender,size,change_date,metadata,folder_id, \
COUNT(*)totalCount from mail_item WHERE mailbox_id=1558 and type=5 GROUP BY date HAVING COUNT(*) > 1 ) \
b ON a.date = b.date and a.sender = b.sender and a.size = b.size and a.subject = b.subject and \
a.id !=b.id and a.recipients = b.recipients and a.type = b.type and a.blob_digest = b.blob_digest and \
a.folder_id = b.folder_id " | awk '{print "dm "$1}' > jgutierrez@gobiernosantiago.cl.fix

# Todo igual menos `blob_digest` y `metadata`
$ mysql mboxgroup58 -e "select a.id,b.id,a.change_date,b.change_date,a.blob_digest,b.blob_digest FROM mail_item a \
INNER JOIN ( SELECT id,subject,type,recipients,blob_digest,date,sender,size,change_date,metadata,folder_id, \
COUNT(*)totalCount from mail_item WHERE mailbox_id=1558 and type=5 GROUP BY date HAVING COUNT(*) > 1 ) \
b ON a.date = b.date and a.sender = b.sender and a.size = b.size and a.subject = b.subject and \
a.id !=b.id and a.recipients = b.recipients and a.type = b.type and a.blob_digest != b.blob_digest and \
a.folder_id = b.folder_id " | awk '{print "dm "$1}' >> jgutierrez@gobiernosantiago.cl.fix

# Algunas veces todos es igual, pero existe una pequeña de diferencia de `1 byte` en `size`
# así que comparamos por todo menos `size`
$ mysql mboxgroup58 -e "select a.id,b.id,a.change_date,b.change_date,a.blob_digest,b.blob_digest FROM mail_item a \
INNER JOIN ( SELECT id,subject,type,recipients,blob_digest,date,sender,size,change_date,metadata,folder_id, \
COUNT(*)totalCount from mail_item WHERE mailbox_id=1558 and type=5 GROUP BY date HAVING COUNT(*) > 1 ) \
b ON a.date = b.date and a.sender = b.sender and a.metadata = b.metadata and a.subject = b.subject and \
a.id !=b.id and a.recipients = b.recipients and a.type = b.type and \
a.folder_id = b.folder_id " | awk '{print "dm "$1}' >> jgutierrez@gobiernosantiago.cl.fix

# 4. Borrar los mensajes duplicados
$ zmmailbox -z -m jgutierrez@gobiernosantiago.cl < "jgutierrez@gobiernosantiago.cl.fix"

Listado de Casillas y Estado de Migración

Estado	Casilla	Quota ZBox	Quota Gob	Delta
✅	amolina@gobiernosantiago.cl	1330965	6906729	-1 GB
✅	chidalgo@gobiernosantiago.cl	40867552684	43539546582	-3 GB
✅	consejoregional@gobiernosantiago.cl	0	18220265	-1 GB
✅	erroressagir@gobiernosantiago.cl	0	1679602	-1 GB
✅	garmijo@gobiernosantiago.cl	7665517	9785906	-1 GB
✅	hbaeriswyl@gobiernosantiago.cl	8403457	9126061	-1 GB
✅	hvaras@gobiernosantiago.cl	7700216	8781931	-1 GB
✅	intendentesantiago@gobiernosantiago.cl	0	1864967	-1 GB
✅	jchales@gobiernosantiago.cl	1138107	2811721	-1 GB
✅	tromero@gobiernosantiago.cl	1351195	1747481	-1 GB
✅	vsaavedra@gobiernosantiago.cl	797527922	21251777756	-20 GB
✅	vlopez@gobiernosantiago.cl	6139050710	41491090260	-33 GB
✅	vglasinovic@gobiernosantiago.cl	7225093224	29013782115	-21 GB
✅	ltomic@gobiernosantiago.cl	51315264	33538814456	-32 GB
✅	pserrano@gobiernosantiago.cl	7115975088	18198171795	-11 GB
✅	mfuenzalida@gobiernosantiago.cl	15041192714	30727264502	-15 GB
✅	rrobles@gobiernosantiago.cl	478894399	18767579970	-18 GB
✅	rbertinelli@gobiernosantiago.cl	6789610692	31353998370	-23 GB
✅	sbenussi@gobiernosantiago.cl	231226691	14867027372	-14 GB
✅	mleon@gobiernosantiago.cl	5201301027	19177920364	-14 GB
✅	pacuna@gobiernosantiago.cl	13853453977	26688632494	-12 GB
✅	ajordan@gobiernosantiago.cl	364869	21905108	-1 GB
✅	asociacion2@gobiernosantiago.cl	71750	154930	-1 GB
✅	ccarcaman@gobiernosantiago.cl	57780885	261289824	-1 GB
✅	csalgado@gobiernosantiago.cl	2628936	2777254	-1 GB
✅	dcarrasco@gobiernosantiago.cl	0	2530078	-1 GB
✅	epino@gobiernosantiago.cl	0	107096731	-1 GB
✅	escanerirm@gobiernosantiago.cl	5153	723048	-1 GB
✅	fmunoz@gobiernosantiago.cl	7810953	19276239	-1 GB
✅	frodriguez@gobiernosantiago.cl	3788421	11488300	-1 GB
✅	fvasquez@gobiernosantiago.cl	111387	421093	-1 GB
✅	intendenterm@gobiernosantiago.cl	0	1396461	-1 GB
✅	jsotom@gobiernosantiago.cl	2773695	10322188	-1 GB
✅	mfigueroa@gobiernosantiago.cl	0	1295584	-1 GB
✅	mopazo@gobiernosantiago.cl	11118	320742	-1 GB
✅	mparedes@gobiernosantiago.cl	0	93812510	-1 GB
✅	mzuniga@gobiernosantiago.cl	0	94849	-1 GB
✅	nnavarrete@gobiernosantiago.cl	13483657	14297457	-1 GB
✅	nperez@gobiernosantiago.cl	3945466	10294707	-1 GB
✅	ntapia@gobiernosantiago.cl	0	104490440	-1 GB
✅	nuevaalamedaprovidencia@gobiernosantiago.cl	252430498	252746591	-1 GB
✅	pqueirolo@gobiernosantiago.cl	20661740	22398752	-1 GB
✅	probles@gobiernosantiago.cl	2936764	2971031	-1 GB
✅	prodriguez@gobiernosantiago.cl	865161686	1021987284	-1 GB
✅	rguerra@gobiernosantiago.cl	20001504	188162610	-1 GB
✅	rmolina@gobiernosantiago.cl	124323739	653695771	-1 GB
✅	rrhh@gobiernosantiago.cl	75703	37497564	-1 GB
✅	santiagoresiliente-100rc@gobiernosantiago.cl	198385775	552144036	-1 GB
✅	streaming@gobiernosantiago.cl	0	432459	-1 GB
✅	alagos@gobiernosantiago.cl	2237894448	3839124695	-2 GB
✅	jorellana@gobiernosantiago.cl	967204589	2512625168	-2 GB
✅	mosorio@gobiernosantiago.cl	5821563187	7489119328	-2 GB
✅	nhiguera@gobiernosantiago.cl	6219600682	8086021078	-2 GB
✅	ncardoch@gobiernosantiago.cl	422509492	2284912469	-2 GB
✅	mviveros@gobiernosantiago.cl	3534144782	5569894596	-2 GB
✅	tpoblete@gobiernosantiago.cl	4652733705	6537647406	-2 GB
✅	rsepulveda@gobiernosantiago.cl	315397053	2560429120	-3 GB
✅	vgrandon@gobiernosantiago.cl	3042972863	5222079154	-3 GB
✅	rparedes@gobiernosantiago.cl	125541097	2444648541	-3 GB
✅	notificaciones@gobiernosantiago.cl	7391885132	9598502944	-3 GB
✅	mniehaus@gobiernosantiago.cl	4881979210	7711382148	-3 GB
✅	rgaray@gobiernosantiago.cl	3936527549	7204957716	-4 GB
✅	oahumada@gobiernosantiago.cl	17402192	4148475030	-4 GB
✅	molave@gobiernosantiago.cl	5043337252	9157143070	-4 GB
✅	rcortes@gobiernosantiago.cl	3298587208	8561062034	-5 GB
✅	mpinto@gobiernosantiago.cl	4046098059	8479795089	-5 GB
✅	lpohl@gobiernosantiago.cl	11549525	7482786366	-7 GB
✅	camigo@gobiernosantiago.cl	9084211593	16696941251	-8 GB
✅	sguzman@gobiernosantiago.cl	245526347	9663812221	-9 GB
✅	rdiaz@gobiernosantiago.cl	768748199	11321833051	-10 GB
✅	pgarate@gobiernosantiago.cl	1431088799	11167758877	-10 GB
✅	muribe@gobiernosantiago.cl	391027653	11050597086	-10 GB
✅	mreyes@gobiernosantiago.cl	17469941957	29027802968	-11 GB
✅	lpavez@gobiernosantiago.cl	376643045	11257235808	-11 GB
✅	rduran@gobiernosantiago.cl	561588166	13310181421	-12 GB
✅	smattei@gobiernosantiago.cl	7320807707	20979857109	-13 GB
✅	lnunez@gobiernosantiago.cl	12591382257	26832721551	-14 GB

Delta Post-Migración y Explicación

Algunas casillas tienen más info en el servidor original, esto debido a que no se copiaron correos infectados o que tenía en la Papelera:

|Casilla|Delta|Motivo| |---|---|---|---|---| |rbertinelli@gobiernosantiago.cl|22 Mb|Papelera no copiada| |lnunez@gobiernosantiago.cl|258 Mb|Papelera no copiada| |ltomic@gobiernosantiago.cl|1,3 Gb|Inbox/deleted no copiado| |rrobles@gobiernosantiago.cl|108 Mb|Papelera no copiada| |camigo@gobiernosantiago.cl|185 Mb|Papelera no copiada| |sbenussi@gobiernosantiago.cl|1,5 Hb|Papelera no copiada| |smattei@gobiernosantiago.cl|11,4 Gb|Papelera no copiada| |lpohl@gobiernosantiago.cl|27 Mb|Papelera no copiada| |rcortes@gobiernosantiago.cl|1,8 Gb|Papelera no copiada| |alagos@gobiernosantiago.cl|1,4 Gb|Papelera no copiada| |jorellana@gobiernosantiago.cl|1,2 Gb|Papelera no copiada| |prodriguez@gobiernosantiago.cl|137 Mb|Papelera no copiada| |ncardoch@gobiernosantiago.cl|1,7 Gb|Papelera no copiada| |mcollio@gobiernosantiago.cl|99 Mb|Papelera no copiada| |yjara@gobiernosantiago.cl|71 Mb|Papelera no copiada| |ccarcaman@gobiernosantiago.cl|103 Mb|Papelera no copiada| |epino@gobiernosantiago.cl|40 Mb|Papelera no copiada| |rguerra@gobiernosantiago.cl|159 Mb|Papelera no copiada| |jsotom@gobiernosantiago.cl|1 Mb|Papelera no copiada| |fmunoz@gobiernosantiago.cl|11 Mb|Papelera no copiada| |hbaeriswyl@gobiernosantiago.cl|4 Mb|Papelera no copiada| |garmijo@gobiernosantiago.cl|5 Mb|Papelera no copiada| |probles@gobiernosantiago.cl|2 Mb|Papelera no copiada| |amolina@gobiernosantiago.cl|6 Mb|Papelera no copiada| |plegua@gobiernosantiago.cl|1 Mb|Papelera no copiada| |jchales@gobiernosantiago.cl|2 Mb|Papelera no copiada| |lazua@gobiernosantiago.cl|69 Mb|Papelera no copiada| |intendenterm@gobiernosantiago.cl|1 Mb|Papelera no copiada| |mparedes@gobiernosantiago.cl|90 Mb|Papelera no copiada| |asociacion2@gobiernosantiago.cl|1 Mb|Papelera no copiada| |fvasquez@gobiernosantiago.cl|1 Mb|Papelera no copiada| |mopazo@gobiernosantiago.cl|1 Mb|Papelera no copiada| |mfigueroa@gobiernosantiago.cl|2 Mb|Papelera no copiada| |mzuniga@gobiernosantiago.cl|1 Mb|Papelera no copiada| |ntapia@gobiernosantiago.cl|100 Mb|Papelera no copiada| |streaming@gobiernosantiago.cl|1 Mb|Papelera no copiada|

# Indice
- [Esta ca**a de Outlook no sincroniza](https://git.zboxapp.com/pbruna/gob-stgo/issues/2#problemas-de-sincronización-de-outlook-con-zco)
- [Por qué Outlook no muestra los mensajes nuevos al importar antiguos?](https://git.zboxapp.com/pbruna/gob-stgo/issues/2#por-qué-outlook-no-muestra-los-mensajes-nuevos-al-sincronizar)
- [Obtener Sync Token ZCO](https://git.zboxapp.com/pbruna/gob-stgo/issues/2#obtener-synctoken-de-una-casillas)
- [Estado de Migración](https://git.zboxapp.com/pbruna/gob-stgo/issues/2#listado-de-casillas-y-estado-de-migración)
- [Casillas con menor tamaño en ZBox](https://git.zboxapp.com/pbruna/gob-stgo/issues/2/#delta-post-migración-y-explicación)

# Problemas de sincronización de Outlook con ZCO
De los casos reportados existen dos tipos:

## Corrupción de datos
Solo reinstalar el Conector y esperar que repare el `ZDB`, si no, empezar de 0 😢

## Carpetas con Tipo Incorrecto
Esto pasó porque `imapsync` copió carpetas que las agregó un tercer programa, probablemente un antivirus o algo de Outlook. He aquí un ejemplo del error generado por ZCO (`local failure`):

```
This e-mail was generated for technical support purposes.

Sync Type: Delta Sync
Sync Token (before request): 1922
Sync Token (most current): 1922
Store: Zimbra - Carolina Sanchez
ZCO Version: 8.7.0.1548
Server Version: 8.6.0_GA_1211
Error IDs:
id (2051) type(message)
```

Lo fome es que ese error no dice en realidad cual es la carpeta mala sólo dice que hay un error de tipo: se recibió `message`, pero tampoco dice que tipo esperaba. Para saber cual es el folder con problema debes acceder al Log que genera ZCO, y ahí encontrarás algo como:

```bash
Could not open parent folder because IDM returned non-folder (id: 943  type: 0)
```

En ese log vemos que el Folder con problema es el `943`, así que revisamos todas las carpetas para la cuenta (`csanchez@gobiernosantiago.cl`), de paso lo hacemos en ambos servidores:

```
# ZBOX
zmmailbox -z -m csanchez@gobiernosantiago.cl gaf
        Id  View      Unread   Msg Count  Path
----------  ----  ----------  ----------  ----------
         1  unkn           0           0  /
        16  docu           0           0  /Briefcase
        10  appo           0          32  /Calendar
        14  mess           0           0  /Chats
         7  cont           0           0  /Contacts
         6  mess           0           1  /Drafts
        13  cont           0           4  /Emailed Contacts
       257  mess           0           0  /Fuentes RSS
         2  mess           1         791  /Inbox
       943  mess           0           0  /Infected Items
         4  mess           1           1  /Junk
      1525  docu           0           0  /Notes
         5  mess           0         204  /Sent
        15  task           0           0  /Tasks
         3  unkn           0          17  /Trash

# GOB. STGO
zmmailbox -z -m csanchez@gobiernosantiago.cl gaf
        Id  View      Unread   Msg Count  Path
----------  ----  ----------  ----------  ----------
         1  unkn           0           0  /
        16  docu           0           0  /Briefcase
        10  appo           0          25  /Calendar
        14  mess           0           0  /Chats
         7  cont           0           0  /Contacts
         6  mess           0           0  /Drafts
        13  cont           0          53  /Emailed Contacts
       264  unkn           0           0  /Fuentes RSS
         2  mess           4         661  /Inbox
       265  unkn           0           0  /Infected Items
         4  mess           0           0  /Junk
       263  docu           0           0  /Notes
         5  mess           0         177  /Sent
        15  task           0           0  /Tasks
         3  unkn           0           5  /Trash
```

De los ejemplos anteriores se puede ver que la carpeta en cuestión es la llamada `Infected Items`, y que su tipo en GOB es diferente a Zbox:

- En ZBOX: `View: mess`
- En GOB: `View: unkn`

### Como lo arreglamos?

```bash
zmsoap -z -m csanchez@gobiernosantiago.cl FolderActionRequest/action @id="943" @op="update" @view="unknown"
```

# Por qué Outlook no muestra los mensajes nuevos al sincronizar?
La sincronización de Outlook funciona en base al orden en que el mensaje fue ingresado en la Base de Datos del servidor y no por la fecha del mensaje. Supongamos que importamos `3 mil mensajes` a una casilla mientras ingresan nuevos correos:

```
# Mensajes se importan en grupos de 300
----------------------------
|  300 mensajes importados | - 1er grupo, Outlook descarga
----------------------------

----------------------------
|  300 mensajes importados | - 2d grupo
----------------------------

----------------------------
|  2 mensajes nuevos       | 
----------------------------

...

----------------------------
|  300 mensajes importados | - Último grupo
----------------------------

```

En este ejemplo Outlook debe primero sincronizar los `600 mensajes` antiguos antes de los **2 mensajes nuevos**, y esto puedo tomar tiempo si los mensajes contienen mucha data (Gigabytes).

# Obtener SyncToken de una casillas

```bash
# 1. Obtener Mailbox Id
$ zmprov gmi ltomic@gobiernosantiago.cl | grep mailboxId
mailboxId: 1813

# 2. Buscar el Token en la DB
$ mysql zimbra -e 'select change_checkpoint from mailbox where id=1813\G'
*************************** 1. row ***************************
change_checkpoint: 8116
```

Entonces el `SYNC_TOKEN` que debe usar Outlook es: `8116` o menor, **nunca mayor**

# IMPORTANTE

* Los export en `tgz` copiarlos a `mailbox-05.zboxapp.com:/opt/zimbra/backup/gobstgo/` para evitar llenar disco del server,
* Al terminar la importación de una cuenta mover los redologs a `mailbox-05:/opt/zimbra/backup/redo/`,
* No copiar datos de Gob a Zbox durante el día, se satura el enlace y se quedan sin servicio.

## Correcto uso de Imapsync
Este script de `imapsync` está archi-probado para funcionar bien y **no duplicar** correos.

```bash
export host1="127.0.0.1"
export host2="mail.zboxapp.com"
export port1="7143"
export port2="143"
export auth2="ADMIN_USER_2"
export pass2="ADMIN_PASS_2"
export auth1="ADMIN_USER_1"
export pass1="ADMIN_PASS_1"
export username="pserrano@gobiernosantiago.cl"

imapsync \
  --maxsize 52428800 --buffersize 8192000 \
  --useheader 'Message-Id' --useheader 'Message-ID' --useheader 'Received' \
  --nosyncacls --subscribe --syncinternaldates \
  --authmech1 PLAIN  \
  --addheader \
  --exclude '(?i)\b(Junk|Spam|Trash)\b' \
  --skipheader 'X-*' \
  --regexflag 's/\\\\(?!Answered|Flagged|Deleted|Seen|Recent|Draft)[^\s]*\s*//ig' \
  --regextrans2 's,:,-,g' \
  --regextrans2 's,\",'\'',g' \
  --regextrans2 's,\s+(?=/|$),,g' \
  --regextrans2 's,^(Briefcase|Calendar|Contacts|Emailed Contacts|Notebook|Tasks)(?=/|$), $1 Folder,ig' \
  --host1 "$host1" --host2 "$host2" \
  --port1 "$port1" --port2 "$port2" \
  --user1 "$username" --user2 "$username" \
  --password1 "$pass1" --authuser1 "$auth1" --password1 "$pass1" \
  --password2 "$pass2" --authuser2 "$auth2" --password2 "$pass2" \
  --regextrans2 's,&AAo-|&AA0ACg-|&AA0ACgANAAo-(?=/|$),,g' \
  --exclude "Chats" \
  --exclude "Contacts" \
  --exclude "Drafts" \
  --exclude "Fuentes RSS" \
  --exclude "Junk" \
  --exclude "Unwanted" \
  --exclude "Trash" \
  --exclude "Elementos eliminados" \
  --exclude "Infected Items" \
  --exclude "INBOX/Infected Items" \
  --exclude "Contactos respondidos1" \
  --exclude "Elementos infectados" \
  --exclude "Infected Items1" \
  --exclude "Infected Items1" \
  --exclude "Notas1" \
  --exclude "Quarantine1" \
  --exclude "Fuentes RSS1" \
  --exclude "Contactos sugeridos1" \
  --errorsmax 500 \
  --fast
```

## Corregir duplicados
En caso de que una casilla tenga correos duplicados, seguir los siguiente paso:

```bash
# 1. Obtener el mailboxId de la cuenta
$ zmprov gmi jgutierrez@gobiernosantiago.cl
mailboxId: 1558
quotaUsed: 15514280416

# 2. Obtener id mboxgroup
$ expr 1558 % 100
58

# 3. Obtener IDs de mensajes duplicados de la DB

# Mismo `blob_digest`
$ mysql mboxgroup58 -e "select a.id,b.id,a.change_date,b.change_date,a.blob_digest,b.blob_digest FROM mail_item a \
INNER JOIN ( SELECT id,subject,type,recipients,blob_digest,date,sender,size,change_date,metadata,folder_id, \
COUNT(*)totalCount from mail_item WHERE mailbox_id=1558 and type=5 GROUP BY date HAVING COUNT(*) > 1 ) \
b ON a.date = b.date and a.sender = b.sender and a.size = b.size and a.subject = b.subject and \
a.id !=b.id and a.recipients = b.recipients and a.type = b.type and a.blob_digest = b.blob_digest and \
a.folder_id = b.folder_id " | awk '{print "dm "$1}' > jgutierrez@gobiernosantiago.cl.fix

# Todo igual menos `blob_digest` y `metadata`
$ mysql mboxgroup58 -e "select a.id,b.id,a.change_date,b.change_date,a.blob_digest,b.blob_digest FROM mail_item a \
INNER JOIN ( SELECT id,subject,type,recipients,blob_digest,date,sender,size,change_date,metadata,folder_id, \
COUNT(*)totalCount from mail_item WHERE mailbox_id=1558 and type=5 GROUP BY date HAVING COUNT(*) > 1 ) \
b ON a.date = b.date and a.sender = b.sender and a.size = b.size and a.subject = b.subject and \
a.id !=b.id and a.recipients = b.recipients and a.type = b.type and a.blob_digest != b.blob_digest and \
a.folder_id = b.folder_id " | awk '{print "dm "$1}' >> jgutierrez@gobiernosantiago.cl.fix

# Algunas veces todos es igual, pero existe una pequeña de diferencia de `1 byte` en `size`
# así que comparamos por todo menos `size`
$ mysql mboxgroup58 -e "select a.id,b.id,a.change_date,b.change_date,a.blob_digest,b.blob_digest FROM mail_item a \
INNER JOIN ( SELECT id,subject,type,recipients,blob_digest,date,sender,size,change_date,metadata,folder_id, \
COUNT(*)totalCount from mail_item WHERE mailbox_id=1558 and type=5 GROUP BY date HAVING COUNT(*) > 1 ) \
b ON a.date = b.date and a.sender = b.sender and a.metadata = b.metadata and a.subject = b.subject and \
a.id !=b.id and a.recipients = b.recipients and a.type = b.type and \
a.folder_id = b.folder_id " | awk '{print "dm "$1}' >> jgutierrez@gobiernosantiago.cl.fix

# 4. Borrar los mensajes duplicados
$ zmmailbox -z -m jgutierrez@gobiernosantiago.cl < "jgutierrez@gobiernosantiago.cl.fix"
```

# Listado de Casillas y Estado de Migración

|Estado|Casilla|Quota ZBox|Quota Gob|Delta|
|---|---|---|---|---|
| ✅ |amolina@gobiernosantiago.cl|1330965|6906729|-1 GB|
| ✅ |chidalgo@gobiernosantiago.cl|40867552684|43539546582|-3 GB|
| ✅ |consejoregional@gobiernosantiago.cl|0|18220265|-1 GB|
| ✅ |erroressagir@gobiernosantiago.cl|0|1679602|-1 GB|
| ✅ |garmijo@gobiernosantiago.cl|7665517|9785906|-1 GB|
| ✅ |hbaeriswyl@gobiernosantiago.cl|8403457|9126061|-1 GB|
| ✅ |hvaras@gobiernosantiago.cl|7700216|8781931|-1 GB|
| ✅ |intendentesantiago@gobiernosantiago.cl|0|1864967|-1 GB|
| ✅ |jchales@gobiernosantiago.cl|1138107|2811721|-1 GB|
| ✅ |tromero@gobiernosantiago.cl|1351195|1747481|-1 GB|
| ✅ |vsaavedra@gobiernosantiago.cl|797527922|21251777756|-20 GB|
| ✅ |vlopez@gobiernosantiago.cl|6139050710|41491090260|-33 GB|
| ✅ |vglasinovic@gobiernosantiago.cl|7225093224|29013782115|-21 GB|
| ✅ |ltomic@gobiernosantiago.cl|51315264|33538814456|-32 GB|
| ✅ |pserrano@gobiernosantiago.cl|7115975088|18198171795|-11 GB|
| ✅ |mfuenzalida@gobiernosantiago.cl|15041192714|30727264502|-15 GB|
| ✅ |rrobles@gobiernosantiago.cl|478894399|18767579970|-18 GB|
| ✅ |rbertinelli@gobiernosantiago.cl|6789610692|31353998370|-23 GB|
| ✅ |sbenussi@gobiernosantiago.cl|231226691|14867027372|-14 GB|
| ✅ |mleon@gobiernosantiago.cl|5201301027|19177920364|-14 GB|
| ✅ |pacuna@gobiernosantiago.cl|13853453977|26688632494|-12 GB|
| ✅ |ajordan@gobiernosantiago.cl|364869|21905108|-1 GB|
| ✅ |asociacion2@gobiernosantiago.cl|71750|154930|-1 GB|
| ✅ |ccarcaman@gobiernosantiago.cl|57780885|261289824|-1 GB|
| ✅ |csalgado@gobiernosantiago.cl|2628936|2777254|-1 GB|
| ✅ |dcarrasco@gobiernosantiago.cl|0|2530078|-1 GB|
| ✅ |epino@gobiernosantiago.cl|0|107096731|-1 GB|
| ✅ |escanerirm@gobiernosantiago.cl|5153|723048|-1 GB|
| ✅ |fmunoz@gobiernosantiago.cl|7810953|19276239|-1 GB|
| ✅ |frodriguez@gobiernosantiago.cl|3788421|11488300|-1 GB|
| ✅ |fvasquez@gobiernosantiago.cl|111387|421093|-1 GB|
| ✅ |intendenterm@gobiernosantiago.cl|0|1396461|-1 GB|
| ✅ |jsotom@gobiernosantiago.cl|2773695|10322188|-1 GB|
| ✅ |mfigueroa@gobiernosantiago.cl|0|1295584|-1 GB|
| ✅ |mopazo@gobiernosantiago.cl|11118|320742|-1 GB|
| ✅ |mparedes@gobiernosantiago.cl|0|93812510|-1 GB|
| ✅ |mzuniga@gobiernosantiago.cl|0|94849|-1 GB|
| ✅ |nnavarrete@gobiernosantiago.cl|13483657|14297457|-1 GB|
| ✅ |nperez@gobiernosantiago.cl|3945466|10294707|-1 GB|
| ✅ |ntapia@gobiernosantiago.cl|0|104490440|-1 GB|
| ✅ |nuevaalamedaprovidencia@gobiernosantiago.cl|252430498|252746591|-1 GB|
| ✅ |pqueirolo@gobiernosantiago.cl|20661740|22398752|-1 GB|
| ✅ |probles@gobiernosantiago.cl|2936764|2971031|-1 GB|
| ✅ |prodriguez@gobiernosantiago.cl|865161686|1021987284|-1 GB|
| ✅ |rguerra@gobiernosantiago.cl|20001504|188162610|-1 GB|
| ✅ |rmolina@gobiernosantiago.cl|124323739|653695771|-1 GB|
| ✅ |rrhh@gobiernosantiago.cl|75703|37497564|-1 GB|
| ✅ |santiagoresiliente-100rc@gobiernosantiago.cl|198385775|552144036|-1 GB|
| ✅ |streaming@gobiernosantiago.cl|0|432459|-1 GB|
| ✅ |alagos@gobiernosantiago.cl|2237894448|3839124695|-2 GB|
| ✅ |jorellana@gobiernosantiago.cl|967204589|2512625168|-2 GB|
| ✅ |mosorio@gobiernosantiago.cl|5821563187|7489119328|-2 GB|
| ✅ |nhiguera@gobiernosantiago.cl|6219600682|8086021078|-2 GB|
| ✅ |ncardoch@gobiernosantiago.cl|422509492|2284912469|-2 GB|
| ✅ |mviveros@gobiernosantiago.cl|3534144782|5569894596|-2 GB|
| ✅ |tpoblete@gobiernosantiago.cl|4652733705|6537647406|-2 GB|
| ✅ |rsepulveda@gobiernosantiago.cl|315397053|2560429120|-3 GB|
| ✅ |vgrandon@gobiernosantiago.cl|3042972863|5222079154|-3 GB|
| ✅ |rparedes@gobiernosantiago.cl|125541097|2444648541|-3 GB|
| ✅ |notificaciones@gobiernosantiago.cl|7391885132|9598502944|-3 GB|
| ✅ |mniehaus@gobiernosantiago.cl|4881979210|7711382148|-3 GB|
| ✅ |rgaray@gobiernosantiago.cl|3936527549|7204957716|-4 GB|
| ✅ |oahumada@gobiernosantiago.cl|17402192|4148475030|-4 GB|
| ✅ |molave@gobiernosantiago.cl|5043337252|9157143070|-4 GB|
| ✅ |rcortes@gobiernosantiago.cl|3298587208|8561062034|-5 GB|
| ✅ |mpinto@gobiernosantiago.cl|4046098059|8479795089|-5 GB|
| ✅ |lpohl@gobiernosantiago.cl|11549525|7482786366|-7 GB|
| ✅ |camigo@gobiernosantiago.cl|9084211593|16696941251|-8 GB|
| ✅ |sguzman@gobiernosantiago.cl|245526347|9663812221|-9 GB|
| ✅ |rdiaz@gobiernosantiago.cl|768748199|11321833051|-10 GB|
| ✅ |pgarate@gobiernosantiago.cl|1431088799|11167758877|-10 GB|
| ✅ |muribe@gobiernosantiago.cl|391027653|11050597086|-10 GB|
| ✅ |mreyes@gobiernosantiago.cl|17469941957|29027802968|-11 GB|
| ✅ |lpavez@gobiernosantiago.cl|376643045|11257235808|-11 GB|
| ✅ |rduran@gobiernosantiago.cl|561588166|13310181421|-12 GB|
| ✅ |smattei@gobiernosantiago.cl|7320807707|20979857109|-13 GB|
| ✅ |lnunez@gobiernosantiago.cl|12591382257|26832721551|-14 GB|

# Delta Post-Migración y Explicación
Algunas casillas tienen más info en el servidor original, esto debido a que no se copiaron correos `infectados` o que tenía en la `Papelera`:

|Casilla|Delta|Motivo|
|---|---|---|---|---|
|rbertinelli@gobiernosantiago.cl|22 Mb|Papelera no copiada|
|lnunez@gobiernosantiago.cl|258 Mb|Papelera no copiada|
|ltomic@gobiernosantiago.cl|1,3 Gb|`Inbox/deleted` no copiado|
|rrobles@gobiernosantiago.cl|108 Mb|Papelera no copiada|
|camigo@gobiernosantiago.cl|185 Mb|Papelera no copiada|
|sbenussi@gobiernosantiago.cl|1,5 Hb|Papelera no copiada|
|smattei@gobiernosantiago.cl|11,4 Gb|Papelera no copiada|
|lpohl@gobiernosantiago.cl|27 Mb|Papelera no copiada|
|rcortes@gobiernosantiago.cl|1,8 Gb|Papelera no copiada|
|alagos@gobiernosantiago.cl|1,4 Gb|Papelera no copiada|
|jorellana@gobiernosantiago.cl|1,2 Gb|Papelera no copiada|
|prodriguez@gobiernosantiago.cl|137 Mb|Papelera no copiada|
|ncardoch@gobiernosantiago.cl|1,7 Gb|Papelera no copiada|
|mcollio@gobiernosantiago.cl|99 Mb|Papelera no copiada|
|yjara@gobiernosantiago.cl|71 Mb|Papelera no copiada|
|ccarcaman@gobiernosantiago.cl|103 Mb|Papelera no copiada|
|epino@gobiernosantiago.cl|40 Mb|Papelera no copiada|
|rguerra@gobiernosantiago.cl|159 Mb|Papelera no copiada|
|jsotom@gobiernosantiago.cl|1 Mb|Papelera no copiada|
|fmunoz@gobiernosantiago.cl|11 Mb|Papelera no copiada|
|hbaeriswyl@gobiernosantiago.cl|4 Mb|Papelera no copiada|
|garmijo@gobiernosantiago.cl|5 Mb|Papelera no copiada|
|probles@gobiernosantiago.cl|2 Mb|Papelera no copiada|
|amolina@gobiernosantiago.cl|6 Mb|Papelera no copiada|
|plegua@gobiernosantiago.cl|1 Mb|Papelera no copiada|
|jchales@gobiernosantiago.cl|2 Mb|Papelera no copiada|
|lazua@gobiernosantiago.cl|69 Mb|Papelera no copiada|
|intendenterm@gobiernosantiago.cl|1 Mb|Papelera no copiada|
|mparedes@gobiernosantiago.cl|90 Mb|Papelera no copiada|
|asociacion2@gobiernosantiago.cl|1 Mb|Papelera no copiada|
|fvasquez@gobiernosantiago.cl|1 Mb|Papelera no copiada|
|mopazo@gobiernosantiago.cl|1 Mb|Papelera no copiada|
|mfigueroa@gobiernosantiago.cl|2 Mb|Papelera no copiada|
|mzuniga@gobiernosantiago.cl|1 Mb|Papelera no copiada|
|ntapia@gobiernosantiago.cl|100 Mb|Papelera no copiada|
|streaming@gobiernosantiago.cl|1 Mb|Papelera no copiada|

Edited Aug 17, 2017 by Patricio Bruna