1. 首頁 > 生活百科 > >

我操作MySQL的驚險一幕

生活百科

背景前幾天因工作需要，組長給我安排了一個數據清洗的任務 。

任務：把 A 表的數據洗到 B 表 。
我的第一反應，什么是「洗」？洗數據是什么？洗錢我倒是知道 。
【我操作MySQL的驚險一幕】不過我不能慌啊 ， 于是問了問組長 。
我：組長，把 A 表的數據洗到 B 表是什么意思？
組長一臉無奈，手捂住臉，恨鐵不成鋼，然后調整過來，還是很耐心地跟我講的 ， 大概意思就是我們現在 B 表需要 A 表的數據， A 表中和 B 表中字段含義一樣，但是值可能不一樣，這就需要我們進行處理，在將 A 表數據搞到 B 表的過程中，把數據搞正確 。
基于我理解能力有限 ， 當時并不是很懂所謂的「洗數據」 ， 而且這個 A 表的字段也和 B 表的字段沒怎么對上 ， A 的字段明顯多于 B 的字段，某些字段命名也和 B 不一樣，但是表達的意思是一樣的，該如何洗？
于是瘋狂搜索如何洗數據！
我這里就舉個例子來說明，分別給出 A 表和 B 表，當然我只列出了一部分字段，現在假設就這么多字段 。
A 表A 表字段：name, province_id, city_id, area_id, tech_id, crop_id, field_id, create_time, update_time, xxx, yyy, zzz, ...
A 表的字段是多于 B 表的 ， 我需要將 A 表的數據洗到 B 表 ， 只處理我需要的字段，不需要的就不用理 。
A 表中有 2 萬多條記錄，B 表我自己插入的有 200 多條記錄 。
當然，給出 A 表后，還給了個實體模型（JavaBean，Entity ， 超多種叫法，花里胡哨的）
public class A {private String name;private Long provinceId;private Long cityId;private Long areaId;private Long techId;private Long cropId;private Date createTime;private Date updateTime;...}B 表B 表字段：name, province_id, city_id, area_id, mature_id, crop_id, create_time, update_time
還原現場下面我模擬測試環境中數據庫的那兩張表，上面是 A 表（2 萬多條記錄，這里我只模擬了 7 條），下面的 B 表（200 多條記錄） 。
我操作MySQL的驚險一幕

文章插圖
洗數據思路首先，我是先找出 A 表中能和 B 表對上意思的字段，然后將 A 表數據全部插入到 B 表中 。
于是，我便找出了如下這些字段：
name, province_id, city_id, area_id, tech_id, crop_id, update_time
之后在 B 表中對新插入的數據進行處理，即洗數據 。
寫 SQL 操作主要的 SQL 語句是：
INSERT INTO 目標表(字段1, 字段2, ...) SELECT 字段1, 字段2, ... FROM 來源表 WHERE 條件;于是 ， 便這樣操作：
INSERT INTO b(name, province_id, city_id, area_id, mature_id, crop_id, update_time)SELECT name, province_id, city_id, area_id, tech_id, crop_id, update_time FROM a;操作是正常的，成功將 A 中 2 萬多條記錄全部插入到了 B 中 。
但是！我漏了一個字段，就是 create_time。
我操作MySQL的驚險一幕

文章插圖
于是，想著對這個字段進行更新，將 A 中這個字段更新到 B 中 。
于是寫了一條SQL語句 。
UPDATE b(create_time) SET create_time = (SELECT create_time FROM a);> 1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '(create_time) SET create_time = (SELECT create_time FROM a)' at line 1噢，看來不能這樣更新?。。ㄒ桓齟笞彀妥庸?nbsp;， 寫錯了還沒發現）
換種寫法：
UPDATE b AS tb, (SELECT create_time FROM a) AS ta SET tb.create_time = ta.create_time;可以，噩夢開始了！
更新了非常久，看著十幾秒的SQL執行到六七百秒還沒執行完，心里著實很慌！眼看著數據庫可能會崩，我不得不向我的組長求救了！
這時問題出現了，有人數據庫連接不上了 ， 可見這嚴重性，已經影響到其他人的使用了！
我操作MySQL的驚險一幕

文章插圖
于是我組長來幫我處理了，想著 kill 掉我的 navicat  ， 但是 kill 掉還是沒效果，畢竟這個 SQL 已經在執行了 。
我：能不能重啟這個 MySQL 服務？
組長一波連環炮過來了
組長：重啟？你知道這個 MySQL 有多少人在用嗎？又不只是我們在用，你重啟其他人怎么搞？
我啞口無言，心里非常忐忑，想著闖禍了 ， GG，就看著他操作 。沒過多久，經過他的一頓操作 ， 終于解決了這個問題 。我的心里的一塊懸著的大石終于放下了，還好解決了 。組長牛逼，救世主！

推薦閱讀