1樓：晨曦
個人覺得這個問題問的比較籠統，一般是根據不同的任務，先分析文字再決定要做哪些預處理。
比如做情感分析問題的話,如果用LSTM/GRU，計算量和資料夠大的話，一般是不移Stopword的。
2. 英文: Word - embedding 的話，Like(句首) 和 like(句中) 得到的 word vector 一般來說也是不一樣的(和訓練方式有關)。
所以這種情況大小也可以不轉。
3. 再比如做文字概括的話，emoji 這種都可以直接砍掉。但是在其他任務中就得選擇性的保留或者替換。
2樓：
以前遇到的乙個大坑。
英文的文字，一定要做tokenization……如果用python的話，工具包有很多吧。
中文處理我一般用HIT-SCIR/pyltp英文的話一般是用nltk結合stanford 的core-nlp。推薦乙個Lynten/stanford-corenlp 用起來比較方便，但是需要root許可權。
離職時有哪些需要注意的事項？
律法小達人 1.勞動合同法規定，試用期離職需提前3天以書面形式辭職，轉正後如要離職需提前乙個月以書面形式通知公司。2.辦理離職手續時一定要簽訂解除勞動合同協議書。3.正常離職，如企業剋扣工資，可以申請仲裁，仲裁未解決的，可以起訴。 白小白 我看回答很多都是教你怎麼為人處世，那我就稍微說一下如果企業觸...
癲癇患者平時有什麼需要注意的嗎？
衣袂飄飄120 平時，除按時 足量服藥外，還需要注意避免以下誘發事項 1 不可以過於熬夜 勞累 2 不可以多吃過於刺激性食物，尤其不可以飲酒，包括啤酒 紅酒和公尺酒以及酒精性飲料 3 不可以情緒劇烈波動。 尖尖愛吃糖 不要喝咖啡，其實我也很喜歡喝，有時候會偷喝低音咖啡，不要學我，按時睡覺很重要，我是...
孕婦在準備分娩時有什麼需要注意的事項？
麻辣丸子wink 女性懷胎十月就是為了等待分娩的著一刻，期待著小生命的到來。為了這個小生命能順利的誕生，在分娩前準媽媽們要做好充分準備。那麼，下面請聽專家介紹。分娩前的注意事項有哪些?1 調整心理。在分娩前很對孕婦都有恐懼心理，但這種心理只會影響孕婦的睡眠和食慾，從而導致在分娩時產生困難。所以，在分...