Pretraining language models with the Transformer architecture are used everywhere in various NLP tasks. People are usually convinced by the results that those self-supervised objective functions can really transfer some knowledge to downstream tasks. In this post, I am not going to discuss those pre-training techniques, instead, I would like to talk about a process called pre-finetuning/Domain-Adaptive Pretraining as a new additional way to improve performance over the standard pre-training stage.

I will introduce and focus on these two papers:


彩排前我們與伴郎伴娘們的大合照(意者私)❤

嗨大家好,謝謝你們願意點進來,這裏主要是把這次我跟乃文的婚禮資訊和回憶記錄下來,所以這篇會有一堆連結和推薦,方便我們自己以後想看可以回來看、還有也大力推薦分享給親朋好友,大家如果有任何問題想討論歡迎隨時聯繫我們,廢話不多說先上各種連結:

[懶人包] 精彩片段「婚禮舞蹈」&「婚禮SDE」!

婚紗側錄影片 (Opening MV):一進前

成長影片 (Grow-up MV):一進後

默契Q&A影片(Q&A MV):二進前

婚禮舞蹈(Wedding Dance):二進表演

婚禮SDE影片 — 婚禮版(Endding SDE MV)

婚禮SDE影片 — 最終版(Endding SDE MV — Final)

婚禮快拍機:Sweet Booths Taiwan ( …


Figure source: https://hrdailyadvisor.blr.com/2018/07/23/conversational-ai-recruiting-revolution/

In this blog, I am going to give a very very big picture/overview of conversational AI research in my opinion without going into details of any papers. As you may know, nowadays the AI field is really moving marvelously fast (check here to see how many Arxiv papers released per month), please do forgive and remind me if there are any important aspects I have missed, I will update the blog correspondingly. …


In this article, I am not going to introduce any training and testing details of GPT-3, please check their paper for more information (74 pages). I would like to post some of my thoughts and questions for public discussion, and also introduce the very very new beta API of OpenAI (2020.06.11).

A week ago (2020.06.05), OpenAI released a paper called “Language Models are Few-Shot Learners” on Arxiv, which is the so-called “GPT-3” model with 175 billion parameters pre-trained on 45TB text data. Do you know what is the expected cost to train such a model? People guess about $12M! This…


寫這篇的目的主要是分享自己申請美國簽證O-1 Visa的歷程,希望可以幫助到之後也有考慮走同一條路的夥伴們,有任何問題歡迎隨時聯繫我,一開始在猶豫要不要用英文寫這篇,但想了想大部分需要看懂這篇的應該都是看中文的吧,韓文日文等等就算了他們會自己有人分享的哈哈哈哈。

謝謝出現在我生命中的每位貴人,我的老師們老闆們戰友們,特別感謝Pascale、 Caiming、 Richard、以及我的推薦人們,沒有你們我不可能有機會在這裡打分享文,滴水之恩我定以泉湧相報。

什麼是O1簽證?

“O-1是一種非移民簽證,適用於在科學、藝術、教育、商務、體育方面傑出的非美國人,或者在電影電視行業能夠被國家或者國際認知的及擁有卓越成就的非美國人。該簽證持有人可在美國從事與自己領域相關的工作。 O-1簽證沒有名額限制,無需經過抽籤程序,但是 …


I’d like to share about two papers about information bottleneck applications in NLP, both of them are from EMNLP 2019 and the first one won the best paper award:

First, let’s look at the definition of information bottleneck (IB):


趁著在香港機場準備飛回台灣過年的這段空擋來寫一些東西,一月過得有夠快,在一篇篇論文海和一次次的程式海中毫無感覺的就過了,這星期學校春季課程開始,這學期也算是我在港科大唸碩士 (MPhil) 的最後一個學期,我跟香港也是特別有緣,從當初大四就在這裡當交換生,到現在變成這裡的碩士生,香港這個飛機不到一個半小時的地方,對我來說變得有點像是台灣的後花園,這些待在香港做學術研究的日子,有些經驗挺值得分享給大家,再加上就我所知來香港念理工科研究所的台灣人屈指可數,真的是少之又少,所以自己責無旁貸!

好那開始吧,從研究生分類開始,不論科系都差不多,在香港念研究所大概有以下四種類型
* PhD,Doctor of Philosophy、博士學位,屬於研究型學生。(4–6年)
* MPhil:Master of Philosophy、碩士學位,屬於研究型學生。(2年)
* MSc:Master of Science、碩士學位,屬於授課型學生。(1–2年)
* MA:Master of Art、碩士學位,屬於授課型學生。(1–2年)
差異主要在於,前兩者有獎學金,所需修課學分少但有論文壓力,後兩者要自付學費、但不需論文以修課為主。


這次的分享是針對在「北美境外」唸書的同學如何尋找「北美境內」的「軟體業實習」,一般網路上大多是在北美唸書的學生分享自己如何在當地找實習的經驗,不過對於沒有合法工作簽證的其他同學則比較沒有資訊,這次找來我幾位都有類似經驗的朋友來跟大家分享,利用Q/A的方式來讓每位分享者講述自己的看法,如果有任何問題歡迎留言一起討論,希望這麼做可以幫助到之後想走同樣模式的人!

讓我們先簡單瞭解一下每一位分享者的實習背景(按姓氏字母順序),總共五位。

江韋霖 Wei-Lin (Winston) Chiang:NTU CSIE B02、Google Research、Software Engineer Intern、California US、2018 Winter、3 months方為 Wei Fang:NTUEE B0 …


在進入Salesforce實習之前,我對Salesforce可說是一無所知,不知道這間公司有多大多久也不知道這間公司在幹麻,我唯一知道的是不少讀過的論文是從這邊發表的(掛著史丹佛大牛Richard Socher),所以這次實習結束我打算分享一些我所知的Salesforce是個怎樣的公司。

這朵「藍藍的雲」是在1999年由Marc Benioff創辦,公司到處都可以看到他的照片,他曾是Oracle歷史上最年輕(27歲)的高級副總裁,但他認為隨著網路的發展和普及,企業會捨棄購買昂貴笨重的本地軟體而改成利用網路取得輕量的軟體服務,因此他跳出來創辦了Salesforce,被譽為軟件終結者(No Software)。

根據2018年10月《财富》未來公司50强排行榜發布,Salesforce 排名為第十,全球約30,000位員工(2017),擁有舊金山最高樓Salesforce Tower,公司估值約65–90億美元(2018)。

Salesforce在幹麻?它是一個功能全面的B2B雲平台,它是踐行Saas(軟件及服務)概念的先驅之一,最初的願景是徹底改造客戶關係管理 (Customer Relation Management CRM) 模式, Salesforce產品都完全在雲端執行,因此不需要昂貴的設置成本、無須維護,員工也可從任何裝置透過網際網路連線工作,企業無論規模大小都能輕鬆使用這套CRM, 成功將 Sales Cloud 推向全球 CRM 系統的龍頭地位。 但是 Salesforce 的獨到之處不只是提供應用在銷售和行銷領域的 CRM, 這個平台還可協助管理與現有和潛在客戶間的預測和互動。

Jason C.S. Wu

Researcher at Salesforce AI Research, focusing on #NLProc and #ConvAI. Share random stuff I want to share. Webpage: https://jasonwu0731.github.io

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store