NLP stuff | Telegram Webview: nlp_stuff/298 -

Telegram Group & Telegram Channel

مرور روش‌های SSL (Self-Supervised Learning) در پیش‌یادگیری NLP

آقا آمیت در این بلاگ پست (مال سال ۲۰۲۰عه) به صورت خیلی جمع و جور اومده یه مروری کرده که چه تسک‌هایی با SSL طراحی شدند که نقش pretext یا همون pretraining رو میتونند به عهده بگیرند. یکیش رو همین الان نقدا باید بدونید: Masked Language Modeling. این تسک شامل ماسک کردن کلمه و حدس زدنش توسط مدله که در برت استفاده شد. یازده تا روش این مدلی رو ایشون توضیح داده که مدل با اینا می‌تونه بدون اینکه لازم باشه داده‌ای لیبل بزنیم، از روی متن representationها رو یاد بگیره و بعد بتونه جلوی تسک‌های مختلف قدعلم کنه. اگر ده دقیقه وقت دارید، این بلاگ پست رو بخونید و لذت ببرید.

این یازده تا روش به صورت یکجا به اضافه‌ی مقالاتی که از این روش‌ها استفاده کردند:
• Center Word Prediction (Continuous Bag of Words in Word2Vec)
• Neighbor Word Prediction (skip-gram in Word2Vec)
• Neighbor Sentence Prediction (Skip-Thought Vectors)
• Auto-regressive Language Modeling (Neural Probabilistic Language Model, GPT)
• Masked Language Modeling (BERT, RoBERTa and ALBERT)
• Next Sentence Prediction (BERT)
• Sentence Order Prediction (ALBERT)
• Sentence Permutation (BART)
• Document Rotation (BART)
• Emoji Prediction (DeepMoji)
• Gap Sentence Generation (PEGASUS)

لینک پست:
https://amitness.com/2020/05/self-supervised-learning-nlp/

#read
#blog

@nlp_stuff

Self Supervised Representation Learning in NLP

An overview of self-supervised pretext tasks in Natural Language Processing

www.tg-me.com/es/NLP stuff/com.nlp_stuff/298

3.6K viewsedited Aug 15, 2022 at 11:38

tg-me.com/nlp_stuff/298

Create: 2022-08-15
Last Update: 2025-07-03 20:04:26

مرور روش‌های SSL (Self-Supervised Learning) در پیش‌یادگیری NLP

آقا آمیت در این بلاگ پست (مال سال ۲۰۲۰عه) به صورت خیلی جمع و جور اومده یه مروری کرده که چه تسک‌هایی با SSL طراحی شدند که نقش pretext یا همون pretraining رو میتونند به عهده بگیرند. یکیش رو همین الان نقدا باید بدونید: Masked Language Modeling. این تسک شامل ماسک کردن کلمه و حدس زدنش توسط مدله که در برت استفاده شد. یازده تا روش این مدلی رو ایشون توضیح داده که مدل با اینا می‌تونه بدون اینکه لازم باشه داده‌ای لیبل بزنیم، از روی متن representationها رو یاد بگیره و بعد بتونه جلوی تسک‌های مختلف قدعلم کنه. اگر ده دقیقه وقت دارید، این بلاگ پست رو بخونید و لذت ببرید.

این یازده تا روش به صورت یکجا به اضافه‌ی مقالاتی که از این روش‌ها استفاده کردند:
• Center Word Prediction (Continuous Bag of Words in Word2Vec)
• Neighbor Word Prediction (skip-gram in Word2Vec)
• Neighbor Sentence Prediction (Skip-Thought Vectors)
• Auto-regressive Language Modeling (Neural Probabilistic Language Model, GPT)
• Masked Language Modeling (BERT, RoBERTa and ALBERT)
• Next Sentence Prediction (BERT)
• Sentence Order Prediction (ALBERT)
• Sentence Permutation (BART)
• Document Rotation (BART)
• Emoji Prediction (DeepMoji)
• Gap Sentence Generation (PEGASUS)

لینک پست:
https://amitness.com/2020/05/self-supervised-learning-nlp/

#read
#blog

@nlp_stuff

BY NLP stuff

Share with your friend now:
tg-me.com/nlp_stuff/298

Open in Telegram

NLP stuff Telegram | DID YOU KNOW?

Date: 2025-07-03| NLP stuff

Start with a fresh view of investing strategy. The combination of risks and fads this quarter looks to be topping. That means the future is ready to move in.Likely, there will not be a wholesale shift. Company actions will aim to benefit from economic growth, inflationary pressures and a return of market-determined interest rates. In turn, all of that should drive the stock market and investment returns higher.

The Singapore stock market has alternated between positive and negative finishes through the last five trading days since the end of the two-day winning streak in which it had added more than a dozen points or 0.4 percent. The Straits Times Index now sits just above the 3,060-point plateau and it's likely to see a narrow trading range on Monday.

NLP stuff from es

Telegram NLP stuff
FROM USA