مرور روش‌های SSL (Self-Supervised Learning) در پیش‌یادگیری NLP
آقا آمیت در این بلاگ پست (مال سال ۲۰۲۰عه) به صورت خیلی جمع و جور اومده یه مروری کرده که چه تسک‌هایی با SSL طراحی شدند که نقش pretext یا همون pretraining رو میتونند به عهده بگیرند. یکیش رو همین الان نقدا باید بدونید: Masked Language Modeling. این تسک شامل ماسک کردن کلمه و حدس زدنش توسط مدله که در برت استفاده شد. یازده تا روش این مدلی رو ایشون توضیح داده که مدل با اینا می‌تونه بدون اینکه لازم باشه داده‌ای لیبل بزنیم، از روی متن representationها رو یاد بگیره و بعد بتونه جلوی تسک‌های مختلف قدعلم کنه. اگر ده دقیقه وقت دارید، این بلاگ پست رو بخونید و لذت ببرید.
این یازده تا روش به صورت یکجا به اضافه‌ی مقالاتی که از این روش‌ها استفاده کردند: • Center Word Prediction (Continuous Bag ofWords in Word2Vec) • Neighbor Word Prediction (skip-gram in Word2Vec) • Neighbor Sentence Prediction (Skip-Thought Vectors) • Auto-regressive Language Modeling (Neural Probabilistic Language Model, GPT) • Masked Language Modeling (BERT, RoBERTa and ALBERT) • Next Sentence Prediction (BERT) • Sentence Order Prediction (ALBERT) • Sentence Permutation (BART) • Document Rotation (BART) • Emoji Prediction (DeepMoji) • Gap Sentence Generation (PEGASUS)
مرور روش‌های SSL (Self-Supervised Learning) در پیش‌یادگیری NLP
آقا آمیت در این بلاگ پست (مال سال ۲۰۲۰عه) به صورت خیلی جمع و جور اومده یه مروری کرده که چه تسک‌هایی با SSL طراحی شدند که نقش pretext یا همون pretraining رو میتونند به عهده بگیرند. یکیش رو همین الان نقدا باید بدونید: Masked Language Modeling. این تسک شامل ماسک کردن کلمه و حدس زدنش توسط مدله که در برت استفاده شد. یازده تا روش این مدلی رو ایشون توضیح داده که مدل با اینا می‌تونه بدون اینکه لازم باشه داده‌ای لیبل بزنیم، از روی متن representationها رو یاد بگیره و بعد بتونه جلوی تسک‌های مختلف قدعلم کنه. اگر ده دقیقه وقت دارید، این بلاگ پست رو بخونید و لذت ببرید.
این یازده تا روش به صورت یکجا به اضافه‌ی مقالاتی که از این روش‌ها استفاده کردند: • Center Word Prediction (Continuous Bag ofWords in Word2Vec) • Neighbor Word Prediction (skip-gram in Word2Vec) • Neighbor Sentence Prediction (Skip-Thought Vectors) • Auto-regressive Language Modeling (Neural Probabilistic Language Model, GPT) • Masked Language Modeling (BERT, RoBERTa and ALBERT) • Next Sentence Prediction (BERT) • Sentence Order Prediction (ALBERT) • Sentence Permutation (BART) • Document Rotation (BART) • Emoji Prediction (DeepMoji) • Gap Sentence Generation (PEGASUS)
“To the extent it is used I fear it’s often for illicit finance. It’s an extremely inefficient way of conducting transactions, and the amount of energy that’s consumed in processing those transactions is staggering,” the former Fed chairwoman said. Yellen’s comments have been cited as a reason for bitcoin’s recent losses. However, Yellen’s assessment of bitcoin as a inefficient medium of exchange is an important point and one that has already been raised in the past by bitcoin bulls. Using a volatile asset in exchange for goods and services makes little sense if the asset can tumble 10% in a day, or surge 80% over the course of a two months as bitcoin has done in 2021, critics argue. To put a finer point on it, over the past 12 months bitcoin has registered 8 corrections, defined as a decline from a recent peak of at least 10% but not more than 20%, and two bear markets, which are defined as falls of 20% or more, according to Dow Jones Market Data.
Start with a fresh view of investing strategy. The combination of risks and fads this quarter looks to be topping. That means the future is ready to move in.Likely, there will not be a wholesale shift. Company actions will aim to benefit from economic growth, inflationary pressures and a return of market-determined interest rates. In turn, all of that should drive the stock market and investment returns higher.
