NLP stuff | Telegram Webview: nlp

ارمغانی دیگر از قلمرو مولتی‌مودال! تولید تصاویر انسانی با استایل‌های مختلف.

جذابیت مدل‌‌های generative مخصوصا در حوزه تصویر داره میل به بی‌نهایت می‌کنه. مدل‌هایی مثل deep fake قبلا خیلی گرد و خاک کردند. اخیرا مدلی به‌نام Text2Human معرفی شده که با استفاده از جملات متنی یک استایل از انسان واقعی رو تولید می‌کنه. روش کارش به این صورته که شما در ورودی وضعیت بدنی (human pose) رو به صورت تصویر می‌دید (که هر تصویری می‌تونه باشه و خود دمو هم چندین مثال داره) و فرم لباس و بافت لباس مورد نظرتون رو به صورت جملات متنی می‌دید و مدل براتون تصاویر آدم‌هایی با همان ویژگی توصیف‌شده توسط شما رو تولید می‌کنه. شیوه کار کلی این مدل در دو گام اصلی خلاصه میشه. در گام اول یک تصویرخام از فرم بدن انسان (human pose)، تبدیل به یک قالب کلی انسان با یک لباس بدون بافت و شکل مشخص میشه (human parsing). سپس در گام دوم خروجی گام اول گرفته می‌شه و بافت و فرم لباس رو به تصویر گام قبل اضافه می‌کنه. نمای کلی مدل در تصویر زیر اومده. برای گام اول و تولید بردار بازنمایی قالب بدن انسان از جملات ورودی، از یک شبکه با چندین لایه fully connected استفاده می‌شه و این بردار بازنمایی به همراه تصویر خام به یک شبکه Auto Encoder داده میشه تا در خروجی یک قالب کلی از بدن انسان که فرم لباس در اون مشخصه ولی رنگ و بافت خاصی نداره رو خروجی بده. سپس برای گام دوم، خروجی تصویر گام اول به دو شبکه Auto Encoder همکار داده میشه که یکی مسوول بررسی ویژگی‌های سطح بالای تصویر استایل انسان هست و دیگری به صورت ریزدانه‌تری فیچر‌ها رو در نظر می‌گیره (فرض کنید در شبکه اول هر چند ده پیکسل مجاور هم تجمیع می‌شوند و به شبکه داده می‌شوند در حالیکه در شبکه دوم هر پیکسل یک درایه از بردار ورودی را تشکیل می‌دهد). از طرفی بازنمایی جملات نیز به این شبکه‌ها داده می‌شود. سپس برای اینکه این دو شبکه همکاری داشته باشند خروجی دیکودر شبکه اول به ورودی دیکودر شبکه دوم داده میشه. یعنی شبکه دوم علاوه بر دریافت خروجی encoder خودش، خروجی دیکودر شبکه اول رو هم دریافت می‌کنه و بعد اقدام به بازسازی تصویر نهایی می‌کنه. معماری این قسمت رو هم در تصاویر می‌تونید ببینید. این مدل بر روی هاگینگ‌فیس هم serve شده و می‌تونید دموش رو به صورت رایگان مشاهده کنید.

لینک مقاله:
https://arxiv.org/abs/2205.15996

لینک دمو:
https://huggingface.co/spaces/CVPR/Text2Human

لینک گیت‌هاب:
https://github.com/yumingj/Text2Human

#read
#paper

@nlp_stuff

stuff

www.tg-me.com/br/NLP stuff/com.nlp_stuff/291

6.8K viewsedited Jul 22, 2022 at 11:19

tg-me.com/nlp_stuff/291

Create: 2022-07-22
Last Update: 2025-07-05 09:04:14

BY NLP stuff

Share with your friend now:
tg-me.com/nlp_stuff/291

Open in Telegram

NLP stuff Telegram | DID YOU KNOW?

Date: 2025-07-05| NLP stuff

How Does Bitcoin Work?

Bitcoin is built on a distributed digital record called a blockchain. As the name implies, blockchain is a linked body of data, made up of units called blocks that contain information about each and every transaction, including date and time, total value, buyer and seller, and a unique identifying code for each exchange. Entries are strung together in chronological order, creating a digital chain of blocks. “Once a block is added to the blockchain, it becomes accessible to anyone who wishes to view it, acting as a public ledger of cryptocurrency transactions,” says Stacey Harris, consultant for Pelicoin, a network of cryptocurrency ATMs. Blockchain is decentralized, which means it’s not controlled by any one organization. “It’s like a Google Doc that anyone can work on,” says Buchi Okoro, CEO and co-founder of African cryptocurrency exchange Quidax. “Nobody owns it, but anyone who has a link can contribute to it. And as different people update it, your copy also gets updated.”

Newly uncovered hack campaign in Telegram

The campaign, which security firm Check Point has named Rampant Kitten, comprises two main components, one for Windows and the other for Android. Rampant Kitten’s objective is to steal Telegram messages, passwords, and two-factor authentication codes sent by SMS and then also take screenshots and record sounds within earshot of an infected phone, the researchers said in a post published on Friday.

NLP stuff from br

Telegram NLP stuff
FROM USA