Нейронная сеть, которая верстает сайты по картинке

Прошёл почти год с того момента, как на GitHub опубликовали алгоритм pix2code. И вот ребята из FloydHub на его основе создали нейронную сеть для вёрстки страниц, которую уже
можно запустить самому.

Работа алгоритма делится на 3 этапа:
1. Алгоритм получает JPEG-изображение дизайна страницы.


2. Алгоритм конвертирует элементы в HTML- и CSS-код.


3. Полученный результат


Чтобы получить такой результат, разработчики скармливали алгоритму скриншоты и присваивали определённые HTML-теги, в итоге получился датасет, с помощью которого можно генерировать шаблонные сайты. Ниже будут примеры.



Алгоритм учится предсказывать соответствующие HTML-теги, последовательно «изучая» изображение на входе. Когда алгоритм предсказывает следующий тег разметки, он получает скриншот и все «правильные» теги HTML-разметки для этого элемента.

Примеры:
- 250 циклов работы алгоритма;

- 350 циклов работы алгоритма

- 450 циклов работы алгоритма;

- 550 циклов работы алгоритма.



Везде выше можно посмотреть пример исходного кода, сгенерированного нейронной сетью,  а вот оригинальный сайт, скриншоты которого скармливали алгоритму.

Более техническое описание проекта доступно по ссылке , а ноутбук для запуска в Jupyter лежит  тут.

Взято отсюда.

Ну все парни, время пришло. Мужики программисты, готовьтесь быть уволенными, вас скоро заменят на машин.

Я думаю, что кодеров быстрее заменят на ИИ, чем каких-нибудь продавщиц, грузчиков, водителей, нотариусов, переводчиков и т.д. Просто потому что IT наиболее прогрессивная сфера, хотя по факту кодера сложнее заменить, чем макаку за прилавком.

Кста, работал макакой за прилавком, реально животный труд, мозг там не нужен.

raingo пишет:Ну все парни, время пришло. Мужики программисты, готовьтесь быть уволенными, вас скоро заменят на машин.

Прототип пока, и работает далеко не идеально)
Да и программа в перспективе заменит разве что верстальщиков)

как самому затестировать это чудо я так и не понял =\

Да лан, разговоры про нейронные сети и то, что они заменят в итоге человечество давно уже ведутся. Читал коммент чела который читал статью другого чела, который говорил с четвертым челом, что видел наработки друга своего друга в области создания сайтов компьютером и офигел. А вслед за ним все офигели по цепочке.

Реальную попытку вижу впервые. Вначале верстальщиков заменят, затем и кодеров. А затем и мир поработят.

Люди уже электричество по воздуху передают. Ну и тесла без водителя уже водит. Только вроде по сплошной и не в оживленных перекрестах. А может и в оживленных. Но то, что по "сплошной" сами едут это точно. Прогресс, епты.

ну хорошо. допустим банальную вёрстку оно может сделать. а как ты объяснишь машине: "ну я хочу, чтобы было красивенько - сдесь все выезжало, а здесь всплывало и вот сдесь снежинки еще и я вчера такую машину на улице видел - красную. можно ее в шапку добавить? откуда я знаю какая машина? ты же профессионал!" (про красную машину - тру стои из жизни)

машину можно научить верстать по скриншоту, но крайне сложно научиться понят - что от нее хочет тупоголовый заказчик. по этому вангую, что если даже уволят всех верстальщиков и заменят их ИИ, верстальщики переквалифицируются в "объяснялищиков машине - что от нее хотят". ну или если по простому в операторов ЭВМ.

ну вообще штука крутая конечно.

но скорее нейросети будут использовать не для этого, а для этого https://dtf.ru/13478-neyroset-nauchilas-pririsovyvat-lica-znamenitostey-pornoaktrisam )))

электричество по воздуху передают.

ну не обманывай. воздух тут вообще не причем.

Ага)

ну пока артефакты от маски остаются, но я думаю из можно спокойно в афтерэффекте замазать)))

блин, как так вышло что я отредактировал сообщение выше, а не добавил новое =\

Не сегодня, и не завтра.. а вообще с революциями всегда так, они всегда неожиданные. Даже если это нтр. Кто-нибудь знает, почему ИИ еще не научили различать язык и вполне грамотно говорить на нем? В чем проблема?

Получается, что фоторедактор тупее трехлетнего ребенка по скиллу? Т.е. монтировать по маскам и "рисовать" ии умеет, а говорить нет?

пиро пишет:ну не обманывай. воздух тут вообще не причем.

По воздуху - означает на расстояние без электропроводников. Хотя есть мысль, что это злая шутка и идет не зарядка, а управление.

Передачу электричества по воздуху придумали лет так 50 назад как бы..

Такого Николос Кейджа мы еще не видели=)

Соник пишет:Передачу электричества по воздуху придумали лет так 50 назад как бы..

А молнии в землю еще раньше начали бить))

Ладно, я не догоняю о чем вы. Хотите сказать любой инженер со средствами может передать электричество на несколько метров без вредных излучений по воздуху? Тесла в гробу не перевернулся?

А еще без потерь в 90% и более.

raingo пишет: Хотите сказать любой инженер со средствами может передать электричество на несколько метров без вредных излучений по воздуху? Тесла в гробу не перевернулся?

Видео в районе месяца назад видел, наврятли найду уже, кучка людей в пределах комнаты телефон заряжала, а на счет вредности вопрос интересный.
Что произойдет с людьми с тем же кардиостимулятором пока никому не известно))0

в общем если такой инструмент появится на рынке и будет стабильно работать - я возможно его куплю. а возможно и нет. оно то конечно избавит от рутинной банальной верстки (которая не отличается от обезьяньей торговли), но один фиг нужно еще будет обрабатывать этот код с помощью зубила и какой-то матери. причем я не вижу особого смысла в создании хтмл из джипега. макеты сайтов кагбе в psd рисуются. а например из psd сгенерировать хтмл - уже можно. я юзал такой софт. не исключаю, что и напрямую из фотошопа так можно. ну или скоро будет можно.

Pyro338 пишет:в общем если такой инструмент появится на рынке и будет стабильно работать - я возможно его куплю. а возможно и нет. оно то конечно избавит от рутинной банальной верстки (которая не отличается от обезьяньей торговли), но один фиг нужно еще будет обрабатывать этот код с помощью зубила и какой-то матери. причем я не вижу особого смысла в создании хтмл из джипега. макеты сайтов кагбе в psd рисуются. а например из psd сгенерировать хтмл - уже можно. я юзал такой софт. не исключаю, что и напрямую из фотошопа так можно. ну или скоро будет можно.

Если я верно понял, видос от авторов

Соник пишет:Видео в районе месяца назад видел, наврятли найду уже, кучка людей в пределах комнаты телефон заряжала, а на счет вредности вопрос интересный.
Что произойдет с людьми с тем же кардиостимулятором пока никому не известно))0

Жестко. Не думал, что это произойдет так скоро. Я вроде тоже слежу за технологиями и нтр и про порно2.0 слышал. А вот про про беспроводную зарядку на несколько метров только сегодня узнал.

Это будет уже в 2018. Сто проц, во всех продвинутых ресторанах и т.д. Читал, что зарядка телефонов это боль рестораторов.

АТС в свое время заменили телефонисток. никто по этому поводу особо не плачет.

первая (ну или одна из первых) коммерческая программа, основанная на технологии нейросетей - Abby FineReader, например казалось бы уничтожила как класс профессию наборщика текстов. а теперь, когда можно гуглу в микрофон надиктовать текст, а он это в печатные буквы переведет - так вообще. но это никак не отразилось на работе корректоров, которым кстати еще даже прибавилось работы. потому как ни один голосовой наборщик и ни один распознаватель печатного текста, пока не научился делать это безошибочно.

прогресс идёт и это замечательно. но полностью заменить человека машина сможет ох как не скоро

Если я верно понял, видос от авторов

афигеть))) вот этого я не видел))) мастхэв палютому!

Соник пишет:Если я верно понял, видос от авторов

Выражу общее мнение, сказав, это просто охyеть.

Выражу общее мнение, сказав, это просто охyеть.

да!

Когда работал на заводе, часто думал, почему людей не заменили на животных? Макаки реально бы справились. А еще думал, почему зоозащитники не борются за права простых работяг.

На счет корректоров текстов я хз. Но вот давно уже замечаю, что моя грамматика падает. Все чаще гугл подсказывает мелкой красной волнистой линией, где именно ошибка. Этому противному гуглу надо бы пунктуацию еще подтянуть.

Два столетия назад было меньше миллиарда людей. Да наши родоки, если спросить, каждый помнит голод в повольже и на украине. А сейчас вынужденный повсеместный голод представить не просто.

Не надо заменять человечество. Это же ирония, сарказм. Надо избавить человечество от рабского труда. От водителей, грузчиков, литейщиков, гальваников, сварщиков, продавцов, сборщиков урожая, дворников, автомойщиков, операторов по телефону, швей. От любой черновой работы. От механического отупляющего труда.

Кто знает, может мы застанем время, когда ни одному цивилизованному человеку вообще не придется работать. Если он сам не захочет этого.