2017년 3월 22일에 나온 아직도 따끈따끈한 논문입니다. GitHub링크는 아래와 같습니다.

https://github.com/luanfujun/deep-photo-styletransfer

간단히 논문에 대해 요약을 하자면 아래와 같습니다.


기존까지 있었던 image style transfer(유명한 neural-style 등)은 이미지에 스타일을 입히는 게 얼추 가능은 했지만, style faithfulness가 약하거나 photorealism이 약했습니다. photorealism이 약한 이유는 사진 내부에 있는 직선 성분과 택스쳐 성분이 왜곡되기 때문이고, style faithfulness가 약한 이유는 예를 들어서 sky style은 sky에 매칭이 되야 하고, building style은 building에 매칭되어야 하는데 이게 잘 안돼서 연관없는 것이 매칭되었기 때문입니다.  따라서 Deep Photo Style Transfer는 이것들을 해결하고자 뭐 여러가지 적용했습니다. 그래서 이전의 알고리즘과는 달리 위 두 가지를 충족시키는 좋은 알고리즘이 되었다 뭐 이정도입니다. 그래서 실제로 이걸 돌려보면 사진의 전체적인 분위기(시각, 계절, 날씨, 택스쳐 재배치 등)이 제대로 됩니다.


아래가 그 예시입니다. (원본을 GitHub에서 링크 따온 것입니다.) 왼쪽부터 순서대로 원본, 스타일, 결과물입니다.



코드가 GtiHub에 있기 때문에 돌려볼려고 clone도 받고 Octave도 설치해서 라플라시안 돌리고 그러려고 했는데... GPU 램 부족하다고 안 되네요 쩝... 나중에 좋은 장비 구축하면 그때가서 돌려보겠습니다.


p.s. 논문은 대충 읽어봤는데 처음해보는 리뷰라 그런지 잘 안 되네요 쿨럭...  나중에 시간이 되면 더 꼼꼼히 읽어서 리뷰해보겠습니다

  1. 스터디중 2017.10.24 12:52 신고

    안녕하세요. 리뷰 잘 읽었습니다.
    한가지 질문을 드려도 될까요?
    segmentation mask에 맞게 transfer 되는건 알겠는데, 그럼 다른 mask 는 transfer에 전혀 관여를 안하는건가요?

    • makeapp 2017.10.28 00:12 신고

      간단하게 논문 조금 훑어보고 예제를 살펴본 정도라서, 저도 정확하게 답변드릴순 없을 거 같습니다. 직접 논문 읽어보시고, 프로그램 실행해보시는게 좋을 거 같습니다.

+ Recent posts

티스토리 툴바