simoncherrygz / face-landmark-android Goto Github PK

View Code? Open in Web Editor NEW

400.0 20.0 174.0 16.06 MB

Android AR Camera

License: Apache License 2.0

Makefile 40.99% Java 44.40% C++ 10.33% GLSL 4.28%

dlib opencv opengles rajawali augmented-reality

face-landmark-android's Introduction

AR相机

根据人脸图片构建简单的3D人脸模型，然后在摄像头预览画面中展示。基于该人脸模型进行换脸或者添加装饰品。

基于

dlib-android-app
dlib-android 提供Android平台可用的Dlib库。
More Than Technical这篇文章的头部姿态估算算法。
LearnOpenCV.com 的换脸算法。
Rajawali OpenGL ES引擎。

应用截图

GIF演示

显示人脸3D模型

显示装饰品

测试页面

原理

根据人脸图片构建3D人脸模型

使用Dlib可以检测出人脸的68个关键点：

根据这68个点可以连线得到一个低面数的人脸模型：

我使用Blender 建立了该模型，这里称其为BaseModel，格式为obj。
动态修改BaseModel

查询obj文件结构可知，以“v”开头的行描述的是模型的顶点，以“vt”开头的行描述的是模型的贴图坐标点。

那么只要找到这些点与人类关键点的对应关系，就可以简单地通过替换对应行的数据，来达到动态修改模型的目的。

不足

Dlib库依赖shape_predictor_68_face_landmarks.dat，其大小约100M，加载需要花费数秒。
Dlib库检测人脸的速度与图像的大小成反比，因此需要对摄像头的预览画面进行截取。

截取得太小的话也检测不出人脸。在大小不影响检测的情况下，检测速度依然不理想。
由于是从单张图片构建3D人脸，无法获取Z轴的数值，所以在估算三维姿态时用的是模拟数据，得出的数值可能不准确。

构建

按照dlib-android 描述的步骤来构建Dlib-Android库。
从dlib-android-app 中找到shape_predictor_68_face_landmarks.dat，将其复制到手机根目录中。

依赖库

Written with StackEdit.

face-landmark-android's People

Contributors

Stargazers

Watchers

Forkers

starikupz seagroup patelmanthan777 machrafi qianhezheng droidsky tonytonyfly repoforks vinsonxu systembugtj icegroupsteven liuleifrank xiaohang1006 chenmingit southave piyush-malaviya cybernhl zhangjingpu yuyuyu123 carythh iscas-lee handyzeng sjpanchal dearsunshine jiubadao xiaomitop cllanjim abc1225 lgx0955 sobhan-zp dangtuo dayzamit chengzijane featasy zhangshunhua handy505824 haoyaogang erkapilmehta eskyos ktcer csl cts33 butcherzn roolearntocode vasanihardik 18638019934 jaccen2007 veechiry magicsen alitamoor65 jangseonghun wbzlop peterxiao2020 zzulevi weicong-ye cy0430502 plzyxy yuxiaohui78 bansonsour copewang blueflychiefengi 1463836 nhancv ronnymakhuddin hu-ping redoliver pandygui xuzhou530 smartflowers wikipedia2008 a554142589 mingmchen itleexiao linmengjie alishabani-cyber ahuang1900 ch0psticks brahimaboutaleb chenweitracy logdogvip hyb1234hi ladroshan adnaanaeem leftcoding matrixy woshiwzy lwb426 saytoonz kangyueluo777 xiaobao4955 philipko tgsen androidcodehub jameswanliu kairon007 amitjangid80 shenmayufei sharkinocean piyoma whztt07

face-landmark-android's Issues

点击装饰没有效果啊

点击装饰没有效果啊
public void onItemClick(int position) {
Toast.makeText(mContext, "position=" + position, Toast.LENGTH_SHORT).show();
mOrnamentSheet.dismiss();
mOrnamentId = position;
isBuildMask = true;
}
代码里只有这些。感觉少东西

Error:(8) D:\Simon\Works\Android\Git\ARDemo\dlib\src\main\third_party\opencv\jni\OpenCV.mk: No such file or directory

Error:Execution failed for task ':app:ndkBuild'.

Process 'command '/Users/bapvn/Library/Android/sdk/ndk-bundle/ndk-build'' finished with non-zero exit value 2

please help me

Convert 2d to 3d world coordinates

Hi,

I am getting 2D coordinates of X and Y from ML Kit.
How to convert this 2D coordinates to 3D (XYZ) coordinates.

OpenCV.mk:No such file or directory

E/dlib: library not found

在app中，点击照相的按钮出现闪退。请问如何解决？

05-21 18:12:22.974 3703-3711/? E/ANDR-PERF-MPCTL: Invalid profile no. 0, total profiles 0 only
05-21 18:12:23.286 8413-8466/? E/dlib: library not found
05-21 18:12:23.308 8413-8466/? E/art: No implementation found for int com.simoncherry.dlib.FaceDet.jniInit(java.lang.String) (tried Java_com_simoncherry_dlib_FaceDet_jniInit and Java_com_simoncherry_dlib_FaceDet_jniInit__Ljava_lang_String_2)
05-21 18:12:23.286 8413-8466/? E/dlib: library not found
05-21 18:12:23.308 8413-8466/? E/art: No implementation found for int com.simoncherry.dlib.FaceDet.jniInit(java.lang.String) (tried Java_com_simoncherry_dlib_FaceDet_jniInit and Java_com_simoncherry_dlib_FaceDet_jniInit__Ljava_lang_String_2)
05-21 18:12:23.309 8413-8466/? E/AndroidRuntime: FATAL EXCEPTION: Thread-1610
Process: com.simoncherry.artest, PID: 8413
java.lang.UnsatisfiedLinkError: No implementation found for int com.simoncherry.dlib.FaceDet.jniInit(java.lang.String) (tried Java_com_simoncherry_dlib_FaceDet_jniInit and Java_com_simoncherry_dlib_FaceDet_jniInit__Ljava_lang_String_2)
at com.simoncherry.dlib.FaceDet.jniInit(Native Method)
at com.simoncherry.dlib.FaceDet.(FaceDet.java:42)
at com.simoncherry.artest.OnGetImageListener.initialize(OnGetImageListener.java:85)
at com.simoncherry.artest.ui.fragment.ARFaceFragment$9.run(ARFaceFragment.java:505)

build issue

Process 'command '/Users/admin/Library/Android/sdk/ndk-bundle/ndk-build'' finished with non-zero exit value 2

Caused by: org.gradle.process.internal.ExecException: Process 'command 'C:\Users\lenovo\AppData\Local\Android\Sdk\ndk-bundle/ndk-build.cmd'' finished with non-zero exit value 2

无法成功运行，报的上面的错误，按照网上的方法修改了几次不起作用，帮忙看看是什么原因造成的